圖像正從“給人看”向“給機器看”發(fā)展
隨著AI 技術、算力和數據量的快速發(fā)展，使得大量視頻數據的“受眾”已不再是人，而是機器和算法。通過目標分析等算法，使得視頻中嵌入的信息發(fā)揮了越來越大的價值。圖像在從“給人看”轉變成 “給機器看”為主。
“給機器看”可以實現海量視頻的快速分析，大幅提升效率及發(fā)現更多目標細節(jié)。對于攝像機拍攝的海量數據，機器處理將是后續(xù)發(fā)展更好的選擇，因為單純依靠人力識別需要海量的人力投入且效率底下，而機器算法可以7×24 小時全天不間斷分析，大幅減少操作人員瀏覽視頻數據的時間，快速自動定位感興趣信息并進行結構化的存儲，減少疲勞等原因造成的審查疏忽，從而極大的提升效率。
同時，依靠算法模型的優(yōu)化和海量數據訓練的優(yōu)勢，智能算法已經表現出超越人眼的性能，在目標檢測、目標識別等多項指標上都達到新的高度，因此利用機器可以發(fā)現更多人眼忽略的細節(jié)。
低照成像是圖像研究的重要課題
隨著 “夜生活”成為人們生活的重要部分，攝像機在夜間也能有全彩的圖像逐漸成為市場需求，突破夜間成像也成為業(yè)界的研究課題。
傳統(tǒng)攝像機在夜間低照度下圖像質量較差，尤其在拍攝運動目標時，具有噪聲大、細節(jié)缺失等問題，從而導致識別率急劇下降，無法達到智能可用。為了讓攝像機在夜晚也能顯示高清圖像，通常需要給攝像機補很亮的白光，從而導致光污染。如何讓攝像機在夜間實現高清成像的同時避免刺眼的補光，成為行業(yè)迫切的訴求。
另一種夜間成像方案是使用紅外補光。紅外補光沒有光污染，補光亮度也足夠目標檢測識別，但紅外圖像有一個缺陷是缺乏色彩，成像效果和人眼視覺不符合，人眼主觀查看也容易困擾。
低照全彩技術介紹—用“算力”換“圖像”
為了解決當前攝像機在夜間無法兼顧色彩、光污染、清晰度的難題，各個廠家都推出了各自的解決方案。如有的采用“硬件改造”方式，通過對光學元器件的定制改造同時增加一定補光來達到全彩效果，這一方案對設備的校準有很高的依賴同時攝像機成像的誤差率會相應增高。還有的則“軟硬兼施”，在強大“算力”的加持下用軟件與算法升級來打造全天候極致圖像體驗，讓人看更舒適、讓機器看的更準。
華為SuperColor低照全彩技術就是“軟硬兼施”的成果，通過濾光、補光、曝光、降噪、配準、融合等一系列專利技術組合，在去除光污染的同時，又兼具圖像清晰度和色彩還原度。
1分時雙光采集技術
傳統(tǒng)的攝像機安裝IR-Cut雙濾鏡，當鏡頭外的紅外感應點偵測到光線的強弱變化后，內置的IR-Cut自動切換濾鏡能夠根據外部光線的強弱隨之自動切換。
由于低照全彩需要兼顧彩色和紅外細節(jié)，因此在硬件層面需要讓攝像機能同時接收彩色和紅外圖像，而達到此目的的關鍵在于雙通濾光片的使用。雙通濾光片和IR-CUT濾光片區(qū)別在于：雙通濾光片讓環(huán)境中的可見光全部通過，同時讓所需要的紅外光透過，而IR-Cut是將所有紅外光過濾。
雙通濾光片原理圖
這一小改動既解決了同時透過可見光和紅外光的問題，又解決了環(huán)境中紅外光干擾問題，但徹底解決光干擾問題，同時實現高清真彩，還得配合軟件上的優(yōu)化。
2分時配準技術
分時雙光采集系統(tǒng)可解決低照全彩技術的信號獲取問題，但在成像層面仍然面臨很多問題，首要問題就因為分時采集而導致的彩色、紅外圖像配準。
低照全彩攝像機是同鏡不同時，因此低照全彩攝像機最大的配準難題在于時域運動。在夜間低照場景下，由于噪聲大、圖像信號弱等問題，時域配準所依賴的光流計算難以達到可用的精度。同時由于紅外和彩色特質不同，傳統(tǒng)光流算法提取到能夠匹配的特征點很少，導致圖像出現重影、顏色溢出等問題。
為了提升時域配準的準確度，低照全彩采用了基于深度神經網絡的配準技術，神經網絡具備強大的學習能力，可以通過訓練學習到彩色、紅外匹配特征，從而解決直接配準問題。
3降噪技術
噪聲是在信號采集過程中引入的一種圖像失真，其中最主要來自光子散粒噪聲，除此之外，噪聲來源還包括暗電流噪聲、熱點噪聲、固定模式噪聲以及讀出噪聲。為了獲得高質量的圖像效果，需要先對圖像進行降噪處理，盡可能的保持原始圖片信息的完整性，又能去除信號中的無用信息，改善編碼效率。
- 傳統(tǒng)的降噪算法：分為空域降噪和時域降噪�？沼蚪翟胍卜Q單幀降噪，即對單幀圖片進行降噪處理，效果較好的算法有 NL -Means（ 非局部平均）和 BM3D（ 三維塊匹配濾波）。時域降噪是一個廣義的概念，也稱多幀降噪，是在空域降噪的基礎上，引入幾個臨近幀的信息（即時域信息），對臨近幀中相似的像素塊在空間域做加權平均。時域降噪存在的問題是，如果前后幀內有運動物體，對不屬于同一個物體的兩個塊進行濾波處理會造成錯誤，產生拖尾現象。所以時域降噪的難點是要準確檢測出運動強度，根據檢測到的運動強度，對時域濾波和空域濾波的結果做加權平均。
傳統(tǒng)降噪基于圖像底層數據進行處理，當噪聲大過細節(jié)時，往往不能做很好的區(qū)分，導致降噪的同時會丟失圖像的細節(jié)信息，另外，對運動強度的估計受噪聲影響，當噪聲較大時，在降噪強度和運動區(qū)域拖尾之間很難做均衡。
低照全彩采用基于深度學習的降噪技術（即AI降噪），在以上方面都有較好的表現。基于深度學習的降噪技術采用全新的算法架構，利用類人腦學習，預先訓練好各種噪聲數據，可以更好的區(qū)分噪聲和細節(jié)、運動和非運動區(qū)域，改善傳統(tǒng)算法的運動拖尾問題，在抑制噪聲的同時保留更多細節(jié)信息。
4雙光譜融合技術
在傳統(tǒng)的RGB傳感器中，RGB提供了三個顏色通道用于合成顏色。那么，紅外信息是否能夠提供顏色信息？還是僅僅提供了空間結構的細節(jié)信息？答案是后者。由于紅外光屬于人眼不感知的信號，應該將其作為空間細節(jié)的一種補充。
在某些場景下，紅外圖像往往與彩色圖像具有非常大的特征差異。光波與分子的相互作用也會導致紅外圖像與彩色圖像結構的不同，例如所謂wood效應，即綠色植物在紅外圖像中亮度非常高這一現象，造成這一現象的原因為葉綠素的存在使得綠色植物對于紅外光的反射更強。同時，紅外圖像也會“隱藏”一些可見光下可見的細節(jié)信息。
紅外圖像和彩色圖像在特征上差距非常大，傳統(tǒng)的融合方案都是提取紅外的細節(jié)融合到彩色圖像的亮度通道上，而色彩直接使用彩色圖像的色度信息。紅外、彩色融合的難題在于提升清晰度的同時，要保持灰階的準確性，典型的算法有拉普拉斯金字塔融合、泊松融合等傳統(tǒng)算法。這些傳統(tǒng)算法能有效增強融合后的細節(jié)，但這些算法由于融合了低頻信號，會帶來偏色的問題，可是如果只融合高頻信號，又會導致紅外和彩色亮度差異大的邊緣區(qū)域效果不自然。
低照全彩技術采用AI融合方法，利用神經網絡提取Low-Level特征，通過訓練讓網絡自己進行細節(jié)融合的同時，保持色彩跟高清彩色圖一致。
給機器“看”的圖像質量，需要重新定義評價標準
隨著算力的普惠，在光學技術已經趨于天花板而AI算力遵循摩爾定律每兩年翻倍的今天，可以預見低照全彩技術在不久會成為攝像機的標配，圖像將“給機器看”得更好、色彩更真實、讓智能全天候可用。
有了方法路徑、有了技術，自然少不了科學的評價，這樣才能促進圖像技術的不斷發(fā)展。就如智能手機領域有DXO 標準來評價圖像能力，智能攝像機的圖像也應有自動化、科學的評價體系。
就在2021年，《面向機器視覺安防攝像機圖像質量評測方法研究報告》正式發(fā)布了，面向目標識別任務的圖像質量評價方法。當前，針對智能攝像機的關鍵應用場景，結合機器視覺任務進行圖像質量評價是一個關鍵方向。
