淺析視頻監控領域圖像處理技術

□　文/曾峰

淺析視頻監控領域圖像處理技術

□文/曾峰

圖像處理技術和人眼視覺的關系

圖像技術處理，image signal process，業內簡稱為ISP技術。在了解ISP技術之前，我們要先了解人眼的視覺感知，這是因為人類對圖像信號的處理全部來源于對人眼的模仿，了解了人眼的視覺構造，就可以和圖像處理部分的內容一一對應起來，更好地理解圖像處理的知識。從圖1可以看到人眼的構造，居于眼球璧內層的透明薄膜就是視網膜，它布滿整個后部內壁，主要負責感光成像，當我們看東西時，物體的影像通過屈光系統，落在視網膜上。

▲圖1 人眼視覺

人眼與攝像機有哪些相似之處呢？

首先，晶狀體相當于攝像機的鏡頭透鏡(lens)，其作用是聚集光線，在視網膜上形成圖像。

另外，人眼的虹膜相當于攝像機的光圈，虹膜通過收縮和伸張來控制進入的光線，以達到人眼的亮度均衡。簡單舉例，當我們突然進入一個高亮的環境，開始人眼是看不清楚東西的，在適應一段時間后，事物會逐漸清晰，這個就是虹膜調整之后的結果，人眼所感知的最后的亮度其實是一致的。

視網膜是人眼核心的功能，仿照這個功能，攝像機上有與之對應的傳感器 (sensor)，視網膜表面分布的光接收器產生圖像視覺信號。

圖像處理中的關鍵技術

前面提到攝像機都是在模仿人眼的構造來成像，現在看一下攝像機的成像系統有哪些具體的構成。首先輸入的圖像會通過鏡頭傳遞到圖像傳感器上，圖像傳感器感知的數據會被后面接收，圖像信號處理系統會對這些數據進行處理，通過一系列的算法，例如降噪、白平衡、CFA、曲線矯正、色彩矯正，從而形成人眼可以看到的正常圖像。圖像信號處理，也叫做ISP（Image Signal Process），其作用是模擬大腦對視網膜上的成像進行處理，產生視覺感知的圖像。

▲圖2 ISP處理流程圖

低照度

視頻監控領域對圖像的低照度要求很高，需要在很暗的場景下看清楚物體，低照度下為了提升亮度，會起一些噪聲，所以在研發過程中需要花很多精力在降噪上。目前視頻監控產品實際應用的降噪技術主要是通過區分噪聲和圖像本身的細節，以線性或非線性濾波將噪聲從圖像中去除，根據噪聲判決與去除所用與參考的視頻信息的分布維度，降噪技術可分為空域濾波（Spatial Filter）、時域濾波（Temporal Filter）、運動自適應濾波（Motion Adaptive Filter）和運動補償濾波（Motion Compensation Filter）等幾大類。

寬動態

大家應該都有過在逆光環境下拍照的經歷，有些在窗戶口拍出的照片，人臉都是黑的。圖像里面還有一個比較關鍵的技術是寬動態，也叫HDR，就是用來解決逆光下圖像處理的問題。普通的相機只曝光一次，如果同時存在亮暗對比很強烈的物體，那么就要看哪部分占得比例大，就會以這個亮度來曝光。比如，室外光線很強，按照這個亮度來處理后，人臉看起來就會比較暗。

研發人員想了很多辦法來擴大傳感器的動態范圍，目前主流的技術都在曝光強度控制方面想辦法，稱為多重曝光。多重曝光的思路是通過幾次不同時長的曝光來獲取落在合適范圍內的數據。假設多重曝光技術用12bit/72db的傳感器首先曝光20毫秒，此時暗處可獲得足夠細節但亮處會因飽和而過曝；再通過1.25毫秒曝光使亮處所得能量削弱至1/16以落到飽和門限之下，此時暗處是曝光不足的。將上述相差16倍的數據合并，即可獲得共16bit即96db的動態范圍——比采用12bit/72db的單次曝光提高了16倍。

▲圖3 左為普通相機右為HDR相機

視頻監控領域圖像的特點

現實生活中，大家對手機或者數碼相機的圖像更了解一些，視頻監控領域對圖像的要求跟相機有很大的區別的，監控領域要求的是盡量真實地還原真實的物體，而手機和數碼相機可能就需要對圖像做一些渲染，讓畫面更美。比如我們現在常用的美顏相機，就是要刻意遮蓋人臉的細節信息，突出五官，拍出有妝容效果的圖片，而視頻監控卻需要盡量還原人臉的細節信息，盡量呈現真實的色彩，這樣才能為公安機關提供有價值的線索。所以監控的圖像看起來可能不能像手機或者數碼相機那么絢麗，但是卻是最接近真實場景的圖像。

攝像機需要捕捉夜視下的清晰圖像，這樣就對攝像機的低照度要求很高，為了看到低光照下的圖像，圖像傳感器通常要將信號放大很多倍，這樣就會帶來噪聲，因此就要用到降噪算法。數碼相機在夜晚拍照主要靠閃光燈補光，不會起很大的噪聲，但是閃光燈對照相距離有要求，不能用到比較大或者遠的場景，而攝像機監控的場景范圍通常比較大，這樣也更加倚重于攝像機的低照度效果。

除此之外視頻監控和手機圖像的不一樣還在于，監控攝像機很多時候需要在惡劣的條件下工作，比如雨天，霧天，雪天、高溫和低溫，并且是全天候的工作，這就需要保證所有時刻圖像的正常。所以有時候為了兼容更多的場景，很多圖像參數都需要做一些差異化的設置。此外，攝像機由于監控需要，非常關注運動的場景，這個和手機拍照有所有不同，很多時候手機拍攝的運動物體都是模糊的，而攝像機卻需要不管是白天還是晚上，都要看到清晰的運動物體，這個對圖像處理技術的要求是非常高的，運動物體的細節不僅涉及到圖像技術里面的色彩校正、銳化、降噪、插值等模塊，還跟編碼相關，特別是低照度下的運動物體，更是多領域協同作戰的結果。

四 海康威視圖像處理的優勢

海康威視注重研發創新，每年的研發投入很大，在圖像技術上，10年前就設立了專門的圖像處理團隊，對圖像處理過程的每一步算法進行過深入的研究，并且不斷在創新。

海康威視的星光系列攝像機，能在星光的場景下拍出清晰如白天的效果，帶給用戶極大的使用體驗，推出至今得到了市場的廣泛認可。這其中就用到了海康威視自主研發的細節增強算法和3D降噪算法，其將人眼的主觀感受和自適應細節增強和降噪技術相結合，基于圖像內容，將增益作為參量進行自適應調節，追求各種照度下的圖像信噪比最優化，在低照度場景中效果尤為明顯。下圖就是海康威視星光系列攝像機和iphone6s的低光照下圖像對比，由圖4可見海康威視星光系列攝像機的效果是非常震撼的。

▲圖4 攝像機和手機低光照圖像對比

結束語

隨著編解碼技術的發展，特別是海康威視新推出的H265和Smart 265技術的高清產品，針對多數的監控應用場景，可以較大幅度的降低監控系統的存儲成本。未來的監控領域的圖像一定會朝著更高清更低照度的方向發展，現在200分辨率已經成為主流，300萬、500萬、800萬分辨率也正在飛速的發展，后續分辨率更高、低照度更好的圖像一定會給視頻監控帶來更多可能。

作者單位：杭州海康威視數字技術股份有限公司