視頻圖像處理技術的原理及智能化發展

文/王松

圖像是人類獲取信息、表達信息和傳遞信息的重要手段，自從數字圖像誕生以后，圖像就逐步成為了人類獲取信息的主要形式之一。如今，觀看在線視頻、視頻會議、視頻通話、手機拍照、掃描儀掃描文件已經成為我們日常工作生活的一部分，這些都涉及到與視頻圖像打交道。隨著大數據時代的來臨，視頻圖像數據也在海量產生，視頻圖像處理技術的研究和應用也開始向智能化的方向發展。

圖像處理在安防監控中的應用

視頻圖像在采集、處理、壓縮、傳輸等過程受多種因素的影響，最終圖像可能存在噪聲、清晰度不夠、圖像過曝或者過暗等問題。圖像處理技術主要是目的就是為了最終給客戶呈現出一個高質量、視覺友好的視頻圖像。目前衡量圖像質量的幾個重要的指標分別是亮度、顏色、清晰度、對比度和噪聲等幾個方面。圖像處理包括圖像增強、圖像復原、圖像校正、圖像拼接等方面，本文主要講述了圖像增強技術在圖像質量方面的應用，包括寬動態、圖像插幀、圖像透霧、圖像防抖、圖像降噪、壞點校正、對比度提升、邊緣增強。

寬動態。寬動態主要應用在同時存在極亮和極暗的區域的場景。它可以同時保留高亮和暗部信息，即看清亮處又看清暗處。常用的寬動態技術目前有兩種，多幀合成和單幀色調映射。多幀合成利用傳感器多次曝光進行數據融合，同時保留長曝光低照信息和短曝光高亮信息，可達到比傳統傳感器寬50db以上的動態范圍。單幀色調映射通過對圖像的不同區域亮度信息局部進行調整，使暗區提亮、亮區抑制，提升整幅圖像的可見度。兩者各有優劣。多幀合成優點是可達到更大的動態范圍，缺點是容易造成運動拖尾色邊，同時畫面可能變蒙。單幀色調映射則不會造成運動拖尾色邊，但是它的動態范圍不變，只是把本來不清晰可見的一些信息進行了增強，當場景存在的亮處和暗處差距大時，只有選擇多幀合成的方法。下圖是兩種方法的效果：

圖1 多幀合成寬動態效果對比

圖2 單幀色調映射

圖像插幀。由于網絡條件帶寬限制和其他因素的影響，監控視頻畫面會出現停滯感和跳躍感，甚至出現拖影的現象。圖像插幀技術可使最后呈現的運動畫面平滑、不跳躍，提供更好的視覺體驗。插幀技術采用幀速率上轉換（FRUC，也稱幀率提升），即在兩幀畫面之間插入新幀是主流方法，通過實時計算場景物體的移動速度和方向，得到運動矢量的估計，據此生成新的插幀圖像。它能夠提供更好的視覺質量，特別是在低碼率視頻應用中，提高幀率可以恢復由于帶寬受限而在編碼端被跳過的視頻幀，從而使觀看者可以觀賞自然平滑的運動場景。

圖像透霧。當前的視頻監控系統對天氣條件非常敏感，當遇到雨霧、陰霾等能見度較低的情況時，景物圖像嚴重退化，這極大地限值和影響了戶外視頻監控系統效用的發揮。目前全球氣候越來越惡劣，霧霾天氣時常出現，透霧技術可突出源圖像中重點觀測內容，極大程度還原圖像的細節，解決“看的清”問題，實現監控系統全天候工作。圖像透霧效果如下：

圖3 圖像透霧前后效果對比

圖像透霧主流的方法是根據成像原理建立透霧模型，估計出相關參數，然后反推出透霧后的圖像。圖像透霧在霧的濃度還不是很大的時候可以取得較好的效果。如果霧很濃導致圖像基本沒有什么信息，那就可能需要光學透霧，光學透霧是通過特制的光學鏡頭來感知特殊波段的光線實現透霧。

圖像防抖。攝像機通常被置于載體上時，由于載體的運動或載體機座的振動導致攝像機的晃動，拍攝的圖像序列出現了抖動現象，由于圖像的抖動很容易引起眼睛的疲勞，影響觀測者對圖像序列的觀看和分析，也影響了圖像的后續處理。防抖技術就是為了減輕或消除這種抖動。圖像防抖有硬件防抖和電子防抖。其中硬件防抖是依靠專門的光學鏡頭或者其他硬件實現。電子防抖是通過圖像處理技術進行去除抖動，該技術首先通過估計當前幀的運動矢量，然后根據估計的運動矢量對當前幀進行運動補償，從而達到穩定圖像序列的目的。

圖像降噪。傳感器在將光信號量化成數字信號時會引入噪聲，尤其是當光線比較弱和傳感器增益比較大時噪聲更明顯。隨后在各個ISP處理環節對圖像數字信號進行處理時都有可能會引入噪聲。圖像降噪力求移除圖像噪聲的同時盡量保持其細節和結構。輸出圖像的信噪比會得到增強，給客戶更好的視覺感受，同時可以壓低碼流利于編碼存儲。降噪目前主要分為2D降噪和3D降噪。

2D降噪是空域濾波，通過低通濾波將圖像中的高頻成分過濾掉，但是在光線比較暗或者增益比較大時，降噪濾波對于噪點和細節之間無法做到完全區分，因此在濾除噪點的同時也會將部分細節抹平從而降低圖像清晰度，如下圖6所示：

圖4 2D降噪模塊效果對比

3D降噪是不僅在空域還增加時域上的降噪。視頻的前后幀圖像在時間上是相關的，但是噪聲在時間上是不相關的。時域降噪就是利用該原理進行前后幀的疊加處理進行降噪。時域降噪算法的優點非常明顯，能夠較好的保持圖像的邊緣和細節信息。它的缺點是如果時域降噪做的過強容易導致運動物體出現拖尾現象。

圖5 3D降噪模塊效果

壞點校正。傳感器由于生產工藝的限制，在出廠前可能會有一些壞的像素點，在成像時會留下離散的、比較突兀(過暗或者過亮)的像素點。在ISP模塊里對其進行校正時在消除壞點的同時，也會把畫面中的某些細節當做壞點進行處理，這樣就會降低清晰度，如下圖8所示：

圖6 壞點校正對清晰度影響示意圖

對比度模塊。由于人眼對亮度信號特別敏感，一張圖像中暗處和亮度細節都比較突顯的時候，人眼就感覺畫面通透，清晰度比較高。對比度增強模塊就是將畫面中暗處和亮處的灰度值反差拉開，在保留暗處和亮處細節的同時，將圖像的邊緣部分起到增強清晰度的效果，如圖9所示：

圖7 對比度增強模塊對清晰度的影響

邊緣增強模塊。該模塊增強圖像邊緣部分細節，它主要是一種補償輪廓、突出邊緣信息以使圖像更為清晰的處理方法。銳化的目標實質上是要增強圖像中的高頻成分。它與降噪濾波是一個相對的處理過程。若圖像未做邊緣增強時，人眼看上去像邊緣部分不夠銳利，但是同時該模塊如果做的太強會對整體圖像引入新的噪聲，如圖10所示：

圖8 邊緣增強對圖像效果的影響

安防領域圖像處理向智能化發展

安防領域的芯片不像手機芯片那樣性能每年都在大幅提升。圖像處理算法，尤其是高級的一些算法往往伴隨著大量的運算量，由于芯片處理能力仍然有限，許多算法在芯片上無法實現。安防領域的發展必須伴隨著攝像機芯片性能的提升，這樣才能實現更多的視頻圖像處理應用，提供更好的圖像體驗。

隨著手機4G、5G發展、國家的寬帶戰略，網絡傳輸端的能力會得到提升，隨著編解碼技術發展，保證畫質情況下，碼流也可降低。一些用來補救因為傳輸導致的清晰度下降、幀率不足、馬賽克等問題的需求可能會下降，但是相應的其他的圖像效果需求又會冒出，一些新的圖像處理技術會被引入。

目前圖像的處理還主要是圖像處理、圖像分析的初級階段。還沒有結合更高層次的圖像理解或者深度學習等方法。如何在不斷改進圖像處理分析能力的同時，借助圖像理解、深度學習，對于圖像形成語義層次的認識，即把對圖像場景描述與理解、場景中目標識別、目標之間關系等結合到圖像的處理分析上，是算法人員的一大挑戰。目前算法存在的一些難以解決的問題，可能在更高維度上可能可以更好的進行處理。

結束語

目前在安防領域，圖像處理技術主要是為了增強圖像質量，如上所述一些算法存在的一些問題，還需要算法的不斷提升改進。圖像質量沒有最好，只有更好。算法改進之路也是永無止境。當然，另一方面，我們也需要認識到算法是一種工具可以改善效果，但是前端的硬件決定了輸入源的效果，良好的硬件無疑將極大的提升圖像的質量，因此硬件的成像效果改善也需要不斷提升。