視頻圖像增強技術及應用淺析

文/張海燕

“讓我們看得更清楚”，這已經是許多用戶在使用視頻監控產品時提出的一個迫切而內在的需求。隨著安防監控領域的快速發展，視頻監控市場的高清化發展方向愈發清晰，各種高清采集、高清傳輸、高清解碼和顯示設備雨后春筍般冒了出來，極大地滿足了人們對高清畫質的需求。高清設備帶來的高分辨率提升了視頻清晰度，但仍不能保證在所有情況下都能看的清楚，看的明白，比如雨天、霧霾等惡劣天氣或者夜間低照度環境下，雖百萬像素也只能望圖興嘆，無可奈何了；又如為了節省帶寬而采用高壓縮比編碼帶來的分塊效應，造成圖像質量下降。如何解決這些極端環境造成的畫質大幅下降，在這些惡劣環境下看得更清楚，這就是視頻圖像增強所要面對和解決的問題。

所謂圖像增強是加強圖像中感興趣的信息，其目的是要改善圖像的視覺效果，針對給定圖像的應用場合，有目的地強調圖像的整體或局部特性，將原來不清晰的圖像變得清晰或強調某些感興趣的特征，擴大圖像中不同物體特征之間的差別，抑制不感興趣的特征，使之改善圖像質量、豐富信息量，加強圖像識別效果，滿足某些特殊分析的需要。所要抑制的不感興趣特征主要就是圖像噪聲點，在圖像增強技術的發展中，抑制或消除圖像噪聲點占據了很重要的位置，也發展出很多專門去噪的算法。

視頻圖像增強技術特點

同行為分析、車牌識別、人臉抓拍、客流統計、視頻診斷等智能化技術一樣，圖像增強也隸屬于智能分析技術范疇，但前者在各自領域大行其道，各個行業廣泛應用，引領著安防監控行業的快速發展，而圖像增強雖然從技術上來看發展更早，現在市場上的應用也越來越多，卻并沒有在視頻監控領域占據顯要位置，這種情況的出現圖像增強自身特點密不可分。

相比視頻領域智能分析的其他技術，視頻圖像增強有以下幾個顯著特點：

底層應用

智能分析的其他技術都是基于對視頻圖像的操作和分析，而視頻圖像增強則直接對視頻幀圖像的原始數據進行操作，只有經過了包括增強處理在內的一系列處理的原始數據才變成最終視頻圖像，顯示到設備上或進行后續其他處理。更多情況是，圖像增強是作為設備或者其他技術的子模塊附帶出現，并沒有直接呈現給客戶。

無客觀評價指標

行為分析、車牌識別、人臉抓拍及客流統計等應用，一般都有標準的適用環境，有一套標準規范來統計準確率，也就可以做到統一有效地客觀評價，效果優劣非常直觀。統一的客觀評價對這些技術的發展起到了很好地推動，也容易得到客戶的認可。反觀圖像增強則沒有一個直觀而客觀的評價標準，往往要通過人的主觀評價及處理前后的圖像對比來判斷。缺乏有效地評價指標限制了視頻圖像增強技術的應用和發展，同時其效果也很難得到客戶的一致認可。

無統一理論和應用框架

在圖像增強技術的發展過程中，出現了各種各樣的方法，應該說這些方法目的是一致的，那就是提升圖像視覺效果，但針對不同的問題或者不同的環境，其所采用的方法卻大相徑庭。圖像增強沒有統一的理論，它往往是面對問題，針對特定的問題采用特定的方法，如圖像模糊則要用銳化的方法來增強，而圖像噪點多的情況則要做平滑處理。如何根據場景的變化選用最佳增強算法，很多時候甚至需要人工來干預，這給視頻圖像增強技術在監控領域的使用帶來很多不便。

視頻圖像增強技術方法

圖像增強方法很多，且隨著技術發展也不斷有新的方法出現，但其歸根結底都無非利用了圖像像素間冗余信息和人眼的視覺特性，從大的方面看可以分為空間域方法和頻域方法。空間域是單幀圖像自身，通常以直接處理像素為基礎。而頻域則是修改圖像的在頻域里的變換為基礎，常用的有傅里葉變換、小波變換等。

空間域圖像增強方法

所謂空間域增強是指增強構成視頻圖像的像素，直接對這些像素操作的過程。主要有以下方法：

基本灰度變換：將圖像像素值由一個范圍映射到另一個范圍，包括線性變換，對數變換和冪次變換等，比如大家熟知的伽瑪校正就是一種冪次變換。通過灰度變換，可以提高不同像素點間灰度差，提高對比度，更有利于人眼認清細節。同時該方法也是其他一些高級方法的基礎。

直方圖處理：將原圖像通過某種變換，得到一副灰度直方圖為均勻分布或者規定分布的新圖像的方法，是圖像增強算法中最常用、最重要的算法之一。它以概率理論做基礎，運用灰度點運算來實現直方圖的變換，從而達到圖像增強的目的。通過直方圖均勻化可以有效改進圖像的動態范圍，提高對比度，更有利于人眼對細節的辨認。

平滑空間濾波：平滑空間濾波主要是進行過濾圖像噪點，平滑圖像。平滑濾波方法很多，比如線性平滑濾波，包括均值濾波等；非線性平滑濾波，如中值濾波。線性濾波有很好的平滑效果，可以過濾噪點，但也會導致邊緣細節的模糊。非線性濾波是對線性濾波的一個改進，會對根據像素點的狀態采取不同的策略，可消除一些孤立的噪點，對圖像細節影響不大，但會對圖像的邊緣帶來一定的失真。為了克服以上兩種算法的缺點，人們又提出很多改進方案，引入自適應的平滑算法，通過各種方法兼顧噪點的濾除和圖像細節的保持。

銳化空間濾波：同平滑空間濾波相反，銳化空間濾波是為了突出圖像中的細節或者增強被模糊了細節。銳化空間濾波主要通過一階和二階的銳化濾波器來實現，如梯度法、拉普拉斯算子濾波等。銳化空間濾波會提升圖像細節，但也會使噪聲點得到放大。

綜合方法：為了達到圖像細節和噪點過濾及對比度等，人們發展了很多綜合性方法，如Retinex算法，以人類視覺原理和色感一致性（顏色恒常性）為基礎，可以在動態范圍壓縮、邊緣增強和顏色恒常三方面達到平衡，因此可以對各種不同類型的圖像進行自適應性地增強。

頻率域圖像增強方法

頻率域圖像增強是將圖像視為2維信號，變換到頻率域進行過濾增強操作。圖像從空間域轉換到變換域的變換方法很多，如傅立葉變換、沃爾什-哈達瑪變換、余弦變換、K-L變換以及小波變換等。而傅立葉變換和小波變換則是常見的用于圖像去噪的變換方法。

低通過濾：類似空間平滑濾波，將高頻部分過濾到，達到去噪的目的。常用到的有巴特沃斯低通濾波器，高斯低通濾波器等，

高通濾波：類似銳化空間濾波，保留更多高頻部分，達到提升圖像細節的目的，但也會帶來噪點的放大。

頻率域圖像增強由于要進行頻率變換，計算復雜度比較高，在監控視頻領域的應用受到一定限制。

其他方法

前面提到的都是數字圖像處理的傳統方法，運算簡單，缺點也很明顯，針對性比較強，效果單一，很難在噪聲過濾和邊緣細節保持上同時兼顧。近些年來，為了在噪聲過濾的同時兼顧到細節保持發展出了很多新的方法。比如PDE方法、3D降噪等。

PDE方法：將偏微分方程方法用在圖像去噪中，可以利用偏微分方程具有各向異性的特點，在去除噪聲的同時，很好的保持邊緣。該方法通過建立噪聲圖像為某非線性偏微分方程（PDE）的初始條件，然后求解這個PDE，得到在不同時刻的解，即為濾波結果。該方法的各向異性去噪模型可以根據圖像的梯度值決定擴散的速度，使之能兼顧噪聲消除和邊緣保持兩方面的要求。

3D降噪：3D降噪利用了視頻幀前后幀圖像內容相關的特性，通過對前后幀圖像的信息融合，找出為噪點的像素進行過濾，是視頻圖像過濾噪點特有的方法。同時，可以根據幀間運動信息對不同的視頻區域采用不同的降噪策略，在降噪的同時兼顧保留運動細節，有效地提升了視頻質量。

還有很多圖像增強和去噪方法在噪聲點去除、邊緣細節處理和對比度提升上都有很好的表現，但由于其運算復雜度高或者針對性比較強，并不適合在視頻監控領域內使用，而更多面向專門圖像處理系統，如醫療圖像、遙感等領域。但隨著硬件設備和圖像技術的不斷發展和進步，必將有更多新的視頻增強技術應用到視頻監控中來。

視頻圖像增強技術應用

前面介紹了實現視頻圖像增強的一些基礎方法，而我們在產品中可以看到的則是基于這些方法的應用。下面就視頻圖像增強技術在產品中的應用做一個簡要介紹。

作為產品的基礎模塊或基礎技術的應用

在智能分析的一些應用中，圖像增強往往是作為基礎技術來使用，比如車牌識別、行為分析等技術在處理一些特別場景下圖片或視頻時，都會有圖像增強技術來改善圖像質量，方便后續處理。再如在相機ISP處理中的應用，相機寬動態、逆光效果、低照度效果等，都是圖像增強技術的應用體現。

特殊天氣應用

在大霧、大雨、沙塵等惡劣天氣時，特殊的天氣狀況造成視頻圖像對比度和顏色被改變或退化，圖像中的很多細節特征都被覆蓋或模糊。這種情況采用針對性的視頻圖像增強方法可以有效地提高視頻圖像對比度和圖像細節，提升圖像質量，如去霧算法就可以在改善霧天視頻質量上達到很好地效果。

動態視頻畫質提升

在一些大場景下，一些運動目標因其速度較快，其在視頻中的成像會有拖影、邊緣不清晰等情況，針對該情況利用視頻圖像增強技術進行邊緣修復處理，會很好地提升圖像質量。

視頻質量提升

在視頻會議系統中，低帶寬下高損傷視頻解碼出現的視頻紋理邊緣振鈴效應、高量化方塊效，通過視頻增強可以有效解決該問題。

視頻圖像增強技術發展趨勢

當前視頻增強技術應用更多的是通過與其他智能分析技術和高清設備相結合的方式，為其他技術的應用，為其他設備的品質提高保駕護航，而獨立的視頻圖像增強設備相對還比較少，應用也比較單一，往往只面對特定的場景，如去霧應用、去噪設備等?？梢灶A見，隨著視頻監控市場的不斷發展，產品形態不斷越發展，視頻圖像增強技術的應用也出現多樣的趨勢，呈現出越來越底層，越來越專業的特點。

底層化

隨著高清采集和顯示設備的快速發展，視頻圖像技術逐漸向設備底層發展，與硬件設備緊密結合，為提升設備畫質水平保駕護航，類似攝像機寬動態、逆光、清晰度設置等特色的功能將越來越多。還有就是硬件化的趨勢，將圖像增強或降噪模塊集成到芯片里，給設備開發利用相關技術帶來很大便利。

專業化

專用的視頻圖像增強設備將快速發展，它為特定的應用場景量身打造，在使用效果上也將更加專業，如去霧、去拖影等專用設備。但隨著產品集成化越來越高，專用的視頻圖像增強設備是否能像人臉抓拍、行為分析設備一樣，得到客戶的認可，還有待市場的檢驗。

結束語

可以預見，視頻圖像增強技術將與現有的智能分析技術不斷的融合，并滲透到各種產品形態中，應用到視頻監控的各個環節，進而演化出更多的智能化產品類型，更豐富的業務應用，更靈活的系統結構，從而推動智能視頻技術更深入的與行業用戶的業務需求相結合，為視頻技術開拓出更大的行業市場。