一種安防專用視頻增強儀

賈永華

一種安防專用視頻增強儀

賈永華

?？低曆邪l了一種自適應的視頻圖像增強和視頻穩定算法，開發出了一款安防專用的視頻增強儀。適合于實現圖像增強和視頻穩定，以更好地為安防監控行業服務。

隨著攝像系統在各領域中的廣泛應用，對圖像信息的清晰性和穩定性要求也在不斷提高。而圖像的不穩定主要是由攝像機載體的運動導致的，因此運動載體上的攝像系統需安裝穩像系統。視頻穩像是新一代的穩像方法，它利用數字圖像處理等技術實現實時、高精度地穩定動態圖像；由于受各種外界因素的影響，拍攝的圖像有時候不利于人眼觀察和計算機處理，圖像增強的目的是增強圖像的視覺效果，將原圖像轉換成一種更適合于人眼觀察和計算機進行分析處理的形式，使處理后的圖像適合于某種特定的應用。

海康威視研發了一種自適應的視頻圖像增強和視頻穩定算法，開發出了一款安防專用的視頻增強儀。適用于實現圖像增強和視頻穩定，以更好地為安防監控行業服務。

引言

隨著電子計算機技術的進步，人們利用計算機對圖像進行各種形式的處理，促進了圖像處理技術的發展。在圖像處理過程中，圖像增強作為預處理部分的基本技術，用于改善圖像的質量。由于它在許多領域得到了廣泛應用，受到了人們的重視。圖像增強是圖像處理的基本內容之一。圖像增強是指按特定的需要突出一幅圖像中的某些信息，同時削弱或去除某些不需要的信息的處理方法，從而有目的地強調圖像的整體或局部特征。增強處理后的圖像不一定逼近原始圖像，但信息量會更加豐富，圖像判讀和識別效果會更好。

攝像系統已廣泛應用在艦船的光電設備、無人機偵察系統，以及偵察車的監視系統等領域中。而攝像系統的工作效果要受到其載體不同時刻的姿態變化或振動的影響，反映到監視器上，就是獲得的圖像信息不穩定、模糊。而這種不穩定的圖像易讓觀察者產生疲勞感，從而導致誤判和漏判；對于目標自動識別系統會導致漏警和虛警。所以，在運動的載體中，攝像系統的穩像是一個十分重要的問題。

圖像增強

圖像增強是很早的課題，國內外對此有很多研究相應算法也有許多。這些方法都有各自的優缺點，總體來說，它們大致可以被分成頻域法和空域法兩大類。

頻域法是對原圖像進行某種變換（如，傅氏變換、小波變換等），在變換域中進行處理達到增強的目的，這種方法的計算量相對較大，變換的參數選取人工干預較多。

空域法則是直接對原始圖像進行處理，主要算法有直方圖均衡、直方圖變換、邊緣提取、平滑濾波、局部灰度和增益控制等。這類方法一般普適性較差。

近年來出現了模糊處理方法，其處理步驟通常為：首先將空域中的原始圖像數據通過模糊化映像，使其成為特征平面中的模糊圖像的數據，然后利用特征平面中的各種性質，對圖像信息進行處理，最后將處理后的信息數據逆映像到空間域，從而獲得增強后的圖像。這種方法很好地利用了圖像所固有的二義性，比較符合人的視覺習慣；但是這種方法也有其缺點，它需要人工介入來確定渡越點及飽和點，這就限制了其應用。下面介紹幾種常見的圖像增強方法。

傳統的圖像增強方法

傳統的圖像增強處理方法基本可以分為空域圖像增強和頻域圖像增強兩大類?？沼蚴侵附M成圖像的像素的集合，空域圖像增強直接對圖像中像素灰度值進行運算處理，如灰度變換、直方圖均衡化、圖像的空域平滑和銳化處理、偽彩色處理等。頻域圖像增強是對圖像經傅立葉變換后的頻譜成分進行操作，然后逆傅立葉變換獲得所需結果，如低通濾波技術、高通濾波器技術、帶通和帶阻濾波、同態濾波等。為了適應圖像的局部特性，基于局部變換的圖像增強方法應運而生，如局部直方圖均衡化、對比度受限自適應直方圖均衡化、利用局部統計特性的噪聲去除方法。目前還將一些學科與圖像處理相結合，如基于神經網絡的脈沖噪聲濾波技術、基于紋理分析的保細節平滑技術等。

灰度變換

灰度變換是圖像增強的重要手段之一，通過擴大或改變灰度的值域范圍，提高清晰度，使特征更加明顯。它主要利用點運算來修正像素灰度，通?？煞譃榫€性變換、分段線性變換、非線性變換。線性變換對于灰度范圍較窄的圖像可以較好地改善圖像，對于其他一些圖像增強效果并不明顯。為了突出圖像中感興趣的目標或灰度區間，采用分段線性變換。對于目標和背景可以明確區別的圖像，可以借助圖像的灰度直方圖來確定分段區間的灰度范圍。一般為了準確確定變換區間，需要反復調整區間范圍，很多情況下根據經驗來確定。通過拉伸目標對應的灰度范圍，壓縮背景對應的灰度范圍，增強目標和背景的對比度，利于人眼觀察和計算機處理。在某些情況下，應用非線性變換可以獲得比線性變換更好的增強效果，如在圖像過暗或過亮的情況下，利用指數變換或對數變換的效果可能比線性變換更好一些，然而它們容易使圖像過增強或欠增強，同時參數也較難控制。

直方圖均衡化

直方圖均衡化方法是圖像增強空域法中最常用、最重要的方法之一。目前主要包含傳統的直方圖均衡化、局部直方圖均衡化兩大類。傳統的直方圖均衡化能自動地增強整幅圖像的對比度而得到了廣泛的應用，但由于不能適應圖像的局部亮度特性，易發生灰階合并現象，從而造成區域細節丟失，同時對噪聲也較為敏感。局部直方圖均衡化是一種自適應的方法，能最大程度地增強細節部分，主要缺點是它的計算量非常大，同時會引進很多噪聲。雖然對于局部直方圖均衡化方法進行了改進，然而運算速度仍是制約其應用的重要因素之一。

基于多尺度分析的圖像增強方法

多尺度分析又稱為多分辨率分析，它是由Mallat于1989年首先提出的。以小波變換為代表的多尺度分析方法，被認為是分析工具及方法上的重大突破。小波分析在時域或頻域上都具有良好的局部特性，而且由于對高頻信號采取逐步精細的時域或空域步長，從而可以聚焦到分析對象的任意細節。隨后取得了許多研究成果，如Sattar et al提出了一種非線性的多尺度增強方法、楊煊提出了一種基于方向信息的多尺度邊緣檢測和圖像去噪的方法等。

數學形態學增強方法

數學形態學是用具有一定形態的結構元素去量度和提取圖像中的對應形狀，以達到對圖像分析和識別的目的。它的數學基礎是集合論，最基本的形態學算子有腐蝕、膨脹、開和閉。數學形態學增強技術主要是形態學平滑去噪技術，相對圖像開啟然后再閉合是一種對圖像進行平滑的方法。這兩種操作的綜合效果是去除或減弱亮區和暗區的各類噪聲?；跀祵W形態學的形態學濾波器可借助先驗圖像的幾何信息。利用數學形態學算子，有效地去除噪聲，同時又可以保留圖像中原有的信息。

模糊增強方法

近年來不少學者致力于把模糊集理論引入圖像處理和識別技術的研究。由于圖像本身的復雜性，多灰度分布所帶來的不確定性和不精確（即模糊性），使得用模糊集合理論進行圖像處理成為可能。自Pal和King率先將模糊集合理論應用到圖像增強處理上，模糊增強技術受到了人們的重視。Chen et al（1995）把模糊集引入到經典的直方圖修正中，提出了一種自動直方圖修正方法；Action （1998）基于模糊非線性回歸給出了一種圖像增強方法，并且用于遙感圖像的去噪和邊緣增強；近年來Han et al （2002）推廣了通常意義的彩色直方圖，提出了模糊彩色直方圖的概念，并且已經成功應用于彩色圖像的檢索；Russo （2002）充分利用模糊集理論解決不確定性問題的優勢，較好地解決了受到沖擊噪聲干擾的彩色圖像的邊緣檢測問題；模糊集方法和神經網絡、遺傳算法結合用于圖像增強的方法正在研究之中。

另外，由于沒有圖像增強的通用標準，主要是根據人眼的主觀判斷和經驗知識，結合人類的視覺特性模型，基于人類視覺的圖像增強技術也成為一種研究趨向。

視頻穩像

通常采用的穩像方法有：主動穩像、被動穩像和視頻穩像。主動穩像是安裝陀螺穩定平臺穩定攝像系統，陀螺穩定平臺主要是衰減低頻振動。被動穩像是采用減振裝置來隔離載體的振動，抑制高頻振動對攝像機的影響。主動穩像和被動穩像可配合使用實現寬范圍的穩像。但是，由于高精度的陀螺穩定平臺不僅結構復雜，體積大、價格昂貴、功耗大，而且在有的場合，如彈載、輕載飛機、外星球探測中，因體積的限制而無法使用。所以，提出一種新型的穩定方法——視頻穩像技術來實現電視圖像的穩定。

由于視頻穩像算法直接處理圖像，可簡化設備，提高穩像精度，近幾年來美國、加拿大、韓國、日本等國對穩像算法展開了深入的研究，提出了多種方法，但總的來說，已有的分析方法主要分為兩類基于特征量的方法和基于光流的方法?；诠饬鞯姆椒ɡ昧嘶叶鹊淖兓畔ⅲ枰獜膱D像序列的灰度變化中計算速度場。根據文獻報道，由于實際景物中的速度場不一定總是與圖像中的直觀速度場有唯一對應關系且偏導數計算加重噪聲水平，使得光流法得到的結果在使用中常常不穩定，因此提取對灰度不敏感的有效特征量計算圖像運動矢量的方法應用得較多。目前，主要的穩定算法有代表點匹配法RPM（representative point matching）、投影算法PA（projection algorithm）、特征量跟蹤算法FTA（feature track algorithm）等，各種方法都有其特定的適用范圍，具體介紹如下：

代表點匹配法

代表點匹配法已應用在小型攝像系統中。代表點是圖像上最簡單的特征量，通常是將圖像分成四個區域，每個區域分別選取若干個代表點，每個點有一個確定的搜索區域。建立先前幀與當前幀圖像代表點之間的對應關系式，最后以搜索區域內選定的代表點為相對參考點作一個相同位移值，相應的有一個絕對差值，對所有代表點坐標的絕對差值求和，獲得一個相關函數關系式如下：

式中It-1，It表示第k個代表點在先前幀和當前幀圖像中的像素數據。每個區域內對應(i,j)會有一個最小差值和，那么這個位移量可作為該區域的圖像運動矢量，通常四區域的位移矢量是不相等的，如果被攝景物是靜止的，可以將四區域的位移值平均作為整幅圖像的運動矢量。此方法的優點是算法簡單、計算量小。但是由于代表點是確定的，并非是圖像上有明顯特征的點，因此對圖像的變化不敏感，對旋轉晃動和慢速晃動尚不能補償。此方法的檢測精確度在信噪比為30dB時能達到正負0.5像素差值。

投影法

投影法是利用圖像總體灰度變化規律來確定圖像運動矢量的一種方法，它不必對圖像上的每一點做相關運算，而是利用圖像的灰度投影曲線做一次相關運算，因此它的運算量小，運動估計速度快，容易滿足實時性要求。投影法通常分為三個步驟：1）灰度映射。當前幀圖像經過預處理以后，投影成為兩個獨立的一維波形，其投影公式如下:

其中Gk(j)，Gk(i)分別表示第k幀圖像的j列、i行的灰度值，Gk(i,j)表示第k幀圖像(i,j)點位置處的灰度值；2）進行投影濾波，由于圖像邊緣信息是唯一的，當圖像位移量較大時，會導致投影波形在邊緣處的差異性，在進行相關計算時會對互相關峰值產生影響從而降低精度。可用余弦平方濾波器進行濾波，降低邊緣信息的幅值，保留中心區域的波形，從而降低邊緣信息對互相關峰值的影響，提高檢測精度。在邊緣信息較為粗糙時，可以去掉若干行、列的像素后再用投影法計算其運動矢量；3）矢量的提取，分別將當前幀與參考幀的行、列灰度投影波形做互相關計算，根據兩條相關曲線的唯一谷值即可確定當前幀相對于參考幀的行和列的運動矢量。

一般的投影算法都是對整幀圖像進行投影計算, 得出的是全局運動矢量。它只考慮了平移現象，對于旋轉則沒有考慮。而且當圖像中有攝像機的正常掃描和圖像中有小目標運動時，檢測的運動矢量則不是很準確，算法精度下降。為了解決這個問題，改進的投影算法被提出。一種改進算法是：將當前幀圖像分為幾個區域，對每個區域進行投影計算，得出局部運動矢量，再由局部運動矢量求取全局運動矢量，這樣可以將小目標運動矢量剔除。通常，分的區域越小，對運動矢量的估計越有利，但是,區域一小，投影曲線的變化就不是很明顯，對估計精度很有影響。因此，選擇適當的大小是很有必要的，要根據實際應用綜合考慮。

特征量跟蹤算法

特征量跟蹤算法是穩像算法中獲取圖像運動矢量的重要算法，由于在獲取圖像運動矢量時采用像素點匹配計算量大，而基于頻域的分析方法對圖像所含信息的利用程度低，所以該算法是較常用的算法。主要利用的特征量有角點、直邊緣、曲邊緣等局部特征和型心、表面積、慣量矩的長短軸等全局特征。在具體應用中，采用什么特征量主要看目標具有那些特性。

特征量跟蹤時，在真實場景中可能會面臨一個嚴重的問題，各特征量所處的環境往往很復雜，其中經常有各種干擾，如目標的遮蓋、景物的陰影、背景的變化等，這些變化就使得特征量的跟蹤變得十分困難。但是，如果事先對要處理的目標的某些信息如幾何結構信息有所了解的話，將這些知識用于工作中就能使在特定條件下的特征量的跟蹤變得比較簡單而且可靠，這也是利用特征量進行跟蹤的一個主要原因。文獻中Thompson，Lowe和Tsai等人提出了多種根據結構信息的特征量跟蹤算法。

利用FTA算法獲取各特征量的運動矢量是圖像的局部運動矢量，穩定圖像還需要求出圖像由攝像機引起的全局運動矢量。全局運動矢量是在局部運動矢量的基礎上, 利用準確設定的圖像運動數學模型來求取的，即將特征量的局部運動矢量帶入設定的數學模型中，然后求解方程組得到圖像全局運動矢量。

運動決定

得到了每幀的全局運動矢量以后，還不能直接進行補償，需要進一步判斷該矢量為抖動矢量還是抖動矢量和攝像機正常掃描運動矢量的合成。攝像機的正常掃描運動與圖像的抖動是有較明顯區別的。抖動是隨機的，而正常掃描活動在某一短時間內，往往是向著同一個方向運動, 連續多幀圖像的全局運動矢量具有一定的方向性。另外，掃描運動一般比較緩慢，而抖動比較快， 抖動引起的運動矢量往往要大于掃描運動引起的兩幀圖像之間的運動矢量。根據這些特點，一種判斷方法如下:

定義

其中T1表示連續N幀圖像中相鄰幀運動差的絕對和，T2表示N幀圖像的平均運動矢量MV(ti) 表示第ti幀圖像相對于參考圖像的全局運動矢量，根據上面的判別式得出：如果T1/T2＜K1且K2＞K1，則為掃描運動，否則為隨機抖動。K1，K2為常數,根據具體情況設置。這只是一種較為簡單的判斷方法，并不適合所有的場合，正常掃描和抖動之間并沒有明確的界限，往往憑人的主觀感覺判定，抖動與正常掃描的判定方法還有待進一步研究。

運動補償

在進行判定以后，就可以根據判定情況進行補償。當沒有攝像機的正常掃描時，全局運動矢量就是抖動矢量，是需要去除的。根據全局運動矢量補償當前幀圖像，得到穩定圖像。全局運動矢量如果是幀到參考幀的，則直接進行補償。如果全局運動矢量是相鄰幀之間的運動矢量，則需要將當前幀運動矢量與它前面幀的運動矢量求和，得到當前幀與參考幀的運動矢量，然后對當前幀進行補償。

當存在攝像機的正常掃描時，需要進行濾波，求出攝像機正常掃描的運動矢量，然后由當前幀的全局運動矢量減去正常掃描的運動矢量，得到抖動矢量，而后進行補償。常用濾波方法有以下三種：均值濾波、kalman濾波和B樣條運動濾波。

結論

目前還沒有一種通用的衡量圖像質量的指標能夠用來評價圖像增強方法的優劣，圖像增強理論有待進一步完善。因此，圖像增強技術的探索具有試驗性和多樣性，增強的方法往往具有針對性。要取得對一幅圖像較好的改善效果，有時要綜合運用多種增強方法，發揮每種方法的特長。要依據圖像結構的特點和圖像處理的要求，選用相應的增強方法。圖像增強的最大困難是，很難對增強結果加以量化描述，只能靠經驗、人的主觀感覺加以評價。同時，要獲得一個滿意的增強效果，往往需要人機的交互作用。

由于視頻穩像技術是利用圖像處理算法實現圖像序列的穩定，因此具有精度高、速度快、功耗少等優點。隨著各攝像系統對圖像穩定精度的要求不斷地提高，視頻穩像技術的應用必將越來越廣泛。目前，視頻穩像的基本算法已經比較完善，對于有平移運動、簡單的旋轉運動、單軸旋轉以及圖像上有小目標運動物體的圖像序列可以做到快速、準確地穩定。視頻穩像面臨的主要問題是如何利用圖像信息區分攝像機的晃動量和攝像機的正常掃描運動，以及如何穩定圖像多軸的旋轉運動等問題。解決這些問題不能僅僅依賴于圖像運動模型的精確程度，同時必須要充分利用圖像序列的信息量。另外，視頻穩像雖然具有諸多的優點，但是由它的原理可知，穩定圖像的晃動將以損失部分圖像信息為代價，這在一定程度上限制了視頻穩像的適用范圍。

作者單位：杭州海康威視數字技術股份有限公司