攝像機圖像處理技術原理及應用

□　文/陶艷

攝像機圖像處理技術原理及應用

□文/陶艷

隨著視頻技術的飛速發展，視頻監控從早期的模擬時代步入了數字高清時代，清晰、真實的高質量圖像效果的重要性不言而喻。作為視頻監控的“眼睛”，監控攝像機用圖像傳感器（sensor）將自然界中的光信號先轉換成數字信號，并在芯片上對采集到的原始數字信號做一系列圖像處理，再通過圖像編碼、傳輸、解碼最終給用戶顯示出來。其中對sensor輸出的原始信號進行處理獲得真實、清晰的圖像過程一般稱作圖像處理技術（ISP）。監控攝像機流程如下圖1如示：

▲圖1 攝像機系統流程圖

對于安防監控的核心價值來說，圖像首先要能看得見，其次要能看得清，最后要看得舒服。圖像處理技術（ISP）在此過程中承擔著重要的角色。本文主要講述了圖像處理技術的通用流程和各模塊的應用說明，以及目前圖像處理技術面臨的挑戰和發展。

圖像處理技術原理概述

圖像傳感器（sensor）每個感光單元稱為一個像素，像素值的大小表示感應到的光照強度大小，只有強度信息沒有顏色信息。為了表征顏色，每個像素前加一個顏色濾鏡（color filter）形成顏色濾鏡陣列（CFA），只允許單一顏色的光通過，圖2列舉了CMOS圖像傳感器的結構示意圖。這樣就能不僅表征強度且能表征顏色了。目前我們用到的主流CMOS或CCD基本采用拜爾模式（bayer Pattern）。經過這樣的圖像傳感器輸出的圖像呈現出馬賽克的形式，所以必須經過圖像處理算法來得到接近我們人眼感官的圖像。

▲圖2. CMOS的結構說明

從sensor獲取的bayer數據我們一般會經過Rawdata域的處理、RGB域的處理、YUV余的處理，最終顯示，如圖3。

▲圖3 ISP系統圖

▲圖4 ISP流程圖說明

其中，RAW域模塊一般包括黑電平（BLC）模塊、去壞點校正模塊（DPC）、raw域的2D降噪（2DNR）、綠通道校正模塊、數據統計以及白平衡模塊等；RGB域的處理主要包括：CFA插值模塊、CCM顏色校正模塊、gamma校正等；YUV域主要包括：RGB2YUV轉換、銳化、3D降噪、YUV444到YUV422轉換等。具體流程如圖4所示：

從流程圖上可以看到，ISP的各模塊環環相扣，各自對圖像起著重要作用，影響著圖像的顏色、清晰度、對比度和動態范圍，且有些模塊也會相互影響。比如黑電平不對，不僅影響著圖像的對比度，而且會造成白平衡不對。邊緣增強會增加圖像的銳度，但過強又會帶來噪聲。每個模塊要發揮自己最大的能力，同時又要減小對相關其他模塊的負面影響。

自動曝光（AE）

顧名思義，自動曝光就是由相機代替人的手動操作，自動對所拍攝物體進行曝光，從而獲得具有一定亮度的圖像。這個過程最終要達到的目標是使得曝光的圖像具有一個理想的視覺亮度。

圖像顯示的亮度(即電信號的強度)是與圖像傳感器接收到的光的總能量成正比的。雖然入射光的能量不變，但是被接收的光能量卻是可以由相機系統調節的。當接收到的光能量增加時圖像亮度增加，當其減小時圖像亮度也減小，當其完全不被接收時圖像就幾乎一片漆黑了。因此，在自動曝光過程中，相機通過自動調節光的進入的能量大小(光圈大小)、光到達的時間長度(曝光時間)以及其它相關參數（增益），保證圖像傳感器所接收到的光的能量處于一個合適的水平，通過轉換得到具有一定強度的電信號。

通過調節光圈和曝光時間就能調節攝像機接收到的光能量大小。通過調節增益對所得到的信號進行放大。三者綜合作用改變最終圖像的亮度。光圈越大，亮度越高，但同時景深會受影響。增益一定時，曝光時間越長，亮度越高。增益加大能提高亮度，但同時可能會帶來噪聲。

▲圖5 曝光不同的差異

▲圖6 增益帶來噪聲增大

▲圖7 不同色溫的影響

自動白平衡（AWB）

自然界的光源是有色溫的，人眼和大腦對色溫有一定的生理和心理自適應性，所以看到的顏色受色溫偏移的影響較小。但是攝像機的sensor沒有這種能力，如果不經過白平衡處理，會和人眼看到的顏色有較大的偏差。在圖像處理中，只有作準了白平衡，其他顏色才能作準。白平衡算法一般有Grey World、Max white path、Grey-Edge等方法。

壞點校正

傳感器由于生產工藝的限制，在出廠前可能會有一些壞的像素點，在成像時會留下離散的、比較突兀(過暗或者過亮)的像素點。在ISP模塊里需對其進行壞點校正。壞點校正分為靜態去壞點和動態去壞點。靜態去壞點主要采用LUT查找表的方式，需要根據不同sensor在無光環境下檢測缺陷點的具體位置，然后用查找表的方法來實現，實現起來相對麻煩。所以通用的做法是采用動態檢測的方法。簡單來說就是將當前像素與周圍若干個像素點進行灰度值的比較，如果該像素點的灰度值比周圍的像素大或者小很多，認為是壞點，那么就用周圍和其像素值灰度值接近的值來代替。進行校正時，在消除壞點的同時，也會在一定程度上對圖像有模糊作用降低清晰度。

黑電平校正模塊

理論上來說，將鏡頭光圈關死，sensor的輸出應該為0，但由于暗電流的影響，sensor實際輸出不為0，所以我們需要將其減掉一個值校正為0，這個值就是黑電平。黑電平是否減對，對白平衡模塊很重要，同時也影響著圖像的對比度。

▲圖8 黑電平對圖像的影響

raw域降噪

在信號采集過程中，由于暗電流、溫度、硬件的影響，sensor本身會帶著噪聲輸出，ISP各部分的處理也可能帶來噪聲。噪聲會讓人感覺圖像模糊不清楚，干擾物體的輪廓，對后續圖像壓縮、編碼以及圖像信息的識別都帶來干擾。降噪主要思想是將信號通過低通濾波器，將高頻成分濾掉。Raw域降噪是利用幀內相鄰像素進行濾波處理。簡單的raw域降噪是對每個點進行相鄰像素的加權平均，復雜一些會提前檢測該點是否為噪點，是噪點就會取平均，不是噪點就會原樣輸出，再復雜一些的會考慮該點為噪點的概率，從而計算不同的加權權重等。

插值模塊

由于sensor經過CFA后輸出的是每一像素點只是R、G、B一種顏色分量的馬賽克圖像，必須補全每一像素點遺失的顏色信息，這樣才能得到一幅全彩影像。利用每一像素及其鄰近像素已知的顏色信息做數學運算來估測遺失顏色信息過程及方法即為CFA插值，也稱color interpolation或demosaicing，如圖9所示。常見的插值算法包括：雙線性插值、最近鄰插值、色比恒定插值、色差恒定插值、邊緣導向插值、Hamilton插值等。插值的好壞直接反映至重建全彩影像中，進而影響圖像的后續處理及最終效果。插值主要對圖像的清晰度和圖像的邊緣細節有很大的影響。同時由于顏色采樣導致插值算法在某些地方很容易計算錯誤會導致偽色（假色、zipper效應等），有時也會引入噪聲。

▲圖9 插值模塊示意圖

▲圖10 插值模塊對圖像的影響

▲圖11 插值模塊帶來的假色

顏色校正

由于人眼的三色感應系統對光譜的響應情況和sensor的光譜響應有較大的差異，攝像機經過插值模塊后必須進行顏色校正。目前一般的做法是在幾個不同色溫的標準光源下對著24色卡進行標定，生成不同色溫下相應的3×3的顏色矩陣，其他中間色溫可以通過這幾個標準色溫的顏色矩陣插值得到。

▲圖12 顏色校正模塊對圖像的影響

Gamma校正

Gamma校正最初是用來校正CRT顯示器電路的非線性響應的。攝像機系統中使用Gamma校正來使相機的線性采集適合人眼的生理特性。Gamma的調整影響圖像的對比度、亮度、顏色。

▲圖13 Gamma校正對圖像的影響

邊緣增強

該模塊增強圖像邊緣部分細節，它主要是一種補償輪廓、突出邊緣信息以使圖像更為清晰的處理方法。它的目標實質上是要增強圖像中的高頻成分。它與降噪濾波是一個相對的處理過程。若圖像未做邊緣增強時，人眼看上去像邊緣部分不夠銳利，但是同時該模塊如果做的太強會對整體圖像引入新的噪聲，如圖14所示：

▲圖14 邊緣增強對圖像效果的影響

圖像處理技術的挑戰

隨著近年來人們對安防領域的重視和安防產品的普及，安防監控的圖像質量也得到了很快的發展，同時客戶對圖像質量也提出越來越高的要求，主要體現在低照度和寬動態兩方面。低照度和寬動態技術的發展正逐步的實現攝像機看得見、看得清、看得舒服的目標。

首先，在很多場景，如夜深人靜或是路燈昏暗，或是在鄉村監控項目中，由于自然光光照不足，傳統攝像機有些會轉黑白，有些則通過加大增益提高亮度，這些都會帶來一些負面影響如顏色信息丟失或是噪聲增大，對圖像質量有較大影響。圖像處理技術面臨著如何在提高亮度保證圖像細節信息的同時又能減少噪聲，此時就需要使用3D降噪技術。

二維降噪為只考慮單幀圖像的空間信息，3D降噪為視頻流信息，增加了時域上的信息。通常的噪聲為隨機噪聲，二維空間上的特性為孤立的點，時域上的特性為閃爍的點，即并非每一幀都存在，根據該時域特性，針對視頻幀序列，進行運動估計，運動區域去噪強度弱，靜止區域噪聲抑制強度大。

▲圖15 3D降噪對圖像效果的影響

其次，因為sensor的動態范圍是有限的，而實際場景中的動態范圍遠大于sensor的動態范圍，所以當監控攝像機安裝在道路監控、大廳出入口、銀行柜臺等場景下，如果是傳統攝像機就有由于動態范圍不足導致亮處過曝或是暗處過暗的問題，此時攝像機中的寬動態技術顯得尤為重要了。

目前主流的寬動態技術以多次曝光合成為主。以2次曝光為例，Sensor利用長曝光獲得暗處的信息，短曝光獲得亮處的信息，然后將2次曝光信息合成輸出。ISP收到這個數據后項進行寬動態數據解壓縮，將sensor輸出的壓縮數據解壓縮為原始的線性數據，然后經過動態范圍壓縮模塊，將原始的線性數據通過映射曲線，映射到12bit范圍內，并獲得對應的壓縮系數。最后經過灰度重映射模塊，數據通過壓縮系數映射到最終的12bit范圍內。這樣獲得的圖像能同時看到亮處細節和暗處細節，得到比較好的動態范圍和對比度。

▲圖16 寬動態對圖像效果的影響

結語

在監控攝像機的發展歷程中，圖像處理技術發揮著舉足輕重的作用，每一次圖像效果的提升，與圖像處理各模塊的算法密切相關，從而推動了視頻監控的發展。未來隨著傳感器的發展和圖像處理算法的不斷優化和完善，特別是3D降噪和寬動態算法的優化，視頻監控將為我們提供更可見、更清晰的圖像效果，為數據分析提供優質的視頻源。

作者單位：浙江大華技術股份有限公司