前端圖像處理技術(shù)及發(fā)展趨勢淺析

文/陳軍

在視頻監(jiān)控中，前端攝像機作為獲取視頻的源頭，其重要性不言而喻。從模擬機時代單純的視頻獲取，發(fā)展到數(shù)字高清時代，攝像機中集成了高性能的芯片，可以進行更復雜的圖像處理。其中，對sensor輸出的原始信號進行處理，以獲得與人眼主觀感受接近的視頻圖像，一般稱為ISP技術(shù)。本文首先對前端攝像機中使用的ISP技術(shù)及其特點進行介紹，然后重點介紹一些目前熱點的處理技術(shù)，最后對發(fā)展趨勢進行分析。

ISP模塊組成

目前，視頻監(jiān)控中使用的sensor輸出的一般為Bayer格式的圖像數(shù)據(jù)，如圖1所示，外部光源進來后，sensor每個像素前的濾光片只允許RGB中的某一個分量經(jīng)過，到達光電轉(zhuǎn)換像元進行光電轉(zhuǎn)化，輸出電荷信號，經(jīng)過A/D轉(zhuǎn)化，得到數(shù)字圖像信號。因此，每個像素實際只包含了RGB中的一個分量信號，按照濾光片排列的方式，稱為Bayer格式。

Bayer格式的圖像，需要經(jīng)過一系列模塊的處理，才能輸出與主觀感受相近的圖像效果。

就像人的視覺系統(tǒng)，人眼視網(wǎng)膜成像的其實是失真較大的影像，人的大腦通過一系列處理，能將這些失真校正過來。圖2為一個典型的ISP處理流程圖，這些處理模塊包括：黑電平校正、壞點校正、白平衡、插值、色彩校正、gamma、RGB轉(zhuǎn)YUV、銳化、降噪等，各個模塊都有其特有的作用，缺一不可。

圖1 sensor輸出的Bayer格式圖像

圖2 ISP處理框圖

從色彩域的角度看，白平衡、插值、色彩校正等模塊決定了圖像的顏色準確性。

白平衡：人的視覺系統(tǒng)在進化過程中產(chǎn)生了一種稱為“色恒常”的能力，在各種色溫下能自動校正由于色溫引起的顏色偏差。攝像機sensor沒有這種能力，因此需要模仿“色恒常”功能，校正色溫引起的色彩偏差，此即白平衡模塊的功能。一般基于“灰度世界”假設(shè)，在場景中選取符合條件的近灰色像素點，計算符合條件像素的R/G/B分量總和，使三者總和保持相等，需要乘以的倍數(shù)即為白平衡增益值。

插值：由于Bayer圖像每個像素只有一個顏色分量，其余兩個顏色分量必須通過插值算法從鄰近像素中獲取，因此插值算法的好壞，決定了圖像的色彩質(zhì)量，特別是高頻細節(jié)處色彩還原能力。

色彩校正：由于sensor的RGB響應曲線與人的視覺系統(tǒng)存在差異，因此有必要引入色彩校正模塊，對攝像機的顏色進行校正，以接近人觀察的主觀感受。一般采用3×3矩陣作為色彩校正矩陣，通過色卡標定產(chǎn)生，選取幾個典型色溫生成矩陣，其余色溫對應的矩陣通過插值產(chǎn)生。

從灰度域的角度看，黑電平校正、gamma校正、銳化等模塊決定了圖像的灰度還原能力。

黑電平校正：理想情況下，當沒有光源照射時，sensor輸出的圖像應該為0，但是由于sensor本身暗電流等噪聲影響，其輸出值不為0，稱為黑電平。ISP中的黑電平校正模塊正是為了補償該黑電平值，以校正對黑色的還原能力。

圖3 人眼亮度感知曲線

Gamma校正：人眼對于亮度的響應是非線性的，如圖3所示，人眼對光線變化的這條“反應曲線”就是人眼的“gamma曲線”。入射光線從全黑到有一點亮度的時候，人眼的感覺非常靈敏。然后，光線繼續(xù)加強，到了很強的時候，我們?nèi)搜鄣姆磻獏s變得非常遲鈍，亮度再提高，也不會覺得亮了很多。CCD、CMOS等sensor的成像方式是通過像點中感受光線的強弱而獲得畫面是線性的響應。因此，有必要在ISP流程中加入gamma校正，使得攝像機對亮度的響應曲線能與人的視覺系統(tǒng)保持一致，獲得最佳的灰度還原能力。

銳化：是增強圖像的局部對比度，特別是加大高頻邊緣處的差異，使畫面整體的主觀效果更加清晰。

從前面的ISP處理流程的描述中，我們可以總結(jié)出ISP處理的一些特點。

實時性要求高

前端圖像處理對處理耗時、延時有嚴格要求。一般處理時間不能超過幀率，否則就會丟幀；人眼能夠感覺到50ms的延時，安防監(jiān)控中對攝像機的處理延時有嚴格要求，一般在100ms以內(nèi)。因此，ISP處理一般采用ASIC芯片或FPGA實現(xiàn)，才能滿足實時性的需求。對于一些實時性要求不高的模塊，例如3A，其統(tǒng)計部分一般放在ISP處理流程內(nèi)，由硬件實現(xiàn)；其計算部分則由ARM或DSP實現(xiàn)，可以隔幾幀計算一次。

模塊多，涉及范圍廣

從流程圖中可以看出，ISP流程中包括了較多的處理模塊，各個模塊都有其特殊作用。其處理涉及的范圍較廣：灰度還原相關(guān)，包括黑電平校正、gamma校正、銳化等；色彩還原相關(guān)，包括白平衡、插值、色彩校正等，還包括自動曝光、自動聚焦等控制算法，降噪、寬動態(tài)等圖像復原、增強相關(guān)模塊。這些模塊的處理是否正確或合適，都與最終的圖像效果有一定關(guān)系；模塊之間彼此還有一定的相互影響，例如銳化過強，則圖像噪聲變大，對降噪模塊的效果有較大影響。

近年來，隨著高清數(shù)字攝像機的普及，安防監(jiān)控中的圖像質(zhì)量得到了很大提高，但是在實際使用過程中，還是有一些棘手的問題亟待解決，主要是動態(tài)范圍窄、透霧能力弱、低照度效果差。

在視頻監(jiān)控應用中，攝像機需要拍攝的場景經(jīng)常會出現(xiàn)較大的動態(tài)范圍，例如大廳出入口、晚上拍攝開啟大燈車輛的車牌等。普通攝像機動態(tài)范圍窄，在這些場景下，往往出現(xiàn)大面積的過曝或者過暗區(qū)域。

近期頻繁出現(xiàn)的霧霾天氣，也對室外攝像機造成了較大影響，普通攝像機在霧霾天氣下的效果如圖4.a所示，圖像質(zhì)量下降嚴重，整個圖像發(fā)朦，對比度變差，細節(jié)不清晰。

圖4 有霧圖像與透霧圖像

低照度也是攝像機面臨的一個挑戰(zhàn)，監(jiān)控用攝像機作為全天候使用的設(shè)備，需要經(jīng)常面對照度很低的場景，普通攝像機通過加大數(shù)字增益來提升圖像亮度，但是相應放大了噪聲，如圖5.a所示，噪聲顆粒對圖像質(zhì)量影響較大。通過降噪技術(shù)，可以提升圖像主觀質(zhì)量，見圖5.b所示。

因此，解決這些問題的圖像處理技術(shù)，主要有寬動態(tài)、透霧、降噪技術(shù)，下面對這些技術(shù)進行介紹。

寬動態(tài)技術(shù)

目前安防數(shù)字攝像機使用的sensor的動態(tài)范圍較小，一般輸出12-bit 的raw數(shù)據(jù)，其動態(tài)范圍遠遠小于實際場景可能的動態(tài)范圍。而安防應用的場景，很大一部分具有較大的動態(tài)范圍，例如道路監(jiān)控的電警、卡口應用， 樓宇監(jiān)控時室內(nèi)對著大廳出入口的應用等，在這種場景下，普通攝像機采集的視頻存在大面積的過曝或者過暗問題，導致有效監(jiān)控信息的丟失。

圖5 噪聲與降噪圖像對比

現(xiàn)有的寬動態(tài)技術(shù)，主要由sensor提供多幀不同曝光時間的圖像，將多幀圖像合成后，形成一幀寬動態(tài)圖像。多幀不同曝光時間的圖像合成，主要分為HDR tonemapping和exposure fusion兩種。

圖6 HDR Tonemapping處理流程

HDR Tonemapping技術(shù)，需要經(jīng)過一系列處理：首先需要通過響應曲線映射，使圖像恢復成線性數(shù)據(jù)，然后將多幀圖像根據(jù)曝光倍數(shù)合成為一幀寬動態(tài)圖像，最后通過tonemapping算子壓縮動態(tài)范圍。整個流程如圖6所示。當拍攝時攝像機有一定位移時，合成之前還需要將圖像進行對齊；當場景中有運動物體時，需要加入去鬼影處理，防止運動物體邊緣出現(xiàn)重影、偽彩色。

Exposure fusion技術(shù)，不需要將多幀圖像根據(jù)曝光倍數(shù)合成為一幀寬動態(tài)圖像，而是直接將不同曝光的圖像融合（fusion），得到與輸入圖像相同位寬的具有寬動態(tài)效果的圖像。該技術(shù)的核心有兩個，一個是每個像素通過一套評價標準，賦予不同的權(quán)值，形成權(quán)重圖；二是在合成時采用多分辨率（multiresolution）技術(shù)，在不同的尺度下加權(quán)融合，得到合成后的圖像，如圖7所示。

圖7 Exposure fusion技術(shù)

Exposure fusion技術(shù)相對于HDR Tonemap ping技術(shù)，有以下幾方面的優(yōu)勢：

·簡化了整個處理流程。不需要響應曲線映射，多幀合成HDR圖像，以及獲取不同曝光時間的比例關(guān)系。

·算法適用范圍廣。整個合成過程不需要考慮響應曲線，曝光比例等因素，自動根據(jù)像素的評價標準加權(quán)合成，因此可以將有閃光燈的圖像加入到待合成圖像序列中，也可以將紅外圖像與彩色圖像合成等。

透霧技術(shù)

目前在安防領(lǐng)域中使用的透霧圖像處理技術(shù)大致可以分為兩大類：

一種是非模型的圖像增強方法，通過增強圖像的對比度，滿足視覺的主觀要求來達到清晰化的目的。比較典型的算法有基于多尺度Retinex圖像增強技術(shù)，限制對比度自適應直方圖均衡化算法等。

另一種是基于模型的圖像復原方法，它考查圖像退化的原因，將退化過程進行建模，采用逆向處理，以最終解決圖像的復原問題。比較典型的算法有基于暗通道原理的透霧算法。

暗通道假設(shè)在無霧的圖像中，絕大多數(shù)非天空的局部區(qū)域里，某些像素總會至少有一個顏色通道具有很低的值，即自然景物中到處都是陰影或者彩色，這些景物的圖像的暗原色總是很灰暗的。基于該假設(shè)作為先驗知識，從有霧圖像的模型中解出無霧圖像。

有霧圖像的物理模型如圖8所示，其公式如式1所示。

圖8 有霧圖像模型示意圖

I代表所看到的圖像強度，J是景物光線強度，A是大氣光成分，t是用來描述光線通過媒介時沒有被散射掉的那部分。透霧的目標就是從I中恢復出J、A、t。

前一種技術(shù)的特點是對濃度均勻的霧霾有一定的效果，特別是基于直方圖的算法實現(xiàn)簡單，有一定的透霧效果，應用廣泛；缺點是原理建立在增強主觀效果的基礎(chǔ)上，不符合真實的霧氣模型，無法區(qū)分圖像不同區(qū)域的景深與霧濃度，處理強度無法自適應，造成處理后的圖像不自然，易出現(xiàn)發(fā)黑及色彩失真現(xiàn)象。

后一種技術(shù)基于大氣透射模塊，區(qū)分圖像不同區(qū)域景深與霧濃度進行處理，可以獲得準確、自然的透霧圖像。缺點是算法復雜度高，不易實現(xiàn)。

值得注意的是，還有一種通過紅外成像進行透霧的技術(shù)， 通過將紅外成像圖像與正常圖像融合的方式，可以得到透霧后的圖像。近紅外攝像機可以獲取霧霾掩蓋的圖像細節(jié)，通過融合的方式進行透霧，圖9為圖像融合方式獲取的透霧效果圖。

圖9 圖像融合透霧

降噪技術(shù)

安防視頻監(jiān)控系統(tǒng)中，噪聲的存在會造成圖像看不清楚，編碼壓縮碼率大幅升高，壓縮后的圖像容易出現(xiàn)閃爍、蠕動和塊效應等瑕疵。引入降噪增強技術(shù)，可以帶來圖像干凈，可判別細節(jié)增加，碼率降低，呼吸效應減少等。

目前主流ISP芯片都帶有降噪算法，由空域降噪和時域降噪一起組成3D降噪。

空域降噪典型的算法包括基于雙邊濾波器降噪和基于小波變換降噪。眾多ASIC廠家通常采用類似于雙邊濾波器的原理設(shè)計降噪模塊，比如TI公司的Bayer域空域降噪模塊，Ambarella公司設(shè)計的CFA Noise Filtering模塊和YUV域的Spatial Noise Filtering。

時域降噪則一般基于運動判決的方案，通過前后兩幀的運動估計，判斷是否為運動區(qū)域，

運動區(qū)域噪聲抑制少些，靜止區(qū)域噪聲抑制多些。

前端圖像處理技術(shù)的發(fā)展趨勢

在高清數(shù)字攝像機發(fā)展過程中，前端圖像處理技術(shù)與攝像機的實現(xiàn)方案緊密相關(guān)，經(jīng)歷了發(fā)展初期以FPGA實現(xiàn)為主，逐漸統(tǒng)一到成熟平臺方案的過程。

在發(fā)展初期，各個安防廠商為了快速開發(fā)產(chǎn)品搶占市場，采用FPGA實現(xiàn)ISP處理流程，整個流程按照算法工程師的設(shè)計進行開發(fā)，可以根據(jù)不斷的測試，靈活調(diào)整處理流程，改進算法效果。其缺點是成本、功耗等問題。

隨著眾多ASIC芯片廠商提供成熟的ISP處理方案，各個安防廠商逐漸啟用平臺方案，在此基礎(chǔ)上，進行3A算法開發(fā)，參數(shù)與效果調(diào)試等工作。目前的平臺方案包括TI、AMBA、HISI、SONY等，其ISP處理流程與模塊組成有一定的差異，有些方案集成了3D降噪、透霧、寬動態(tài)等模塊，有些則沒有。各個安防廠商在開發(fā)基于平臺的產(chǎn)品時，更加注重芯片的功耗、成本等因素，圖像效果的競爭與平臺方案密切相關(guān)，主要通過參數(shù)調(diào)試、3A算法開發(fā)等，拉開圖像效果的差距。

短期內(nèi)，前端產(chǎn)品使用的各個平臺方案各有優(yōu)勢，將并存一段時間。長期來看，隨著方案的不斷成熟，其市場定位也將進一步細化：主打低端市場的方案，在保證效果的基礎(chǔ)上，功耗、成本成為主導因素；高端市場的方案，3D降噪、透霧、寬動態(tài)等功能逐步完善，效果成為關(guān)鍵因素。