圖像傳感技術(shù)之圖像信號(hào)處理

文/黎洪宋

引言

隨著計(jì)算機(jī)與網(wǎng)絡(luò)技術(shù)的發(fā)展，目前視頻監(jiān)控已經(jīng)發(fā)展到了基于IP網(wǎng)絡(luò)的全數(shù)字監(jiān)控時(shí)代，即進(jìn)入了第三代全數(shù)字網(wǎng)絡(luò)視頻監(jiān)控時(shí)代。這個(gè)時(shí)代的代表產(chǎn)品以IPC、NVR為主。但是這些數(shù)字產(chǎn)品受惡劣天氣(霧、雨、風(fēng)、光等)和監(jiān)控系統(tǒng)自身技術(shù)條件的限制，視頻圖像往往達(dá)不到理想的效果，圖像質(zhì)量很不穩(wěn)定，進(jìn)而導(dǎo)致對(duì)識(shí)別、取證、事件分析等操作造成困難，使系統(tǒng)無法正常應(yīng)用。因此，圖像信號(hào)處理技術(shù)的研究和應(yīng)用在安防領(lǐng)域具有很重要的意義。

數(shù)字圖像信號(hào)處理的應(yīng)用越來越廣泛，數(shù)字信號(hào)處理主要作用是對(duì)前端圖像傳感器輸出的信號(hào)做后期處理，其基本功能有線性糾正、噪聲去除、壞點(diǎn)去除、內(nèi)插、白平衡、自動(dòng)曝光控制、自動(dòng)聚焦控制等。人們對(duì)監(jiān)控圖像質(zhì)量的要求越來越高，提升監(jiān)控圖像的實(shí)用價(jià)值已經(jīng)成為社會(huì)向整個(gè)監(jiān)控行業(yè)提出的新要求，智能化和高清化更加加快了數(shù)字圖像處理技術(shù)研發(fā)進(jìn)程，圖像信號(hào)處理技術(shù)也將在這樣的市場(chǎng)需求下不斷演進(jìn)。深圳中興力維技術(shù)有限公司（簡(jiǎn)稱力維）提出了一些更有針對(duì)性的處理功能，如 3D數(shù)字降噪功能、背光補(bǔ)償功能、寬動(dòng)態(tài)功能、強(qiáng)光抑制功能、實(shí)時(shí)視頻透霧功能、電子防抖功能、低照度獲取清晰圖像的功能等等。這些特性功能大多是力維根據(jù)實(shí)際場(chǎng)景的實(shí)際需要而設(shè)計(jì)的，應(yīng)用上更具針對(duì)性。

基本功能

在圖像信號(hào)處理中，其基本功能有線性糾正、噪聲去除、壞點(diǎn)去除、內(nèi)插、自動(dòng)白平衡、自動(dòng)曝光控制、自動(dòng)聚焦控制等，這些功能是一臺(tái)攝像設(shè)備能輸出清晰圖像的基本保障。現(xiàn)重點(diǎn)介紹下這些功能中的噪聲去除和自動(dòng)白平衡、自動(dòng)曝光控制、自動(dòng)聚焦控制。其中后面的三個(gè)功能就是圖像信號(hào)處理經(jīng)常提到的3A處理功能。

噪聲去除

數(shù)字圖像的噪聲主要來源于圖像的獲取(數(shù)字化過程)和傳輸過程。圖像傳感器的工作情況受各種因素的影響，如圖像獲取中的環(huán)境條件和傳感元器件自身的質(zhì)量。例如，使用CMOS照相機(jī)獲取圖像，光照程度和傳感器溫度是生成圖像中產(chǎn)生大量噪聲的主要因素。同時(shí)當(dāng)信號(hào)經(jīng)過ADC時(shí)，又會(huì)引入其他一些噪聲。這些噪聲會(huì)使圖像整體變的模糊，而且丟失很多的細(xì)節(jié)，令人眼難以接受。所以在此，需要對(duì)圖像進(jìn)行去噪處理，以去除這些噪聲的干擾。

空間去噪傳統(tǒng)的方法有均值濾波和中值濾波。均值濾波能夠有效地平滑噪聲，但同時(shí)會(huì)將邊緣變模糊。為盡量避免這個(gè)問題，通常用較小的滑窗(如3×3或5×5)對(duì)圖像進(jìn)行操作。中值濾波法與均值濾波法操作過程類似，所不同的是中值濾波法用滑窗內(nèi)所有像素值的中間值代替滑窗中心的像素值。同樣，這種方法在平滑噪聲的同時(shí)將使邊緣模糊，并會(huì)丟失細(xì)小的線性特征。5×5的中值濾波器將導(dǎo)致可觀的邊緣模糊。傳統(tǒng)的空間去噪方法都是在RGB彩色空間中進(jìn)行的，需要三維的圖像數(shù)據(jù)，要對(duì)RGB三基色分別進(jìn)行濾波，需要完整的RGB三色值，即需要對(duì)bayer型模式的數(shù)據(jù)進(jìn)行內(nèi)插之后的圖像。這種方法雖然能夠提高濾波效果，但是會(huì)占用過多的硬件資源，鑒于此，有人提出一種基于bayer型模式的雙邊自適應(yīng)濾波器。基于bayer型模式的濾波器僅需對(duì)二維灰度圖像進(jìn)行濾波處理，它的硬件資源消耗可以減小為前者的三分之一。雙邊自適應(yīng)濾波器不僅對(duì)各類噪聲有良好的濾除能力，還能使圖像中的細(xì)節(jié)得到很好的保留。

白平衡技術(shù)

白平衡即WhiteBalance。物體反射出的光的顏色視光源的色彩而定，人類的眼睛之所以把一些物體看成白色的是因?yàn)槿说拇竽X可以偵測(cè)并且更正像這樣的色彩改變，因此不論在陽(yáng)光、陰霆的天氣、室內(nèi)或熒光下，人們所看到的白色物體顏色依舊。比如在鎢絲燈下呆久了，并不會(huì)覺得鎢絲燈下的白紙偏紅，如果突然把日光燈改為鎢絲燈照明，就會(huì)覺查到白紙的顏色偏紅了，但這種感覺也只能夠持續(xù)一會(huì)兒。CCD、CMOS傳感器并不能像人眼那樣具有適應(yīng)性，所以如果照相機(jī)的色彩調(diào)整同景物照明的色溫不一致就會(huì)發(fā)生偏色。為了貼近人的視覺標(biāo)準(zhǔn)，就必須模仿人類大腦并根據(jù)光線來調(diào)整色彩，也就是需要自動(dòng)或手動(dòng)調(diào)整白平衡來達(dá)到令人滿意的色彩。白平衡就是針對(duì)不同色溫條件下，通過調(diào)整使拍攝出來的圖像抵消偏色，更接近人眼的視覺習(xí)慣。白平衡可以簡(jiǎn)單地理解為在任意色溫條件下，相機(jī)鏡頭所拍攝的標(biāo)準(zhǔn)白色經(jīng)過相關(guān)算法調(diào)整，使之成像后仍然為白色。

自動(dòng)白平衡的主要算法可以分為基于單幅圖像的簡(jiǎn)單像素級(jí)統(tǒng)計(jì)的方法、GAMUT—based方法 、基于多幅圖像學(xué)習(xí)的方法幾類。其中基于單幅圖像的簡(jiǎn)單像素級(jí)統(tǒng)計(jì)的方法是目前可以滿足實(shí)際工程中實(shí)時(shí)需求的方法，該方法主要有灰度世界算法、自動(dòng)搜索白點(diǎn)白平衡算法、最大RGB算法等。灰度世界自動(dòng)白平衡和自動(dòng)搜索白點(diǎn)白平衡有各自的優(yōu)點(diǎn)和使用場(chǎng)合。灰度世界自動(dòng)白平衡對(duì)于圖像的還原效果雖然沒有自動(dòng)搜索白點(diǎn)白平衡的效果好，但是它能夠適應(yīng)幾乎所有的場(chǎng)景和光源。后者雖然在效果上占有優(yōu)勢(shì)，但是對(duì)于一些特殊的場(chǎng)景情況就無能為力了，比如在某個(gè)場(chǎng)景中主要以單色調(diào)為主，那么它就不能找到足夠多的白點(diǎn)進(jìn)行白平衡的計(jì)算。因此灰度世界自動(dòng)白平衡可以用作自動(dòng)搜索白點(diǎn)白平衡的一個(gè)補(bǔ)充，這樣就能更好的提高圖像信號(hào)處理的適用范圍。

自動(dòng)曝光控制技術(shù)

在實(shí)際的拍照過程中，經(jīng)常會(huì)出現(xiàn)很多場(chǎng)景過渡的情況。例如，從室內(nèi)到室外，在黑暗的環(huán)境下打開燈等。室內(nèi)的光源一般為日光燈光源，室外光源為太陽(yáng)光，太陽(yáng)光的強(qiáng)度一般是日光燈的幾百上千倍。人的眼睛可以通過虹膜調(diào)整瞳孔的大小，控制眼睛中的進(jìn)光量，達(dá)到自我調(diào)節(jié)的效果，所以，當(dāng)人從室內(nèi)走到室外的一瞬間會(huì)覺得光線很刺眼，但是過一會(huì)，一旦適應(yīng)了外部環(huán)境，就會(huì)感覺室外的物體也不比室內(nèi)的亮很多。然而CMOS傳感器卻不知道此時(shí)光源發(fā)生了改變，如果仍然按照室內(nèi)的曝光時(shí)間來對(duì)室外物體進(jìn)行曝光，就會(huì)產(chǎn)生過曝現(xiàn)象，即整個(gè)圖像畫面幾乎變成了純白色，無法再看清其中的物體。因此，需要對(duì)曝光時(shí)間和增益大小進(jìn)行調(diào)整，達(dá)到一個(gè)新的平衡。同理，對(duì)于其他情況，如從暗到亮，從亮到非常亮，從非常亮到亮，從亮到暗等情況都需要進(jìn)行這種調(diào)節(jié)。自動(dòng)曝光控制是通過特定的算法，對(duì)已拍圖像進(jìn)行統(tǒng)計(jì)，判斷此時(shí)是否存在光強(qiáng)的劇烈變化，根據(jù)判斷結(jié)果對(duì)曝光時(shí)間和增益大小進(jìn)行調(diào)整，它的使用是非常廣泛的，它可以很好的適應(yīng)各種光強(qiáng)的改變。

自動(dòng)聚焦控制技術(shù)

自動(dòng)聚焦技術(shù)廣泛應(yīng)用于照相機(jī)、攝像機(jī)等各種精密儀器中，它是數(shù)字圖像前端處理的重要技術(shù)。這里主要討論針對(duì)攝像機(jī)的自動(dòng)聚焦技術(shù)，視頻序列的自動(dòng)聚焦是針對(duì)運(yùn)動(dòng)圖像的，除了聚焦速度和精度上的要求外，視頻自動(dòng)聚焦過程輸出的圖像必須符合人眼的觀察特性，就是說，在評(píng)價(jià)函數(shù)最大值搜索過程中，圖像的清晰度狀態(tài)只能由模糊－清晰，而不能出現(xiàn)由模糊－清晰－模糊－清晰這種來回振蕩的過程。同時(shí)，由于視頻序列的場(chǎng)景內(nèi)容是變化的，場(chǎng)景快速變化給聚焦過程帶來的干擾會(huì)導(dǎo)致聚焦失敗，視頻自動(dòng)聚焦算法還需要排除這些干擾，增強(qiáng)聚焦可靠性。因此，一個(gè)好的視頻自動(dòng)聚焦算法應(yīng)滿足以下的要求：1、聚焦收斂速度快而且聚焦準(zhǔn)確；2、聚焦過程中，圖像的清晰度是單向變化的，聚焦收斂到清晰點(diǎn)后，圖像不再模糊，即不出現(xiàn)圖像虛晃現(xiàn)象。

特性功能

力維研發(fā)具有一定針對(duì)性的圖像處理技術(shù)消除客觀環(huán)境中的某一特定干擾，從而獲取特定環(huán)境下的高質(zhì)量監(jiān)控圖像，如用3D數(shù)字降噪功能有效地將低照度場(chǎng)景圖像和運(yùn)動(dòng)場(chǎng)景圖像中產(chǎn)生的噪聲濾除，產(chǎn)生高質(zhì)量的清晰圖像；用寬動(dòng)態(tài)功能獲得圖像暗處的細(xì)節(jié)而圖像的明亮處又不過曝；用實(shí)時(shí)視頻透霧功能獲得準(zhǔn)確、自然的透霧圖像。實(shí)現(xiàn)這些特性功能的相關(guān)算法介紹如下。

3D數(shù)字降噪算法

在視頻圖像降噪算法中，時(shí)域降噪比空間去噪在保護(hù)邊緣和細(xì)節(jié)方面更有優(yōu)勢(shì)。根據(jù)此原理提出了一種空間域和時(shí)域相結(jié)合的降噪算法，即3D數(shù)字降噪算法。圖像內(nèi)容在幀間具有很強(qiáng)的相關(guān)性，在時(shí)域上，基于運(yùn)動(dòng)估計(jì)在當(dāng)前幀的前一幀和后一幀中同時(shí)搜索匹配塊。對(duì)搜索到的匹配塊進(jìn)行運(yùn)動(dòng)強(qiáng)度檢測(cè)，如果運(yùn)動(dòng)強(qiáng)度較小，就進(jìn)行時(shí)域?yàn)V波，如果運(yùn)動(dòng)強(qiáng)度過大，就對(duì)當(dāng)前塊進(jìn)行空域?yàn)V波。通過這種時(shí)域和空域的結(jié)合，有效地消除了視頻圖像中噪點(diǎn)，從而獲得平滑、紋理細(xì)節(jié)豐富的畫面。3D數(shù)字降噪功能多用在低照度場(chǎng)景和運(yùn)動(dòng)場(chǎng)景，但對(duì)于運(yùn)動(dòng)比較劇烈的物體，常會(huì)出現(xiàn)“拖尾”現(xiàn)象。3D數(shù)字降噪算法對(duì)視頻圖像的優(yōu)化效果如表1所示：

寬動(dòng)態(tài)算法

寬動(dòng)態(tài)技術(shù)是在非常強(qiáng)烈的對(duì)比下讓攝像機(jī)看到影像的特色而運(yùn)用的一種技術(shù)。 當(dāng)在強(qiáng)光源（日光、燈具或反光等）照射下的高亮度區(qū)域及陰影、逆光等相對(duì)亮度較低的區(qū)域在圖像中同時(shí)存在時(shí)，攝像機(jī)輸出的圖像會(huì)出現(xiàn)明亮區(qū)域因曝光過度成為白色，而黑暗區(qū)域因曝光不足成為黑色，嚴(yán)重影響圖像質(zhì)量。

表1 3D數(shù)字降噪處理前后對(duì)比

寬動(dòng)態(tài)處理算法嚴(yán)格來說有兩種，一種是將寬動(dòng)態(tài)圖像的原始數(shù)據(jù)通過算法壓縮至低動(dòng)態(tài)范圍,同時(shí)盡可能的保持圖像的細(xì)節(jié)和對(duì)比清晰；一種是將原本的低動(dòng)態(tài)范圍圖像通過算法提升圖像中的細(xì)節(jié)和對(duì)比的清晰程度。前一種處理的數(shù)據(jù)是來自圖像傳感器輸出的信號(hào)，即最早的原始數(shù)據(jù)，而后一種處理的數(shù)據(jù)來自低動(dòng)態(tài)范圍的圖像數(shù)據(jù)。針對(duì)特定的逆光場(chǎng)景，寬動(dòng)態(tài)處理算法在強(qiáng)光照地方采用短曝光，在低光照處采用長(zhǎng)曝光，采用相關(guān)算法合成短曝光數(shù)據(jù)和長(zhǎng)曝光數(shù)據(jù)，得到的圖像既能保留暗處的細(xì)節(jié)又不會(huì)讓明亮處過曝。寬動(dòng)態(tài)處理效果如下圖所示：

圖1 寬動(dòng)態(tài)效果對(duì)比圖

實(shí)時(shí)視頻透霧算法

空氣中的液滴和固體小顆粒使戶外監(jiān)控視頻質(zhì)量明顯降低，在霧霾天氣下，圖像色彩黯淡、對(duì)比度變低，一些重要目標(biāo)的細(xì)節(jié)更是淹沒在霧氣中難以被察覺，視頻監(jiān)控系統(tǒng)的實(shí)用性受到很大影響。因此，去除視頻中的霧氣，進(jìn)而改善圖像質(zhì)量，成為提升戶外視頻監(jiān)控系統(tǒng)應(yīng)用價(jià)值越發(fā)重要的一項(xiàng)關(guān)鍵技術(shù)。

目前已知的透霧算法大致可以分為兩大類:一種是非模型的圖像增強(qiáng)方法，通過增強(qiáng)圖像的對(duì)比度，滿足主觀視覺的要求來達(dá)到清晰化的目的；另一種是基于模型的圖像復(fù)原方法，它考查圖像退化的原因，將退化過程進(jìn)行建模，采用逆向處理，以最終解決圖像的復(fù)原問題。目前通過增強(qiáng)的方式來進(jìn)行透霧處理典型的方法包括：直方圖均衡化、濾波變換方法和基于模糊邏輯的方法。直方圖均衡化方法，其中全局化方法運(yùn)算量小但對(duì)細(xì)節(jié)的增強(qiáng)不夠；局部均衡方法效果較好，但可能引入塊狀效應(yīng)、計(jì)算量大、噪聲被放大及算法效果不易控制的問題，其視頻處理效果如圖2所示。濾波變換的透霧算法，通過局部處理能獲得相對(duì)較好的處理結(jié)果，但它們的計(jì)算量巨大、資源消耗多、不適于實(shí)時(shí)性要求較高的設(shè)備。基于模糊邏輯的方法透霧的效果不夠理想。

圖2 透霧處理效果圖

除以上特性功能外，力維還推出了背光補(bǔ)償功能、強(qiáng)光抑制功能、電子防抖功能、低照度功能等。背光補(bǔ)償功能逐漸被寬動(dòng)態(tài)功能所取代；強(qiáng)光抑制功能常用于夜間車牌定位和識(shí)別；電子防抖動(dòng)功能可消除畫面抖動(dòng)引起的拖尾現(xiàn)象，使視頻銳利、流暢；低照度功能確保攝像機(jī)在超低照度下，仍然可以獲取細(xì)節(jié)清晰的圖像。

結(jié)束語(yǔ)

目前，圖像信號(hào)處理技術(shù)在監(jiān)控行業(yè)的研究和應(yīng)用還處于初級(jí)階段，客觀環(huán)境復(fù)雜多變，要想得到穩(wěn)定準(zhǔn)確的結(jié)果還有很多地方需要付出努力。圖像信號(hào)處理技術(shù)的實(shí)際應(yīng)用價(jià)值已經(jīng)引起了行業(yè)的重視，特別是在當(dāng)前監(jiān)控智能化和高清化的趨勢(shì)下，數(shù)字圖像信號(hào)處理技術(shù)是智能化和高清化最基本的應(yīng)用單元，它的性能好壞直接影響到整個(gè)視頻監(jiān)控系統(tǒng)的質(zhì)量。為此，力維投入了大量的人力和財(cái)力進(jìn)行開發(fā)和研究，現(xiàn)已頗有斬獲。