融合深度信息的霧霾情況下顯著性目標提取

劉 坤，張曉懌，陳寧紀，蘇秀蘋

（河北工業大學 控制科學與工程學院，天津 300130）

0 引言

根據公安部道路交通事故統計報告，我國每年大約10%的交通事故直接與霧霾等惡劣天氣有關.由于霧霾天氣下空氣中渾濁介質增多，導致行車過程中能見度低、視野不清、尤其是路面上的車輛和行人等重要的顯著性目標輪廓模糊不清，不利于駕駛員對前方道路環境做出正確的觀察與判斷.視覺顯著性目標檢測是近些年來的研究熱點，通過模擬人類的視覺注意力機制，顯著性目標檢測能夠對有限的信息加工資源進行分配與選擇，可以快速找到需要關注的目標，降低視覺信息處理量[1].目前關于顯著性目標的檢測已經取得了大量的研究成果，并在圖像分割和圖像壓縮等領域中取得了廣泛的應用[2-4].應用于智能交通領域時，通過對路面上的顯著性目標進行檢測可以輔助駕駛員進行判斷與決策，例如及時發現路面上的車輛和行人等顯著目標，以降低交通事故的發生率.

霧霾天氣造成的低分辨率、低對比度導致被關注目標的邊緣、輪廓、顏色，紋理等重要的圖像特征無法準確提取，給顯著性目標檢測帶來了很大的困難.盡管目前已有很多學者針對降低霧霾等大氣介質對圖像的影響進行了研究，但現有的去霧算法存在以下幾方面問題[5-6]，使其難以應用于霧霾天氣下的顯著性目標檢測問題中：1）去霧算法的復雜度：現有的去霧算法主要是針對單幅圖像的去霧問題進行研究，算法的復雜度問題一直是該領域中的難題，復雜度過高使目標檢測的實時性很難保證；2）圖像顏色的失真：大部分去霧算法在附加各種假設條件的情況下調整圖像亮度，使用假設條件的不同導致其去霧效果各有差異，很多算法由于集中在可見度的增強而并沒有從物理上恢復原始景物的光線，導致去霧后的圖像存在顏色的失真和光環效應，進一步地導致目標的邊緣和輪廓等視覺特征無法準確提取.

在視覺注意力模型的計算過程中，特征提取是由視覺刺激到視覺信息處理的關鍵步驟，它將圖像中的內容轉化為定量的可計算信息描述形式，特征的質量直接影響顯著目標提取的準確度.在最具代表性的Itti顯著性模型中[1]，提取了顏色、亮度和梯度方向等不同類型的視覺特征，通過中央-周邊操作算子得到相應的顯著圖，特征融合之后確定顯著區域的位置和范圍.霧霾天氣下利用傳統的特征提取方法難以保證顯著性目標的準確檢測.這里，本文改進了傳統的Itti模型中的梯度方向顯著圖的計算方法；同時，引入了霧霾場景的深度信息作為重要的顯著性特征.實驗結果表明，場景的深度信息及目標之間的空間位置關系可以有效地提高顯著性目標檢測的準確率.本文算法的總體框架如圖1所示.

圖1 本文算法總體框架Fig.1 The framework of our algorithm

1 多通道顯著特征提取

1.1 亮度差異顯著圖

人眼對亮度的感知是最基本的視覺信息，即使是對其他信息和特征的感應在很大程度上也是根據亮度而來的.因此，本文首先計算待檢測圖像的亮度顯著圖.具體步驟是對待檢測圖像的亮度圖建立不同尺度下的金字塔表示結構，然后進行中央-周邊亮度對比操作來提取亮度特征的顯著圖.通過中央與周邊亮度的對比操作，可以突出圖像中亮度與周圍相比更加顯著的部分.亮度顯著圖的計算過程如圖2所示.

首先，對待檢測圖像的亮度圖建立不同尺度下的金字塔結構表示.由于高斯卷積核是實現尺度變換的唯一線性核，因此將待檢測的亮度圖像的尺度空間定義為原始圖像的高斯卷積，卷積后得到拉普拉斯函數

圖2 亮度差異顯著圖的計算Fig.2 computation of illumination difference saliencymap

1.2 梯度方向顯著圖

關于視覺注意力機制的研究表明，視覺系統的神經元細胞對于固定角度的圖像信號有明顯的響應效果，傳統的方向映射圖中通過構造Gabor濾波器來描述圖像信號在多個特定方向上的朝向性，算法的計算復雜度較高．為了提高算法的效率，本文提出了一種新的梯度方向顯著圖，主要度量圖像在水平與垂直方向上的梯度大小，并基于此進行梯度方向顯著圖的提取．假設為輸入圖像，在處的水平和垂直方向上梯度定義為以下矢量

在實際計算過程中，為了進一步提高算法的效率，本文利用模板卷積估計圖像在水平方向和垂直方向的梯度，同時梯度的幅值大小利用式 (7)近似代替．

通過分析可以發現，梯度的幅度反映了在特定方向上像素亮度變化的情況．而且，將圖像梯度的幅值圖作為有向梯度顯著圖，其中的局部差分操作在一定程度上可以凸顯出原始場景的亮度分布和變化情況．

1.3 深度特征顯著圖

本文根據暗原色先驗原理[7]對霧霾場景中的深度信息進行提取，該原理是通過對大量的清晰圖像與霧霾圖像的亮度進行統計對比后發現的先驗規律：在絕大多數非天空的局部區域里，總會存在某些像素其顏色通道之一的數值接近零．利用此先驗信息可以對霧霾場景中的透射率進行提取，場景透射率的估計與場景的深度信息存在正比例關系，因此可以間接提取目標場景的深度信息．關于霧霾情況下目標場景的成像過程，研究人員已經提出了很多關于大氣介質散射的模型，其中最為著名的大氣散射模型[8]描述關系如式 (8)所示．該散射模型主要包括衰減模型和環境光模型，衰減模型描述了光從場景點傳播到觀測點的過程；環境光模型描述了周圍環境中的各種光經過大氣粒子散射后對觀測到的光強的影響．

其中：Ｉ代表觀測圖像的亮度；Ｊ代表場景的輻射度；Ａ是全局大氣光；ｔ用來描述光線通過媒介投射到相機程中沒有被散射的部分．方程中右邊第一項叫做直接衰減項，描述的是景物光線在透射媒介中經衰減后的部分；第二項是大氣光成分，它是由大氣散射引起的，會導致景物顏色的漂移．通過分析大氣散射介質作用下的成像模型可以發現，霧霾情況下成像得到的目標亮度值主要與目標本身的顏色和亮度、霧霾介質的濃度以及目標與到攝像機的距離有關.在相同的霧霾介質濃度下，目標在圖像中亮度值改變的多少與它到相機的距離成反比，也就是說，通過對霧霾情況下物體顏色和亮度的觀測和統計，反過來可以間接獲得目標場景距離相機的深度信息.

這里假設大氣光A是給定的，且在局部范圍內的透射率是一個常數，表示，對方程式 ( 8)的兩邊取最小化操作，可以得到

根據暗原色原理的先驗信息，其方程表示如下

進而可以得到對圖像中場景的透射率估計結果如式 (11)所示.

由于目標場景透射率與場景的深度信息存在正比例關系，因此通過統計歸一化后的霧霾圖像中的暗原色通道可以得到對圖像場景的深度信息估計結果.對于霧霾圖像中的天空區域，這里假設大氣光在天空部分的亮度為常數，因此，通過檢測圖像中亮度為恒常的圖像區域判定天空區域的位置，并將其深度信息置為無窮遠.

2 顯著圖融合與目標檢測

自底向上地提取了圖像中的深度信息、亮度差異和梯度方向并計算顯著圖之后，為了獲得與任務相關的目標位置信息，需要制定一種自上而下的顯著圖融合機制，將不同特征之間的顯著圖進行競爭與融合，同時使得所有特征顯著圖中孤立的、顯著的極值點不會因為其他的特征合并而消失.傳統的顯著圖融合主要是利用Itti的靜態權重求和法，即給不同類型的特征顯著圖分配一個固定的權重系數，然后進行線性加權形成融合之后的顯著圖.但是，這樣的假設不符合人眼的視覺處理機制，同時簡單的加權會抑制有效特征的效果.為此，本文利用一種新的競爭與融合機制，針對每個待檢測圖像根據其不同顯著圖的特性動態分配權重，然后再對所有的顯著圖進行合并.

首先定義歸一化操作算子N(.) ，將所有特征顯著圖歸一化到同一個動態區間內，本文采用最簡單有效的最大歸一化方法，將顯著圖的亮度歸一化到[0,Ma].然后將基于不同特征得到的顯著圖進行非線性融合，融合中權系數的確定方法如公式 (12)所示.

其中：D，G，W分別表示亮度顯著圖、梯度方向顯著圖和紋理特征顯著圖； 為最終合成的顯著圖.N(.)表示對圖像的規范化操作.其中Mai為不同特征顯著圖中的全局極大值為除去全局極大值之后的所有局部極大值的平均值.經過這樣的運算之后，具有顯著性的極大值的圖像就會被加強，不具有顯著性極大值的圖像就會被抑制.

通過對待檢測圖像的深度、亮度差異和梯度方向進行特征提取與顯著圖計算與融合之后，獲得了顯著性目標的候選區域.為了進一步獲得準確的感興趣目標的位置信息，本文采用最大類間差方法進行顯著性目標的檢測與定位.具體做法是根據待檢測圖像的灰度特性將圖像分成背景和目標兩部分，背景與目標之間的類間方差越大，說明構成圖像的兩部分差別越大.當部分目標錯分為背景或部分背景錯分為目標都會導致兩部分差別變小.因此，類間方差最大的分割意味著使目標與背景錯分概率最小.定義t為前景與背景的分割閾值，假設前景點數占圖像的比例為0，平均灰度為0；背景點數占圖像比例為1；平均灰度為1，則圖像的總平均灰度為u=w0×u0+w1×u1.從圖像中的最小灰度值到最大灰度值進行遍歷，當t使得g=w0× w1×(u0-u12最大時，即為進行目標檢測與分割的最佳閾值.

圖3 基于不同特征的顯著圖生成及目標檢測Fig.3 saliencymap based on different featuresand objectdetection

3 實驗結果

為了驗證本文算法的有效性，這里在霧霾天氣下采集的大量交通路面視頻中進行測試，針對圖像中路面上的行人等顯著性目標進行了檢測.通過對圖像計算亮度差異顯著圖、梯度方向顯著圖和深度顯著圖，將其合成最終的顯著圖后利用最大類間差法得到的自適應閾值對其進行二值化處理，顯著圖中大于或等于閾值的像素點構成了初始的顯著區域；而小于閾值的像素點構成了初始的背景區域.為了提高分割的準確率，兩個準則被用于去除二值圖中的“噪聲”區域：一些初始的顯著區域面積相當小，而一些初始的顯著區域離大部分區域在空間位置上較遠，這兩類區域被重新設置為初始的背景區域，最終得到的區域為顯著性目標的檢測結果.圖3中給出了顯著性目標的檢測結果，其中 a）為輸入的原始圖像，b）為輸入圖像的亮度差異顯著圖，c）為通過暗原色原理提取的場景深度特征顯著圖，d）為輸入圖像的梯度方向顯著圖，e）為進行自適應閾值化之后的二值化結果，f）為最終的顯著性目標檢測的位置結果.

為了進一步驗證本文檢測算法的統計特性，先對目標檢測的結果做如下定義：如果行人區域被正確檢測，則稱為真正類TP（Truepositive）；如果非行人區域被識別為行人，稱之為假正類FP（Falsepositive）；如果行人區域被認為是非行人即為假負類FN（False negative）；如果非行人區域被認為是非行人，則稱之為真負類TN（True negative）.進一步地，定義目標檢測的查準率（Precision）與查全率（Recall）如式 (13)和式 (14)所示

通過對霧霾圖像提取基于不同特征的顯著圖并進行合成之后，利用自適應的閾值對顯著性目標分割與檢測，再利用人工標注的結果對這些分割結果計算查全率、查準率以及F-measure，F-measure定義為

考慮到查準率更重要一些，這里設a=0.3，用以增加查準率在計算F-measure時的權重.表1中給出了本文方法與傳統Itti模型進行顯著性目標檢測時在查全率、查準率以及F-measure指標和計算效率幾個方面的對比，從表1中可以看出本文算法的檢測效果與計算效率均優于傳統的算法.

表1 本文算法與傳統的Itti模型的對比Tab.1 Comparison ofouralgorithm w ith Ittimodel

4 結論與展望

本文提出了一種融合了深度信息的視覺顯著性目標檢測算法，其中考慮了霧霾圖像中場景的深度信息以及目標之間的空間位置關系，同時還改進了傳統的顯著性模型中的梯度方向顯著圖的計算方法.實驗結果表明，本文提出的算法可以在霧霾天氣下可靠地檢測出交通路面上的車輛和行人等顯著性目標，同時還提高了傳統顯著性目標檢測算法的計算效率，具有較廣泛的應用前景.

[1]IttiL，KochC.Featurecombinationstrategies forsaliency-based visualattention systems[J].JournalofElectronic Imaging，2001，10（1）：161-169.

[2]Zhang Zhuo，Fan XinNan.A Novel Method of Visual Attention for Targets Detection[C]//International Conference on Precision Mechanical Instrumentsand MeasurementTechnology，2013，347-350.

[3]Guo C，Zhang L.A Novel Multiresolution Spatiotemporal Saliency Detection Model and Its Applications in Image and Video Compression[J].IEEE Trans.Image Processing，2010，19（1）：185-198.

[4]余映.視覺注意計算模型設計及其應用研究 [D].上海：復旦大學，2010.

[5]ChengM M，Zhang G Z，M itraN J.Globalcontrastbased salientregion detection[C]//ProceedingsofComputerVisionand Pattern Recognition.Los A lam itos：IEEEComputer Society Press，2011：409-416.

[6]Shwartz S，NamerE，SchechnerY Y.Blind hazeseparation.[C]//Proceedingsof IEEEConferenceon ComputerVisionand Pattern Recognition.Washington，DC： IEEEComputer Society，2006： 1984-1991.

[7]HeK，Sun J，Tang X.Single ImageHazeRemovalUsingDark ChannelPrior[J].IEEETrans.Pattern AnalysisandMachine Intelligence，2011，33（12）：2341-2353.

[8]Narsimhan G，Nayar SK.Vision and theatmosphere[J].International Journalof Computer Vision，2002，48（3）：233-254.