一種基于雙邊濾波和圖像融合的增強方法

武院生，楊衛平，張勝輝，呂云波

（1.國防科學技術大學電子科學與工程學院，長沙410073；2.武警云南省總隊迪慶州支隊，迪慶674400）

一種基于雙邊濾波和圖像融合的增強方法

武院生1，2，楊衛平1，張勝輝1，呂云波1

（1.國防科學技術大學電子科學與工程學院，長沙410073；2.武警云南省總隊迪慶州支隊，迪慶674400）

在系統研究可見光和紅外圖像融合技術的基礎上，提出一種圖像融合算法用以檢測可見光圖像中的隱含目標。為了在檢測隱含目標的同時平滑圖像中目標的邊緣信息，采用雙邊濾波來去除噪聲并在此基礎上進行圖像融合以獲取圖像完整信息。首先通過對圖像添加噪聲得到降質退化圖像，然后采取雙邊濾波算法對降質圖像進行平滑去噪，此后，再對濾波去噪后圖像進行融合。結合雙邊濾波和圖像融合方法，設計四種算法來驗證雙邊濾波和圖像融合在多源圖像應用中的強大功能。研究測試了算法對可見光圖像中因光線原因隱藏的人體目標檢測性能。實驗結果表明，該方法可以有效提高在背景圖像中進行目標檢測或識別的概率。

雙邊濾波；圖像融合；目標探測；隱藏目標

1 引 言

靜止圖像中的目標檢測包括行人檢測，車輛檢測以及監控［1－2］。多種方法被用于在圖像中探測人體目標。在軍事和監控應用中，通常由于光照、煙霧弱光、黑夜等影響，很難檢測出噪聲圖像中的人體目標，由于這些因素，重要目標或特征可能會隱藏于可見光圖像中。從這些圖像中獲取隱含目標包括圖像獲取、傳輸、統計、分析、處理、融合和顯示等一系列過程。熱傳感器或夜視儀等傳感器能獲取人眼所不能感知的數據信息，有鑒于此，多傳感器可以代替人眼從事一些探測工作。

當前，學者們正在拓展目標檢測的應用領域，例如在交通安全、夜間觀察、軍事和醫療等領域。在夜晚城市街道或者大學校園里檢測行人是很困難的。城市街道的背景中，有大量夜間高溫的人造目標，如建筑物、路燈，交通工具散發的熱量在紅外圖像中也可以被顯示成一個亮點。這些背景噪聲使得基于紅外的行人目標探測更加復雜。

多傳感器圖像融合已成為另一種流行的機制［3－5］，多傳感器（多光譜）成像系統可以提供更多的有用信息。這個處理過程可以提取所有信道特征信息形成一幅完整圖像，然后將其傳送到決策機構以辨別，這種技術可以提高圖像質量并且可以應用到很多領域。圖像融合是一個融合多幅圖像信息組成一幅合成圖像的過程，融合后的圖像將提供更多信息，圖像融合的過程就是從同一場景的多幅圖像中提取相關信息組成一幅圖像的過程。PCA、HIS顏色模型、Brovey、金字塔和多尺度幾何分析是幾種常用的圖像融合方法，像素水平、特征水平、決策水平是三種融合層次，圖像融合算法的發展絕大部分在于這三種層次。

研究的目的就是通過利用雙邊濾波器的優越性能來提高紅外圖像和可見光圖像的融合效果，從而檢測出場景中的隱含目標。當目標的前景和背景物體有著相同的顏色和亮度時，是很難被偵查到的；當夜間目標不能被清晰看到時，對目標的偵察就成為了真正的挑戰；例如開著頭燈的路上行駛的車輛和照明燈后面的物體。為能夠有效探測到目標，研究中提出四種融合算法對基于雙邊濾波和圖像融合的增強方法進行仿真實驗，并對四種融合方法的結果進行比較，從中選取較好的增強方法。

2 研究方法

任何研究方法的準確與否都取決于實驗中的系統方法以及基于實驗輸出而得到的結果［6］。研究中首先是識別目標，引導輸入圖像進行平滑處理，然后融合圖像并輸出，這種算法被稱為前向融合算法。相反的，在平滑輸出圖像之前首先挑選輸入融合圖像，這種算法被稱為后向融合算法。基于這些方法，不同水平的融合圖像算法包括ABFF（平均前向融合）、ABBF（平均后向融合）、CBFF（條件前向融合）和CBBF（條件后向融合）。MIBF（Multisensor Imagefusion using Bilateral Filter，基于雙邊濾波的多源圖像融合算法）－雙邊濾波多源圖像融合包括這四種算法，這一點起源于兩個重要的概念：FF（前向融合）和BF（后向融合）。這項工作將分兩部分描述：融合與濾波。濾波部分被調整到融合部分的前面或者后面，如果輸入圖像首先是進行濾波然后再融合處理的叫做前向融合。相反的，后向融合是先進行融合操作，最后再進行濾波操作［7］。

2.1 雙邊濾波

目前，濾除圖像噪聲主要使用空域濾波和頻域濾波兩類。雙邊濾波（Bilateral Filtering，BF）是一種去噪能力很強的算法，屬于典型的非線性濾波算法［8］，但雙邊濾波在本質上是一種基于鄰域像素灰度值進行加權平均計算的濾波器，該算法既考慮空域信息，又考慮灰度相似性，故能夠在濾除噪聲的同時又具有保持圖像邊緣特征的能力。

可見光圖像與紅外圖像融合時，采用普通的中值濾波器或者高斯濾波器進行處理，大量的邊緣和細節信息在平滑噪聲的同時會丟失，而后續紅外圖像目標的檢測與識別與紅外圖像的邊緣密切相關，因此能夠保留邊緣與細節特征的濾波器在紅外圖像的處理時被采用［9］。所以，雙邊濾波器作為一種典型的非線性濾波器得到廣泛應用，它能夠在濾除噪聲的同時很好地保留邊緣與細節特征，相比各向異性擴散等其他非線性方法，雙邊濾波具有簡單、非迭代的特點［10］。雙邊濾波在平滑圖像的同時通過對圖像臨近像素點的灰度值進行非線性組合，很好地保存了邊緣信息。在此方法中，P（x，y）點的像素值被平均相似和相近點像素值代替，該方法在平行濾波平滑圖像的同時很好的保存了圖像邊緣信息。正因為它能保存邊緣特征，所以被廣泛應用。加權平均值是用幾何距離和范圍差異計算出來的，以達到空間域上的近似值。

空間域濾波器表達式為：

公式中，f和h分別表示輸入和輸出自然多頻帶圖，x表示中心像素點，ξ表示x的鄰域點，空域濾波表征了信息的幾何相似程度。低通濾波器的表達式為：

kr是常數，函數c（ξ，x）表示中心像素和鄰近像素點的幾何距離，函數f（x）表示值域濾波器，其表達式為：

中心像素點和附近像素點ξ之間的像素相似度由函數s（f（ξ），f（x））來衡量，因此，s為值域函數，c為空域函數。進一步規劃常量可以表示為：

現在，綜合空域濾波和值域濾波，得到：

進而結合空域濾波和值域濾波，得到能在平滑圖像噪聲的同時保留圖像邊緣的雙邊濾波算法：

2.2 使用雙邊濾波的多感圖像融合

現在將討論使用雙邊濾波多感圖像融合算法工作的細節。為了得到帶有豐富信息的融合圖像，首先設定融合過程中只包含兩個源圖像，用A和B表示，整個融合過程描述如下：

2.2.1 平均雙邊濾波前向融合（ABFF）

首先用雙邊濾波對源圖像A和B進行平滑，分別得到去噪后的紅外圖像和可見光圖像。算法包括兩個部分：第一部分是平滑圖像并保留邊緣；第二部分是對紅外圖像和可見光圖像進行融合。而第一部分又包括以下步驟：

預先計算高斯距離權值：

這里x和y分別表示水平和垂直方向上的像素距離，σ是高斯分布偏差。將鄰域內各像素的加權平均值作為鄰域中心點，每一個像素點被賦予一個由附近像素點確定的加權平均值。最大的比重被放到原像素點，按照距離遠近，較輕的比重被依次放在鄰近像素點，越遠的點越輕。

計算高斯強度權值：

使用定義域和值域濾波器得到雙邊濾波器輸出。

第二部分，依據融合規則，紅外圖像和可見光圖像融合后獲得圖像F。這里融合規則就是通過紅外和可見光圖像像素點的位置計算平均像素值的平均融合。

融合圖像的目的就是通過融合互補信息找到原圖像的重要特征。識別、比較、轉移圖像的重要特征，是圖像融合的重要內容，如邊緣和細節。因此，能夠識別并突出表現出圖像特征的方法是非常重要的。雙邊濾波和融合進行結合能夠保存邊緣，所以被用來識別圖像細節特征，但是強烈的亮度變化可以導致雙邊濾波權值的劇烈變化，從而導致較大的計算誤差。

2.2.2 平均雙邊濾波后向融合（ABBF）

這種方法是將第一種方法ABFF順序倒置。首先，所有像素按照公式（9）執行完畢。所以，很明顯濾波處理被放到了后面進行，融合后的圖像依然被噪音干擾。然后，融合圖像被按順序操作：用PGD計算高斯距離權值、用ELRV提取局部特征、用GIV計算高斯強度權值和用GFR執行高斯濾波。最后，受噪聲影響的融合圖像轉換成無噪融合圖像。

2.2.3 條件雙邊濾波前向融合（CBFF）

上面的算法，可以根據不同應用在融合時設置條件規則來獲取更好的效果。根據融合條件的變化，我們重構了算法，不再采用前面的平均融合算法。根據應用需求，條件融合可以執行最大選擇和最小選擇（MAX－CHOOSE MIN－CHOOSE）。首先，平滑部分可以在兩幅圖像中通過分別執行PGD計算高斯距離權值、執行ELRV提取局部特征、GIV計算高斯強度權值和GFR來實現高斯濾波。最后，含有噪聲的融合圖像被轉化成沒有噪聲的融合圖像。平滑處理過的圖像又通過選擇MAX－CHOOSE或者MIN－CHOOSE規則得到融合圖像。

2.2.4 條件雙邊濾波后向融合（CBBF）

在CBBF算法里面，條件融合首先用于紅外圖像和可見光圖像。依照融合規則，使用MAXCHOOSE方法或者MIN－CHOOSE方法完成融合源圖像。融合圖像能夠獲取高斯距離權值。特征值提取后，高斯強度權值和高斯濾波結果自然被算出。

多源圖像用平均方法融合，這種方法比較常用，具體定義如下：

輸入：N源圖像，空域和值域標準差分別為σr和σd

輸出：融合后圖像AF

步驟1：讀取帶有噪聲的紅外圖像和可見光圖像

步驟2：提前計算高斯距離權值

盡管紅外和可見光有不同的光譜帶，顯示不同的背景物體，但它們都可以顯示背景圖像的補充信息。因為可見光圖像顯示空間細節，而紅外圖像顯示光譜細節，所以兩種圖像融合可以保證得到能夠充分顯示可見光圖像中隱藏目標的完整信息。下面我們對可見光圖像和紅外圖像用以上四種算法分別計算并比較。

3 實驗結果和討論

以下用多組多源圖像作為輸入信息，用來發現圖像中的隱藏目標，并對整個過程進行認真安排和設計。4組多源圖像用來實驗，用以檢測對比上述四種算法，對比它們處理后的實際效果。圖像處理前后的評價指標如表1所示，表中給出了每幅圖像處理前后的熵值，融合后圖像的熵值必須比原圖片要高，才能說明融合后的圖像具有更多的信息量。熵值計算：

G－Gray levels；p（i）為灰度水平值為di的發生概率。標準差是另外一個用來測定比較融合前后圖像質量的指標。高質量的圖像必定有高的標準差：

L為直方圖子塊數，If為融合圖像，hif為融合圖像歸一化直方圖。這一關系用來找出像素帶分布的中心值。這一關系改變的定義如下：

μf—輸出，μr—源圖像。

實驗中采用了四對同源可見光和紅外圖像進行處理，首先，導入紅外圖像和可見光圖像。首先對兩幅被標以a和b（圖1）的圖像加入隨機高斯噪聲，而這一噪聲是為獲得雙邊濾波權限而加入的。在圖1的第一行，人物在紅外圖像中很清晰，但在可見光圖像中并未出現。c圖到f圖是分別用平均前向融合、平均后向融合、條件前向融合、條件后向融合四種算法處理的結果，而前兩種算法的處理結果顯然比后兩種算法處理結果中的人物圖像要更為模糊，光線很暗，那么區分圖像的背景和前景就顯得有些困難。表1是對這幾種算法定量的評估結果，從表中可以看出，最好的計算結果是通過條件前向融合和條件后向融合算法獲得的。條件前向融合算法可以分別得到熵值6.7110、均值0.3303、標準差0.1295的客觀評價參數，稍次之的數據6.6798、0.3311、0.1293是由條件后向濾波算法得到的。因此，條件前向融合算法具有較好的融合效果。

表1 四種融合方法的客觀評價

4 結束語

經過對平均前向融合、平均后向融合、條件前向融合、條件后向融合四種多源圖像融合技術的對比研究，可以得出：它們都能夠通過雙邊濾波融合紅外圖像和可見光圖像，從而用于尋找圖像中的隱藏目標。這也使從具有煙霧、低可見度、惡劣氣候條件等復雜背景中找出隱藏目標變成了可能。圖像融合從紅外圖像和可見光圖像中提取的必要信息，為探測提供必要條件。四種圖像融合算法中，條件雙邊前向融合算法可以得到理想的效果。在復雜光線條件下執行偵察、探測任務時，可以采用條件雙邊前向融合算法對任務地域現場獲取的同源圖像信息進行處理，以便獲取順利完成任務所必需的現場信息。

圖1 算法效果

［1］R L Lagendijk，JBiemond，D EBoekee.Regularized iterative image restoration with ringing reduction［J］.IEEE Trans.Acoust.Speech，Signal Processing，1988，36（12）：1874－1887.

［2］萬力，易昂，傅明.一種基于Canny算法的邊緣提取改善方法［J］.計算技術與自動化，2003，22（1）：24－26.

［3］Broggi，P Cerri，S Ghidoni，P Grisleri，H Gi.A new approach to urban pedestrian detection for automatic braking［J］.IEEE Trans.Intell.Transp，2009：594－605.

［4］Zhang Qiang，Wang Long，Li Huijuan，et a1.Similaritybased multimodality image fusion wim shiftable complex directional pyramid［J］.Pattern Recognition Letters，2011，32（13）：1544－1553.

［5］Fleishman S，Drori I，Cohen－Or D.Bilateral mesh denoising［J］.ACM Transactions On Graphics.2003，22（3）：950－953.

［6］吳艷，劉重陽.一種新的像素級多聚焦圖像融合算法［J］.電子與信息學報，2007，29（12）：2800－2804.

［7］Pham T Q，Van Vliet L J.Separable bilateral filtering for fast video preprocessing［C］.IEEE International Conference on Multimedia and Expo，2005：6－8.

［8］胡良梅，高雋，安良，等.基于D－S證據理論的模糊聚類圖像融合分割［J］.合肥工業大學學報，2004，27（7）：721－724.

［9］Tomasi C，Manduchi R.Bilateral fltering for gray and color images［C］.Intematioual Conference On Computer Vision，1998：7－9.

［10］Elad M.On the origin of the bilateral filter and ways to improve it［J］.IEEE Transactions On Image Procession，2002，11（10）：1141－1151.

［11］Zhang Ming.Bilateral filter in image processing［D］.BatonRouge：Louisiana State University，2009.

Algorithm s of Image Enhancement Based on Fusion and Bilateral Filter

WU Yuan－sheng1，2，YANGWei－ping1，ZHANG Sheng－hui1，LV Yun－bo1
（1.College of Electronic Science and Engineering，National Defense Technology University，Changsha 410073，China；2.Diqing City Team，Yunnan Corps，The Armed Police，Diqing 674400，China）

This paper proposes an algorithm of image fusion for detecting the hidden targets in the visible light images.In order to smooth the edge of the image targetwhile detecting the hidden image，the bilateral filer is used to remove the noise and the image fusion is performed accordingly to get its integrated information.The edge of the image is degraded by the noise，and the typical bilateral filtering method is used to save the image and remove the noise，then bilateral filtering fusion is performed for the noise removed image.Combined with the two kinds of processing technology，four algorithms are used to verify the strong functions of the bilateral filtering and image fusion in the application ofmulti－source images.The algorithms，for detection performance for the body target hidden by the different factors，are tested.The experiments show that the algorithm can effectively improve the probability of detection or identification of the target from images background.

Bilateral filter；Image fusion；Object detection；Hidden objects

10.3969／j.issn.1002－2279.2014.06.015

TP391.4

：A

：1002－2279（2014）06－0050－05

武院生（1978－），男，山東省東明縣人，工程碩士，主研方向：光學成像與自動目標識別技術。

2014－05－06