基于導向濾波的多聚焦圖像多階特征融合算法

蔣德勇，李 俊，趙新勝，陳舒婭

(1.江西應用科技學院人工智能學院，江西南昌330100;2.贛南師范大學數學與計算機科學學院，江西贛州341000)

1 引言

信息融合已經成為當前一大亮點，也是當今社會急需創新攻克的難題[1-2]。目前相關學者對于圖像方面的研究取得了較大的成就，其中圖像融合這一技術已經相對成熟，圖像融合簡單來講，就是將兩個或多個具有同種目標元素的圖像進行融合，突出特征點和區別點，這樣極大方便了研究人員的觀察與研究，使圖像更加全面和準確[3]。圖像融合已經廣泛應用于醫學，航天，工業，軍事等領域，在社會各個領域有著極其重要的意義。在醫學方面，圖像融合技術可以使醫師們更好地檢查病人的病灶特點、形狀、嚴重程度等；在航天領域，其著重應用于遙感技術，對航空路線的選擇與躲避空障提供了極大的支持；在軍事領域，引用遙感技術后觀察地形地貌，規避風險更加方便[4]。其中，多聚焦圖像融合算法是圖像融合的重要算法之一。

目前運用較多的攝像機鏡頭都是光學鏡頭，光學鏡頭的景深很淺，不能全面地、清晰地將實物景中距離差距較大的物體全部還原，目前提出的空間域方法、手動控制、基于分塊方法等方法，都是以分割為基礎，融合效果相對較差。為此相關鄰域的研究學者對此進行了研究，取得了一定的進展。陳清江等人提出一種基于深度學習的多聚焦圖像融合算法[5]，利用AlexNet網絡模型實現卷積核分類，通過校正矩陣進行圖像塊校正，利用圖像聚焦和散焦方法實現邊界區域處理，此方法能夠較好的保留邊緣信息，但是平均梯度值不佳。白晨帥等人提出基于稀疏表示的遙感圖像融合方法[6]，通過PCA變換實現圖像信息處理，利用分塊稀疏表示方法實現融合圖像重構，此方法能夠有效均勻圖像光照度，但是邊緣信息保持度不佳。

本文基于前人研究經驗，提出了多聚焦圖像融合算法，這種方法不但可以明顯的改良以上不足之處，算法還更容易理解，而且RGF 基于迭代實現具有更快收斂的特性。

2 基于導向濾波的多聚焦圖像多階特征分解

在進行圖像融合之前，先進行特征分解，將一組需要整合的圖像P輸入到數據庫中，在數據庫中加入引導圖像I，將輸入的圖像P進行濾波合成，最終得到一個輸出圖像q，這種可以變化為算法的輸入和輸出。通過引導濾波技術對線性濾波過程進行定義，分析像素點所在位置，探索濾波輸出結果，根據輸出結果實現加權計算，進而得到平均值[5-6]。加權平均值的計算公式如式(1)所示

qi=Wij(I)*pj

(1)

其中，i和j分別表示像素下標；Wij(I)是只和引導圖像I相關的濾波核，該濾波器相對于P是線性的。經過多層次的深入研究，發現這個濾波器與輸入圖像P是線性相關的[7]。

導向濾波在確定局部線性關系的條件與研究對象，輸出圖像q和引導圖像I在Wk上存在局部線性關系，表示公式如下

qi=akIi+bk，?i∈wk

(2)

其中，Wk表示濾波窗口值。為提高信息的嚴謹性，本文選取的Wk為精確設定的以r為半徑的窗口，(ak，bk)為常量系數。Wk的設置可以有效降低錯誤率，極大地保證了不變性。

假定引導圖像I有一個邊緣，則輸出圖像q也保持邊緣不變，設像素點變化為?I，此時存在?q=a?I0，因此計算q值時，就只需要求出上個式子中的a和b即可。在計算過程中，將輸入圖像中遠離邊緣區的不平滑的細分為n個小塊，選擇最小目標，求出qi。計算公式如式(3)所示

(3)

引入一個相對正則化參數ε避免ak過大，結合式(3)得到的Wk損失函數，計算公式如下

(4)

3 基于導向濾波的多聚焦圖像多階特征預處理

高斯濾波是一種線性平滑濾波，可以使濾波后的圖像在細節特征上與聚焦模糊的圖像相似，高斯濾波圖如圖1所示。

圖1 高斯濾波圖

如圖1所示，在確定高斯濾波圖后，本文通過高斯濾波器提取樣本，從而選擇紋理清晰、多樣的聚焦圖像，高斯濾波器可以對圖像做平滑處理，使圖像的細微之處與聚焦模糊的圖像更加相似，還同時可以自主對圖像采取清晰處理，保證了圖像的清晰度，節省人力物力。為了使圖像更加自然化，本文選用單相高斯濾波器。

圖1中的濾波器可以通過多次重復疊加，得到最好的濾波結果。圖像選取完成后，還要考慮數據的選取，由于工作量較大，因此要選取多種不同圖像進行比對，最終選出數據集[8-9]。

對小結果的處理，采用圖像的原則，利用處理好的濾波融合圖像，將訓練好的網絡模型逐條計算且進行前后賦值，分別為0，1，高的記為1，低的記為0。設定非邊界點e(i，j)，可以根據其臨近的8個點數為1的個數進行判斷。矯正矩陣如圖2所示。

圖2 矯正矩陣

由圖2可知，雖然得到的網絡模型精度較高，但是得到的0、1矩陣還是有可能存在誤判情況，根據其臨近8個點為1的個數進行判斷。判斷公式為

(5)

其中，ζ是臨近點為1的個數，若判斷該點為1，則認為ζ大于4，若判定其對應點為0，則認為ζ小于等于4[10]。為了提高實驗的準確度，要像其它實驗一樣多做幾次實驗，得到的最終結果是兩次或多次的平均值[11-12]。

若頂點d(i，j)=0，則要選取頂點對應的四個對角線的四個點進行矯正頂點。由圖3可知，若矯正矩陣4個點中非零點個數大于2，則判定d(i，j)=1，反之則認為d(i，j)=0。

由于矯正矩陣得到的結論并不能完全符合要求，因此需要進行再次矯正，但并不是多次，只需要一次即可。

4 基于導向濾波的多聚焦圖像多階特征融合

在完成特征預處理后，進行特征融合，在融合過程中同時考慮清晰度、邊角保留度、對比度三要素，通過分析上述三要素實現多聚焦圖像多階特征融合。基于導向濾波的多聚焦圖像多階特征融合過程如圖3所示。

圖3 基于導向濾波的多聚焦圖像多階特征融合

4.1 邊角信息

邊角信息對視覺系統有著重要的吸引作用，受局部光線的影響，邊角信息可能會出現明暗變化，因此在這一過程中，可以更好地提取出底層特征，利用相位一致性來分析圖像內部的邊角信息。邊角信息計算公式如式(6)所示

(6)

其中，光線圖像點為(x,y)，設定研究的網絡為傅里葉網絡，則在θ方向的局部能量為Er，θ(x，y)，Av，n，θ(x，y)表示在θ方向的局部振幅；ε表示常數項分量，ε能夠有效防止分母為0。

4.2 對比度

圖像融合的最終目的就是為了讓人眼更清晰的辨認出圖像中特殊的點及面，而人類的視覺對獨立的像素并不敏感，人眼比較敏感的區域是像素的鄰域變化，根據這一特點，本文對局部與整體的對比度加強。局部對比度計算公式如式(7)所示

(7)

通過滑動串口技術計算局部對比度，其中，p，q表示窗口大小；Lv(x，y)表示通過局部加權后，得到的局部對比值。

4.3 清晰度

清晰度在圖像視覺感知中占據重要位置，本文引用拉普拉斯能量和離散形式來表示圖像的清晰度，計算公式為

(8)

4.4 權重優化

當圖像噪音很重時，需要進行權重優化，以實現降噪工作，將其的邊緣與物體盡可能的對齊，使用導向濾波方法，對其不斷進行濾波干擾，最終選出最優圖像。

本文研究的決策圖避免了邊界壞點的情況，采用上文多次提到的引導濾波器進行干擾，這種引導濾波器可以更容易修復邊界，使得到的最終決策圖更加自然化，適合人眼觀測。

5 實驗研究

為了驗證本文提出的基于導向濾波的多聚焦圖像多階段特征融合算法的有效性，與傳統方法進行實驗對比。

選用的三種方法分別是本文提出的基于導向濾波的多聚焦圖像多階段特征融合算法，目前應用較多的基于稀疏表示的多聚焦圖像多階段特征融合算法以及基于深度學習的多聚焦圖像多階段特征融合算法。

設定實驗參數如下表1所示：

表1 實驗參數

根據上述實驗參數，確定網絡模型，從模型中提取相關的數據參數，選用sobel算子進行濾波處理，根據矯正矩陣判斷內部是否存在誤判圖像，如果存在誤判圖像，則要進行矯正。分析圖像的清晰度，使用三取二機制細分像素級，通過濾波處理實現邊界信息修復。利用疊加法將被修復的邊界與圖像疊加到一起，形成融合的最終結果。

使用本文提出的方法與傳統方法提取原始高頻信息，并分析保持能力，得到的實驗結果如圖4所示。

圖4 高頻信息保持結果

通過圖4可知，本實驗選用的原始圖像為小男孩圖像，被融合的兩個圖像分別是小男孩和背景。本文提出的方法對于高頻信息保持能力更好，所以融合后的圖像更加清晰，且小男孩和背景的邊緣信息邊界處理效果更好。基于稀疏表示的多聚焦圖像多階段特征融合算法對于小男孩和玩具人的處理效果較好，但是對邊界信息保留效率不佳，因此在視覺上，小男孩和玩具人的清晰度更高，邊界則更加模糊；而基于深度學習的多聚焦圖像多階段特征融合算法具有較好的關鍵信息挖掘能力，所以能夠提取背景中的女孩與小男孩信息，而背景信息的清晰度較低。

由此可見，本文提出的基于導向濾波的多聚焦圖像多階段特征融合算法在主觀視覺上效果更好，能夠更加清晰地保持圖像內部的高頻信息，尤其是在細節處理上，具有極好的效果，對于散焦分界處，使用導向濾波進行處理，從而提高整體的視覺效果。

同時選用三種方法獲取圖6中的邊緣信息保持度、平均梯度、清晰度三項指標，得到的評估指標結果如下表2所示：

表2 評估指標結果分析

根據上表可知，本文提出的基于導向濾波的多聚焦圖像多階段特征融合算法對邊緣信息保持度、平均梯度、清晰度三項指標的都高于傳統方法。由此可見，本文研究的方法攜帶的信息量和圖像層次相對較多，得到的圖像清晰度更高，而傳統的方法為了保護高頻信息，忽略了對融合結果的優化，所以客觀指標保持能力較差。

綜上所述，本文提出的基于導向濾波的多聚焦圖像多階段特征融合算法在高頻信息保持能力和指標評分上都優于傳統方法，處理信息的能力更強，同時具備降噪處理能力，不僅能夠有效抑制外界信息干擾，同時可以保留圖像的原有信息。在分析邊角信息、對比度等方面，本文提出的方法融合后的圖像更能吸引視覺注意，內部有用信息更加充實。導向濾波具有很強的定性能力，可以針對某一個模糊點進行分析，從而提高算法的處理能力。

6 結束語

本文提出的基于導向濾波的多聚焦圖像多階特征融合算法，能夠使圖像分解的更加細致化，而這種細致化，不但可以使原圖像更加清晰，還避免了邊緣模糊的根本缺點，可以使研究者或是操作者，更簡潔更直觀的觀測到需要的特征。這種算法還避免了噪音的影響，集合了多重算法的優點，從邊角點、清晰度、對比度三種因素里分別進行檢測提高。實驗驗證了這種算法在實際操作中的可實施性和簡便性，多種標準化測試顯示，這種算法在各個性能指標中優于其它算法，該方法具有極其廣泛的應用空間。