基于紅外視景仿真技術的導向濾波算法

何易德,朱 斌,司 晨,毛 銳

(西南技術物理研究所，成都 610041)

引 言

圖像成像噪聲和擾動模糊一直是困擾視覺研究難點之一，尤其在紅外成像領域——紅外末制導成像精確制導過程，該過程伴隨著噪聲、沖擊擾動模糊等[1]，低成像質量嚴重影響了目標探測搜索和跟蹤，因此紅外圖像的預處理是首要考慮的問題。紅外視景仿真建模技術基于計算機圖形圖像技術，利用3維幾何建模技術和光線追蹤成像技術，根據目標/場景經驗參量，利用傳熱學第一原理[2]，近似計算目標/場景紅外輻射特性。視景仿真建模在工業上的應用為虛擬現實和增強現實，在武器研發領域主要是模擬外場試驗環境，為武器提供逼真的試驗條件[3-5]。

導向濾波(guided image filtering,GIF)算法[6]是一種保持圖像邊緣細節的濾波算法，在輔助去霧、去噪聲等方面應用廣泛[7-10]，在保證實時性的同時具有非常理想的處理結果。導向濾波不僅廣泛應用于工業視覺，近年來成功應用到紅外圖像的相關問題[11-13]，取得了不錯的成績，但是研究人員一直忽略了一個較重要問題，即導向圖像的來源問題。在暗通道去霧算法[7](dark channel prior,DCP)中，采用導向濾波來代替soft matting[14]過程，計算大氣透射率圖像，輔助完成暗通道算法，在不影響算法效率的條件下成功實現了實時運算，極大推動了暗通道去霧算法的應用。在暗通道去霧算法中，導向圖像源于有霧輸入圖像的二值化，成功地解決了導向圖像的來源，但是用于去噪聲等其它問題，將原始圖像添加未知噪聲，以原始無噪聲圖像為導向圖，能夠有效地去除添加的噪聲，這顯現了導向濾波算法在去噪聲問題的有效性，但是對于實際問題，在未知無噪聲的原始圖像狀態下，導向濾波的應用十分受限。

盲卷積去模糊算法在處理圖像未知模糊程度的條件下非常實用，在估計輸入圖像的點擴展函數[15](point spread function，PSF)的同時迭代計算得到結果圖像，用來解決少量先驗成像信息的圖像去模糊。但是盲卷積去模糊算法因采用逐次迭代算法同時估計PSF和結果圖像，在求解時計算量大，需折中考慮迭代次數和計算效果[16-17]。

針對紅外圖像的實時去噪聲問題和導向濾波算法的核心導向圖像來源問題，本文中利用導向濾波算法來實時處理紅外圖像，具有保邊緣、快速實時性；在面臨導向圖像的來源問題上，采用視景仿真建模技術生成所需的導向圖像，從而有效地將導向濾波算法引入紅外圖像處理領域。雖然導向濾波算法在紅外圖像方面應用頗多，但均未正面說明導向圖像的問題，在處理實際紅外圖像缺乏一定的說服力。為了保持算法的完整性，在強調紅外圖像去噪聲的問題之后，本文中研究了盲卷積去模糊算法，在分析和試驗設計時對導向濾波算法、盲卷積濾波算法和導向濾波算法+盲卷積去模糊算法，設計分析對比了此類算法在紅外圖像處理中的優缺點。試驗結果表明，基于視景仿真建模的導向濾波算法能實時有效的處理紅外噪聲；導向濾波算法+盲卷積去模糊算法雖然處理結果有效，但是不具備實時性；盲卷積去模糊算法單獨作用于紅外圖像會引入大量噪聲。同時針對噪聲和模糊的問題，作者發現,先處理成像噪聲再處理模糊是最佳的處理流程。

1 相關工作

1.1 紅外視景仿真建模

紅外視景仿真包括幾何建模和紅外輻射特性建模，3維幾何建模由目標結構表觀、多邊形幾何面片、可見光紋路等固有屬性決定；紅外特性建模包括零視距紅外輻射特性建模和大氣程輻射與大氣透過率的近似計算[18]。目標場景的零視距紅外特性由其物理材質屬性、熱源、熱交換、熱平衡等關鍵因素確定。故紅外視景仿真建模的前提是完成目標/場景模型的物理屬性、運動屬性、材質屬性及內部/局部熱源、組成的進行調研，獲取目標/場景環境溫度、濕度、經緯度及高度等環境參量。根據目標/場景的紅外物理材質屬性、局部熱源分布、太陽/云層等輻射熱、環境之間的熱交換以及3維幾何面片之間的熱傳遞，建立傳熱學第一原理，計算目標/場景模型的溫度分布，根據斯蒂芬-玻爾茲曼定理[3]，計算物體自身輻射信息，疊加太陽直接輻射和散射輻射、大氣和環境熱輻射信息，近似計算目標/場景的零視距紅外輻射特性。在場景環境參量和目標/場景零視距紅外輻射的前提下，估計目標/場景與成像視點之間的距離，計算紅外成像的大氣透過率和紅外程輻射，大氣透過率的作用是減少成像點獲取目標/場景零視距紅外輻射特性信息，大氣紅外程輻射的作用是疊加到目標/場景零視距紅外輻射特性，形成在特定的距離、視角及姿態下所顯現的紅外仿真圖像。

目標/場景環境的物理屬性、材質信息根據經驗獲取并形成相應的文件，場景環境條件參量根據實際試驗獲取并記錄，根據所得參量進行紅外視景仿真建模，近似得到符合要求的紅外目標/場景圖像，并作用于實際試驗視頻圖像數據，完成試驗視頻圖像的去噪、去模糊運算，為后續的搜索跟蹤提供最優視頻圖像。

目標/場景零視距紅外輻射信息主要由材質屬性[19]和物體表面溫度[20]分布決定，紅外輻射量理論近似計算模型做如下描述。

(1)太陽短波輻照度：由太陽直射和太陽散射組成，與日期、經緯度、太陽高度、太陽方位角、太陽入射角、云層分布、物體面及其傾角密切相關。

(2)大氣長波輻射：

(1)

式中，σ=5.67×10-8(W·m-2·K-4)為斯蒂芬-玻爾茲曼常數，參量ea的表達式為：

ea=Hr×6.1×

(2)

式中，Ta為空氣溫度，T0為絕對零度，Hr表示相對濕度。

(3)物體自發輻射(斯蒂芬-玻爾茲曼定理)：

M=ε×σ×To4

(3)

式中，To為物體表面溫度，ε為物體表面輻射發射率，通常情況下To≠Ta。

(4)顯熱交換通量：由物體與周圍空氣間的對流熱交換產生，與大氣溫度、物體表面溫度、風速、海拔高度等相關。

(5)潛熱交換通量(主要用于計算場景紅外輻射，目標模型不需計算)：物體表面與其內部的水分以蒸發的形式回到大氣的現象，與大氣溫度、物體表面溫度、相對濕度、風速、海拔高度相關。

(6)熱傳導通量：物體表面與內部之間的溫差決定，主要計算包含內部熱源的物體。

綜上所述,物體表面輻射信息的影響因素，近似計算物體表面的熱輻射量。

紅外大氣程輻射和大氣透過率的理論近似計算歸納為：紅外大氣程輻射Lp和透過率τ在λ1～λ2波段內的理論計算采取對目標到成像視點之間的距離進行分層處理，表示成：

(4)

(5)

式中，τ(λ)是單一波長的大氣透過率，Lp(λ)為單一波長大氣程輻射，由大氣對太陽輻射的單次散射LSS(λ)、多次散射LMS(λ)、大氣對地表熱輻射的多次散射LMSS(λ)以及大氣自身熱輻射La(λ)的數值組成。LSS(λ),LMS(λ),LMSS(λ)采用大氣學中的K分布算法進行近似計算，La(λ)表示為：

(6)

式中，R是總的大氣路徑;B(T,λ)為普朗克公式計算的大氣路徑中各層大氣自身熱輻射值；τ(λ)與大氣路徑對應的光學厚度k(λ)成負指數關系，可表示為：

τ(λ)=exp[-k(λ)]

(7)

式中，k(λ)由每一層的大氣光學厚度ki(λ)累加而來，每一層的大氣光學厚度由大氣分子吸收光學厚度σMA(λ)、大氣分子散射光學厚度kMS(λ)、氣溶膠吸收光學厚度σAA(λ)和氣溶膠散射光學厚度kAS(λ)組成。σMA(λ),kMS(λ),σAA(λ)和kAS(λ)按照分層距離對相應的吸收系數、散射系數進行積分得到。大氣分子和氣溶膠的吸收系數、散射系數與大氣模式、戰場經緯度、時間等信息密切相關。通過理論的近似計算，可以較精確地得到目標成像過程的紅外大氣程輻射和相應的大氣透過率，從而計算目標模型的紅外特征信息。

1.2 導向濾波算法

導向濾波算法[6]的核心思想是對輸入圖像按照給定的導向圖像信息進行濾波處理，即導向濾波器將導向圖像和輸出圖像之間在一個窗口區域內建立一種局部線性映射。因此，導引圖像的細節和平滑信息有助于約束輸入圖像，使輸出圖像保持導向圖像的邊緣細節和平滑區域，故導向濾波算法具有保持邊緣的作用，故導向圖像的非常重要。導向濾波算法提出的主要目的是為了代替軟摳圖(soft matting,SM)，實現暗通道去霧算法的實時運算。此時的導向圖像由輸入圖像二值化，替換soft matting，計算輸入圖像(含霧)的透射率圖像，從而實時有效的完成去霧操作。算法要求導向圖像和輸入圖像大小一致，導向濾波算法可描述為：

qi=αkIi+βk,(i∈ωk)

(8)

式中,(αk,βk)為圖像區域內滿足線性關系的參量組，需要根據最優近似進行求解，Ii表示導向圖像的某一區域,qi表示輸出圖像的某一區域，ωk為導向圖像I的某一區域。參量組(αk,βk)利用最小二乘法估計得到，此處不考慮懲罰項帶來的影響。采用下面的最小二乘估計來估計上述參量對。

(9)

式中，η是最小二乘擬合的參量，p表示輸入圖像。其解表示為：

(10)

(11)

根據上述公式，計算輸出圖像q：

(12)

(13)

(14)

算法實現過程時，采用boxfilter算法來計算給定區域的均值和方差，boxfilter算法的復雜度是o(1)，整個濾波算法復雜度也為o(1)。在一般計算機上，導向濾波算法的實現低于1ms。本文中主要是將紅外仿真建模圖像作為導向圖像，對試驗圖像進行去噪聲處理，既滿足試驗需求的實時性，又充分的發揮了導向濾波算法在去噪聲領域的優點，得到比較滿意的輸出圖像。

1.3 盲卷積去模糊

盲卷積去模糊算法[16]根據貝葉斯定理建立最大后驗模型(maximum a posteriori, MAP)，采用交替迭代算法求解模型，依次獲得預估PSF和相應PSF條件下的最優圖像。由于求解過程稍微復雜，需要在計算速度和圖像質量之間進行權衡，同時需給定PSF區域大小和最大迭代次數。盲卷積去模糊算法根據貝葉斯定理，描述為：

P(q,f|p)∝P(p|q,f)P(q,f)=

P(p|q,f)P(q)P(f)

(15)

式中,q表示需求計算的結果圖像，p表示輸入圖像，f表示未知的PSF函數。根據成像映射關系建立起的似然函數:

(16)

式中，γ是超參量，P(q)和P(f)分別為結果圖像函數和PSF函數的先驗信息。

利用上述信息，建立MAP泛函模型：

L(q,f)=-ln[P(q,f|p)]+const=

(17)

且Q(q)=-lnP(q),R(f)=-lnP(f)，采用交替迭代數值求解上述泛函模型，依次得到估計的PSF函數f和最優的結果圖像q。

2 本文中設計的算法

通過觀測分析大量外場試驗視頻圖像，試驗紅外成像包含大量成像噪聲和以及少量擾動模糊，這增加了紅外目標檢測和跟蹤的難度。通過對相關內容的深入分析，本文中采用導向濾波算法處理紅外成像噪聲，對于導向濾波算法的導向圖像來源問題，利用視景仿真建模技術生成合適紅外圖像，作為導向濾波算法的導向圖像，聯合處理試驗紅外圖像的成像噪聲。導向濾波算法充分利用導向圖像，在去除成像噪聲的同時充分保持圖像邊緣的完整性，計算過程采用boxfilter算法來計算區域塊的均值和方差，該算法的計算時間低于1ms。基于視景仿真建模技術的導向濾波算法如圖1所示。

Fig.1 Guided filter algorithm based on visual modeling technology

在實時處理過程中，可忽略圖像少量的成像擾動模糊，因為處理模糊過程中要么銳化圖像高頻信息，要么非常耗時。為了使本文中的圖像處理完整，在非實時條件下，采用導向濾波算法+盲卷積去模糊的綜合算法處理紅外圖像，雖然耗時，但計算結果非常滿意，充分地發揮了導向濾波去噪聲的同時保護圖像邊緣完整性的性質，同時恢復了圖像中的少量被模糊的信息。在設計實驗時，設計了單獨使用導向濾波算法、導向濾波+盲卷積去模糊的綜合算法和單獨使用盲卷積去模糊算法，試驗結果如分析那樣，盲卷積去模糊算法銳化了圖像中的噪聲，單獨使用盲卷積去模糊算法大量增加了圖像中未顯現的噪聲，而通過導向濾波去噪聲后采用盲卷積算法則不會凸顯過多的噪聲，側面說明了導向濾波算法去噪聲的有效性。為了平衡試驗效果和盲卷積算法的迭代過程，本文中取PSF大小為33pixel×33pixel，迭代次數為4，有效地縮短盲卷積的計算時間。

本文中提出的算法綜合了紅外視景仿真技術、導向濾波去噪聲和盲卷積去模糊算法，如圖2所示。

Fig.2 Guided filter and blind convolution comprehensive preprocessing

3 實驗結果與分析

本文中針對目標為十字靶標，材質為混泥土(反射率0.25，容積熱容量1.466×106J/(m3·K),導熱系數0.906W/(m·K)，發射率0.92)，場景環境為平地，主要材質為土壤(反射率0.2，容積熱容量2.302×106J/(m3·K),導熱系數0.213W/(m·K)，發射率0.93)，郊區，夏季，時間16:30，經度110°，緯度34°，陰天，大氣溫度34℃，濕度68%，無風，靶標表面近似計算的溫度為38.6℃，靶標附近場景溫度為35.9℃，靶標平放，成像距離300m，成像俯視角為60°。氣溶膠類型為鄉村型，在上述環境條件下，查詢氣溶膠粒子密度和粒子尺寸，以及大氣分子，完成紅外仿真視景圖像建模，將此圖像作為導向圖像，進行導向濾波算法。導向濾波算法實現過程中，圖像區域塊ω取11×11，導向濾波算法計算過程小于1ms。盲卷積去模糊算法實現過程，選擇點擴展函數f大小為33pixel×33pixel，用脈沖函數對其進行初始化，迭代次數設定為4，盲卷積去模糊算法耗時20ms左右。最終結果與中值濾波、雙邊濾波、維納濾波等典型算法進行比較，采用計算輸出圖像的峰值信噪比和視覺圖的方法進行比較。

3.1 相關算法仿真結果圖像

本文中所設計的對比試驗包括：維納濾波算法、中值濾波算法、雙邊濾波算法、盲卷積濾波算法、導向濾波算法、導向濾波+盲卷積算法，結果如圖3～圖10所示，其中圖3為輸入圖像，圖8為導向圖像。

Fig.3 Original image

Fig.4 Winer filter result

Fig.5 Median filter result

Fig.6 Bilateral filter result

Fig.7 Blind convolution result

Fig.8 Guided image

Fig.9 Guided filter result

Fig.10 Guided filter and blind convolution filter result

3.2 相關算法結果峰值信噪比比較

通過計算圖像的峰值信噪比(peak signal-to-noiseratio,PSNR)來評價算法的性能。PSNR定義為：

(18)

式中，M表示圖像的最大數值，本文中取為255;m和n分別為圖像的行數和列數。q表示輸出圖像(算法處理之后的圖像)，p表示輸入圖像(未處理的原始圖像)。

相關算法的PSNR值的比較見表1。其中，輸入圖像的信噪比未知，本文中算法能有效解決未知輸入圖像的噪聲和模糊。

Table 1 PSNR and time of related algorithm

3.3 實驗結果分析

本文中提出的綜合紅外仿真技術、導向濾波和盲卷積去模糊的算法，有效地解決了導向濾波算法的導向圖像來源問題，可進一步推廣使用導向濾波算法。從上述圖像和表1可知，導向濾波算法運算非常快，比中值濾波運算快，同時保持圖像邊緣細節，單獨采用導向濾波算法亦有很好的處理結果，對高實時性問題，建議單獨使用導向濾波算法；盲卷積去模糊算法比較耗時，但是在不知道擾動模糊類型的情況下非常有效，但是單獨采用盲卷積去模糊算法會對圖像引入大量噪聲，是不值得推薦的；對實時性要求不是很高的問題，建議綜合導向濾波和盲卷積去模糊的算法，該算法能有效的處理成像噪聲和擾動模糊。同時，針對成像噪聲和模糊問題，原則上先處理噪聲(保持細節不變的條件下)，再處理模糊，這樣不會去除圖像本身的細節，同時很好的抑制噪聲。導向濾波算法或導向濾波和盲卷積去模糊算法輸出圖像質量均優于經典濾波算法，同時導向濾波算法的運行時間亦優于典型濾波算法。

由此可見，依據紅外仿真技術綜合導向濾波算法和盲卷積去模糊算法可有效處理紅外試驗圖像的噪聲和擾動模糊。

4 結 論

針對紅外成像噪聲和擾動模糊問題，綜合紅外視景仿真建模技術、導向濾波和盲卷積去模糊算法，處理試驗過程的成像噪聲和擾動模糊。充分地解決了導向濾波算法中導向圖像的來源問題，最大限度地利用導向濾波算法在圖像預處理方面的優勢，處理結果從處理時間和處理結果方面均優于傳統濾波方法(導向濾波算法運行時間降低了25%，PSNR提高了4.5%)，從而說明利用計算機圖形圖像技術輔助計算機視覺算法具有一定的可行性。但是，由于紅外視景仿真建模技術的內在難點，在推廣到試驗視頻的處理時，還需要深入地研究，如在一定條件下生成導向圖像，利用處理輸出圖像作為下一幀的導向圖像，從而連續地進行視頻的濾波處理，該方法的可行性還有待考證，但是將處理公開圖像的算法引入紅外圖像的方法是正確的，利用計算機圖形圖像技術輔助視覺處理的方向也是正確的，同時也具有推廣意義。紅外仿真圖像作為導向圖像解決了導向圖像的來源問題，對實時紅外視頻的處理則是后續主要研究問題之一。