自適應雙刃邊法模糊紅外圖像復原

曹學影，王 琳*，譚覃燕，陳大秀，何洋洋

（1.西安電子科技大學 物理與光電工程學院，陜西 西安 710071；2.上海航天控制技術研究院，上海 201109；3.中國航天科技集團公司 紅外探測技術研發中心，上海 201109）

1 引 言

紅外圖像采集過程中成像系統本身的電子噪聲、熱噪聲等，以及紅外遙感圖像采集過程中的光學衍射、探測器目標與成像器件之間的相對運動、大氣湍流等因素都會造成圖像質量退化，表現為圖像模糊和分辨率降低［1］。通過改進成像系統的硬件性能來盡可能地提升圖像清晰度的方法，例如提高光學成像質量、優化探測器工藝、減少像元尺寸增加空間分辨率等方法，效果好，但技術難度大、周期長，大幅提升設備成本的同時還會帶來如像元密度增大導致的噪聲等其他不利因素。采用軟件方法對模糊圖像進行反降晰處理，通過圖像復原技術進行去模糊處理，近年來受到業界關注并得到了廣泛的應用。

目前，國內外研究者針對圖像復原已進行了大量工作。Brigham等［2］將逆濾波與迭代法引入圖像復原研究中。Murli等［3-4］提出了一種非病態求解復原問題的維納濾波方法。Berger等［5-6］基于正則化和抑制約束提出一種空變自適應方法，利用凸集投影映射方法進行復原，在一定程度上抑制了振鈴效應。上述方法都是建立在已知成像系統參數和降質圖像的先驗知識的基礎上，但在實際的圖像復原工作中，這些是很難保證的。郭永彩等［7］針對系統參數和圖像先驗知識不充分的問題，提出了基于空間自適應盒正則化技術的圖像盲復原算法。王宗躍等［8］提出了一種基于自適應結構組字典的稀疏正則化圖像復原方法。黃奕歡等［9］針對低分辨率的圖像，提出了一種基于UNet網絡的圖像復原算法。易詩等［10］針對紅外圖像的運動散焦模糊，提出了一種基于多尺度生成對抗網絡的圖像復原算法。字典學習、神經網絡以及對抗網絡的復原時間長、算法較為復雜，而估計點擴散函數（Point Spread Function，PSF）的方法可以解決上述問題。孔祥龍等［11］利用Lucy-Richardson（LR）算法對針孔圖像進行圖像復原。Takumi等［12］提出了利用倒譜圖像估計PSF的方法。師雪艷［13］提出了一種自適應單刃邊圖像復原算法，基于Canny算子邊緣檢測來估計PSF。孟浩等［14］利用Prewitt銳化算子檢測刃邊，并利用維納濾波實現紅外圖像復原。紅外圖像對比度低、噪聲嚴重，基于灰度梯度的特征檢測對于紅外圖像的邊緣信息提取相對比較困難，影響后續刃邊的獲取。Morrone等［15］最早提出相位一致性（Phase Congruency，PC）模型。Li等［16］提出使用PC代替圖像強度進行特征點檢測，這種不受圖像對比度或亮度變化影響的邊緣更加適用于紅外圖像PSF的估計。

本文利用PC模型對模糊紅外圖像邊緣特征提取的優勢，提出基于PC提取圖像刃邊的方法，考慮到圖像的模糊過程往往具有方向不均勻性，提出自適應雙刃邊法提取PSF，設計自適應算法篩選滿足最優角度原則的雙刃邊并擬合出橢圓高斯函數作為PSF函數，結合快速全變分正則化（Fast Total Variation，FTV）模型，復原模糊圖像。該算法估計出的PSF模型更加貼合實際的模糊核，能夠更有效地抑制復原中產生的振鈴效應。

2 基于相位一致性的邊緣檢測

相位一致性將紅外圖像的頻域相位信息作為特征檢測點，提取出圖像的邊緣信息，不受圖像的亮度、尺度等信息的影響，同時符合人眼的視覺感知特征［17］。

2.1 構造相位一致性模型

相位一致性模型是將圖像傅里葉分量相位一致的點作為特征點，從而實現圖像的邊緣特征檢測。Kovesi［18］最早提出利用Log-Gabor小波作為帶通濾波器計算相位一致性的方案。

將一幅二維圖像I（x，y）與二維Log-Gabor函數（Two Dimensional Log-Gabor Function，2DLGF）［19］的偶對稱小波和奇對稱小波分別進行卷積操作，得到在尺度s和方向o位置的響應分量eso（x，y）和oso（x，y）為：

式中：Meven(x，y，s，o)是偶對稱Log-Gabor小波，Meven(x，y，s，o)為奇對稱Log-Gabor小波。

圖像I（x，y）在Log-Gabor濾波器的尺度s和方向o下對應的振幅A so（x，y）和相位分量Φso（x，y）為：

相位一致性在圖像頻譜過窄時難以定位，考慮到圖像的噪聲和各個尺度、各個方向的結果，需要引入噪聲補償因子T0。于是得到修正過后的二維相位一致性模型：

式中：CP（x，y）表示圖像坐標（x，y）位置處的相位一致性大小，s表示Log-Gabor濾波器的尺度；o表示Log-Gabor濾波器方向；w0（x，y）是給定頻率擴展的加權因子；■·」運算符防止結果為負值，當符號內的數值為正值時，結果等于其本身，否則結果為零；ε是一個數值很小且大于零的補償項，目的是為了避免分母為零；ΔΦso（x，y）是一個敏感的相位偏差函數，其定義式為：

式中：

局部能量函數E（x，y）是按照信號本身和它的Hilbert變換定義的，即有：

式中：F（x）為去除DC分量后的信號函數；H（x）為F（x）的Hilbert變換；H（x）和F（x）一般是由信號分別與一對正交的濾波器進行卷積得到的［20］。

在復平面上，根據小波的性質，信號經過Log-Gabor濾波器后，實部分量是Log-Gabor偶對稱小波濾波器的輸出，虛部分量是Log-Gabor奇對稱小波濾波器的輸出，因此F（x）和H（x）可以近似表示為：

因此，在Log-Gabor濾波下的局部能量函數的表達式為：

上述計算方法可以產生一個相位一致性度量，并得到較好的邊緣圖像，但是由于忽略了特征方向信息，不能有效地描述圖像局部區域的特征分布。為了獲得有關相位一致性隨著方向變化的信息，根據式（4）分別計算出每個方向上的相位一致性CP（θo），然后計算出相位一致性矩，并觀察相位一致性矩隨方向的變化。主軸是對應矩被最小化的軸，反映特征的方向；最大矩的軸垂直于主軸，其大小反映了特征的獨特性。如果最小矩在某一點上的數值很大，那么該點很可能為一個角點特征［21］。

根據經典的矩陣分析方程，構造相位一致性協方差矩陣R：

式中需計算一下變量：

其中：CP（θo）表示在θo處的相位一致性值，并且對所使用的離散方向集（通常情況下包括6個方向）進行求和。

對構造的相位一致性協方差矩陣進行奇異值分解，奇異值的最大值對應最大矩M，奇異值的最小值對應最小矩m，主軸的角度為Φ，即有：

觀察圖像在各個方向上隨相位一致性變化的情況，發現最大矩陣M和最小矩m與方向無關。

2.2 邊緣特征檢測

通過以上公式，可以計算出任意一幅模糊紅外圖像的PC協方差矩陣，并獲得最大矩M，即圖像的邊緣圖。圖1（a）是模糊紅外圖像，圖1（b）是對應的邊緣檢測PC圖。

圖1 輸入圖像邊緣檢測結果Fig.1 Edge detection result of input image

3 自適應雙刃邊法提取PSF

利用刃邊法實現模糊紅外圖像復原的關鍵因素之一是PSF的精確估計，而PSF的準確性是由所選刃邊決定的。傳統刃邊法依靠手動選取刃邊區域的方式，估計出模糊圖像的PSF，這種方式費時費力，很難保證估計出的PSF的準確性。自適應雙刃邊法在傳統刃邊法的基礎上，利用最優角度原則篩選出兩條滿足條件的刃邊函數（Edge Spread Function，ESF），并擬合出PSF。

首先，采用PC算法提取模糊圖像的邊緣信息，利用連通區域原理提取出待選的刃邊區域，選用最小二乘法擬合出區域內的刃邊直線，并計算出每一塊刃邊區域的梯度值：

式中：G表示刃邊圖像塊（尺寸m×n）的梯度值；r j（j=1，2，…，n）表示每一列上刃邊邊緣點所在的行數；e（i，j）表示圖像 塊中（i，j）位 置處的 像素值。

梯度代表了刃邊圖像塊中刃邊兩側的平均灰度值的差異情況，梯度值越大，表明刃邊兩側的對比度及同一側的相似度越大。因此，選取梯度值最大的待選刃邊區域作為第一條確定刃邊。其次，理想狀態下的PSF是一個各向同性的圓形函數，但是在實際的模糊圖像中，由于造成模糊的原因眾多、模糊尺度大小方向不同，單刃邊法擬合出的圓形PSF不再符合實際情況，需要引入第二條刃邊作為PSF擬合的另一個方向，進一步提高擬合精度。

本文提出了一種基于最優角度的自適應篩選原則來選取第二條刃邊。最優角度原則是指：在第一條確定刃邊已知的情況下，分別計算其余待選刃邊與確定刃邊的夾角，選取夾角最大的那條待選刃邊作為第二條確定刃邊。在兩條刃邊都確定的基礎上，將刃邊塊中每一個像素點的灰度值作為ESF散點圖的y坐標，計算出刃邊塊中每個像素點到刃邊直線的垂直距離并將其作為x坐標。針對實際ESF曲線的非對稱性，利用改進后的Fermi函數擬合出ESF曲線，其表達式為：

式中：ai，bi，ci是Fermi函數的3個系數；D是補償項。

對式（20）進行求導，可以獲得在x方向上的線擴展函數（Line Spread Function，LSF）。同理，通過另一條ESF，可以求得y方向上的LSF（y）。根據式（22）可求出模糊圖像的PSF。圖2呈現了PSF的求取過程。

圖2 PSF的求取過程Fig.2 Estimation process of PSF

4 FTV復原

快速全變分模型在TV［22-23］模型的基礎上做了一定的改進，解決了‖ ?f‖2不可微分的問題，并且引入了新的輔助參量w，其定義如下：式中：w表示紅外圖像中每個像素點對應的輔助變量；β為懲罰系數，通常情況下都足夠大；h表示模糊核函數，也可以用PSF表示。

當f有一個合適的初始值時，式（23）的前兩項對于w來說是可以分離的，而第三項與w無關，因此w的最小化問題等價于：

對式（24）進行求解，得到的最優解為：

當w有一個合適的初始值時，式（23）是關于f的二次函數，此時f的最小化求解問題可以由正規方程解出：

綜上所述，本文所用算法對模糊紅外圖像的具體復原流程如圖3所示。

圖3 模糊紅外圖像復原流程Fig.3 Flow chart of blurred infrared image restoration

5 實驗結果與分析

5.1 復雜刃邊的提取

為驗證基于相位一致性原理獲取復雜刃邊的優越性，選取邊緣較為崎嶇的行人圖像作為實驗對象。圖4為行人圖像的刃邊獲取結果，基于PC的自適應雙刃邊法不再局限于單調的直線型刃邊獲取，不同形狀的邊緣只要滿足刃邊選取條件，都可以用來擬合PSF，克服了傳統刃邊法選取刃邊的局限性，有效提高了PSF擬合的準確性。

圖4 行人圖像的刃邊獲取Fig.4 Edge acquisition of pedestrian

5.2 自適應雙刃邊與單刃邊算法比較

將模糊紅外圖像作為實驗對象，分別進行自適應單刃邊與自適應雙刃邊算法（本文算法）復原，圖5是紅外圖像的復原效果對比。自適應單刃邊法與本文算法雖然都可以實現紅外模糊圖像的自適應復原，但從復原效果來看，自適應單刃邊所擬合出的圓形PSF不能夠較好地貼合實際模糊核，圖5（b）中PSF大小超過實際模糊核尺寸，導致復原結果中振鈴效應明顯。這是因為單刃邊法估計的PSF只具有單個模糊方向的模糊信息，當其他方向的模糊尺度小于估計方向尺度時，PSF會大于實際模糊核；反之，PSF小于實際模糊核。自適應雙刃邊法解決了單方向模糊尺度不精確的問題，基于兩個方向的模糊尺度信息來擬合PSF。圖5（c）對目標人物的面貌以及輪廓信息復原效果較好，也可以很好地復原目標建筑、車輛等細節信息，有效地抑制了復原過程中的振鈴效應與圖像噪聲。

圖5 模糊紅外圖像復原結果Fig.5 Results of blurred infrared image restoration

5.3 LR與FTV復原比較

對紅外遙感圖像分別進行LR復原和FTV復原，復原對比結果如圖6所示。

圖6 LR與FTV復原結果對比Fig.6 Comparison of LR restoration and FTV restoration

觀察圖6中的復原結果，雖然LR復原和FTV復原都實現了對模糊紅外圖像的去模糊，但是LR復原圖中振鈴效應明顯，并且復原圖中的紅外噪聲沒有得到抑制。直觀上看，“眼形”區域等地表建筑細節部分更加模糊，嚴重影響了復原質量。而FTV復原算法較好地抑制了振鈴效應，復原結果符合人眼觀察感知特性。雖然FTV復原有效提高了圖像的清晰度，但是復原圖中仍有紅外噪聲的影響，對于噪聲嚴重的紅外圖像，需要進行噪聲預處理［26-28］。

5.4 復原圖像質量客觀評價與分析

為證明本文提及算法的整體有效性和可行性，選取加上尺度為15、標準差為1.5的橢圓模糊后的紅外汽車圖像作為復原對象，進行模糊圖像自適應復原實驗。圖7為待選刃邊圖（彩圖見期刊電子版），其中綠色線代表的是選取的初步刃邊直線，一共是6條刃邊直線，紅色框標注的是刃邊塊區域，藍色數字表示刃邊的次序。實驗計算6個刃邊塊的梯度值，如表1所示。

通過比較6個刃邊塊的梯度值，發現第2塊刃邊區域的梯度值最大，所以將此刃邊塊作為第一確定刃邊，然后計算該刃邊直線與其他5條刃邊直線的角度，如表2所示。

圖7 待選刃邊圖Fig.7 Map of selected edges

表1 6個待選刃邊塊的梯度值Tab.1 Gradient values of 6 selected edges

表2 第一確定刃邊與其余刃邊的夾角Tab.2 Angles between first edge and others

比較表2中5組數據，發現第4塊與第2塊刃邊夾角最大，為83°。因此將這兩條刃邊作為自適應擬合PSF所需的兩條刃邊。圖8為紅外圖像的復原結果。

對實驗結果進行圖像質量評價，將基于LR的自適應單刃邊復原結果參數作為比較對象，得的質量參數對比結果如表3所示。

圖8 紅外圖像復原結果Fig.8 Restoration result of infrared image

表3中列出了加入橢圓模糊的紅外圖像、基于LR的自適應單刃邊復原結果圖像和基于本文算法復原結果的質量參數，分別為PSNR（Peak Signal-to-Noise Ratio）、MSE（Mean Square Error）、平均梯度（MeangradientGˉ）、信息熵（Entropy）。本文算法復原結果的PSNR，Gˉ，Entropy參數，相比于模糊圖像，分別提高了2.2%，40.3%，2.7%；相比于自適應單刃邊法的復原結果，分別提高了1.5%，11.5%，1.4%。總的來看，兩種復原方法的PSNR，Entropy以及平均梯度Gˉ都比模糊圖像的質量參數要高，這說明復原結果都更接近原始的清晰圖像了。單獨比較兩種復原方法，本文算法的PSNR，Gˉ，Entropy都比基于LR的自適應單刃邊復原方法的高，并且MSE明顯下降，說明本文算法在提升復原圖像的峰值信噪比、增強圖像細節信息的同時，有效地抑制了噪聲，復原效果更好。

表3 評價參數對比Tab.3 Comparison of evaluation parameters

5.5 圖像復原對紅外目標探測的提升

本文算法對紅外圖像復原后，可以有效恢復目標的細節信息，如目標的輪廓信息、灰度梯度信息等，對后續的紅外目標探測等工作具有積極意義。圖9是基于灰度變換法［24］對機場遙感圖像局部復原前后的目標探測效果對比，機場遙感圖中共有4架飛機。

本文復原算法提高了圖9中飛機目標與背景的差異性，與原圖飛機目標相比，復原飛機目標的灰度值提升了，因此利用灰度變換以及閾值選取的方法更容易探測出飛機目標。從目標探測效果來看，復原前的圖像中部分飛機目標與背景的相似度較大，目標探測結果為2架飛機，探測精確度為50%；復原后的圖像中，4架飛機目標與背景的對比度提高了，飛機的外形輪廓也更加明顯，目標探測結果為4架飛機，探測精確度為100%。

紅外小目標像素在整張紅外圖像像素中占比較小，紅外圖像模糊的情況下，紅外小目標很容易淹沒在背景和傳感器噪聲中，探測難度較大。利用本文算法對模糊紅外圖像進行預處理，然后再利用NRAM［25］算法對紅外圖像進行目標探測。紅外小目標探測對比結果如圖10所示。

NRAM紅外小目標探測算法基于非凸秩近似極小化聯合l2，1范數，在增強目標的同時抑制背景。圖10（a）中小目標與背景的相似度較高，經過本文算法復原后，小目標與背景的差異性提高。場景中有4個紅外小目標，對原圖的紅外小目標探測結果為0個，探測精確度為0%，對圖10（b）復原圖中的紅外小目標檢測結果為6個，探測精確度為66.7%，虛警概率為33.3%。

圖9 復原前后目標探測對比Fig.9 Comparison of target detection before and after restoration

圖10 紅外小目標探測結果對比Fig.10 Comparison of infrared small target detection results

本文提出的圖像復原算法可以有效降低紅外圖像中目標探測的錯誤率，提升目標探測的精確度。

6 結 論

本文將相位一致性原理引入模糊紅外圖像邊緣特征檢測中，從相位的角度提取出圖像的邊緣信息，并利用連通區域最優角度原則自適應地提取和篩選出兩條滿足條件的刃邊，最終將估計出的PSF作為先驗知識帶入FTV復原模型之中，實現了模糊紅外圖像的自適應復原。結果表明，基于相位一致性的邊緣檢測對于圖像亮度、對比度變化及噪聲具有較好的抗干擾能力，在刃邊較為復雜的情況下具有一定的優越性，自適應雙刃邊提取出的橢圓PSF與實際模糊核相近，能夠較好地去除多種因素所導致的紅外圖像模糊。相比于傳統的逆卷積圖像復原法，FTV復原算法能夠更好地抑制振鈴效應，減少振鈴所帶來的二次模糊，并且在圖像復原的基礎上，提高紅外圖像的目標探測精確度。