基于模糊算子的紅外圖像去模糊研究

張錦航,孫立輝,姜軍強

(1.河北經貿大學信息技術學院,河北 石家莊 050061;2.西安科技大學機械工程系,陜西 西安 710054)

1 引 言

隨著紅外成像技術的迅速發展,紅外成像技術開始應用于各個領域,并占有重要的地位。紅外成像通過不同對象的紅外熱輻射強度不同來形成圖像,無需使用外部可見光也可以成像,相較于可見光成像,紅外成像可以實現夜視成像,成像結果直觀,抗干擾能力強,適用于復雜特殊環境的同時還具有可成像距離遠、穿透能力強等諸多優勢。紅外成像設備發展到現在,已經實現了便攜式的設計,方便攜帶,操作簡單。紅外成像技術已經廣泛應用于工業,軍事[1]等眾多領域,然而拍攝期間鏡頭的抖動或目標的快速移動會導致紅外成像時產生運動模糊,降低了紅外圖像的清晰度,對紅外圖像在這些領域的應用造成了嚴重影響。在相機曝光的時間段里鏡頭發生了移動,導致采集的像素點發生了變化,所以在得到的圖像中場景和物體會看起來模糊或晃動,這被稱為運動模糊。圖像去模糊技術被廣泛用于工業制造,醫學影像等領域。紅外圖像去模糊的主要目的是去除模糊偽影以提高圖像質量,在運動模糊的圖像中提取有用的信息,對紅外圖像去模糊的研究具有重要價值。

傳統的圖像去模糊方法[2-4]通過使用約束條件,引入圖像先驗知識對圖像模糊進行表征,但是現實中運動模糊情況多數是非均勻模糊,從而無法估計模糊核,因此這些傳統圖像去模糊方法在實際應用中的效果并不理想。近年來隨著深度學習算法的發展,基于深度卷積神經網絡(Convolutional Neural Network,CNN)的方法被大量用于圖像去模糊領域。相比于傳統的圖像去模糊算法,深度學習算法可以做到更好的去模糊效果,過去的幾年里已經提出了許多深度學習去模糊模型。Nah等提出了一種端到端的多尺度卷積神經網絡DeepDeblur[5]用于圖像去模糊,分別在三個尺度不同的層對圖像進行去模糊,把低層輸出的結果作為高層的輸入,增加了收斂性。Tao等提出了SRN-Deblur[6]采用尺度循環結構進行圖像去模糊。Kupyn等提出了DeblurGAN[7]首次將生成對抗網絡(Generative Adversarial Network,GAN)用于圖像去模糊,通過訓練輸入的模糊圖像來生成高質量圖像,隨后他們又提出了DeblurGANv2[8],使用特征金字塔網絡結構[9]提取圖像特征并且結合了全局和局部兩個尺度的判別器損失,運行速度快并且有一定的去模糊效果。還有許多關于多幀去模糊[10]和特定領域去模糊[11]的工作。然而基于深度學習的去模糊模型通常直接學習模糊圖像和清晰圖像之間的映射函數,在跨領域應用時泛化能力弱,魯棒性差,并且將深度學習的方法用于紅外圖像去模糊的研究較為缺乏,大部分紅外圖像去模糊的研究使用的紅外數據集也并非現實拍攝中的模糊核所生成的紅外模糊圖像,這就導致這些深度學習模型只能處理由簡單模糊核產生的模擬紅外模糊圖像,無法處理真實場景中的模糊算子[12],在面對真實場景下的紅外模糊圖像時沒有效果。

針對上述問題本文提出了一種基于模糊算子的紅外圖像去模糊方法,采用深度自編碼網絡對由清晰圖像和模糊圖像組成的數據集中的模糊算子進行編碼,通過編碼后的模糊算子去逼近一個真實未知的模糊算子并搜索對應的清晰圖像,這樣可以處理真實場景下紅外圖像的運動模糊,實現真實場景下紅外圖像去模糊,同時避免了使用復雜的模糊核手工先驗。此外本文還設計了合成模糊的結構,實現了將現實中通過鏡頭運動等方式產生的模糊轉移到另一個圖像來生成真實模糊圖像的功能,將現有數據集的運動模糊轉移到紅外圖像上,制作紅外圖像的數據集對,解決了紅外圖像難以收集配對數據的問題,在完善模糊圖像數據集并將技術推廣至紅外圖像領域有著重要的意義。實驗結果表明,該方法能有效提高紅外圖像的質量,去除運動模糊后可以得到較為清晰的紅外圖像。

2 基于模糊算子的紅外圖像去模糊算法

模糊算子是一種模糊關系合成運算,在模糊圖像生成的過程中,模糊算子對模糊核和清晰圖像進行合成運算從而生成模糊圖像。由清晰圖像x和模糊核k生成模糊圖像y的模型通常被公式化表示為:

y=f(x,k)+η≈f(x,k)

(1)

其中,f(x,k)是帶有模糊核k的模糊算子;η是噪聲。

若干模糊算子組成了模糊算子集合[12],通過模糊核能夠調用模糊算子集合中的模糊算子。本文設計了一種模糊核提取器用來提取清晰圖像和對應模糊圖像之間的模糊核,同時本文設定了包含模糊算子集合和模糊核提取器的顯式表示的公式如下:

y=F(x,k)

(2)

k=G(x,y)

(3)

其中,F為模糊算子集合;G為模糊核提取器。模糊算子集合F中的每個特定的模糊算子f(x,k)都對應著一個特定的模糊核k,當F的函數形式固定時,可以通過k引用F中的f(x,k)。圖像去模糊的目標是在給定模糊圖像y的情況下找到清晰的圖像x,當訓練好模糊算子集合F之后,通過模糊核k引用F中的模糊算子f(x,k),使f(x,k)不斷逼近y上的真實模糊算子,從而找到滿足上述公式的x和k來對模糊圖像y進行去模糊,去模糊算法流程如表1所示。

表1 去模糊算法流程

3 基于模糊算子的紅外圖像去模糊算法實現

3.1 總體結構

模糊算子集合F可用于在給定模糊核k的情況下生成模糊圖像,模糊核提取器G可用于提取模糊核k,本文通過兩個神經網絡來實現F和G,使用一個帶有跳躍連接[13]的深度自編碼網絡實現F,使用一個殘差網絡[14]實現G。首先從數據集中采樣清晰圖像和對應的模糊圖像,將這些圖像拼接起來輸入給模糊核提取器G,生成相應的編碼模糊核向量k。然后將清晰圖像x輸入模糊算子集合F,在編碼器部分清晰圖像x被編碼為瓶頸結構嵌入向量,在瓶頸結構部分將嵌入向量x與模糊核向量k拼接成一個新的向量。最后在解碼器部分對新的向量進行解碼以獲得合成的模糊圖像,通過使合成模糊圖像F(x,k)和真實模糊圖像y之間差距最小化的損失函數H(y,(x,k))來訓練模糊算子集合F。合成模糊模型結構如圖1所示。

圖1 合成模糊模型結構

模糊算子集合F固定之后,可將其用于圖像去模糊。給定模糊圖像y,在去模糊的過程中,設定兩個標準正態隨機向量z1和z2分別作為模糊核提取器G和模糊算子集合F的輸入,模糊核提取器G輸出隨機模糊核向量k,模糊算子集合F輸出隨機清晰圖像向量x,因為F的形式已經固定,所以只需要找到清晰圖像向量x和模糊核向量k使損失函數H最小化,從而找到清晰圖像x。去模糊過程中使用迭代優化的方法來優化H,交替進行以下兩個步驟:(1)固定模糊核k并優化潛在清晰圖像x。(2)固定潛在清晰圖像x并優化模糊核k。去模糊的模型結構如圖2所示。

圖2 去模糊模型結構

3.2 模糊算子集合設計

模糊算子集合F由預處理模塊和深度自編碼網絡構成,預處理模塊由卷積層和十個殘差塊組成,在網絡頭部通過預處理模塊先對輸入圖像進行簡單特征提取,將輸入圖像轉換為特征圖,方便后續編碼器部分進行更深層的特征提取。在網絡尾部使用變換卷積層和殘差塊位置的預處理模塊將特征圖轉換為輸出圖像。先使用預處理模塊對輸入圖像進行兩次下采樣,輸出將輸入圖像轉換為64通道的特征圖到編碼器(Encoder)和解碼器(Decoder)部分。編碼器和解碼器部分各包含五個卷積層,采用多個3×3卷積,每個卷積后都添加LReLU激活函數,有助于增大網絡稀疏性,增強了網絡的泛化能力。在相同維度的卷積層之間增添跳躍連接,增強了特征信息在網絡中的傳遞,確保了特征信息的可重用性,并且避免了梯度消失的問題。編碼器對特征圖進行多次下采樣,每次下采樣將通道數變為前一層通道數的一半,輸出為512×2×2大小的向量,輸出向量與模糊核向量拼接之后作為解碼器的輸入,解碼器對拼接向量進行多次上采樣重建輸出特征圖。最后在網絡尾部使用預處理模塊對解碼器輸出的特征圖上采樣,將64通道的特征圖轉換回輸出圖像。詳細網絡層次結構如表2所示。

表2 自編碼網絡模型參數

3.3 模糊核提取器設計

模糊核提取器G由卷積層和殘差模塊構成,殘差模塊包含了兩個卷積層和一個LRelu激活函數,通過添加殘差模塊增加了網絡深度,避免產生梯度消失和梯度爆炸的問題。該網絡的輸入是清晰圖像和模糊圖像拼接而成的向量,輸出一個大小為512×2×2的模糊核向量,詳細網絡層次結構如表3所示。

表3 提取器模型參數

3.4 損失函數

損失函數用來指導模型訓練,對訓練效果有著不可忽視的影響。本文采用的損失函數h是Charbonnier損失[15],Charbonnier損失是一種較為穩定的改良版L1范數損失,收斂速度快,處理異常的能力強,性能提升大,目前在超分領域應用較多。Charbonnier損失用于計算合成模糊圖像F(xi,G(xi,yi))和對應真實模糊圖像yi之間的差距。表示為:

(4)

為了使優化過程更加穩定,得到更好的去模糊效果,在損失函數中添加兩個正則化項,在模糊核k上添加一個正則化項使優化過程更穩定,在清晰圖像x的圖像梯度上使用超拉普拉斯先驗[16],加大梯度的稀疏性,減少噪聲并獲得更自然的圖像x。添加正則化之后的損失函數如下:

(5)

其中,gu和gv分別是水平方向和垂直方向上的導數;μ,β,α是可調的超參數。

4 實驗結果及分析

4.1 實驗環境

本文設計了模糊合成與紅外圖像去模糊兩部分實驗來驗證本文提出基于模糊算子的方法是否有效,紅外圖像去模糊實驗采用自制紅外圖像數據集,模糊合成實驗采用公開的GOPRO數據集[7]。在配有RTX2080SGPU,32GB內存,Intel Xeon e5-2640CPU,操作系統為windows10的聯想P900工作站上進行實驗,使用基于Pytorch的深度學習框架進行訓練和測試,所有實驗均在相同的環境下進行。

4.2 實驗數據集和參數設置

自制紅外圖像數據集是采用Xcore MicroⅡ系列非制冷紅外機芯組件在不同場景下拍攝而成的。其中訓練集是由拍攝的清晰圖像和使用本文模糊合成方法生成的模糊圖像組成的,包含了5568張清晰圖像和模糊圖像,每張圖像分辨率為640×512。測試集是通過鏡頭移動或晃動等方式拍攝出的241張真實紅外模糊圖像,用于測試去模糊效果。

GOPRO數據集中的圖像是采用GOPRO4相機拍攝的每秒240幀的高速視頻中的視頻幀,用來模擬運動模糊圖像。該數據集包含3214對清晰圖像和模糊圖像,其中訓練集為2103對,測試集為1111對,每張圖像分辨率為1280×720。

兩次實驗分別使用自制紅外圖像數據集和GOPRO數據集去訓練模糊算子集合和模糊核提取器組成的模型,在使用訓練集前要將每對模糊圖像和清晰圖像在同樣的位置裁剪出分辨率為256×256的圖像,兩次訓練均使用相同的參數,實驗采用Adam優化器[17],參數設置為b1=0.9,b2=0.99,設定batchsize為4,將模糊核上正則化的權重設為1×10-4,將超拉普拉斯先驗的權重設為1×10-2,設定初始學習率為1×10-4,并采用余弦退火算法[18]逐步衰減學習率。實驗總共迭代6×106次。實驗結果選用峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)和結構相似度(Structural Similarity,SSIM)[19]兩項指標進行衡量。峰值信噪比數值高表示圖像質量較好,引入噪聲較少,失真較小。結構相似度的數值越高表示生成的清晰圖像越接近真實清晰圖像,兩幅圖像的結構越相似。

4.3 實驗結果

4.3.1 模糊合成

模糊合成實驗是為了驗證使用本文提出的方法生成的模糊圖像,能否替代真實的模糊圖像。在原數據集中選取清晰圖像x和對應模糊圖像y,再隨機選取清晰圖像x1,使用從(x,y)中提取的模糊核在x1上生成模糊圖像y1,然后使用由(x1,y1)組成的合成數據集去訓練深度學習去模糊模型,最終比較使用原數據集訓練的模型和使用合成數據集訓練的模型之間的性能。

本文在GOPRO數據集上進行模糊合成實驗。通過使用GOPRO數據集訓練出的模型生成模糊圖像,原清晰圖像和新生成的模糊圖像組成了合成數據集之后,使用原數據集和合成數據集分別訓練去模糊模型DeblurGANv2[8],評價指標值和實驗效果圖如表4和圖3所示。從實驗結果可以看到使用原數據集和合成數據集訓練出的模型在PSNR和SSIM性能指標上幾乎沒有差異,使用本文提出的方法生成的模糊圖像可以替代真實模糊圖像。

表4 訓練結果

圖3 合成模糊圖像效果

4.3.2 紅外圖像去模糊

本文在自制紅外圖像數據集上進行去模糊對比實驗。采用DeepDeblur[5],SRN-Deblur[6],DeblurGANv2[8]三種常見的去模糊算法與本文算法進行對比,先使用自制紅外圖像數據集去訓練模型,最后在測試集上測試去模糊效果,所有算法均采用相同的訓練樣本和測試樣本,評價指標值和實驗效果圖如表5和圖4所示。DeepDeblur處理之后的模糊圖像產生了畸變,存在嚴重失真的現象。SRN-Deblur處理之后的模糊圖像雖然清晰度有了較大提升,但是局部細節不夠清晰。DeblurGANv2處理之后的模糊圖像產生了噪聲,圖像質量較為粗糙。本文算法處理之后的圖像得到了清晰明了的邊緣輪廓,豐富的局部細節信息,圖像質量顯著提高,在視覺上更接近清晰圖像,有效提升了紅外模糊圖像的清晰度并且取得了高于其他方法的PSNR和SSIM性能指標。

表5 紅外圖像去模糊評價指標值

圖4 紅外圖像去模糊效果

5 總 結

由于深度學習去模糊模型在跨領域應用時表現不佳,對真實場景下紅外模糊圖像沒有效果,本文提出了一種基于模糊算子的紅外圖像去模糊方法。通過深度自編碼網絡和殘差網絡實現了模糊算子集合和模糊核提取器,該方法可以處理真實場景下紅外圖像的運動模糊,恢復出邊緣結構更清晰,局部細節更豐富的清晰紅外圖像。該模型還可以對清晰圖像進行模糊合成,解決了紅外圖像難以收集配對數據的問題。實驗結果表明,本文提出的方法取得了有說服力的圖像去模糊效果,顯著提升了模糊圖像的清晰度。