基于CNN的湍流圖像退化強(qiáng)度分類研究①

藍(lán)章禮,匡 恒,李 戰(zhàn),黃 濤,曹 娟

(重慶交通大學(xué) 信息科學(xué)工程學(xué)院,重慶 400074)

在計(jì)算機(jī)視覺領(lǐng)域中,圖像復(fù)原是一個(gè)重要的研究方向,圖像在形成、傳播和保存的過程中,受成像系統(tǒng)、外界環(huán)境等各種因素的影響會(huì)造成不同程度失真的退化圖像.湍流圖像作為眾多退化圖像中的一種,其退化過程是在圖像形成過程中受到大氣或水流等不規(guī)則運(yùn)動(dòng)造成的圖像模糊,湍流退化圖像的復(fù)原曾一度困擾著人們,文獻(xiàn)[1]從湍流的分形特征去詳細(xì)描述了湍流的機(jī)理.后來又有學(xué)者通過分形特征[2]在相位屏[3]以及自然場(chǎng)景中模擬出湍流現(xiàn)象.湍流現(xiàn)象的模擬對(duì)湍流退化圖想的復(fù)原起到指導(dǎo)性的作用,依據(jù)湍流圖像形成過程以及一定的先驗(yàn)知識(shí),文獻(xiàn)[4]提出了一種基于奇異值分解估計(jì)點(diǎn)擴(kuò)散函數(shù)的湍流圖像復(fù)原算法.文獻(xiàn)[5,6]提出一種基于小波變換進(jìn)行湍流圖像的復(fù)原方法.上述方法都結(jié)合了先驗(yàn)知識(shí),這些復(fù)原方法具有一定試探性,效果并不是很理想.隨著機(jī)器學(xué)習(xí)的發(fā)展,湍流圖像的復(fù)原變得更加高效準(zhǔn)確,文獻(xiàn)[7]提出了一種基于支持向量機(jī)的湍流退化圖想加速?gòu)?fù)原方法.通過上述傳統(tǒng)機(jī)器學(xué)習(xí)的方法,湍流退化圖想的復(fù)原取得了不錯(cuò)的效果,但是傳統(tǒng)機(jī)器學(xué)習(xí)分類算法容易陷入局部最優(yōu),并不盡能滿足要求.人工智能的發(fā)展,深度學(xué)習(xí)的崛起為湍流退化圖像的復(fù)原拓寬了道路,本文提出了一種采用卷積神經(jīng)網(wǎng)絡(luò)(CNN)對(duì)湍流模型點(diǎn)擴(kuò)展函數(shù)中的模糊比例因子進(jìn)行分類的研究方法,該方法對(duì)湍流圖像的分類取得了較為理想的效果,為新機(jī)器學(xué)習(xí)方法對(duì)湍流圖像的復(fù)原作了鋪墊.

1 湍流退化理論與數(shù)據(jù)預(yù)處理

1.1 湍流退化理論模型

光電成像系統(tǒng)出現(xiàn)退化的過程是復(fù)雜多變的,通常情況下將退化過程簡(jiǎn)化為一個(gè)線性移不變過程,在空域中退化過程可以表示為：

其中,g(x,y)為輸出函數(shù),f(x,y)為 輸入函數(shù),h(x,y)為點(diǎn)擴(kuò)展函數(shù),n(x,y)為加性噪聲.在加性噪聲不存在的情況下,退化過程模型化的頻域表達(dá)式為：

其中,G(u,v)為 頻域下的輸出函數(shù),F(u,v)為頻域下的輸入函數(shù),H(u,v)為頻域下的點(diǎn)擴(kuò)展函數(shù).退化過程原理圖如圖1所示.

圖1 光電圖像退化原理圖

在退化圖像復(fù)原過程中除了周期噪聲以外,通常都可以采用空間域?yàn)V波的方法進(jìn)行圖像復(fù)原,而此時(shí)的圖像復(fù)原與圖像增強(qiáng)幾乎是沒有區(qū)別的,但是湍流退化圖像是一種線性移不變退化圖像,該類圖像復(fù)原不能采用簡(jiǎn)單的空間域?yàn)V波器來實(shí)現(xiàn),必須知道湍流退化模型的點(diǎn)擴(kuò)展函數(shù)h(x,y).

本文提出的基于CNN 的大氣湍流退化圖像分類方法,湍流模型采用的是一直被沿用至今的經(jīng)典大氣湍流物理退化模型,模型中點(diǎn)擴(kuò)展函數(shù)用光學(xué)傳遞函數(shù)(OTF)表示：

其中,k為一個(gè)反映大氣湍流的嚴(yán)重程度的模糊比例因子.(u,v)分別代表了(x,y)方向的頻域坐標(biāo).將OTF 中心化后表達(dá)式為：

其中,M、N分別為圖像的長(zhǎng)和寬.

1.2 數(shù)據(jù)集的預(yù)處理

由于人工智能領(lǐng)域并沒有提供現(xiàn)有的大氣湍流圖像數(shù)據(jù)集,本文的圖像數(shù)據(jù)來自網(wǎng)上,經(jīng)過MATLAB編寫大氣湍流退化函數(shù)實(shí)驗(yàn)仿真模擬而來.圖像的的預(yù)處理部分主要包括灰度化和歸一化等簡(jiǎn)單操作.從左到右分別為一張100×100 大小的高空航拍灰度化后的灰度圖像,以及對(duì)應(yīng)模糊比例因子分別在0.0001、0.01、0.1 以及0.5 下的歸一化大氣湍流退化圖像,如圖2所示.

可以明顯看出不同模糊比例因子對(duì)應(yīng)的大氣湍流退化圖像差別較大,為驗(yàn)證CNN 對(duì)湍流特征分類的有效性,數(shù)據(jù)集應(yīng)該選取多種場(chǎng)景下的高空航拍圖在不同湍流強(qiáng)度下的退化圖像.

實(shí)驗(yàn)中通過一張航拍圖像調(diào)節(jié)模糊比例因子K值獲取2000 張灰度圖像數(shù)據(jù),將所有的大氣湍流圖像數(shù)據(jù)劃分為四類,對(duì)應(yīng)的K值分別在0 到0.0001 之間、0.001 到0.01 之間、0.05 到0.1 之間以及大于0.5 的范圍.四類標(biāo)簽在CNN 中對(duì)應(yīng)的張量形式應(yīng)該為[0,0,0,1]、[0,0,1,0]、[0,1,0,0]和[0,1,0,0]這樣的一維數(shù)組,生成的標(biāo)簽數(shù)據(jù)和mat 圖像數(shù)據(jù)相對(duì)應(yīng),每784 個(gè)圖像數(shù)據(jù)對(duì)應(yīng)一張圖片也對(duì)應(yīng)著一個(gè)標(biāo)簽數(shù)組,對(duì)全部數(shù)據(jù)按順序標(biāo)定完成后以4：1 的比例隨機(jī)進(jìn)行訓(xùn)練集和測(cè)試集的劃分,最后進(jìn)行打亂操作完成全部的數(shù)據(jù)預(yù)處理.

2 卷積神經(jīng)網(wǎng)絡(luò)的原理

1962 年文獻(xiàn)[8]通過研究貓的視覺皮層神經(jīng)細(xì)胞,發(fā)現(xiàn)視覺皮層的神經(jīng)細(xì)胞對(duì)輸入空間中的小區(qū)域比較敏感,這些小的敏感區(qū)域覆蓋了整個(gè)視覺區(qū)域,從而提出了感受野的概念.這些敏感區(qū)域局部地存在于輸入空間中,非常適合用來提取圖像中的局部空間相關(guān)性.1998年文獻(xiàn)[9]提出了基于誤差梯度反向傳播的卷積神經(jīng)網(wǎng)絡(luò)LeNet-5,并成功應(yīng)用于手寫體數(shù)字識(shí)別等領(lǐng)域.傳統(tǒng)人工設(shè)計(jì)的特征結(jié)合淺層的卷積神經(jīng)網(wǎng)絡(luò)就能取得較好的分類效果,但由于缺乏良好的泛化性能成為了其發(fā)展的障礙.直至2014年,文獻(xiàn)[10]提出了通過增加網(wǎng)絡(luò)層數(shù),利用增加的非線性得出目標(biāo)函數(shù)的近似結(jié)構(gòu)以及更好的特征表達(dá),構(gòu)建了深度卷積神經(jīng)網(wǎng)絡(luò)AlexNet 并在ImageNet 上取得了顯著的成績(jī),之后更復(fù)雜,準(zhǔn)確率更高的深度卷積神經(jīng)網(wǎng)絡(luò)也相繼被提出.

圖2 一張航拍灰度圖不同湍流程度下的退化圖

下面通過一張圖在卷積神經(jīng)網(wǎng)絡(luò)里與卷積核作用后的結(jié)果來解釋卷積變化原理.如圖3所示.

圖3 一張?zhí)卣鲌D經(jīng)過6 個(gè)卷積核后的變化示意圖

一張32×32×3 的特征圖與一個(gè)5×5×3 的卷積核卷積后加上偏置,經(jīng)過激活函數(shù)產(chǎn)生一個(gè)運(yùn)算結(jié)果,卷積核在特征圖所有區(qū)域以步長(zhǎng)為1 來進(jìn)行滑動(dòng)卷積,得到一個(gè)28×28×1 的特征圖,同理經(jīng)過一個(gè)有6 個(gè)5×5×3 的卷積核的卷積層后產(chǎn)生了一個(gè)28×28×6 的特征圖.同理,每一個(gè)卷積核都在這張?zhí)卣鲌D上的所有區(qū)域進(jìn)行滑動(dòng)卷積,產(chǎn)生了6 個(gè)28×28×1 的特征圖.特征圖通過卷積層后進(jìn)入池化層,降采樣后的特征圖會(huì)進(jìn)入下一個(gè)卷積層繼續(xù)進(jìn)行卷積操作,直至最后通過全連接層將學(xué)到的分布式特征表示映射到標(biāo)記樣本空間進(jìn)行分類.

3 實(shí)驗(yàn)分析

本文實(shí)驗(yàn)平臺(tái)有兩個(gè)：MATLAB2016a 和Tensorflow框架.通過MATLAB 對(duì)航拍圖進(jìn)行湍流退化仿真得到樣本數(shù)據(jù),在tensorflow 框架下搭建CNN 模型對(duì)樣本進(jìn)行分類訓(xùn)練測(cè)試.

實(shí)驗(yàn)針對(duì)一張航拍圖像的2000 張不同湍流退化強(qiáng)度對(duì)應(yīng)的灰度圖進(jìn)行四分類設(shè)計(jì)了兩層卷積層、一個(gè)全連接層、一個(gè)Dropout 層和一個(gè)Softmax 層的卷積神經(jīng)網(wǎng)絡(luò).Conv k 代表第k層卷積層,(5,5,1,32)代表了該層有32 個(gè)5x5x1 的卷積核.FC 代表了全連接層,(7×7×64,1024)代表了輸入張量的尺寸為7×7×64,全連接層隱含節(jié)點(diǎn)數(shù)為1024 個(gè).為減輕過擬合引入了一個(gè)Dropout 層,通過keep_prob 比率隨機(jī)丟棄一部分節(jié)點(diǎn)的數(shù)據(jù).最后通過Softmax 層連接Dropout 層的輸出的到最后的概率輸出.所設(shè)計(jì)的CNN 網(wǎng)絡(luò)結(jié)構(gòu)如表1所示.

表1 所設(shè)計(jì)的CNN 網(wǎng)絡(luò)結(jié)構(gòu)

由于訓(xùn)練圖像有 1600 張,且采用分批訓(xùn)練的方式,每批32 張訓(xùn)練圖像,所以完成所有訓(xùn)練圖像的一次訓(xùn)練需要實(shí)際迭代訓(xùn)練 1600/32=50 次.其中第 1 次訓(xùn)練(epoch1/8)對(duì)應(yīng)實(shí)際的50 次訓(xùn)練,第 2 次訓(xùn)練(epoch2/8)對(duì)應(yīng)實(shí)際的50×2=100 次訓(xùn)練,依次類推,第8 次訓(xùn)練(epoch8/8)對(duì)應(yīng)實(shí)際的 50×8=400 次訓(xùn)練.用訓(xùn)練圖像訓(xùn)練CNN 湍流退化圖像分類模型,并通過不同迭代次數(shù)(generation)下訓(xùn)練準(zhǔn)確率、損失值(loss)和測(cè)試準(zhǔn)確率(test accuracy)來進(jìn)行分類效果驗(yàn)證.所設(shè)計(jì)的CNN 對(duì)湍流退化圖像數(shù)據(jù)的分類效果如表2所示.

表2 所設(shè)計(jì)網(wǎng)絡(luò)的分類性能

所設(shè)計(jì)的CNN 訓(xùn)練時(shí)的迭代次數(shù)與訓(xùn)練損失值之間的關(guān)系趨勢(shì)如圖4所示.

圖4 損失值與訓(xùn)練迭代次數(shù)的關(guān)系趨勢(shì)

所設(shè)計(jì)的CNN 訓(xùn)練時(shí)的迭代次數(shù)與測(cè)試準(zhǔn)確率之間的關(guān)系趨勢(shì)如圖5所示.

圖5 測(cè)試準(zhǔn)確率與訓(xùn)練迭代次數(shù)的關(guān)系趨勢(shì)

通過訓(xùn)練 1600 張訓(xùn)練圖像所得到的模型對(duì)400 張測(cè)試圖像進(jìn)行分類測(cè)試所得到的測(cè)試準(zhǔn)確率與訓(xùn)練迭代次數(shù)的關(guān)系是由圖5中的黑色虛線表示的.從測(cè)試圖中選取六幅圖來進(jìn)行預(yù)測(cè)分類的結(jié)果(Pred)與實(shí)際所屬類(Actual),如圖6所示.

圖6 6 幅隨機(jī)退化圖對(duì)應(yīng)的實(shí)際類與預(yù)測(cè)類

根據(jù)以上實(shí)驗(yàn)結(jié)果可以看出CNN 湍流退化圖像分類框架訓(xùn)練過程中的損失值隨著迭代次數(shù)的增加呈逐漸減小的趨勢(shì),當(dāng)訓(xùn)練迭代到兩百次后,損失值基本穩(wěn)定在20 左右.訓(xùn)練準(zhǔn)確率與測(cè)試準(zhǔn)確率隨著迭代次數(shù)的增加總體呈上升趨勢(shì),當(dāng)?shù)饺傥迨螘r(shí)訓(xùn)練模型得到最佳分類效果,針對(duì)訓(xùn)練圖像的訓(xùn)練準(zhǔn)確率達(dá)到82.21%,針對(duì)測(cè)試圖像的測(cè)試準(zhǔn)確率達(dá)到79.47%.測(cè)試圖中第一類與第二類湍流強(qiáng)度較為接近且都較小時(shí),預(yù)測(cè)結(jié)果會(huì)出現(xiàn)偏差.實(shí)驗(yàn)證明搭建的CNN 模型對(duì)該場(chǎng)景不同湍流強(qiáng)度的退化圖像分類的有效性.

更換八種不同場(chǎng)景的圖像做相同預(yù)處理操作后以同樣的網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練測(cè)試,八種不同場(chǎng)景下的湍流退化圖像在上述卷積神經(jīng)網(wǎng)絡(luò)模型下進(jìn)行訓(xùn)練測(cè)試,所得的訓(xùn)練測(cè)試準(zhǔn)確率如表3所示.

表3 不同場(chǎng)景退化圖像訓(xùn)練測(cè)試準(zhǔn)確率

由以上實(shí)驗(yàn)可以看出使用不同場(chǎng)景的圖片進(jìn)行湍流退化處理后,所設(shè)計(jì)的CNN 網(wǎng)絡(luò)對(duì)該類圖片分類準(zhǔn)確率在80%左右與前面的準(zhǔn)確率幾乎完全相同.實(shí)驗(yàn)證明該CNN 網(wǎng)絡(luò)模型學(xué)習(xí)到的是湍流退化圖像的模糊特征而不是圖像場(chǎng)景本身的特征,驗(yàn)證了CNN 網(wǎng)絡(luò)對(duì)湍流退化圖像湍流強(qiáng)度的分類的有效性.

考慮到在此基礎(chǔ)上提高準(zhǔn)確率,對(duì)網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)進(jìn)行調(diào)整.文獻(xiàn)[11]提出了一種結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和深度置信網(wǎng)絡(luò)的卷積深度置信網(wǎng)絡(luò)方法提升單一卷積神經(jīng)網(wǎng)絡(luò)分類的不足.文獻(xiàn)[12]提出了一種基于圖像DCT 變換后的卷積神經(jīng)網(wǎng)絡(luò)分類方法有效提高了分類準(zhǔn)確率.文獻(xiàn)[13]提出了一種結(jié)合度量學(xué)習(xí)包括Siamese和Triplet 兩種的卷積神經(jīng)網(wǎng)絡(luò)(CNN)結(jié)構(gòu)用于提升服裝圖像分類準(zhǔn)確率取得了不錯(cuò)效果；文獻(xiàn)[14]結(jié)合CNN 對(duì)圖像高階統(tǒng)計(jì)特性的忽略的缺點(diǎn)提出了一種結(jié)合CNN 與DBN 的深度卷積置信網(wǎng)絡(luò),該網(wǎng)絡(luò)在場(chǎng)景圖像分類中準(zhǔn)確率有明顯提高.文獻(xiàn)[15]提出了一種融合卷積神經(jīng)網(wǎng)絡(luò)與受限波爾茲曼機(jī)混合模型的圖像分類方法提高了圖像分類準(zhǔn)確率.文獻(xiàn)[16]通過擴(kuò)充樣本數(shù)據(jù)并去除CNN 冗余連接有效降低了分類錯(cuò)誤率.文獻(xiàn)[17]通過結(jié)合CNN 與圖像的DCT 變換進(jìn)行圖像分類比原始圖像分類效果有顯著提升.本文旨在通過修改激活函數(shù)以及調(diào)整學(xué)習(xí)率來提升模型分類性能.文獻(xiàn)[18]通過改進(jìn)激活函數(shù)Relu 調(diào)整參數(shù)a值使得卷積神經(jīng)網(wǎng)絡(luò)對(duì)腦脊液細(xì)胞圖像分類速度以及準(zhǔn)確率有較大提升.文獻(xiàn)[19]通過CNN 預(yù)訓(xùn)練網(wǎng)絡(luò)特征結(jié)合SVM 算法進(jìn)行魚類分類準(zhǔn)確率有明顯提升.激活函數(shù)選取Relu 函數(shù)替代Sigmoid 函數(shù),Sigmoid 作為激活函數(shù)時(shí),反向傳播求誤差梯度時(shí)求導(dǎo)涉及除法,計(jì)算量相對(duì)大.而采用Relu 激活函數(shù),可以使整個(gè)過程的計(jì)算量節(jié)省很多,Relu 會(huì)使一部分神經(jīng)元的輸出為0,減少計(jì)算量的同時(shí)也造成了網(wǎng)絡(luò)的稀疏性,并且減少了參數(shù)的相互依存關(guān)系.但是在初始化參數(shù)非常糟糕或者學(xué)習(xí)率設(shè)置較高的情況下,輸出為0 的神經(jīng)元中可能會(huì)有一部分永遠(yuǎn)不會(huì)被激活,相應(yīng)的參數(shù)就永遠(yuǎn)無法更新,導(dǎo)致最后訓(xùn)練結(jié)果不盡人意,這里保持迭代次數(shù)不變,將學(xué)習(xí)率降低,從原來的1e-3 調(diào)整到1e-4 進(jìn)行訓(xùn)練.調(diào)整參數(shù)后準(zhǔn)確率與訓(xùn)練迭代次數(shù)的關(guān)系趨勢(shì)如圖7所示.

由上述實(shí)驗(yàn)結(jié)果可以看到,改進(jìn)激活函數(shù)與降低學(xué)習(xí)率后,準(zhǔn)確率能保持在82%左右,該實(shí)驗(yàn)說明了改進(jìn)網(wǎng)絡(luò)參數(shù)能在一定程度上提升損失函數(shù)的收斂速度與CNN 的分類準(zhǔn)確率.

圖7 調(diào)整參數(shù)后準(zhǔn)確率與訓(xùn)練迭代次數(shù)的關(guān)系

4 結(jié)論

本文提出了一種基于CNN 的湍流圖像退化強(qiáng)度的分類方法,通過航拍圖湍流退化仿真得到數(shù)據(jù)集,在搭建的卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行仿真實(shí)驗(yàn).網(wǎng)絡(luò)結(jié)構(gòu)中損失值隨著訓(xùn)練的迭代很好的收斂,訓(xùn)練測(cè)試也得到較高的準(zhǔn)確率.對(duì)于不同退化程度圖像,通過人工提取有效特征十分困難,本文提出的通過卷積神經(jīng)網(wǎng)絡(luò)提取圖像特征進(jìn)行分類,實(shí)驗(yàn)結(jié)果證實(shí)了CNN 提取湍流特征的有效性以及分類的準(zhǔn)確性,通過對(duì)激活函數(shù)與學(xué)習(xí)率參數(shù)的調(diào)整一定程度上提升分類準(zhǔn)確率.該實(shí)驗(yàn)結(jié)果為基于機(jī)器學(xué)習(xí)的湍流退化圖像復(fù)原做了鋪墊.在后續(xù)研究中將進(jìn)一步研究深度置信網(wǎng)絡(luò)對(duì)湍流退化圖像的分類.