基于深度殘差網(wǎng)絡(luò)的局部模糊圖像無(wú)損復(fù)原方法

徐亞

（云南能源職業(yè)技術(shù)學(xué)院，云南曲靖，655000）

0 引言

圖像復(fù)原是針對(duì)降質(zhì)的模糊圖像進(jìn)行恢復(fù)的過(guò)程，依據(jù)各種先驗(yàn)條件，通過(guò)建立圖像復(fù)原數(shù)學(xué)模型，將模糊圖像根據(jù)模糊核所在位置劃分為局部模糊圖像，在不同像素的位置條件下，對(duì)局部模糊圖像進(jìn)行修復(fù)復(fù)原[1]。傳統(tǒng)的模糊圖像復(fù)原方法包括非盲復(fù)原與盲復(fù)原兩種類型[2]。依據(jù)模糊圖像的退化模型進(jìn)行卷積求解，通過(guò)求解的模糊核函數(shù)，實(shí)現(xiàn)模糊圖像的PSF迭代復(fù)原[3]。傳統(tǒng)的模糊圖像復(fù)原方法由于噪聲分布具有一定的隨機(jī)性，在卷積計(jì)算求解過(guò)程中，會(huì)導(dǎo)致復(fù)原圖像與原始圖像的均方差存在一定的偏差，使圖像局部出現(xiàn)極值點(diǎn)，降低修復(fù)后的圖像質(zhì)量[4]。深度殘差網(wǎng)絡(luò)作為一種表示學(xué)習(xí)的方法，適用于具有較多復(fù)雜結(jié)構(gòu)的高維數(shù)據(jù)中，打破圖像無(wú)損復(fù)原方法中圖像識(shí)別的制約，加速圖像復(fù)原過(guò)程中的各項(xiàng)數(shù)據(jù)分析[5]。通過(guò)自動(dòng)發(fā)現(xiàn)并檢測(cè)數(shù)據(jù)的特征變化，進(jìn)行多層次的學(xué)習(xí)，將非線性的模塊進(jìn)行深度組合，轉(zhuǎn)換為較高級(jí)別的模塊[6]。深度殘差網(wǎng)絡(luò)通常能夠根據(jù)圖像的特征，對(duì)圖像進(jìn)行位置與方向上的深度檢測(cè)，改善了復(fù)原過(guò)程中函數(shù)復(fù)雜的情況[7]。深度殘差網(wǎng)絡(luò)能夠根據(jù)圖像的身份映射，構(gòu)建對(duì)應(yīng)的學(xué)習(xí)框架，能夠有效地提高模糊圖像無(wú)損復(fù)原的精度與圖像質(zhì)量[8]。

綜上所述，本文針對(duì)模糊圖像的問(wèn)題，提出了基于深度殘差網(wǎng)絡(luò)的局部模糊圖像無(wú)損復(fù)原方法設(shè)計(jì)，改善傳統(tǒng)模糊圖像復(fù)原方法的不足。

1 方法設(shè)計(jì)

■ 1.1 構(gòu)建深度殘差網(wǎng)絡(luò)模型

針對(duì)局部模糊圖像無(wú)損復(fù)原工作，首先，本文構(gòu)建了深度殘差網(wǎng)絡(luò)模型，通過(guò)模型提取局部模糊圖像的各項(xiàng)參數(shù)，為后續(xù)評(píng)估圖像噪聲的敏感性提供重要依據(jù)[9]。

在殘差單元中輸入圖像，在圖像中添加對(duì)應(yīng)的信息標(biāo)簽，完成圖像預(yù)測(cè)嵌入強(qiáng)度的操作。深度殘差網(wǎng)絡(luò)的基本殘差單元如圖1所示。

圖1 深度殘差網(wǎng)絡(luò)的基本殘差單元結(jié)構(gòu)圖

為了提高模型的精確度，增加相關(guān)的圖像樣本數(shù)量，并將圖像劃分為45＊45的圖像塊，構(gòu)建圖像殘差單元[10]。根據(jù)殘差網(wǎng)絡(luò)結(jié)構(gòu)的不斷加深，訓(xùn)練集的準(zhǔn)確率會(huì)出現(xiàn)短暫性的下降趨勢(shì)，為了避免對(duì)模型的網(wǎng)絡(luò)梯度造成影響，應(yīng)當(dāng)構(gòu)建堆疊網(wǎng)絡(luò)的結(jié)構(gòu)，提升模型的性能。設(shè)置模型中x表示殘差單元的輸入， ()Hx表示模型中殘差單元的輸出，則深度殘差學(xué)習(xí)是多個(gè)含有參數(shù)的網(wǎng)絡(luò)層共同學(xué)習(xí)輸入與輸出之間的殘差，表達(dá)式為：

在本文構(gòu)建的深度殘差網(wǎng)絡(luò)模型中，設(shè)置殘差單元的表達(dá)式為：

其中，F(xiàn)(x,{Wi})表示模型中網(wǎng)絡(luò)學(xué)習(xí)的殘差函數(shù)；W1、 2W分別表示函數(shù)的權(quán)重；σ表示深度殘差網(wǎng)絡(luò)激活函數(shù)。

在本文構(gòu)建的模型中，為了操作的簡(jiǎn)便性，采用元素相加的方式進(jìn)行模型間的連接。保證模型中圖像輸入向量與殘差函數(shù)維度的一致性，減少額外參數(shù)的引入，降低深度殘差網(wǎng)絡(luò)模型計(jì)算的復(fù)雜度。

設(shè)置深度殘差網(wǎng)絡(luò)模型一共包括15層，根據(jù)圖像模糊核大小的不同，將模型的結(jié)構(gòu)層次進(jìn)行劃分，保證每一個(gè)結(jié)構(gòu)層中包含較多的特征信息。在網(wǎng)絡(luò)步長(zhǎng)為4的結(jié)構(gòu)層中進(jìn)行圖像采樣，保持步長(zhǎng)與圖像邊緣的填充一致。依據(jù)模糊核的設(shè)計(jì)規(guī)則，設(shè)定圖像的嵌入強(qiáng)度，結(jié)合梯度下降方法，將權(quán)重函數(shù)的損失降到最小，對(duì)深度殘差網(wǎng)絡(luò)激活函數(shù)進(jìn)行歸一化處理，隨機(jī)選取32個(gè)圖像作為模型中的網(wǎng)絡(luò)訓(xùn)練樣本。

為了降低圖像像素溢出的概率，在進(jìn)行局部模糊圖像無(wú)損復(fù)原之前，對(duì)圖像的像素進(jìn)行可逆性調(diào)整，獲取到圖像的小波變換分解圖像。基于深度殘差網(wǎng)絡(luò)模型的相關(guān)參數(shù)，計(jì)算局部模糊圖像的嵌入強(qiáng)度。

■ 1.2 提取局部模糊圖像特征

基于上述構(gòu)建的深度殘差網(wǎng)絡(luò)模型完畢后，獲取到圖像的嵌入強(qiáng)度、殘差網(wǎng)絡(luò)激活函數(shù)等參數(shù)。接下來(lái)，本文通過(guò)殘差分塊的方式提取局部模糊圖像的各項(xiàng)特征。在殘差網(wǎng)絡(luò)深度不斷增加的背景下，模糊圖像的重建能力會(huì)相應(yīng)地發(fā)生變化，圖像的特征在傳輸過(guò)程中會(huì)出現(xiàn)一定的波動(dòng)。根據(jù)模型的卷積層結(jié)構(gòu)，提取出具有先驗(yàn)信息的特征條件，分別添加具有參數(shù)特征的元素，采用分類網(wǎng)絡(luò)作為圖像特征提取網(wǎng)絡(luò)，用于局部模糊圖像的特征提取網(wǎng)絡(luò)訓(xùn)練中，這一過(guò)程如圖2所示。

圖2 局部模糊圖像特征提取過(guò)程

根據(jù)網(wǎng)絡(luò)的分支訓(xùn)練，獲取圖像監(jiān)督信息，利用中間幀調(diào)節(jié)圖像中的結(jié)構(gòu)信息。采用堆疊深度殘差塊的方式，增加特征提取網(wǎng)絡(luò)的深度，提高提取的效率與精度。在圖像的特征圖中，加入共享相同的卷積核組，對(duì)特征圖進(jìn)行離散卷積操作，獲取到方便于檢測(cè)的局部圖像特征。當(dāng)局部模糊圖像的特征圖大小發(fā)生變化時(shí)，表明圖像內(nèi)的模糊核數(shù)量也發(fā)生了改變。此時(shí)，應(yīng)當(dāng)保持深度殘差網(wǎng)絡(luò)模型每一層的結(jié)構(gòu)相同，控制殘差網(wǎng)絡(luò)激活函數(shù)的變化。

將局部模糊圖像進(jìn)行像素強(qiáng)度劃分，劃分為位置像素強(qiáng)度不同的模塊，進(jìn)行矩陣疊加操作，通過(guò)多層使用的圖像網(wǎng)絡(luò)，將深度殘差網(wǎng)絡(luò)模型中的任意兩個(gè)結(jié)構(gòu)層次進(jìn)行連接，設(shè)置每一層結(jié)構(gòu)的輸入都是所有層結(jié)構(gòu)的并集處理結(jié)果，減少在特征提取過(guò)程中梯度彌散的情況。設(shè)定殘差分塊的圖像層次特征融合結(jié)構(gòu)輸出為：

其中，M0表示第一層模型結(jié)構(gòu)的輸出；表示特征融合結(jié)構(gòu)的級(jí)聯(lián)操作；b表示特征融合結(jié)構(gòu)的常量?；诙喑叨鹊臍埐罘謮K方式，學(xué)習(xí)模型中不同結(jié)構(gòu)層次下的圖像特征，結(jié)合模糊圖像的初始化信息，將多個(gè)尺度下的模糊圖像特征進(jìn)行融合，保證每個(gè)模糊圖像中使用不同的模糊核。對(duì)于局部模糊圖像的殘差學(xué)習(xí)部分，為了提高模糊圖像特征提取的效率，采用全連接殘差分塊的方式，在各個(gè)元素間建立快捷連接，全方位地提高圖像特征信息的提取性能。

■ 1.3 圖像模糊核尺寸計(jì)算與無(wú)損復(fù)原

根據(jù)上述的局部模糊圖像特征提取結(jié)果，對(duì)圖像的模糊核尺寸進(jìn)行如下計(jì)算。采用卷積算法進(jìn)行預(yù)輸入?yún)?shù)操作，根據(jù)局部模糊圖像模糊核的非有效區(qū)域，估計(jì)圖像模糊核的寬度與高度。在圖像模糊核的尺寸計(jì)算中，首先，確定圖像的模糊核模塊bp，根據(jù)模糊核模塊估計(jì)圖像相應(yīng)的模糊核尺寸s= {w,h}。其中，w和h分別代表圖像模糊核的寬度與高度。

將圖像模糊核的尺寸計(jì)算看作向量的回歸處理問(wèn)題，設(shè)置訓(xùn)練回歸器r，圖像模塊的真實(shí)尺寸向量為gts，根據(jù)向量的映射作用，將尺寸計(jì)算的誤差范圍縮小，得出圖像模塊真實(shí)尺寸向量的表達(dá)式為：

其中，ε表示訓(xùn)練回歸器的系數(shù)。通過(guò)表達(dá)式可以得出模糊核的尺寸向量。本文設(shè)計(jì)的基于深度殘差網(wǎng)絡(luò)的局部模糊圖像無(wú)損復(fù)原方法中，由于構(gòu)建的模型存在全連接層，在輸入圖像尺寸時(shí)應(yīng)當(dāng)輸入具體的固定值，對(duì)于模糊核尺寸的計(jì)算具有一定的幫助。保證局部模糊圖像與模糊核的尺寸的縮放比例大小接近，存在較小的差異性。根據(jù)局部模糊圖像的變化，記錄模糊核尺寸的縮放比例，將訓(xùn)練集圖像數(shù)據(jù)的標(biāo)簽表達(dá)為：

式中，W表示局部模糊圖像的具體寬度；H表示局部模糊圖像的具體高度，根據(jù)尺寸縮放比例的相對(duì)變化能夠獲取深度殘差網(wǎng)絡(luò)的局部模糊圖像模糊核尺寸。

基于上述得到的計(jì)算結(jié)果，得出圖像相應(yīng)的模糊核，采用非盲解卷積的方法，對(duì)局部模糊圖像進(jìn)行正則化潛像復(fù)原。首先，減少局部模糊圖像的曝光時(shí)間，提高圖像的信噪比，降低模糊圖像傳輸介質(zhì)的噪聲影響。

將擴(kuò)散函數(shù)的卷積結(jié)果加入噪聲的過(guò)程描述中，調(diào)節(jié)局部模糊圖像的噪聲功率譜密度，將圖像的噪聲帶寬調(diào)節(jié)為大于圖像的帶寬。局部模糊圖像在噪聲的影響下，經(jīng)過(guò)一定的周期變化，最終生成局部模糊退化圖像，結(jié)合逆濾波方法，對(duì)局部模糊圖像進(jìn)行復(fù)原操作，實(shí)現(xiàn)圖像去模糊的目標(biāo)。

綜上所述，基于深度殘差網(wǎng)絡(luò)的局部模糊圖像無(wú)損復(fù)原流程如圖3所示。

圖3 基于深度殘差網(wǎng)絡(luò)的局部模糊圖像無(wú)損復(fù)原流程

2 實(shí)驗(yàn)與結(jié)果分析

為了驗(yàn)證本文提出的基于深度殘差網(wǎng)絡(luò)的局部模糊圖像無(wú)損復(fù)原方法的有效性，進(jìn)行了如下實(shí)驗(yàn)分析。

■ 2.1 實(shí)驗(yàn)準(zhǔn)備

本次實(shí)驗(yàn)采用的原始圖像數(shù)據(jù)為256×256像素大小的局部模糊圖像，對(duì)圖像進(jìn)行拼接處理，使圖像數(shù)據(jù)具有左右對(duì)稱的特性。采用某實(shí)驗(yàn)室的開(kāi)放數(shù)據(jù)集，對(duì)局部模糊圖像進(jìn)行相應(yīng)的特征標(biāo)記，將標(biāo)記后的圖像進(jìn)行模塊劃分。設(shè)置本次實(shí)驗(yàn)中數(shù)據(jù)集的圖像數(shù)量為3000，其中，訓(xùn)練集圖像的數(shù)量為2000，測(cè)試數(shù)據(jù)集數(shù)量為1000，將局部模糊圖像無(wú)損復(fù)原的訓(xùn)練與測(cè)試原始數(shù)據(jù)進(jìn)行對(duì)應(yīng)的文件劃分?；诒疚臉?gòu)建的深度殘差網(wǎng)絡(luò)模型初始化處理圖像參數(shù)，獲取到模糊圖像的殘差函數(shù)與殘差表達(dá)式。設(shè)置本次實(shí)驗(yàn)訓(xùn)練數(shù)據(jù)集在每個(gè)周期內(nèi)的迭代訓(xùn)練次數(shù)為100，在每次迭代訓(xùn)練后，記錄模糊圖像的網(wǎng)絡(luò)權(quán)重，根據(jù)網(wǎng)絡(luò)權(quán)重判斷圖像輸出矩陣的均值。

■ 2.2 結(jié)果分析

首先對(duì)本文方法展開(kāi)初步驗(yàn)證，利用本文方法對(duì)圖4中的局部模糊圖像進(jìn)行處理，處理過(guò)程及結(jié)果如圖5所示。

圖4 原始圖像

觀察圖4、圖5可知，圖4中，左側(cè)花朵存在局部模糊情況，經(jīng)本文方法處理后，局部模糊情況消失，初步驗(yàn)證了本文方法具有有效性。

圖5 處理過(guò)程及結(jié)果圖

為了使實(shí)驗(yàn)的結(jié)果更加具有說(shuō)服力，選取MLP圖像復(fù)原方法與模糊圖像邊緣復(fù)原方法，共同與本文提出的無(wú)損復(fù)原方法進(jìn)行對(duì)比，對(duì)比三種復(fù)原方法圖像的峰值信噪比與復(fù)原后圖像的結(jié)構(gòu)相似度，根據(jù)對(duì)比結(jié)果對(duì)模糊圖像復(fù)原的整體性能進(jìn)行評(píng)價(jià)，結(jié)果如表1、表2所示。

表1 三種模糊圖像復(fù)原方法峰值信噪比

表2 三種模糊圖像復(fù)原方法復(fù)原后圖像結(jié)構(gòu)相似度

如表1、表2所示，本文提出的基于深度殘差網(wǎng)絡(luò)的局部模糊圖像無(wú)損復(fù)原方法在峰值信噪比與圖像的結(jié)構(gòu)相似度方面，均較傳統(tǒng)的復(fù)原方法相比存在較大的優(yōu)勢(shì)，復(fù)原后的圖像結(jié)構(gòu)相似度較高，表明與原圖更加接近，復(fù)原得到的圖像質(zhì)量更好。

3 結(jié)束語(yǔ)

綜上所述，針對(duì)傳統(tǒng)模糊圖像復(fù)原方法在圖像質(zhì)量方面的不足，本文提出了基于深度殘差網(wǎng)絡(luò)的局部模糊圖像無(wú)損復(fù)原方法。在傳統(tǒng)圖像復(fù)原方法的基礎(chǔ)上，融入了深度殘差網(wǎng)絡(luò)模型，避免圖像在復(fù)原過(guò)程中出現(xiàn)像素溢出的情況，保證了局部模糊圖像的完整性，對(duì)于出現(xiàn)的噪聲信號(hào)攻擊具有較強(qiáng)的穩(wěn)健性，提高了無(wú)損復(fù)原的局部模糊圖像的魯棒性。