基于稀疏表示的對(duì)抗網(wǎng)絡(luò)圖像聚焦形貌修復(fù)

陸 焱，胡玉榮，郭 競(jìng)

(1.荊楚理工學(xué)院計(jì)算機(jī)工程學(xué)院，湖北荊門448000；2.荊楚理工學(xué)院科技處，湖北荊門448000；3.西北大學(xué)信息科學(xué)與技術(shù)學(xué)院，西安長(zhǎng)安 710127)

1 引言

隨著經(jīng)濟(jì)水平和科學(xué)技術(shù)的不斷發(fā)展，圖像技術(shù)在越來(lái)越多的行業(yè)中得到廣泛應(yīng)用，對(duì)于圖像采集的質(zhì)量和處理效果也提出了新的要求[1-2]。圖像在采集過(guò)程中往往會(huì)受到光影影響，導(dǎo)致圖像難以清晰地聚焦在采集圖像目標(biāo)上，問(wèn)題最突出的便是在人體形貌聚焦采集方面。因此多聚焦圖像融合與修復(fù)技術(shù)應(yīng)運(yùn)而生[3]。然而，由于傳統(tǒng)的多聚焦圖像修復(fù)技術(shù)無(wú)法很好地實(shí)現(xiàn)圖像冗余信息的分離，對(duì)外界噪聲等影響因素敏感度也不高，對(duì)于人體形貌圖像的融合與修復(fù)的處理效果仍存在一些明顯缺陷。

相關(guān)學(xué)者對(duì)此進(jìn)行了改進(jìn)，取得了一定研究成果。曹義親等人提出基于卷積稀疏表示的圖像融合方法[4]，根據(jù)視覺(jué)顯著性融合圖像，通過(guò)Butworth低通濾波對(duì)高頻子帶系數(shù)進(jìn)行調(diào)整，最后實(shí)現(xiàn)脈沖耦合神經(jīng)網(wǎng)絡(luò)的有效融合，此方法提升了圖像融合效率，但是圖像修復(fù)清晰度不佳。陳賽健等人提出基于生成對(duì)抗網(wǎng)絡(luò)的文本圖像聯(lián)合超分辨率與去模糊方法[5]，利用采樣模塊方法實(shí)現(xiàn)超分辨率圖像模塊劃分，利用去模糊模塊方法重建文本圖像，實(shí)現(xiàn)了圖像形貌修復(fù)。但是此方法去噪效果越好。

為此，本文提出了一種基于稀疏表示的對(duì)抗網(wǎng)絡(luò)多聚焦圖像形貌修復(fù)方法。稀疏表示是一種圖像表示模型，以其優(yōu)良的信號(hào)除雜與信息檢測(cè)分離功能，在諸多信息技術(shù)和圖像處理領(lǐng)域得到了廣泛的應(yīng)用。在圖像聚焦形貌處理方面，稀疏表示能夠更精準(zhǔn)的完成圖像除雜降噪、圖像融合與局部圖像識(shí)別分辨等處理環(huán)節(jié)，完成較為理想的圖像聚焦形貌修復(fù)。

2 對(duì)抗網(wǎng)絡(luò)圖像聚焦形貌的圖像處理

2.1 圖像數(shù)據(jù)信息采集

對(duì)抗網(wǎng)絡(luò)圖像聚焦形貌修復(fù)的處理過(guò)程，首先要對(duì)目標(biāo)圖像進(jìn)行數(shù)據(jù)信息采集[5-6]。

由于圖像聚焦形貌修復(fù)技術(shù)主要是對(duì)圖像中的形貌部分進(jìn)行修復(fù)處理，所以數(shù)據(jù)信息采集主要是針對(duì)形貌圖像信息進(jìn)行檢測(cè)。首先在圖像中進(jìn)行精準(zhǔn)全面識(shí)別，然后按照用戶要求的處理標(biāo)準(zhǔn)和形貌處理的分辨率設(shè)定情況，對(duì)圖像進(jìn)行放大；再根據(jù)圖像分辨率情況和相關(guān)要求，將識(shí)別圖像進(jìn)行局部的區(qū)域劃分；再次利用圖像檢測(cè)與數(shù)據(jù)信息采集程序，對(duì)局部圖像進(jìn)行清晰的信息檢測(cè)。對(duì)抗網(wǎng)絡(luò)圖像聚焦形貌的圖像信息采集流程如圖1所示：

圖1 對(duì)抗網(wǎng)絡(luò)圖像聚焦形貌的圖像信息采集流程

如果圖像素材中擁有多個(gè)相似圖像，則需要對(duì)相似圖像進(jìn)行相同規(guī)則的圖像識(shí)別和信息檢測(cè)，然后將檢測(cè)獲取到的圖像信息數(shù)據(jù)按一定的分類規(guī)則進(jìn)行整理，并通過(guò)數(shù)據(jù)檢測(cè)程序排除存在誤差缺漏的數(shù)據(jù)[7-8]。之后通過(guò)對(duì)比分析得到圖像形貌信息的具體情況，并將整理完畢的數(shù)據(jù)保存為目標(biāo)圖像的數(shù)據(jù)集。同時(shí)，計(jì)算機(jī)系統(tǒng)會(huì)形成備份數(shù)據(jù)保存在系統(tǒng)的數(shù)據(jù)庫(kù)中，以防突發(fā)情況造成數(shù)據(jù)丟失。

2.2 聚焦形貌圖像處理

在獲取了目標(biāo)圖像各方面的信息數(shù)據(jù)之后，可對(duì)獲取的圖像信息進(jìn)行處理。首先需要進(jìn)行多層次的圖像融合，圖像融合是指將擁有同一拍攝目標(biāo)與相似背景環(huán)境的多幅圖像進(jìn)行融合，以獲取到關(guān)于該圖像目標(biāo)更全面精準(zhǔn)的圖像[9，10]。在對(duì)抗網(wǎng)絡(luò)多聚焦圖像形貌修復(fù)處理過(guò)程中，需要利用圖像融合技術(shù)對(duì)多個(gè)目標(biāo)圖像素材進(jìn)行融合，以減少光影，噪點(diǎn)等環(huán)境因素的影響，形成圖像信息更加全面的多聚焦圖像。對(duì)抗網(wǎng)絡(luò)圖像融合示意圖如圖2所示。

圖2 對(duì)抗網(wǎng)絡(luò)圖像融合示意圖

分析圖2可知，本文選用的多層次圖像融合技術(shù)主要分兩個(gè)層次：首先是進(jìn)行像素級(jí)的圖像融合，像素級(jí)的圖像融合是圖像融合的基礎(chǔ)，主要通過(guò)圖像像素識(shí)別與數(shù)據(jù)檢測(cè)程序，對(duì)目標(biāo)圖像素材進(jìn)行圖像像素?cái)?shù)據(jù)的采集與分析，得到精確具體的圖像尺寸、像素個(gè)數(shù)以及分辨率，還包括色彩、光影等方面的像素?cái)?shù)據(jù)；之后根據(jù)像素級(jí)圖像融合的數(shù)據(jù)情況進(jìn)行特征級(jí)圖像融合。

級(jí)的融合圖像數(shù)據(jù)分析情況進(jìn)行圖像特征預(yù)處理，提取圖像素材中的主要特征點(diǎn)，并根據(jù)圖像特征點(diǎn)的數(shù)據(jù)信息，通過(guò)相關(guān)性矩陣運(yùn)算，獲取圖像信息數(shù)據(jù)集中相關(guān)性較高的特征數(shù)據(jù)，然后根據(jù)特征點(diǎn)數(shù)據(jù)信息對(duì)圖像素材進(jìn)行特征匹配，能夠得到精度較高的融合圖像[11]。

根據(jù)圖像結(jié)構(gòu)對(duì)數(shù)據(jù)集中的所有圖像信息進(jìn)行篩選，經(jīng)過(guò)圖像信息檢測(cè)確定一個(gè)圖像元素組成與圖像結(jié)構(gòu)較為穩(wěn)定的局部圖像信息作為參考標(biāo)準(zhǔn)，根據(jù)該部分圖像的紋理、結(jié)構(gòu)對(duì)其它圖像進(jìn)行篩選，獲取數(shù)據(jù)信息相似度較高的圖像碎片。將符合要求的圖像部分進(jìn)行拼接形成大致的目標(biāo)圖像，針對(duì)存在缺漏破損的部分，整合與該部分相關(guān)聯(lián)的圖像信息數(shù)據(jù)通過(guò)計(jì)算程序獲得大致與圖像整體數(shù)據(jù)相關(guān)度較高的圖像信息數(shù)據(jù)，并將數(shù)據(jù)拼接融合到整體圖像中，完成目標(biāo)圖像的初級(jí)融合與修復(fù)。

3 基于稀疏表示的對(duì)抗網(wǎng)絡(luò)圖像聚焦形貌修復(fù)

3.1 稀疏表示圖像修復(fù)算法

稀疏表示基本原理是假設(shè)目標(biāo)信號(hào)信息數(shù)據(jù)中的元素大多為自然元素，那么這個(gè)信號(hào)信息是稀疏的，自然元素能夠通過(guò)原子的線性組合對(duì)信號(hào)進(jìn)行表示，稀疏表示的模型主要根據(jù)目標(biāo)信號(hào)信息數(shù)據(jù)的字典進(jìn)行構(gòu)建。用x表示信號(hào)，D表示字典，α表示稀疏表示系數(shù)。利用圖像信息數(shù)據(jù)檢測(cè)分析得到的信號(hào)數(shù)據(jù)范圍，設(shè)定一個(gè)固定的字典矩陣，則信號(hào)的稀疏表示等同于信號(hào)數(shù)據(jù)的系數(shù)與字典矩陣的乘積，注意其中的信號(hào)元素為非零的自然元素[12]。

進(jìn)行稀疏表示信號(hào)運(yùn)算之前首先要完成字典類型的選擇。根據(jù)目標(biāo)處理信息的類型與相關(guān)數(shù)據(jù)的大致情況，對(duì)字典矩陣進(jìn)行大致的預(yù)估，再根據(jù)信號(hào)信息相應(yīng)特征，具體判斷選擇字典類型。

對(duì)于本文研究的對(duì)抗網(wǎng)絡(luò)圖像聚焦形貌修復(fù)技術(shù)，一般選用貪婪算法比較精準(zhǔn)。本文采用的是貪婪算法中的追蹤匹配法，運(yùn)算公式如下

(1)

(2)

式中，ωR、ωG、ωB分別代表R、G、B的權(quán)值。

利用頻域平滑濾波對(duì)圖像進(jìn)行去噪，圖像噪聲、邊緣和跳躍表示高頻分量，圖像的背景以及變化緩慢的部分表示低頻分量，根據(jù)頻域?yàn)V波，可以將高頻分量去除，圖像得到了平滑，表達(dá)式如下

G(u，v)=H(u,,v)F(u，v)

(3)

式(3)中，F(xiàn)(u，v)為經(jīng)過(guò)傅里葉變換的原始圖像，G(u，v)為經(jīng)過(guò)傅里葉變換后的平滑電力設(shè)備圖像，H(u,,v)為濾波轉(zhuǎn)移函數(shù)。

為了便于圖像的處理，引入離散來(lái)表示對(duì)抗網(wǎng)絡(luò)圖像，r表示灰度級(jí)，pr(r)表示灰度的分布情況，滿足如下公式

(4)

其中，nk表示灰度像素rk一共出現(xiàn)的次數(shù)，n表示總像素。

由于對(duì)抗網(wǎng)絡(luò)圖像經(jīng)常會(huì)有對(duì)比度低的問(wèn)題，直接影響了圖像的識(shí)別，通過(guò)對(duì)圖像增強(qiáng)，可以突出電力設(shè)備圖像的特征。利用直方圖均衡化對(duì)圖像特征區(qū)的對(duì)比度進(jìn)行擴(kuò)大，直方圖均衡化變換函數(shù)為

(5)

根據(jù)此式對(duì)目標(biāo)信號(hào)數(shù)據(jù)進(jìn)行稀疏求解，對(duì)相似圖像素材數(shù)據(jù)分別進(jìn)行稀疏表示，再經(jīng)過(guò)累加迭代運(yùn)算，得到該目標(biāo)圖像精準(zhǔn)度較高的圖像數(shù)據(jù)匹配與缺陷填補(bǔ)。

3.2 對(duì)抗網(wǎng)絡(luò)圖像聚焦形貌修復(fù)

基于上述圖像稀疏運(yùn)算的結(jié)果數(shù)據(jù)，完成多聚焦圖像形貌修復(fù)處理。將稀疏表示運(yùn)算結(jié)果導(dǎo)入到圖像處理系統(tǒng)程序中，以之前完成的初級(jí)融合圖像為基礎(chǔ)，根據(jù)稀疏表示結(jié)果數(shù)據(jù)，對(duì)圖像進(jìn)行進(jìn)一步細(xì)化與缺陷修補(bǔ)。基于稀疏表示的對(duì)抗網(wǎng)絡(luò)圖像聚焦形貌修復(fù)流程如圖3所示。

圖3 基于稀疏表示的對(duì)抗網(wǎng)絡(luò)圖像聚焦形貌修復(fù)流程圖

由圖5可知，通過(guò)圖像生成器將信息數(shù)據(jù)轉(zhuǎn)化為對(duì)應(yīng)的圖像元素，對(duì)目標(biāo)圖像存在缺陷的部分進(jìn)行調(diào)整修補(bǔ)；完成修補(bǔ)之后，利用圖像處理程序?qū)D像細(xì)節(jié)方面處理，銳化形貌圖像，去除圖像模糊部分，提高圖像聚焦部分的分辨率，使生成的圖像更加清晰化。對(duì)于圖像中的線條與光影邊緣部分進(jìn)行平滑處理，平衡穩(wěn)定圖像的色彩與結(jié)構(gòu)，降低圖像違和感。根據(jù)原始圖像素材對(duì)生成圖像進(jìn)行對(duì)比分析，選取還原度最高的、最合理的生成圖像作為最終修補(bǔ)結(jié)果。對(duì)于存在缺陷的圖像部分，可再次進(jìn)行圖像掃描檢測(cè)，消除修補(bǔ)區(qū)域的模糊部分，提高圖像的融合度，進(jìn)一步增強(qiáng)了多聚焦形貌修復(fù)圖像的精確性與完整性。

4 實(shí)驗(yàn)研究

為了驗(yàn)證本文提出的基于稀疏表示的對(duì)抗網(wǎng)絡(luò)圖像聚焦形貌修復(fù)方法的有效性，與傳統(tǒng)方法進(jìn)行實(shí)驗(yàn)對(duì)比，實(shí)驗(yàn)環(huán)境為：Intel Core i3550(3.2GHz)，4GB RAM，Windows7(32bit)，Net Logo V5.0.4。

設(shè)定實(shí)驗(yàn)參數(shù)如表1所示。

表1 實(shí)驗(yàn)參數(shù)

根據(jù)上述參數(shù)，選用本文提出的基于稀疏表示的對(duì)抗網(wǎng)絡(luò)圖像聚焦形貌修復(fù)方法為實(shí)驗(yàn)組，傳統(tǒng)的基于深度學(xué)習(xí)的對(duì)抗網(wǎng)絡(luò)圖像聚焦形貌修復(fù)方法以及基于樣本塊的對(duì)抗網(wǎng)絡(luò)圖像聚焦形貌修復(fù)方法作為對(duì)照組，對(duì)圖像進(jìn)行修復(fù)。引入DCT作為完備字典，分析內(nèi)部噪聲，將原來(lái)的圖像加入噪聲，同時(shí)加入中值濾波，利用峰值信噪比(PSNR)和均方誤差(MSE)作為參數(shù)指標(biāo)，來(lái)衡量圖像的質(zhì)量。

未加入噪聲的圖像處理實(shí)驗(yàn)結(jié)果如圖4所示。

圖4 未加入噪聲的圖像處理實(shí)驗(yàn)結(jié)果

觀察上圖可知，本文提出的基于稀疏表示的對(duì)抗網(wǎng)絡(luò)圖像聚焦形貌修復(fù)方法，與傳統(tǒng)的基于深度學(xué)習(xí)的對(duì)抗網(wǎng)絡(luò)圖像聚焦形貌修復(fù)方法以及基于樣本塊的對(duì)抗網(wǎng)絡(luò)圖像聚焦形貌修復(fù)方法都能對(duì)圖像進(jìn)行復(fù)原，但是很難復(fù)原成原來(lái)的樣子。就圖像恢復(fù)清晰度來(lái)看，本文提出的基于稀疏表示的對(duì)抗網(wǎng)絡(luò)圖像聚焦形貌修復(fù)方法清晰度高于傳統(tǒng)修復(fù)方法。圖像質(zhì)量評(píng)價(jià)指標(biāo)如下表2所示。

表2 未加入噪聲圖像質(zhì)量評(píng)價(jià)指標(biāo)

上表的質(zhì)量參數(shù)能更加直觀地反映出三種修復(fù)方法的修復(fù)能力。在PSNR上，本文提出的圖像修復(fù)方法優(yōu)于傳統(tǒng)方法，但是這種優(yōu)勢(shì)并不明顯，而在MSE指標(biāo)上本文提出的方法修復(fù)能力更好。

加入噪聲的圖像處理實(shí)驗(yàn)結(jié)果如圖5所示。

圖5 加入噪聲的圖像處理實(shí)驗(yàn)結(jié)果

由上圖可知，本文提出的修復(fù)方法能夠更好地處理噪聲問(wèn)題，提高信息的采集能力，實(shí)現(xiàn)信息修復(fù)。而傳統(tǒng)方法在處理噪聲問(wèn)題上，有著明顯的弊端，即使完成修復(fù)，得到的信息也十分模糊。對(duì)于噪聲圖像質(zhì)量評(píng)價(jià)指標(biāo)如表3所示。

表3 加入噪聲圖像質(zhì)量評(píng)價(jià)指標(biāo)

觀察表3可知，本文設(shè)計(jì)的方法對(duì)于噪聲圖像的修復(fù)能力要明顯優(yōu)于傳統(tǒng)修復(fù)方法，本文方法引入稀疏表示模型，將圖像塊聚類之后，利用K-SVD字典對(duì)圖像進(jìn)行訓(xùn)練，訓(xùn)練后與圖像的稀疏系數(shù)相乘，從而得到更好的修復(fù)結(jié)果。

5 結(jié)束語(yǔ)

本文基于傳統(tǒng)的多聚焦圖像修復(fù)技術(shù)存在的弊端，提出了一種基于稀疏表示的對(duì)抗網(wǎng)絡(luò)圖像聚焦形貌修復(fù)方法。這種方法能通過(guò)對(duì)圖像數(shù)據(jù)信息的稀疏表示運(yùn)算結(jié)果，獲取關(guān)于目標(biāo)圖像各方面參數(shù)更精準(zhǔn)的數(shù)據(jù)信息，并結(jié)合圖像融合技術(shù)對(duì)目標(biāo)圖像進(jìn)行較為完整的圖像融合，同時(shí)利用圖像生成技術(shù)將稀疏表示所得數(shù)據(jù)轉(zhuǎn)化為圖像元素，實(shí)現(xiàn)對(duì)圖像缺陷部分的精準(zhǔn)修補(bǔ)。本文研究的方法對(duì)于對(duì)抗網(wǎng)絡(luò)的多聚焦形貌圖像有良好的修復(fù)和處理效果，有很強(qiáng)的適用性，能夠?yàn)榫劢箞D像修復(fù)領(lǐng)域的相關(guān)技術(shù)研究提供一定的價(jià)值參考。