低秩矩陣恢復(fù)下的自適應(yīng)圖像超分辨率重建

鹿宸銘

（悉尼大學(xué) 電氣與信息工程學(xué)院，澳洲 悉尼 2006）

0 引言

自適應(yīng)圖像具有較強(qiáng)的可操作性，可以根據(jù)輸入輸出條件的不同做出相應(yīng)的變化，從而在維護(hù)像素信息完整性的同時(shí)，避免關(guān)聯(lián)節(jié)點(diǎn)出現(xiàn)相互覆蓋的情況[1]。信息參量在自適應(yīng)圖像中普遍保持單序列分布形式，且每一序列內(nèi)所包含像素信息的類型完全相同，主機(jī)元件在去除像素信息時(shí)會完整移除一整個(gè)序列內(nèi)的像素對象，造成低分辨率問題和像素節(jié)點(diǎn)稀疏分布的情況，而這也是圖像清晰度水平達(dá)不到實(shí)際需求標(biāo)準(zhǔn)的主要原因。基于密集殘差塊生成對抗網(wǎng)絡(luò)的圖像超分辨率重建方法[2]，通過定義空間目標(biāo)對象的方式，對網(wǎng)絡(luò)主機(jī)捕捉到的像素信息進(jìn)行訓(xùn)練處理，定義具體的像素重建標(biāo)準(zhǔn)，實(shí)現(xiàn)圖像超分辨率重建。

基于VGG 能量損失的圖像超分辨率重建方法[3]在損失函數(shù)的基礎(chǔ)上，完成對像素信息的編碼處理，又按照梯度遞減原則選取關(guān)鍵分辨率參量，以便于主機(jī)元件能夠根據(jù)超分辨率條件進(jìn)行重建。然而上述兩種方法對圖像的降噪處理效果有限，并不能保證重建后圖像的分辨率水平完全達(dá)到實(shí)際需求標(biāo)準(zhǔn)。

低秩矩陣恢復(fù)是一種廣泛應(yīng)用的像素對象復(fù)原方法，即便在原圖像中存在噪聲的情況下，只要在低秩矩陣內(nèi)完成對像素信息的取樣，即可以使恢復(fù)后圖像的清晰度保持高水平狀態(tài)[4]。因此，本文利用低秩矩陣恢復(fù)模型的應(yīng)用優(yōu)勢，設(shè)計(jì)一種新型的自適應(yīng)圖像超分辨率重建方法。

1 低秩矩陣恢復(fù)下的自適應(yīng)圖像降噪

為實(shí)現(xiàn)對自適應(yīng)圖像的超分辨率重建，在低秩矩陣恢復(fù)模型的支持下完成對圖像的降噪處理。低秩矩陣恢復(fù)模型對于自適應(yīng)圖像的降噪處理是按照像素信息矩陣的補(bǔ)全原則，實(shí)施對像素參量的低秩恢復(fù)。

1）矩陣補(bǔ)全

低秩矩陣恢復(fù)模型對于像素信息矩陣補(bǔ)全處理的要求表現(xiàn)在行向量、列向量兩個(gè)方面。行向量影響像素信息在低秩矩陣中的橫向取值結(jié)果，其向量值越大，像素信息在低秩矩陣中的橫向取值位置越靠后[5-6]。列向量影響像素信息在低秩矩陣中的縱向取值結(jié)果，其向量值越大，像素信息在低秩矩陣中的縱向取值位置越靠下。

對于行向量、列向量的求解滿足如下表達(dá)式：

式中：α表示低秩矩陣中的像素信息行向量參數(shù)；δ表示低秩矩陣中的像素信息列向量參數(shù)；χ表示像素信息橫向標(biāo)記系數(shù)；β表示像素信息縱向標(biāo)記系數(shù)；a、s表示兩個(gè)不相等的像素信息定義項(xiàng)；da表示基于參數(shù)a的像素信息定義值；ds表示基于參數(shù)s的像素信息定義值。

利用公式（1）推導(dǎo)低秩矩陣恢復(fù)模型的像素信息矩陣補(bǔ)全表達(dá)式為：

式中：γ表示信息補(bǔ)全參數(shù)；Dαδ表示低秩矩陣中像素信息對象的行向量、列向量取值。

2）低秩恢復(fù)適配系數(shù)計(jì)算

利用補(bǔ)全的低秩矩陣中的像素信息參量計(jì)算數(shù)據(jù)樣本與自適應(yīng)圖像之間的適配性系數(shù)，作為低秩矩陣恢復(fù)模型的必要構(gòu)建條件，只有保證系數(shù)結(jié)果的唯一性，才能使圖像像素中無適配關(guān)系的噪聲被有效去除。低秩描述了像素信息在取樣時(shí)的狀態(tài)，對于自適應(yīng)圖像而言，單位像素區(qū)域內(nèi)低秩節(jié)點(diǎn)的數(shù)量越多，去噪后圖像的清晰度水平就越高[7]。為保證數(shù)據(jù)信息與重建節(jié)點(diǎn)之間對應(yīng)關(guān)系的唯一性，只能通過歸一化將一種類型的像素信息作為適配對象。

設(shè)g表示低秩條件下的像素信息驗(yàn)證向量，f表示自適應(yīng)圖像中的像素復(fù)原系數(shù)，聯(lián)立公式（3），可將歸一化的低秩恢復(fù)適配系數(shù)表示為：

3）基于低秩矩陣恢復(fù)的峰值信噪比計(jì)算

在自適應(yīng)圖像中，峰值信噪比決定了有效像素與噪聲像素之間的最大配比關(guān)系，該項(xiàng)物理量的數(shù)值水平越高，就表示原圖像中所包含的有效像素信息越多[8-10]。在降噪處理之前，必須基于低秩恢復(fù)適配系數(shù)計(jì)算峰值信噪比參數(shù)，公式如下：

式中：ε表示有效像素信息取樣值；表示有效像素點(diǎn)與噪聲像素點(diǎn)的數(shù)量配比特征參數(shù)；?表示有效像素點(diǎn)與噪聲像素點(diǎn)的像素值配比參數(shù)。

4）自適應(yīng)圖像降噪

由于超分辨率重建對圖像信息像素水平的要求較高，所以在降噪處理的過程中應(yīng)基于峰值信噪比參數(shù)，盡可能去除所有噪聲對象[11-12]。秩矩陣恢復(fù)下，自適應(yīng)圖像降噪的表達(dá)式如下：

式中：j表示完整圖像中的自適應(yīng)分區(qū)參數(shù)，且j≠0 的不等式條件恒成立；ι表示像素點(diǎn)的局部均值。完成圖像降噪是實(shí)現(xiàn)自適應(yīng)圖像超分辨率重建的基礎(chǔ)環(huán)節(jié)。

2 基于降噪處理的自適應(yīng)圖像超分辨率重建

自適應(yīng)圖像的超分辨率重建是基于降噪處理后的像素，提取重建處理所必需的圖像自適應(yīng)特征，再按照超分辨率判別條件完成超分辨率重建。圖像自適應(yīng)特征是符合自適應(yīng)提取條件的像素點(diǎn)對象，具有分布集中、對比度強(qiáng)的特性。在一幅完整的圖像中，自適應(yīng)特征像素點(diǎn)的數(shù)量越多，重建后圖像的清晰度水平越高[13]。

設(shè)λ表示原圖像中的像素點(diǎn)取樣參數(shù)，表示滿足自適應(yīng)條件的像素特征，表示原圖像中的自適應(yīng)像素特征辨識參量。在上述物理量的支持下，可將圖像自適應(yīng)特征提取表達(dá)式定義為：

超分辨率判別條件是依據(jù)低秩矩陣恢復(fù)模型推導(dǎo)的超分辨率節(jié)點(diǎn)定義表達(dá)式。當(dāng)前情況下，如果提取的每一個(gè)像素對象都符合圖像自適應(yīng)特征，那么超分辨率判別條件即為將所有像素節(jié)點(diǎn)關(guān)聯(lián)在一起的分辨率判定原則。

在原圖像中隨機(jī)選取n個(gè)不重合的超分辨率像素節(jié)點(diǎn)，其定義式如下：

式中：y1，y2，…，yn表示同一圖像區(qū)域內(nèi)的n個(gè)自適應(yīng)像素點(diǎn)對象；ν1，ν2，…，νn分別表示與自適應(yīng)像素點(diǎn)對象匹配的分辨率辨識參數(shù)。

利用式（8）推導(dǎo)自適應(yīng)圖像的超分辨率判別參數(shù)，定義式為：

式中：η表示像素節(jié)點(diǎn)的超分辨率判定向量表示自適應(yīng)圖像中的超分辨率定義項(xiàng)表示自適應(yīng)像素節(jié)點(diǎn)超分辨率均值。

對于超分辨率像素節(jié)點(diǎn)而言，重建后圖像的清晰度水平受到重建函數(shù)表達(dá)式的直接影響，且由于單位圖像區(qū)域內(nèi)存在相似性超分辨率像素節(jié)點(diǎn)的可能性較高，所以在定義重建函數(shù)時(shí)，還應(yīng)將像素信息完全相同的取樣情況考慮在內(nèi)。

設(shè)表示超分辨率像素節(jié)點(diǎn)的相似性特征表示像素節(jié)點(diǎn)相似性度量值；q表示像素節(jié)點(diǎn)清晰度的超分辨率識別參數(shù)；Z表示超分辨率像素節(jié)點(diǎn)的重建系數(shù)。聯(lián)立公式（9），可將低秩矩陣恢復(fù)下的自適應(yīng)圖像超分辨率重建函數(shù)表示為：

由此完成低秩矩陣恢復(fù)下的自適應(yīng)圖像超分辨率重建。

3 實(shí)例分析

為驗(yàn)證重建后自適應(yīng)圖像的分辨率水平和清晰度，采用低秩矩陣恢復(fù)下的自適應(yīng)圖像超分辨率重建方法、基于密集殘差塊生成對抗網(wǎng)絡(luò)的圖像超分辨率重建方法（文獻(xiàn)[2]）、使用VGG 能量損失的圖像超分辨率重建方法（文獻(xiàn)[3]）設(shè)計(jì)如下對比實(shí)驗(yàn)。

3.1 實(shí)驗(yàn)準(zhǔn)備

從DIV2K 大規(guī)模圖像超分辨率數(shù)據(jù)庫中選取800張訓(xùn)練圖像和100 張驗(yàn)證圖像，可以用于訓(xùn)練和評估自適應(yīng)圖像超分辨率重建算法。低分辨率圖像尺寸為256×256，重建后超分辨率圖像為1 024×1 024。重建訓(xùn)練在NVIDIA Ge-Force RTX 3090 GPU 圖像處理工作站上進(jìn)行，對低分辨率圖像進(jìn)行4 倍降采樣，batchsize 設(shè)為16。利用掃描儀元件將自適應(yīng)圖像錄入c++program 軟件之中進(jìn)行重建。由于原圖像中明顯像素點(diǎn)并不能保持較為均勻的分布狀態(tài)，所以出于公平性考慮，實(shí)驗(yàn)過程中不需對自適應(yīng)圖像進(jìn)行分區(qū)處理。

3.2 實(shí)驗(yàn)步驟與原理

本次實(shí)驗(yàn)根據(jù)重建后像素點(diǎn)對象的分辨率水平判斷重建后圖像的清晰度，并以此為基礎(chǔ)判斷重建方法的應(yīng)用能力。

本次實(shí)驗(yàn)的具體執(zhí)行流程如下：

1）提取自適應(yīng)圖像中的明顯像素點(diǎn)開始實(shí)驗(yàn)。選擇如圖1 所示的自適應(yīng)圖像作為目標(biāo)實(shí)驗(yàn)展示圖像，自適應(yīng)圖像中的明顯像素點(diǎn)提取結(jié)果如圖2 所示。

圖1 自適應(yīng)圖像

圖2 自適應(yīng)圖像中的明顯像素點(diǎn)

對比圖1 和圖2 可知，本文方法可有效提取自適應(yīng)圖像中的明顯像素點(diǎn)，為后續(xù)重建奠定基礎(chǔ)。

2）應(yīng)用低秩矩陣恢復(fù)下的自適應(yīng)圖像超分辨率重建方法進(jìn)行實(shí)驗(yàn)，記錄完成重建后的像素節(jié)點(diǎn)分辨率，所得結(jié)果作為實(shí)驗(yàn)組變量。

3）應(yīng)用基于密集殘差塊生成對抗網(wǎng)絡(luò)的圖像超分辨率重建方法進(jìn)行實(shí)驗(yàn)，記錄完成重建后的像素節(jié)點(diǎn)分辨率，所得結(jié)果作為對照1 組變量。

4）使用VGG 能量損失的圖像超分辨率重建方法進(jìn)行實(shí)驗(yàn)，記錄完成重建后的像素節(jié)點(diǎn)分辨率，所得結(jié)果作為對照2 組變量。

5）根據(jù)所得分辨率數(shù)據(jù)，總結(jié)實(shí)驗(yàn)規(guī)律。

3.3 數(shù)據(jù)與結(jié)論

圖3 反映了實(shí)驗(yàn)組、對照1 組、對照2 組應(yīng)用后圖像的去噪水平。

圖3 圖像峰值信噪比對比

圖3 結(jié)果證明，經(jīng)過實(shí)驗(yàn)組方法處理后，與其他對照組方法相比，圖像具有較高的峰值信噪比，證明本文方法去噪效果較好。

圖4 反映了實(shí)驗(yàn)組、對照1 組、對照2 組重建后圖像的分辨率水平。

圖4 重建后圖像的分辨率

分別統(tǒng)計(jì)圖4 中重建后圖像分辨率在各個(gè)像素區(qū)域內(nèi)的極大值與極小值，計(jì)算圖像分辨率均值，詳情如表1 所示。

表1 圖像分辨率均值 PPI

分析表1 可知，重建后圖像分辨率均值的排列順序?yàn)閷?shí)驗(yàn)組＞對照2 組＞對照1 組。綜上可知，低秩矩陣恢復(fù)下的自適應(yīng)圖像超分辨率重建方法的應(yīng)用可以有效解決自適應(yīng)圖像中由低分辨率導(dǎo)致的像素密度過于稀疏的問題，能夠使重建后圖像清晰度達(dá)到超分辨標(biāo)準(zhǔn)，符合實(shí)際應(yīng)用需求。

4 結(jié)語

低秩矩陣恢復(fù)下自適應(yīng)圖像超分辨率重建方法利用降噪后的圖像，定義與節(jié)點(diǎn)對象相關(guān)的自適應(yīng)特征提取原則，又聯(lián)合超分辨率判別條件，推導(dǎo)具體的重建函數(shù)表達(dá)式，實(shí)現(xiàn)自適應(yīng)圖像超分辨率重建。測試結(jié)果表明，該方法可以大幅提升圖像信噪比和重建后圖像的分辨率水平，達(dá)到超分辨率標(biāo)準(zhǔn)。