基于坐標(biāo)注意力機(jī)制的人臉圖像超分辨率重建算法

楊曉雅，鄧淼磊，高輝，張德賢

（河南工業(yè)大學(xué)信息科學(xué)與工程學(xué)院，河南鄭州 450001）

單圖像超分辨率（Super Resolution，SR）重建是計(jì)算機(jī)視覺領(lǐng)域的一個(gè)重要研究方向[1-2]，人臉細(xì)節(jié)的恢復(fù)技術(shù)在醫(yī)學(xué)影像、交通監(jiān)視、刑偵追蹤等領(lǐng)域有著重要的研究意義。在現(xiàn)實(shí)監(jiān)控場景下，視頻收集設(shè)備、自然天氣條件、非限制人為活動(dòng)等因素的存在，導(dǎo)致獲取的圖像分辨率低、模糊甚至失真[3]。其可能會(huì)導(dǎo)致工作人員對圖像信息的誤判，從而造成不可估量的損失。因此，人臉圖像SR 重建任務(wù)勢在必行。

GAN 網(wǎng)絡(luò)以其無監(jiān)督學(xué)習(xí)的方式被廣泛應(yīng)用[4]，為人臉圖像SR 重建提供無限的可能性。圖像分辨率由低到高轉(zhuǎn)變時(shí)，通常會(huì)丟失有效的信息，而人臉識(shí)別中大量的先驗(yàn)信息可以協(xié)助人臉圖像SR重建。基于人臉身份信息的人臉圖像SR 重建網(wǎng)絡(luò)（ID Preserving Face Super Resolution Generative Adversarial Networks，IP-FSRGAN）[5]利用不同身份的人臉信息，實(shí)現(xiàn)人臉圖像SR 重建。該文提出了一種坐標(biāo)注意力機(jī)制[6（]Coordinate Attention，CA）與IPFSRGAN 結(jié)合的模型，并在殘差密集塊（Residual Dense Block，RDB）中嵌入CA。表達(dá)目標(biāo)信息時(shí)，兩個(gè)方向的特征相互彌補(bǔ)實(shí)現(xiàn)特征增強(qiáng)，在LFW 數(shù)據(jù)集上驗(yàn)證了該方法的有效性。

1 相關(guān)工作

1.1 IP-FSRGAN模型

SRGAN[7]中提供了一種有潛力的增強(qiáng)圖像表達(dá)方式，以4 倍放大因子得到逼真的自然圖像。為獲得更優(yōu)的視覺質(zhì)量，用RDB[8]作為網(wǎng)絡(luò)構(gòu)建單元且不進(jìn)行批量歸一化；引入感受野塊（Receptive Field Block，RFB）[9]以平衡計(jì)算量和大感受野的問題，同時(shí)抽取到更細(xì)膩的特征；權(quán)重平均方法有效提升了抗噪能力和魯棒性。然而這些GANS 應(yīng)用在人臉圖像SR 重建中，輕微的扭曲通常會(huì)被放大為畸形的人臉甚至生成非人臉圖像。在加入人臉的先驗(yàn)信息后，大幅降低了畸形人臉的出現(xiàn)概率[10]。同時(shí)，加入人臉I(yè)D 信息保存模塊協(xié)助生成器在重建過程中能夠保存面部的身份信息，IP-FSRGAN 在LFW 等數(shù)據(jù)集上取得了較高精度的人臉驗(yàn)證模型。

1.2 坐標(biāo)注意力機(jī)制

目前的注意力機(jī)制正朝著信息級、輕量級發(fā)展[11]。（Squeeze-and-Excitation attention，SE）[12]通過2D 全局池化來計(jì)算通道注意力，在相當(dāng)?shù)偷挠?jì)算成本下提供了顯著的性能提升；（Convolutional Block Attention Module，CBAM）[13]通過減少通道數(shù)和使用大尺寸卷積利用位置信息來實(shí)現(xiàn)注意力集中。在人臉SR 圖像重建中，人臉部的眼睛、鼻子、嘴巴的位置信息對人臉的復(fù)原較為重要。CA 將通道注意力分解為兩個(gè)并行的一維特征編碼過程，有效地將空間坐標(biāo)信息整合到生成的注意圖中。其既能捕獲通道之間的依賴，也可以較好地建立位置信息和長程依賴，實(shí)驗(yàn)表明，CA 在Celeb-A、LFW 等數(shù)據(jù)集上提升明顯。

2 網(wǎng)絡(luò)模型

2.1 網(wǎng)絡(luò)結(jié)構(gòu)

該文的IP-FSRGAN-CA 模型如圖1 所示，其包括超分辨率模塊和人臉身份信息保存模塊。超分辨率模塊是一個(gè)GAN 網(wǎng)絡(luò)，用以重建SR 人臉圖像；人臉身份信息保存模塊協(xié)助生成器生成與身份信息相同的SR 人臉。

圖1 IP-FSRGAN-CA模型

其中，G(·) 表示SR 重建模塊的映射函數(shù)，D(·)表示相對性判別網(wǎng)絡(luò)模塊的映射函數(shù)，F(xiàn)(·) 表示人臉特征提取函數(shù)，Bres表示不同像素間的相似性度量，Bid表示不同身份間的像素性度量。

2.2 超分辨率模塊

超分辨率模塊是一個(gè)GAN 網(wǎng)絡(luò)，其包括生成器G 和判別器D。G 將輸入的LR 圖像進(jìn)行一個(gè)G 映射得到人臉SR 重建圖像，表示為G:X→Y；D 將G 生成的SR 圖像與HR 圖像作相似性度量，得到當(dāng)前SR 圖像是否比較真實(shí)的結(jié)果。

生成器模型如圖2 所示，RRDB 模塊集包括23個(gè)RRDB 模塊，RRDB 模塊包括3 個(gè)RDB 子模塊，每個(gè)RDB 子模塊中嵌入一個(gè)CA 模塊。23 層的殘差模塊使得該超分辨率模塊獲取更廣的感受視野，CA 模塊能更優(yōu)地捕捉高頻圖像信息。該判別網(wǎng)絡(luò)使用相對性判別器RaD，其結(jié)果并非是預(yù)測生成SR 圖像的真假，而是試圖找出該SR 圖像是否真實(shí)。

圖2 生成器模型

2.3 人臉身份信息保存模塊

如圖3 所示，該文采用余弦距離判斷樣本之間的距離，提取樣本的身份特征，最小化正樣本之間的距離，從而達(dá)到相似性最大[14]；最大化負(fù)樣本之間的距離，達(dá)到相似性最小。該判定的前提是人臉圖像SR 重建前后的圖像具有身份一致性。

圖3 人臉身份信息保存模塊

2.4 坐標(biāo)注意力(CA)

在CA 中，將通道注意力分解為兩個(gè)并行的一維特征編碼，利用這兩個(gè)一維全局池化分別將垂直和水平方向的輸入特征融合為兩個(gè)獨(dú)立的方向感知特征圖。兩個(gè)嵌入特定方向信息的特征圖分別被編碼為兩個(gè)注意力圖，每個(gè)注意力圖均捕獲了輸入特征圖沿著一個(gè)空間方向的長程依賴。位置信息被保存在生成的注意力圖內(nèi)，兩個(gè)注意力圖接著被乘到輸入特征圖上來增強(qiáng)特征圖的表示能力。CA 模塊包括坐標(biāo)信息嵌入模塊和坐標(biāo)注意力生成模塊，坐標(biāo)注意力模塊如圖4 所示。

圖4 坐標(biāo)注意力模塊

坐標(biāo)信息嵌入模塊如Ⅰ操作，先將全局池化分解為兩個(gè)一維特征編碼。對于輸入X，用核大小為（H，1）與（1，W）的池化層沿著水平和豎直坐標(biāo)方向?qū)γ總€(gè)通道進(jìn)行編碼。

坐標(biāo)注意力生成模塊首先級聯(lián)坐標(biāo)嵌入模塊生成的兩個(gè)特征圖，使用一個(gè)共享的1×1 卷積對F1進(jìn)行變換。

變換得到的f∈RC/r×(H+W)是空間信息在水平方向與豎直方向的中間特征圖，沿著空間維度將f分割為兩個(gè)單獨(dú)的張量f h∈RC/r×H和f w∈RC/r×W。利用兩個(gè)1×1 卷積Fh、Fw將特征圖f h和f w變換到與輸入X同樣的通道數(shù)，然后對gh和gw進(jìn)行拓展，作為注意力權(quán)重。

SRGAN 模型在卷積層后加BN 層，防止數(shù)據(jù)飽和[15]，從而使數(shù)據(jù)對激活函數(shù)不敏感，但網(wǎng)絡(luò)深度加深。BN 層不僅會(huì)產(chǎn)生較大的計(jì)算開銷和內(nèi)存占用，且會(huì)對生成的人臉SR 圖像產(chǎn)生偽影[16]。在ESRGAN中去除BN 層，在RB 上增加更多的殘差網(wǎng)絡(luò)和密集連接，采用疊加的殘差塊與長跳躍構(gòu)建深度神經(jīng)網(wǎng)絡(luò)。該文在RRDB 模塊中增加CA，其提取人臉圖像的淺層特征后，擴(kuò)大注意力的關(guān)注區(qū)域，構(gòu)成文中使用的（Residual and Coordinate Attention in Residual Dense Block，RRDBCA）模 塊。RRDBCA 由3 個(gè)RDBCA 模塊組成，其模型的結(jié)構(gòu)如圖5 所示。

圖5 RRDBCA模塊

3 損失函數(shù)

x表示從底層空間X提取的人臉LR 圖像，y表示從底層空間Y提取的人臉HR 圖像，訓(xùn)練集d={(x1,y1),…,(xm,ym)}來自于聯(lián)合空間X×Y。人臉SR 圖像重建的目的是找到一個(gè)L函數(shù)使得映射函數(shù)h(x)和目標(biāo)圖像y的距離最小化。

該文的損失函數(shù)包括4 個(gè)部分：對抗損失函數(shù)Ladv、身份保存損失函數(shù)LID、感知損失函數(shù)Lp以及像素?fù)p失函數(shù)L1。

λ、γ、η、ξ分別控制每個(gè)損失對最終損失函數(shù)的貢獻(xiàn)程度。

生成器G和判別器D的損失函數(shù)公式表達(dá)如下：

在人臉身份信息保存網(wǎng)絡(luò)中，人臉SR 重建圖像G(x)與參考人臉圖像的ID 特征之間的余弦相似性為cos(F(G(x)),F(y))，Ii,j表示身份函數(shù)，若人臉yi和yj屬于同一個(gè)身份，則Ii,j=1；否則，Ii,j=0。

用φj表示j到第四層的卷積層，在偽SR 人臉G(x)和HR 人臉y間的感知損失表示為：

Cj、Hj、Wj表示在VGG 網(wǎng)絡(luò)第j層卷積層的人臉圖像特征圖形狀。重建損失被用來迫使生成的SR圖像接近真實(shí)的HR 圖像。

4 實(shí)驗(yàn)及分析

4.1 實(shí)驗(yàn)環(huán)境及數(shù)據(jù)集

實(shí)驗(yàn)中使用RRDBCA 網(wǎng)絡(luò)作為生成器G，使用VGG 網(wǎng)絡(luò)作為鑒別器D，使用預(yù)訓(xùn)練的LightCNN 作為人臉身份信息保存模塊。實(shí)驗(yàn)參數(shù)方面，初始學(xué)習(xí)率為2×10-4，每經(jīng)歷2×105次迭代學(xué)習(xí)率衰退為70%，初始的λ、γ、η、ξ分別為0.005、10、0.01、1。使用自適應(yīng)矩估計(jì)Adam 優(yōu)化器訓(xùn)練模型，參數(shù)為β1=0.9,β2=0.999。

4.2 實(shí)驗(yàn)結(jié)果分析

如圖6 所示，在放大倍數(shù)為4 時(shí)，該文方法的loss收斂效果更優(yōu)，且重建性能更佳。

將文中方法與SRGAN、ESRGAN、IP-FSRGAN進(jìn)行對比，同時(shí)受EDSR 殘差模塊的啟發(fā)，對CA 的配置進(jìn)行調(diào)整（a 方法）：將RB 子模塊加入5 個(gè)CA 模塊前的輸入與最后一個(gè)CA 模塊的輸出短連接，作為RB 子模塊的輸出。

圖7 展示了該文方法在測試集LFW 上生成的部分SR 圖像與其他方法重建人臉圖像的細(xì)節(jié)對比。圖7（a）中，文中方法重建的人臉SR 圖像臉部的紋理和線條信息得到了較好的恢復(fù)，增大了不同人臉部位的亮度對比。例如圖7（a）的第二行人臉，該文方法得到的人臉臉頰顴骨部分及額頭部分的亮度較其他圖像中有明顯的提升，豐富了人臉SR 圖像的立體感；在圖7（b）中，照片從視覺上拉大了背景與人物之間的對比度，使人物部分更加突出。由此可見，文中方法的人臉圖像SR 重建的性能最優(yōu)。

圖7 各模型實(shí)驗(yàn)結(jié)果對照圖

該文方法與SRGAN、ESRGAN、IP-FSRGAN、a方法四種方法的PSNR 值與SSIM 值的比較如表1 所示。由表可知，添加5 個(gè)CA 模塊，人臉SR 圖像被嚴(yán)重破壞，重復(fù)添加CA 模塊不能使重建性能獲得提升；添加短連接時(shí)，PSNR 下降了1.5 dB，SSIM 提升了0.02；文中方法的PSNR 和SSIM 與IP-FSRGAN 比較均有提升，相對于其他方法提升顯著。從表2中可以看出，在坐標(biāo)注意力下，Y 通道上的PSNR 提升0.748 dB，SSIM 提升0.04。Y 通道上的特征表示能力被用到了后續(xù)的人臉信息恢復(fù)中，模型的重建性能得到明顯提升。該文方法在IP-FSRGAN 上添加CA 模塊，提取人臉特征時(shí)更多的關(guān)注并充分利用通道中的人臉細(xì)節(jié)特征。在人臉SR 圖像重建時(shí)能恢復(fù)更多有用的人臉信息，驗(yàn)證了文中方法的有效性。

表1 各模型評估對照表

表2 各模型Y通道評估對照表

5 結(jié)束語

該文提出一種融合坐標(biāo)注意力機(jī)制的單圖像人臉SR 重建模型，該方法融合了輕量級的坐標(biāo)注意力機(jī)制。在IP-FSRGAN 的核心模塊RRDB 模型中加入CA 模塊，采用隨機(jī)LFW 數(shù)據(jù)集測試模型性能。在放大倍數(shù)為4 時(shí)，該方法與IP-FSRGAN 相比，PSNR 提升0.14%，SSIM 提升0.59%，Y 通道PSNR 提升2.43%，SSIM 提升0.38%。實(shí)驗(yàn)結(jié)果證明，文中提出的IP-FSRGAN-CA 模型在人臉超分辨圖像重建上具有有效性。