基于3D先驗特征的人臉超分辨率重建算法

摘要： 為有效解決復雜環境下人臉超分辨率特征恢復的問題， 提出一種全新的人臉超分辨率網絡. 該網絡通過融合3D渲染先驗知識和雙重注意力機制， 增強了對人臉空間位置和整體結構的理解， 同時提高了細節信息的恢復能力. 在數據集CelebAMask-HQ上的實驗結果表明： 對放大4倍下采樣的人臉， 該算法在峰值信噪比和結構相似性上達到28.76 dB和0.827 5； 對放大8倍下采樣的人臉， 峰值信噪比和結構相似性評價指標達到26.29 dB和0.754 9. 與同類的SAM3D算法相比， 該算法在處理放大4倍下采樣時的峰值信噪比和結構相似性上分別提升了4.09，1.93個百分點， 在處理放大8倍下采樣時上述兩個指標分別提升了2.02，4.54個百分點. 從而證明該算法的優越性， 也表明在實際應用中人臉的超分辨率恢復能獲得更真實和清晰的視覺效果.

關鍵詞： 機器視覺; 人臉超分辨率; 3D先驗; 注意力機制

中圖分類號： TP391" 文獻標志碼： A" 文章編號： 1671-5489（2024）04-0895-10

Facial Super-resolution Reconstruction AlgorithmBased on 3D" Prior Features

YAO Hanqun1， LIU Guangwen1， WANG Chao2， YANG Yining3， CAI Hua1， FU Qiang4

（1. School of Electronic Information Engineer， Changchun University of Science and Technology， Changchun 130022， China;2. National and Local Joint Engineering

Research Center for Space Optoelectronics Technology，Changchun University of Science and Technology， Changchun 130022， China;3. National Key Laboratory of E

lectromagnetic Space Security， Tianjin 300308， China；4. School of Opto-Electronic Engineer， Changchun University of Science and Technology， Changchun 130022， China）

Abstract： In order to effectively solve" the problem of facial super-resolution feature recovery in complex environments， we proposed a novel facial super-resolution network. By integrating 3D rendering prior knowledge and a dual attention mechanism， the network enhanced the understanding of the facial spatial position and overall structure while improving the ability to recover detailed information. The experimental results on the CelebAMask-HQ dataset show that" the proposed algorithm achieves peak signal-to-noise ratio and" structural similarity

of 28.76 dB" and" 0.827 5 for" downsampled faces magnified by 4 times， and" 26.29 dB and 0.754 9 for downsampled faces magnified by 8 times."" Compared with the similar SAM3D algorithm， the proposed algorithm improves the peak signal-to-noise ratio and" structural similarity by" 4.09 and 1.93 percentage points when dealing with" 4 times" downsampling， and by 2.02 and 4.54 percentage points" when dealing with 8 times downsampling， respectively.

This proves the superiority of the proposed" algorithm and" also indicates that" facial super-resolution recovery can achieve more realistic and clear visual effects in practical applications.

Keywords： machine vision; facial super-resolution; 3D prior; attention mechanism

0 引 言

人臉超分辨率技術目前已被廣泛關注和應用. 在生物識別技術， 如人臉識別［1］中， 尤其是在處理低分辨率或質量較差的圖像時， 超分辨率技術通過提高圖像質量和增強細節顯著提高了識別精度. 此外， 該技術在視頻監控［2］中也得到應用， 常用于從低質量的圖像或視頻中識別和提取面部信息. 人臉超分辨率技術在醫療診斷和治療領域［3］， 例如皮膚病診斷和視網膜掃描等方面也發揮了重要作用. 但處理極度模糊或嚴重壓縮的圖像， 以及在復雜背景和不同光照條件下恢復面部細節等問題仍面臨技術的挑戰. 因此， 研究改進現有的超分辨率算法， 可進一步提高人臉圖像的質量和識別精度.

人臉超分辨率方法主要分為三類： 基于插值的人臉超分辨率［4-6］、 基于學習的人臉超分辨率［7-9］和深度學習的人臉超分辨率［10-11］. 基于插值的方法利用人臉圖像的空間冗余性進行超分辨率， 但難以復原高頻細節； 基于學習的方法通過訓練數據學習人臉的高頻信息， 以提高重建質量； 深度學習的人臉超分辨率方法則通過卷積神經網絡等復雜模型進一步提升人臉超分辨率的性能. 隨著深度學習方法的應用， 人臉超分辨率技術已能通過神經網絡， 利用局部的外觀特性， 構建出低分辨率和高分辨率人臉圖像之間的映射關系. 但大多數深度學習方法不能很好地利用面部結構和身份信息. 作為一種特定領域的超分辨率技術， 人臉超分辨率重建可用于恢復丟失的面部細節. 其成功的關鍵是如何有效利用人臉的先驗知識， 從1D向量如身份和屬性， 到2D圖像如面部地標、 面部熱圖和解析圖， 再到3D模型. 因此， 發現新的人臉先驗知識， 如何建模或表示這些先驗知識， 以及如何將這些信息有機地集成到訓練框架中， 都值得進一步研究.

為解決上述問題， 本文提出一種結合3D人臉先驗知識的人臉超分辨率網絡， 算法流程如圖1所示. 該網絡的核心是將3D人臉先驗與超分辨率重建網絡相融合， 并添加雙重注意力模塊， 以實現對人臉空間位置和整體結構更準確地把握， 突出細節恢復. 這樣的設計不僅在復雜環境中提高了面部特征恢復的精度， 也在多尺度上優化了圖像質量.

1 相關工作

人臉超分辨率技術旨在從低分辨率人臉圖像中恢復高分辨率細節， 在現實生活中應用廣泛， 如視頻監控、 人臉識別、 虛擬現實等. 目前， 大部分研究工作集中在提高圖像質量、 增強面部特征細節、 處理面部遮擋和姿態變化等問題上. Dong等［12］提出了一種端到端的深度學習單圖像超分辨率方法SRCNN， 其具有輕量級結構、 卓越的恢復質量， 并實現了快速在線應用， 但在處理遮擋、 姿態變化等復雜場景時可能產生偽影和失真； Kim等［13］提出了一種高精度單圖像超分辨率方法， 采用類VGG-net深度卷積網絡， 通過增加網絡深度顯著提高準確性， 但可能導致過擬合和計算量過大； 為解決面部超分辨率問題， Chen等［14］提出了一種可端到端訓練的FSRNet和FSRGAN， 利用面部標記熱圖和解析圖作為幾何先驗， 并引入了新評估指標， 但對于遮擋和姿態變化圖像的處理仍有限； Zhang等［15-16］提出了殘差密集網絡RDN和深度殘差通道注意力網絡RCAN， 分別針對深度卷積神經網絡的層次特征和訓練難題進行了優化， 并引入通道注意力機制， 通過考慮通道間的相互依賴自適應地調整通道特征. 但在處理復雜場景時上述方法仍面臨局限性， 而且通道注意力可能無法充分捕獲空間信息； Wang等［17］提出了一種基于空間特征變換（spatial feature transform， SFT）的方法， 通過語義分割概率圖調整中間層特征， 以實現自然、 逼真紋理的恢復; Hu等［18］提出了一種結合3D面部先驗的人臉超分辨率方法SAM3D， 首次將超分辨率與人臉3D先驗信息融合， 并嘗試利用空間注意力解決超分辨率問題， 推動了單圖像超分辨率領域的發展， 實現了更高的準確性和更逼真的紋理恢復. 但現有的人臉超分辨率方法在處理遮擋、 姿態變化等復雜場景時仍存在一定的局限性， 例如可能產生模糊、 細節丟失、 結構扭曲、 質感不自然等問題. 因此， 本文提出一種結合高維先驗知識與雙重注意力的人臉超分辨率算法.

2 算法設計

本文提出一種新的人臉超分辨率重建算法， 該算法的核心是引入人臉的3D先驗信息， 系統網絡結構如圖2所示. 首先， 根據UNET解碼器對多尺度面部特征進行提取， 利用預訓練的網絡權重預測低分辨率人臉圖像的Basel人臉模型（Basel face model， BFM）［19］系數， 進而實現3D Morphable Model算法［20］（3DMM）的三維重建. 本文將該三維重建的渲染模型與多尺度圖像一同輸入到空間特征變換模塊， 從而獲得各對應尺度的3D面部先驗. 其次， 將這些3D先驗特征與先驗網絡相結合， 在不同的尺度上并入3D先驗信息. 最后， 在網絡的末端采用空間注意力和通道注意力機制， 以有效整合網絡的信息， 最終得到超分辨率人臉圖像.

2.1 3D人臉先驗

2.1.1 3D人臉重建算法

人臉的三維模型可通過從二維圖像中提取關鍵信息進行重建， 3DMM能根據特定的面部屬性， 如面部特征和身份紋理等參數獲得3D面部先驗. 這種方法充分利用了人臉的獨特屬性， 從而使重建過程更準確、 有效. 在3D面部重建過程中， 3DMM結合了從2D圖像中提取的關鍵信息， 以生成具有細致形狀和紋理特征的3D面部模型. 重建得到的三維面部模型可保留原始圖像中的面部特征， 呈現出清晰銳利的面部成分， 使其在視覺上更真實、 生動.為獲得精確的3D渲染人臉， 本文對3DMM模型進行改進， 通過訓練ResNet-50網絡預測BFM中的形狀參數、 紋理參數和光照參數， 然后利用這些參數回歸3DMM模型， 獲得3D系數向量，

構建出精確的面部結構定位的3D面部圖像. 3D系數向量表示為C=（α，β，δ，γ，t）∈

細節和準確定位的3D面部圖像.

α，β和δ是用于生成3D人臉的相應系數向量， 將人臉系數向量轉換為人臉圖像的3D形狀S和紋理T：

S=S（α，β）=+Bidα+Bexpβ，（1）

T=T（δ）=+Bt，（2）

其中： 表示平均人臉形狀； 表示平均人臉紋理； Bid表示身份的主成分分析基， Bexp表示表情的主成分分析基， Bt

表示紋理的主成分分析基， 且Bid，Bexp，Bt均對基矩陣用標準差進行了縮放.

利用面部形狀S計算面部的法向量. 對每個頂點p， 計算與其相鄰的每個面f的法向量VNp：

VNp=∑f∈Pp（（sf0-sf1）×（sf1-sf2））∑f∈Pp（（sf0-sf1）×（sf1-sf2）），（3）

其中， sfi（i=0，1，2）表示面部形狀S的第fi個頂點， f={f0，f1，f2}表示三角形面的頂點索引， Pp表示與頂點p相鄰的面的集合.

根據角度θ=（θx，θy，θz）計算旋轉矩陣R， 對面部形狀S應用旋轉矩陣R并加上姿態參數t， 得到旋轉后的面部形狀Sr， 并重新計算旋轉后的面部法向量VNr：

R=Rz（θz）Ry（θy）Rx（θx），（4）

Sr=S·R+t， VNr=VNp·R，（5）

其中Rx（θx），Ry（θy）和Rz（θz）分別是關于x，y，z軸的旋轉矩陣.使用球諧函數和照度系數γ對面部紋理T進行照明， 得到面部顏色FC和照明強度L：

FC=LrTrLgTgLbTb，（6）

L=∑8i=0γiYi（VNr），（7）

其中Lr，Lg，Lb分別為紅、 綠、 藍通道的照明強度， Tr，Tg，Tb分別為紅、 綠、 藍通道的面部紋理， Yi為球諧函數.

最后， 返回旋轉后的面部形狀Sr、 旋轉后的面部法向量VNr、 面部顏色FC和面部三角形頂點索引tri.

本文將U-Net轉換得到的不同尺度的低分辨率圖像輸入到預訓練好的3D渲染分支中， 然后通過該分支預測BFM模型中的身份、 紋理等參數， 再將這些參數輸入到3DMM模型中， 生成渲染圖像. 在此過程中， 將照度參數與面部姿態參數進行級聯， 以便與身份、 紋理等參數進行整合. 為使參數矩陣與低分辨率圖像大小相同， 本文采用零填充操作. 最后將處理后的參數矩陣與渲染圖像進行級聯.

通過上述流程， 可實現將U-Net生成的低分辨率圖像與3D渲染分支預測的面部參數相結合， 從而生成具有更豐富細節和更精確定位的3D渲染人臉. 這種方法不僅能提高面部重建的質量， 同時也有助于在處理復雜場景和不同尺度的圖像時保持穩定性和準確性. 綜上， 3D人臉重建算法如下.

算法1 三維人臉重建.

步驟1） 程序： 三維人臉重建（C，人臉模型）;

步驟2）""" 在BFM模型中訓練N預測α，β，δ，γ，t；

步驟3）""" 獲得三維系數向量x=（α，β，δ，γ，t）∈瘙綆239， 通過3DMM回歸;

步驟4）""" S=S（α，β）=+Bidα+Bexpβ;

步驟5）""" T=T（δ）=+Bt;

步驟6）""" 使用S和式（3）計算VN;

步驟7）""" 使用θ和式（4）計算R;

步驟8）""" Sr=S·R+t;

步驟9）""" VNr=VNp·R;

步驟10）"" 使用T，V，γ和式（6），（7）計算FC和L;

步驟11）"" tri←來自BFM的面部緩沖區;

步驟12）"" 返回Sr，VNr，FC，tri;

步驟13） 結束程序;

步驟14） 程序： 創建模型（v，f，c）;

步驟15）""" 創建一個空的三維模型obj;

步驟16）""" 循環： 在VN和FC中的每個頂點vi及對應的顏色ci；

步驟17）"""""" 將頂點vi和顏色ci添加到三維模型obj；

步驟18）""" 結束循環；

步驟19）""" 循環： 在f中的每個三角形fi；

步驟20）"""""" 將三角形fi添加到obj；

步驟21）""" 結束循環；

步驟22） 結束程序.

2.1.2 空間特征變換

SFT模塊［17］在超分辨率和人臉超分辨率領域具有自適應性、 高表達能力、 性能良好和魯棒性的優勢， 它根據輸入的先驗信息調整特征圖， 使網絡適應各種場景. 利用3D先驗信息和人臉相關知識， SFT模塊更好地保留了面部細節和特征， 提高了模型的性能、 質量和魯棒性， 實現了高質量的人臉重建. 這里引入SFT層， 根據輸入的3D人臉先驗信息自適應地調整特征圖， 從而使網絡能更適應各種場景和不同的輸入數據， 其結構如圖3所示.

SFT模塊的主要功能是學習映射函數Θ， 根據3D先驗信息調制參數對（μ，ν）. 參數對用于在空間上調節每個中間特征圖的仿射變換， 使SFT層的輸出可根據調制參數對進行自適應控制. 首先利用3D臉部先驗信息提取出深層特征ψ：

（μ，ν）=Θ（ψ），（8）

其中μ和ν分別表示卷積得到的不同程度的深度特征. 然后， 利用這些調制參數對對中間特征圖F進行空間方向的轉換（如縮放和平移等操作）：

SFT（Fμ，ν）=μF+ν，（9）

其中F表示特征圖， 表示逐元素相乘. 在執行空間方向的轉換后， 獲得融合了3D先驗信息的高級特征.

通過上述流程可將重建的渲染模型與多尺度圖像一起傳入SFT模塊， 得到對應尺度的3D面部先驗特征， 并為后續3D先驗特征與先驗網絡相結合， 在不同尺度上拼接先驗信息做準備.

2.2 面部先驗算法

在獲取到各尺度的3D先驗信息后， 在先驗網絡中將對應尺度的3D先驗與生成先驗進行融合， 以得到一個更具豐富信息的人臉先驗.

2.2.1 先驗網絡

由一個預訓練的面部生成對抗網絡（generative adversarial networks， GAN）通過其卷積層的權重捕獲了面部的分布， 即為生成先驗. 本文利用改進的StyleGAN2［21］

為任務提供多樣和豐富的面部細節. StyleGAN2在訓練過程中學習了人臉的潛在分布即潛在變量， 并將這種變量嵌入到其卷積層的權重中. 因此， 這些權重構成了一種面部的生成先驗， 即在生成新的人臉圖像時， 網絡會根據這個先驗分布生成符合人臉特征分布的新樣本.

為生成豐富多樣的面部細節、 便于與多尺度3D先驗融合， 并減少迭代優化所需的時間， 本文采用以下策略： 先利用調制過程將潛在變量映射到生成器的不同層次， 而非直接生成最終圖像; 再通過卷積上采樣， 保留多尺度深層特征; 最后將這些特征與帶有3D先驗信息的高級特征拼接， 并繼續執行上采樣操作.

在上述過程中， 潛在變量通過嵌入到每個卷積層， 為每個分辨率尺度生成人臉特征. 這種方法能有效融合多尺度深層特征， 生成高質量的超分辨率圖像， 同時保留豐富的面部細節，并減少迭代優化所需時間.

2.2.2 雙重注意力

DANetHead（dual attention network head）是一種自注意力機制的應用， 用于捕獲圖像中的長距離依賴關系， 其結構如圖4所示.

將DANetHead添加至先驗網絡后， 可幫助模型更好地捕獲全局上下文信息， 從而提升超分辨率圖像的質量. DANetHead引入了兩個并行的自注意力模塊， 即位置注意力模塊（position attention module， PAM）和通道注意力模塊（channel attention module， CAM）， 它們共同捕獲長距離上下文信息. 將PAM和CAM并行應用于輸入特征圖， 并將它們的輸出加在一起， 得到最終的上下文特征.

本文選擇在先驗網絡的最后利用空間注意力與通道注意力聯系整個網絡的信息， 提升模型在處理復雜場景和多樣化表達時的性能.

2.3 損失函數

訓練模型的學習目標包括： 限制輸出以接近真實的重建損失Lrec ［22］、 恢復真實紋理的對抗性損失Ladv ［21，23］、 與重建相關的皮膚光照強度損失Lper［24］、 進一步增強面部細節的面部成分損失Lcomp ［21，25］以及身份保持損失Lid ［22］. 通過這些學習目標的組合， 模型可在恢復圖像時有效提升質量并保持身份一致性.

3 實 驗

實驗選擇數據集CelebAMask-HQ驗證算法性能. 數據集CelebAMask-HQ是一個大規模的人臉圖像數據集， 是從數據集CelebA（celebFaces attributes dataset）中選擇的30 000張高分辨率人臉圖像. 每個圖像都有對應于CelebA的面部屬性的分割蒙版， 尺寸為512×512. 在數據集CelebA中， 將數據集分為訓練集、 驗證集和測試集. 通過對數據集進行劃分， 可確保在訓練、 驗證和測試過程中具有良好的數據分布和不同的人臉樣本， 從而有效地評估模型在各種場景下的性能. 本文按與官方相同的比例隨機劃分并處理數據集.

3.1 實驗數據及對比方法

訓練階段使用24 000張來自數據集CelebAMask-HQ［26］中未遮擋、 帶有帽子和飾品等小范圍遮擋及非正面姿態等可識別出人臉關鍵點的圖像， 測試階段則使用同數據集中的3 000張圖像. 遵循現有人臉超分辨率方法的協議， 通過隨機雙三次下采樣方法生成低分辨率圖像LQ作為輸入. 低分辨率人臉圖像通過下采樣至128×128像素（×4尺度）和64×64像素（×8尺度）生成.

為評估本文人臉超分辨率網絡的性能， 將本文算法與6種目前最先進的超分辨率和人臉超分辨率重建算法進行定性和定量比較， 包括： 非常深的卷積網絡VDSR； 超分辨率的卷積神經網絡SRCNN； 殘差密集網絡RDN； 非常深的殘差注意力通道網絡RCAN； 深度端到端的可訓練的人臉超分辨網絡FSRNet以及使用人臉3D先驗的SAM3D算法.

3.2 數據分析

3.2.1 定量結果

利用峰值信噪比（peak signal-to-noise ratio， PSNR）和結構相似性（structural similarity index measure， SSIM）兩個客觀評價指標分析對比各算法的性能.

表1列出了不同算法在人臉圖像放大4倍時的評價指標對比結果. 表2列出了不同算法在人臉圖像放大8倍時的評價指標對比結果.

由表1和表2可見：

在放大4倍時， BICUBIC算法重構的人臉圖像效果最差， 兩個指標均為最低， 視覺效果模糊； VDSR，SRCNN和RDN算法在重構人臉圖像質量上略有提升， 但效果不明顯， 仍存在視覺模糊和人臉輪廓邊緣不清晰等問題； 相比之下， RCAN和FSRNET算法的性能稍好， 但仍無法達到令人滿意的效果； 而本文算法和SAM3D算法在重構質量上有顯著提升， 特別是本文算法， 不僅在放大4倍時的PSNR和SSIM指標超過了其他算法， 且在放大8倍時， 盡管所有算法的評價指標都有所下降， 但本文算法仍保持了相對較高的性能， 證明了其在處理高倍率放大時的優越性. 盡管SAM3D算法在放大4倍和8倍時的性能也相對較好， 但在放大8倍時的PSNR和SSIM指標仍低于本文算法. 表明雖然SAM3D算法能在一定程度上提升重構質量， 但在處理放大更高倍率時， 其性能增幅有限. 本文算法在處理不同放大倍率的人臉圖像重構任務時， 都表現了優異性能， 無論是在客觀的PSNR和SSIM評價指標上， 還是在視覺效果上， 都超越了其他對比算法. 從而證明了本文算法在處理復雜的人臉圖像重構任務時的有效性和魯棒性.

3.2.2 定性評價

本文算法在放大8倍下的定性結果如圖5所示. 由圖5可見， 本文算法成功地恢復了清晰且富有細節的面部特征， 例如鼻子、 眼睛和嘴巴.

對比其他算法， 本文算法在高頻特征的恢復上也展現了顯著優勢， 而這些區域在其他算法中常表現模糊. 相反， 其他算法在恢復過程中會在面部特征區域（如眼睛和鼻子）產生一些偽影， 特別是當面部圖像被部分遮擋或顯示不完全時. 而本文引入3D人臉先驗后的方法展示出更清晰、 更銳利且無明顯重影偽像的人臉結構， 這表明引入的3D先驗在輔助網絡理解面部的空間位置和整體結構上具有至關重要的作用， 極大減少了常見的人臉特征偽像和人臉屬性的顯著失真. 由于融合了高維先驗知識和雙重注意力機制， 這不僅使本文算法能更有效地捕捉空間和特征關系， 還使其在恢復過程中能專注于關鍵細節. 這種策略有效地解決了早期研究中遇到的遮擋、 姿態變化、 過擬合和計算負荷等挑戰. 尤其雙重注意力機制使本文算法能更有效地捕捉通道和空間信息， 從而克服了僅依賴通道注意力機制的限制. 因此， 無論是在圖像客觀評分還是綜合主觀評價上， 本文算法都能重構出具有更佳重建效果的人臉圖像.

3.3 消融實驗

下面進行消融研究以證明每個模塊的有效性. 根據PSNR和SSIM在8倍尺度測試數據上比較使用和不使用渲染的3D人臉先驗和雙重注意力模塊的擬議網絡. 表3列出了添加3D先驗和雙重注意力模塊前后的評價指標對比結果. 由表3可見， 不使用3D渲染人臉和注意力的方法通常無法捕獲清晰的人臉結構， 而添加3D渲染先驗后顯示了更清晰和更銳利的面部結構. 通過同時使用3D先驗和注意力模塊， 視覺質量得到進一步改善. 表1和表2中的定量比較也說明了所添加的渲染先驗和注意力模塊的有效性.

綜上所述， 為解決現有方法在處理復雜場景時人臉圖像產生的偽影、 失真、 模糊、 細節丟失、 結構扭曲、 質感不自然等問題， 本文提出了一種基于3D渲染先驗和雙重注意力模塊的人臉超分辨率網絡. 引入3D渲染先驗使網絡能更好地理解人臉的空間位置和整體結構， 有助于在復雜場景下恢復更精細的面部特征. 雙重注意力模塊允許本文模型關注重要的局部細節和全局上下文信息， 從而提高面部特征恢復的準確性和圖像質量. 在數據集CelebAMask-HQ上進行實驗的結果表明， 本文算法在PSNR和SSIM指標上均優于現有的先進算法， 證明了該算法在處理帶有帽子、 飾品等小范圍遮擋和非正面姿態場景時的優越性.

參考文獻

［1］ 王緒冬. 基于超分辨率重建的低分辨率人臉識別 ［D］. 南京： 南京大學， 2021. （WANG X D. Low-Resdution Face Rescognition Based on Face Hallucination Method ［D］. Nanjing： Nanjing University， 2021.）

［2］ 陳貴強， 何軍， 羅順茺. 基于改進CycleGAN的視頻監控人臉超分辨率恢復算法 ［J］. 計算機應用研究， 2021， 38（10）： 3172-3176. （CHEN G Q， HE J， LUO S C. Improved Video Surveillance Face Super-resolutiom Recovery Algorithm Based on CycleGAN ［J］. Application Research of Computers， 2021， 38（10）： 3172-3176.）

［3］ CHOU E， TAN M， ZOU C， et al. Privacy-Preserving Action Recognition for Smart Hospitals Using Low-Resolution Depth Images ［EB/OL］. （2018-11-25）［2023-01-10］. https：//arxiv.org/abs/1811.09950.

［4］ BTZ M， EICHENSEER A， SEILER J， et al. Hybrid Super-resolution Combining Example-Based Single-Image and Interpolation-Based Multi-image Reconstruction Approaches ［C］//2015 IEEE International Conference on Image Processing （ICIP）. Piscataway， NJ： IEEE， 2015： 58-62.

［5］ ZHANG L Z， ZHANG W， LU G M， et al. Feature-Level Interpolation-Based GAN for Image Super-resolution ［J］. Personal and Ubiquitous Computing， 2021， 26（4）： 955-1010.

［6］ SANCHEZ-BEATO A， PAJARES G. Noniterative Interpolation-Based Super-resolution Minimizing Aliasing in the Reconstructed Image ［J］. IEEE Transactions on Image Processing， 2008， 17（10）： 1817-1826.

［7］ WU W， LIU Z， HE X H， et al. Learning-Based Super-resolution Using Kernel Partial Least Squares ［J］. Image and Vision Computing， 2011， 29（6）： 394-407.

［8］ JIA K， GONG S G. Generalized Face Super-resolution ［J］. IEEE Transactions on Image Processing， 2008， 17（6）： 873-886.

［9］ GAJJAR P P， JOSHI M V. New Learning Based Super-resolution： Use of DWT and IGMRF Prior ［J］. IEEE Transactions on Image Processing， 2010， 19（5）： 1201-1213.

［10］ YANG Z Y， SHI P， PAN D， et al. A Survey of Super-resolution Based on Deep Learning ［C］//2020 International Conference on Culture-Oriented Science amp; Technology （ICCST）. Piscataway， NJ： IEEE， 2020： 514-518.

［11］ JIANG J J， WANG C Y， LIU X M， et al. Deep Learning-Based Face Super-resolution： A Survey ［J］. ACM Computing Surveys （CSUR）， 2021， 55（1）： 13-1-13-36.

［12］ DONG C， LOY C C， HE K M， et al. Image Super-resolution Using Deep Convolutional Networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 38（2）： 295-307.

［13］ KIM J， LEE J K， LEE K M， et al. Accurate Image Super-resolution Using Very Deep Convolutional Networks ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2016： 1646-1654.

［14］ CHEN Y， TAI Y， LIU X M， et al. Fsrnet： End-to-End Learning Face Super-resolution with Facial Priors ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2018： 2492-2501.

［15］ ZHANG Y L， LI K P， LI K， et al. Image Super-resolution Using Very Deep Residual Channel Attention Networks ［C］//Proceedings of the European Conference on Computer Vision （ECCV）. New York： ACM， 2018： 286-301.

［16］ ZHANG Y L， TIAN Y P， KONG Y， et al. Residual Dense Network for Image Super-resolution ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2018： 2472-2481.

［17］ WANG X T， YU K， DONG C， et al. Recovering Realistic Texture in Image Super-resolution by Deep Spatial Feature Transform ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2018： 606-615.

［18］ HU X B， REN W Q， LAMASTER J， et al. Face Super-resolution Guided by 3D Facial Priors ［C］//16th European Conferenceon Computer Vision. Berlin： Springer， 2020： 763-780.

［19］ PAYSAN P， KNOTHE R， AMBERG B， et al. A 3D Face Model for Pose and Illumination Invariant Face Recognition ［C］//2009 Sixth IEEE International Conference on Advanced Video and Signal Based Surveillance. Piscataway， NJ： IEEE， 2009： 296-301.

［20］ BLANZ V， VETTER T. A Morphable Model for the Synthesis of 3D Faces ［C］//Proceedings of the 26th Annual Conference on Computer Graphics and Interactive Techniques. New York： ACM， 1999： 187-194.

［21］ VIAZOVETSKYI Y， IVASHKIN V， KASHIN E， et al. Stylegan2 Distillation for Feed-Forward Image Manipulation ［C］//16th European Conference on Computer Vision. Berlin： Springer， 2020： 170-186.

［22］ WANG X T， LI Y， ZHANG H L， et al. Towards Real-World Blind Face Restoration with Generative Facial Prior ［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. "Piscataway， NJ： IEEE， 2021： 9168-9178.

［23］ GOODFELLOW I， POUGET-ABADIE J， MIRZA M， et al. Generative Adversarial Networks ［J］. Communications of the ACM， 2020， 63（11）： 139-144.

［24］ DENG Y， YANG J L， XU S C， et al. Accurate 3D Face Reconstruction with Weakly-Supervised Learning： From Single Image to Image Set ［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Piscataway， NJ： IEEE， 2019： 285-295.

［25］ WANG T C， LIU M Y， ZHU J Y， et al. High-Resolution Image Synthesis and Semantic Manipulation with Conditional Gans ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition." Piscataway， NJ： IEEE， 2018： 8798-8807.

［26］ KARRAS T， AILA T， LAINE S， et al. Progressive Growing of Gans for Improved Quality， Stability， and Variation ［EB/OL］. （2017-10-27）［2023-01-10］. https：//arxiv.org/abs/1710.10196.

（責任編輯： 韓 嘯）