近日,美國杜克大學的研究團隊研發了一個AI圖像生成模型PULSE。PULSE可以在5秒鐘內將低分辨率的人像轉換成清晰、逼真的人像。
據了解,PULSE所做的工作并不是把輸入的低分辨率人像變成一張高分辨率的人像,而是“一對多”地輸出許多張面部細節各不相同的高分辨率人像。比如,用戶輸入一張16×16分辨率的圖像,PULSE可輸出一組1024×1024分辨率的圖像。
上述研究已在計算機視覺與模式識別會議CVPR 2020上發表,論文標題為《PULSE:通過對生成模型的潛在空間探索實現自監督照片上采樣》。
研究人員用高分辨人臉數據集CelebA HQ評估PULSE的性能。為了進行對比,研究人員利用CelebA HQ數據集訓練了監督模型BICBIC、FSRNET和FSRGAN。
所有模型均以16×16分辨率的圖像作為輸入,BICBIC、FSRNET和FSRGAN模型以128×128分辨率圖像作為輸出,PULSE模型以128×128分辨率圖像和1024×1024分辨率圖像作為輸出。
評估結果顯示,圖像質量方面,PULSE模型在生成眼睛、嘴唇等圖像細節方面的能力優于其他模型。
此外,研究人員還利用平均意見分數(MOS)測試來定量評估模型的分辨率。研究人員邀請40位評估者對6個模型的輸出結果進行打分。結果顯示,PULSE的MOS分數最高。
研究人員稱,未來,PULSE或可被用于天文學、醫學等領域。比如,一位天文學研究人員輸入一張模糊的黑洞圖像,就可以獲得許多張可能的天體照片。