美圖如何Show：解讀整容式APP的背后

技術(shù)宅

相信很多朋友都使用過美圖秀秀之類的APP，通過它們可以在手機(jī)上瞬間將手機(jī)拍攝的照片進(jìn)行美化，如實(shí)現(xiàn)磨皮美白、祛斑祛痘等，而很多直播問的主播也是在通過類似的APP進(jìn)行實(shí)時(shí)美化效果，讓她們姣好的面容展現(xiàn)在我們面前。今天就讓我們解讀這些APP是怎樣實(shí)現(xiàn)美化的，以及美顏背后運(yùn)用的技術(shù)。

不是新技術(shù) 聊聊圖像美化那些事

說到圖像美化，就不得不提到Photoshop。很多朋友都知道，借助PS可以化腐朽為神奇，將人物P得美輪美奐。不過PS操作畢竟繁瑣，而隨著移動(dòng)設(shè)備的普及，越來越多類似PS的APP就逐漸在手機(jī)上流行起來，比如美圖秀秀、百變魔圖等。一些手機(jī)更是將美容功能融合到手機(jī)系統(tǒng)中，如美圖手機(jī)可以通過調(diào)用系統(tǒng)API訪問相機(jī)，然后將采集到的畫面進(jìn)行美顏處理（圖1）。

隨著網(wǎng)絡(luò)直播的興起，APP美容技術(shù)也在不斷發(fā)展，它已經(jīng)不再局限于對(duì)靜態(tài)照片的美容，越來越多直播平臺(tái)可以使用APP對(duì)主播的動(dòng)態(tài)圖像進(jìn)行實(shí)時(shí)美化，比如將主播的小眼睛變大，把圓臉變成瓜子臉，幾乎實(shí)現(xiàn)了現(xiàn)實(shí)生活中的“整容”效果。

變美的背后——認(rèn)識(shí)APP美化原理

對(duì)于普通用戶來說，在手機(jī)上進(jìn)行美顏操作都非常簡單，比如美圖秀秀磨皮祛痘操作，只要在功能面板上選擇相應(yīng)的菜單，然后簡單點(diǎn)擊選擇即可實(shí)現(xiàn)快速美容（圖2）。

不過這看似簡單的操作背后卻是強(qiáng)大的圖片處理技術(shù)在支撐著。以簡單的去痘操作為例。大家知道很多朋友臉上都有痘痘，這樣拍攝出來的照片，痘痘就會(huì)在你的臉上形成一個(gè)灰度值的變化。而如果一張照片上相臨的兩個(gè)區(qū)域灰度值相差比較大，在照片上就會(huì)形成噪點(diǎn)。因此祛痘操作實(shí)際上就是圖片處理上常用的“降噪”。降噪主要是通過一定的算法實(shí)現(xiàn)，比如濾波算法，它可以對(duì)周圍的點(diǎn)取均值來替代原先的值，使得圖片上的噪點(diǎn)看上去不那么明顯，反映在照片上就是人臉的痘痘消失了，看上去皮膚更為光滑。

因此當(dāng)我們?cè)诿阑疉PP中輕松點(diǎn)選去痘操作后，手機(jī)APP實(shí)際上在后臺(tái)先進(jìn)行噪點(diǎn)的判定（通過一個(gè)點(diǎn)的亮度和周圍點(diǎn)的亮度的差值進(jìn)行比較找到噪點(diǎn)），然后調(diào)用一定的算法進(jìn)行降噪，最后還要將經(jīng)過處理的圖片與原圖進(jìn)行混合（因?yàn)槿绻皇鞘褂锰幚砗蟮恼掌苋菀讈G失細(xì)節(jié)，使得處理后的照片看上去失真），并通過調(diào)整兩張圖片的混合權(quán)重，使得處理后的照片看起來既有美化效果，又不會(huì)給人“太假”的感覺。這也是一般美化APP處理圖片的常見流程（圖3）。

對(duì)于網(wǎng)絡(luò)主播的動(dòng)態(tài)美容則更為復(fù)雜，它首先要實(shí)現(xiàn)“人臉識(shí)別”。APP只有準(zhǔn)確識(shí)別到人臉才能進(jìn)行美容，人臉識(shí)別的核心技術(shù)則是深度學(xué)習(xí)技術(shù)。這種技術(shù)借助互聯(lián)網(wǎng)上海量的圖像數(shù)據(jù)進(jìn)行學(xué)習(xí)訓(xùn)練，抓取到核心的特征，然后生成一種算法。這樣美顏APP就可以利用這些算法實(shí)現(xiàn)對(duì)主播們的動(dòng)態(tài)美容。比如對(duì)于主播膚色的調(diào)整，深度學(xué)習(xí)技術(shù)首先會(huì)抓取原圖和美膚處理后的圖片進(jìn)行比較，然后分析其中的差異，這樣經(jīng)過大量的學(xué)習(xí)后，它就可以在抓取到當(dāng)前主播原圖后使用特定的算法快速完成對(duì)主播的膚色處理，使得“美容”后的效果更為逼真、有效（圖4）。

同樣的，對(duì)于整容成瓜子臉、將小眼睛變大之類的美容效果，也都是使用類似的方式完成美化。這樣在直播時(shí)，從相機(jī)采集到每一幀的畫面，深度學(xué)習(xí)技術(shù)都會(huì)進(jìn)行人臉識(shí)別，再標(biāo)示出關(guān)鍵點(diǎn)的位置，然后結(jié)合圖像技術(shù)得到最終的美容效果。舉個(gè)簡單的例子，現(xiàn)在網(wǎng)上流行的網(wǎng)紅臉，通過深度學(xué)習(xí)的人臉識(shí)別技術(shù)可以在抓取到當(dāng)前主播臉部數(shù)據(jù)后和網(wǎng)紅臉進(jìn)行比較，然后通過特定的算法進(jìn)行優(yōu)化，可以將主播整容為最受網(wǎng)友喜愛的臉型和膚色，這樣我們?cè)谥辈テ脚_(tái)看到的就是各種靚妹和帥哥，實(shí)際上功勞卻是后臺(tái)的人臉識(shí)別技術(shù)整容的結(jié)果。

寫在最好美化APP更讓人值得期待

隨著網(wǎng)絡(luò)直播的流行，現(xiàn)在基于人臉識(shí)別的美容技術(shù)也在不斷發(fā)展。一方面，硬件廠商在自己的設(shè)備中逐漸植入各種深度學(xué)習(xí)技術(shù)，比如從iOS 9開始，蘋果就提供了深度學(xué)習(xí)API，在iOS 10相關(guān)的API得到進(jìn)一步更新，進(jìn)行深度學(xué)習(xí)的開發(fā)已經(jīng)逐漸成熟了。谷歌則早在2015年就發(fā)布了Facenet網(wǎng)絡(luò)，用這個(gè)網(wǎng)絡(luò)可以達(dá)到對(duì)人臉98%以上的識(shí)別率。另一方面，基于移動(dòng)平臺(tái)的第三方人臉識(shí)別技術(shù)也在不斷發(fā)展，比如Caffe（卷積神經(jīng)網(wǎng)絡(luò)框架），一個(gè)清晰、可讀性高、快速的深度學(xué)習(xí)框架，可以讓移動(dòng)設(shè)備擁有更強(qiáng)的深度學(xué)習(xí)能力。

人們對(duì)美的追求是無止境的，誰都希望自己有更美的面容出現(xiàn)在大眾眼前。正是由于這些技術(shù)的不斷進(jìn)步和移動(dòng)設(shè)備硬件性能的不斷提高，在不久的將來，無論是手機(jī)拍攝的照片，還是各類網(wǎng)絡(luò)直播（包括視頻聊天），我們都可以以更美的形象出現(xiàn)在人們的面前。