基于深度神經網絡的秒變妝容系統

申珺妤 李許辰 胡超 孫小語 丘雙飛 聶小偉 樂光學

摘要：基于深度神經網絡的秒變妝容軟件通過計算機算法實現人臉妝容的編輯與合成，是計算機視覺中的人臉圖像分析領域。其在互動娛樂應用、圖像視頻編輯、輔助人臉識別等多方面有著重要作用。近幾年蓬勃發展的卷積神經網絡CNN和生成對抗網絡GAN，在人臉圖片分析方面有著重要影響。文章基于神經網絡CNN和GAN生成對抗網絡，在深度神經網絡算法下對人臉圖片進行特征點提取，根據人臉特征點，在不改變人臉特征的前提下，對人臉圖片進行上妝，節約用戶時間的同時還減少了不必要的資源浪費。

關鍵詞：卷積神經網絡；生成對抗網絡；人臉圖片；上妝

中圖分類號：TP18? ? ? 文獻標識碼：A

文章編號：1009-3044（2022）27-0033-03

開放科學（資源服務）標識碼（OSID）：

1 概述

人工智能將引發第四次工業革命，改變人們工作、生活和互動的方式。而在市場競爭日益激烈，店面客流量大幅減少，促銷活動效果越來越差的情況下，越來越多的美妝業企業開始意識到AI技術的重要性。在人臉分割的應用中，美妝是一個受眾較廣的問題。給出一張素顏正面照，如果能夠給出其最適合的化妝風格并將其渲染到這張素顏臉上，可以讓用戶們更方便地找到合適的風格。如今的科技信息時代，為美妝行業由傳統模式向新零售轉型起到了關鍵作用，為新零售的發展創造必然的條件，正在成為美妝業終端制勝的關鍵力量。

智能美妝正逐漸成為美妝市場的新趨勢。本團隊基于當前美妝市場發展趨勢以及相關研究現狀，提出設計了基于深度神經網絡的秒變妝容系統，該系統有兩方面主要作用或優點。一方面，幫助用戶精準學習如何畫出適合自己的妝容，放大自身優點展現自信，同時節省了大量的時間和精力，借助互聯網的調試去嘗試更多的可能性。另一方面，為用戶提高了個性化需求的同時，公平推薦算法在微美妝系統中的合理應用為社會的資源節約和消費支出提供了良好的條件，也落實了節約資源和環境保護的基本國策，實現了資源的合理使用，有利于生態環境的可持續發展。在滿足人們日常妝容需求的同時，不必提前購買的情況下測試出合適的妝容搭配。在物質和資源滿足的前提下，更好地提供了節約的條件。

2 總體設計

秒變妝容系統基于深度神經網絡方向進行設計開發，該系統通過卷積神經網絡（CNN）提取圖像的局部的特征，獲取上傳圖片的錨點等信息。在不改變圖片內人像特征的前提下，利用獲取來的信息，對人像進行智能化妝，選出契合人們審美的化妝效果圖，供用戶參考選擇，同時提供每個部位對應妝容的化妝技巧。該系統由圖像處理、智能化妝、化妝技巧推薦、信息交互四個方面組成，如圖1所示。

圖像處理：把用戶上傳的面部圖像進行特征提取，提取出錨點以及用戶的特征，對提取出的特征進行分析，打包處理后輸出。

智能化妝：根據圖像處理輸出的人物圖像特征，以及用戶需要化妝的部位、應用的場合、用戶的個人喜好等限制條件，在保證不會對用戶的錨點造成改變的前提下，對相應的部位進行模擬化妝，對化好妝后的不同妝容進行對比，篩選符合個人審美的效果圖，輸出給用戶參考。

技巧推薦：根據用戶是否為敏感皮膚，提示用戶關于敏感皮膚在這次化妝中需要注意的事項。在用戶看完并且選擇想要化的妝容之后，根據用戶對效果圖的選擇，給用戶推薦化妝的技巧提示，如：口紅的色號、涂抹的力度等。在用戶化好妝后，如果化妝品有特殊情況（如彩妝）或者用戶較少進行化妝的情況下，給用戶一些卸妝方法的提示，防止用戶在化妝后對皮膚造成巨大的損傷。

信息交互分為用戶和系統兩個模塊：1）用戶方面：用戶需要輸入自己的正臉照片、本次化妝需要化妝的部位，對妝容的特殊要求（個人的特殊喜好、妝容的應用場景）、皮膚是否為敏感皮膚，若有更多的要求，用戶可自行補充即可。選擇妝后效果圖，返回系統；2）系統：根據用戶輸入信息和要求制作出化妝后的效果圖提供給用戶選擇。用戶選擇想要的效果后，給出化妝提示。

2.1功能結構設計

秒變妝容系統功能結構分為用戶信息收集處理、圖像特征處理和分析、智能化妝及效果圖的推薦展示、妝容技巧推薦四個部分。系統功能結構如圖2所示。

2.1.1 用戶信息收集和處理

用戶訪問系統，根據系統的提示上傳用戶的正臉照片，選擇本次化妝需要化妝的部位（可選全部），對妝容的特殊要求（個人的特殊喜好、皮膚偏好、妝容的應用場景）。基本信息輸入完成后，系統會提示用戶：皮膚是否為敏感皮膚、本次化妝是否選擇彩妝等（如有更多要求，用戶可自行補充）。

系統根據用戶輸入的條件，制定出用戶的專屬妝容效果圖集后，返回給用戶，供用戶挑選，選擇出自己最喜歡的化妝效果圖，反饋給系統。系統根據用戶的反饋，給出這個妝的技巧，再和用戶條件里的化妝技巧進行整合，輸出給用戶，讓用戶化出好妝。在用戶化妝完成后提供用戶卸妝和保養方法。

2.1.2 圖像特征處理和分析

人像分析：人臉檢測技術指的是對圖片中的人臉進行檢測，并定位到圖片中人臉的位置。人臉檢測主要的技術難點在于，人臉在一張圖片中可能存在人臉區域光照條件，人臉姿態變化、人臉表情變化、遮擋等問題。項目組決定采用MTCNN（Multi-task Cascaded Convolutional Neural Network，多任務級聯卷積神經網絡）從用戶上傳的人像中提取出人臉部位。

人像錨點提取：人臉錨點定位技術是對人臉中眉毛、眼睛、鼻子、嘴巴以及臉部的輪廓進行定位，人臉錨點定位是緊接在人臉檢測后，首先在一張圖片中檢測到人臉，然后對檢測到的人臉做關鍵點定位。項目組會對MTCNN技術進行深入學習，在需要的部位進行更加深入的應用，達到在后續步驟使用的目的。

人像微處理：在特征點定位好后，對圖像進行還原，把頭發等除人像外的部分還原。

人像特征總結：把提取到的人臉特征進行總結，準備發送至下一模塊。流程圖如圖3所示：

2.1.3 智能化妝及效果圖的推薦展示

化妝信息輸入：首先通過攝像頭獲取用戶的面部信息，人臉特征的深度處理方法是用于處理分析的，可以使妝容與用戶的條件相結合，根據膚色、種族、民族等對應不同的妝容體系，傳輸給下一步。

適合的妝容分析：把用戶想要化妝的部位與當前用戶的面部特征、發型等相比對，通過妝容數據庫和化妝品數據庫自動執行樣品及效果對比，再根據對應特征值匹配適合的妝容，把在該部位哪種顏色、什么形狀等信息打包總結，傳輸到下一步。

妝容模擬：根據妝容分析傳輸過來打包好的信息，進行具體化的上妝，由于打包的化妝后的信息有較多版本，全部展示給用戶并不契合實際，所以要對這些上好妝的圖片進行對比，經過反復對比把篩選后效果最好的幾張圖片輸出供用戶參考選擇。篩選后每張效果圖，對五官進行分別提取分類成不同的風格，依據樣例數據的特征風格，進行最優匹配并上妝。

樣品妝容對比：利用GAN的判別網絡把妝容模擬產生的效果圖與妝容數據庫中的圖片進行比較，如果成功通過網絡（Discriminator），就把高度匹配的效果圖輸出供用戶參考，同時調用化妝品數據庫，把化該妝容所需要的各種化妝品、化妝品對應的色號、品牌輸出給用戶，讓用戶進行化妝；如果匹配度一般，就返回妝容模擬，重新修改再對比，經過多次的比較，不斷完善化妝效果，流程圖如圖4所示。

2.1.4 妝容技巧推薦

在用戶選擇好本次化妝想要的效果后，把效果圖、該效果對應化妝使用的化妝品信息傳入化妝技巧推薦模塊，再對這次化妝需要用到的技巧進行搜索，搜索好的化妝技巧與特殊要求的化妝技巧相結合，生成最終的化妝技巧總結，反饋給用戶，以供用戶使用。這里提供兩種搜索途徑，上網搜索和本地數據庫搜索，上網搜索必定提供，本地數據庫搜索若沒有則不必提供，但是當本地搜索沒有提供時或者用戶選擇的網絡化妝技巧與本地有較大不同時，會根據用戶選擇，補充數據庫的內容。數據中的技巧在每個用戶選擇后會有統計使用次數和百分比信息。由于網頁搜索內容不唯一，以及數據庫搜索會給用戶提供幾種進行自我選擇。優先使用本地搜索中用戶選擇多的，以及上網搜索中可靠網站的內容。上網搜索的化妝技巧以網頁鏈接方式提供給用戶參考。

特殊化妝技巧：根據用戶輸入的特殊條件進行分析，由分析結果提供化妝技巧。化妝技巧同樣進行搜索，方法與正常化妝的搜索一樣，流程圖如5所示：

2.2功能模塊設計

秒變妝容軟件界面設計如下：

用戶打開電腦，給電腦連接網絡，在瀏覽器的搜索框內輸入基于深度神經網絡的秒變妝容軟件或者秒變妝容軟件，回車后跳轉此軟件的鏈接，點擊軟件鏈接，即可進入軟件的主界面，隨后打開軟件主界面，即可點擊秒變妝容軟件的功能使用。

主界面：軟件在使用的過程中，用戶主要以鼠標操作為主。如圖6是軟件的主界面，點擊使用按鈕即可進入選擇妝容模式和風格，用戶可根據場合實際情況選擇合適的妝容模式和風格。

選擇圖片和妝容風格界面：界面要求默認選擇模式為單張圖片所形成的文件（需要包含全臉）。如圖7選擇妝容模式和風格界面，首先上傳自己的照片，然后選擇化妝風格，從“端莊”“自然”“甜美”三種妝容風格中選出一種想要的妝容風格，最后點擊上傳，即可得到上妝圖片。

關于系統內容和相關合作方式展示：關于秒變妝容系統內容和相關合作方式展示。如圖8是關于系統內容和相關合作方式展示界面。本項目是一個圍繞智能美妝設計綜合多方面研究應用于廣闊市場的智能科技實現，致力于從多方面綜合出發，實現對人像的高契合度的智能化妝。本項目把握當下社會生活中智能美妝逐漸成為美妝市場的新趨勢和大潮流，完善其中各方面系統性能，實現針對用戶的個體特征分析，選擇適合用戶妝容的智能美妝系統。本項目不僅可以節約用戶選擇合適化妝品的時間成本，還能減少化妝品資源浪費。除此之外，通過與化妝品供應商合作，也能有利于化妝品的推廣和銷售。

秒變妝容軟件實現步驟如下：

妝容風格的三種模式切換：點擊選擇一種化妝風格，化妝風格有自然妝容、端莊妝容、甜美妝容，用戶可根據自己的喜好選擇妝容風格。

選擇圖片文件：輸入圖片時點擊上傳文件，選擇要上妝的全臉圖片。用戶若上傳半邊臉或者各種缺角的照片，就會導致系統檢測用戶臉部特征點時出現差錯，軟件就無法完成妝容推薦給用戶，導致軟件推薦的妝容效果不佳。

輸出上妝后的圖片：系統最終將根據用戶的照片，提取用戶的臉部特征點，在不改變用戶臉部特征的同時，對比數據庫深度學習用戶適合的妝容，輸出上妝圖片給用戶。

3 結束語

智能美妝是用戶進行便捷化妝的有效方式。本產品能夠幫助用戶精準學習如何畫出適合自己的妝容，放大自身優點展現自信，同時節省了大量的時間和精力，借助互聯網的調試去嘗試更多的可能性。為用戶提高了個性化需求的同時，公平推薦算法在微美妝系統中的合理應用為社會的資源節約和消費支出提供了良好的條件。也落實了習近平總書記“堅持節約資源和保護環境”的基本策略，實現了資源的合理使用。在滿足人們日常妝容需要的同時，不必提前購買化妝品的情況下測試出合適的妝容搭配。在物質和資源滿足的前提下，更好地創造了節約條件。此外，該系統有利于環境的可持續發展，資源的消耗將有所減少，創造了經濟價值，對于各方面具有積極的調控作用。當今市面上比較流行的美妝軟件主打的還是人像照片上的美化，可用于現實化妝的并不多。有針對性地對每個用戶的面部特征進行分析，選擇適合的妝容也有利于促進美妝行業的發展，同時方便用戶快速找到適合自己的產品。該系統實現后，將可以極大地減少化妝品資源浪費，節省用戶選擇合適化妝品的時間成本，同時可以與化妝品供應商合作，便于化妝品的推廣和銷售，從而保證了物盡所用，層層遞進的效果。

參考文獻：

[1] 庾涵.基于生成對抗網絡的自動上妝算法研究[D].北京：中國科學院大學，2018.

[2] 黃萍，朱惠娟，左志遠.深度學習在人臉妝容推薦系統中的應用研究[J].軟件工程，2020，23（12）：19-23.

[3] 李陽帆.東方女性人臉妝容推薦算法研究[D].西安：西北大學，2018.

[4] 黃玉萍，梁煒萱，肖祖環.基于TensorFlow和PyTorch的深度學習框架對比分析[J].現代信息科技，2020（4）：80-82，87.

[5] 唐賢倫，杜一銘，劉雨微，等.基于條件深度卷積生成對抗網絡的圖像識別方法[J].自動化學報，2018，44（5）：855-864.

[6] 梁俊杰，韋艦晶，蔣正鋒.生成對抗網絡GAN綜述[J].計算機科學與探索，2020，14（1）：1-17.

[7] Liu Z W，Luo P，Wang X G，et al.Deep learning face attributes in the wild[C]//2015 IEEE International Conference on Computer Vision （ICCV）.December 7-13，2015.Santiago，Chile.IEEE，2015：3730-3738.

[8] 韓曉旭.東方女性人臉顏值量化算法研究[D].西安：西北大學，2017.

【通聯編輯：唐一東】