相似場景下正面人臉圖像交互合成方法的研究

歐水瑩，陳莉霞，史立奎，曹洪武

(塔里木大學 信息工程學院，新疆 阿拉爾 843300)

1 常見的特征點檢測算法

隨著智能手機的普及，人們在日常生活中經常合影留作紀念。許多情況下，雖然拍攝時攝影師會盡力提醒每個參與者，但要做到協調好所有人保持合適的面部表情仍很困難，最終，照片中難免會出現少量的細微缺陷。例如：合影對象在拍照瞬間眨眼將導致眼睛半閉半開，或者被拍攝者該有的笑容并沒有很好地被呈現在照片中。目前，對于圖像的后期處理，市場上已經有多款成熟軟件能夠實現對人臉照片的后期合成處理，比如Photoshop，Paint.NET、美圖秀秀等，但并不能自動完成處理工作，大多都需要人工參與調整，而且使用者需要具備良好的軟件使用技巧和一定的藝術創新能力，處理過程耗時、耗力。因此，為了提高處理效率，本文設計一種適用于處理相似場景下正面人像照片中存在缺陷的交互合成方法，具備一定的實用價值。

對于人臉檢測的研究，常見的技術包括：(1)基于神經網絡的方法。比如，Cai等[1]采用模糊匹配的方法建立膚色和發色模型；(2)基于統計理論的統計特征方法。比如，王靜波等[2]提出的卷積精神網絡人臉檢測算法等。上述方法從不同角度出發建立模型，對圖像特征進行分析，最終提取出所包含的人臉信息。隨著云計算技術的發展，也出現了簡潔易用的在線人臉檢測處理平臺，比如，北京曠世科技有限公司提供的Face++平臺。

常見的特征點檢測算法包括：Harris[3]角點算法，SIFT[4](Scale Invariant Features Transform)算法，SURF[5](Speeded Up Robust Features)算法等方法，本文考慮到時間效率，選用SURF算法，通過SURF算法可完成用戶感興趣區域人臉周邊鄰域的特征點檢測后可完成圖像配準，為后續人臉圖像融合做好準備。

多年來，各國學者從不同角度對圖像融合進行研究，主要有小波圖像融合[6]，塔型分解多源圖像融合[7]和泊松融合[8]等。本文將通過實施簡單人工交互，確定合成區域，然后提取圖像特征點完成圖片匹配，最終通過泊松融合算法來實現圖像的無縫融合，利用人臉數據及人臉周邊鄰域特征點信息，進一步通過求解基于泊松方程，實現將截取的圖像能夠無縫地融合到目標場景中。該方法的使用不需要使用者具有良好的圖像處理技巧，可以提升普通用戶利用該方法處理近似場景下人臉照片中瑕疵的處理效率。

2 相似場景下正面人像照片交互合成的研究思路及方法

本文結合實際需求分析，將綜合利用人臉檢測、感興趣區域選取、特征點匹配和圖像融合等技術實現設計目標。包括4個模塊：(1)人臉檢測模塊；(2)興趣圖像區域選取模塊；(3)圖像特征點匹配模塊；(4)圖像融合模塊。

2.1 人臉檢測模塊

本文研究流程中的首要環節就是進行人臉檢測，確定輸入圖像中的人臉位置。目前，市場上已經存在比較專業的人臉檢測平臺，所以，考慮到時間和經濟成本，為檢測出圖像中的人臉，為后續交互選取做準備，選擇了選Face++ 在線人臉檢測服務，完成人臉檢測。

2.2 感興趣圖像區域選取模塊

完成人臉圖像的檢測后，用戶可以進行人工交互判定。首先，選出自身認可的人臉，包括面部特征的主觀判定，比如，是否閉眼、微笑等。其次，將該人臉周邊區域設定為感興趣圖像區域(REGION OF INTEREST，ROI)，用戶手動從目標圖像中截取出一個合適的圖像區域，為后續的圖像特征點匹配建立工作基礎。

2.3 圖像特征點匹配模塊與圖像融合模塊

(1)圖像特征點匹配模塊：在特征點匹配過程中，主要是通過SURF算法對圖像中已檢測出的人臉以及面部關鍵區域的特征點進行提取并匹配，是圖像合成的重要環節。只有實現準備配準特征點，才能最終實現下一個階段的理想圖像融合。

(2)圖像融合模塊：為確保圖像間進行平滑過渡，消除圖像間的拼接縫隙和色調變化等差異，本文主要采用泊松融合算法開展圖像融合工作。

3 具體實驗步驟

3.1 人臉檢測

實驗選用的是Face++平臺完成人臉檢測，實現本功能主要是使用平臺提供的人臉檢測技術。提交檢測圖像到該平臺后，可以得到分析結果，Face++將把檢測出的人臉區域進行標識，為后續ROI區域的選取提供了良好參照。

3.2 ROI區域選取

ROI區域選取及其后算法均在MATLAB 2016a工具中實現，在圖像區域選取中，在通過Face++標注的人臉信息基礎上，通過用戶操作鼠標交互完成，用戶選出主觀上視覺感知完美的ROI感興趣圖像區域，為后續的圖像融合打下基礎。

作為人臉融合預處理環節，選取感興趣區域圖像操作，如圖1所示。首先，點擊search按鍵，找到需要進行感興趣區域標定的圖像，點擊crop按鍵；其次，可用鼠標框選出用戶感興趣的人臉區域；最后，可以點擊save按鍵，將得到的ROI圖像區域保存到合適的路徑下。

圖1 感興趣圖像區域選取

3.3 特征點匹配

為實現圖像融合，必要步驟是完成兩幅圖像的特征點匹配。在本文主要采用SURF算法完成人臉周邊鄰域的特征點檢測，SURF執行效率較高，其結果可有效簡化后續工作過程，并且減少人臉圖像融合的處理時間，增加精度。

SURF算法具體實現為把兩幅人臉圖像上傳后，先讀取圖像，再把RGB圖像變成灰色圖像，經過特征點檢測、特征點定位、方向定位和特征描述子等步驟，實現了兩幅圖像的特征點匹配，并將匹配結果保存，作為圖像融合的工作基礎。

3.4 圖像融合

實現圖像融合是通過對泊松算法的改良算法來完成。利用獲取的圖像匹配數據，通過泊松算法，將輸入圖像3中部分用戶選擇的ROI區域圖像無縫融合進圖像2。有缺陷圖像a、圖像b以及圖像最終融合結果分別如圖2-4所示。

在圖2中，右側的兩個人像笑容自然，面部特征正常，但圖像中左側位置1的人像，面部沒有笑容，對于用戶本人而言，主觀對此結果不滿意；同時，在圖3中，中間人像缺乏笑容，其余人臉情況用戶主觀滿意。因此，在交互式合成方法中，可依據前述ROI感興趣區域選取區域算法手工選取輸入圖像3中最左側人臉作為合成對象，最終融合得到圖4所示融合結果圖像。

圖4 最終融合結果

4 實驗結果及討論

(1)在得到效果圖后，為了檢驗融合的效果，得到融合后的效果圖后，邀請無關人群對融合最終效果圖進行主觀評定，大部分人表示對圖4合成效果較好?？梢?，本文所設計的方法能夠完成合成工作，能滿足普通用戶對瑕疵圖像的處理的基本需求。

(2)對圖像融合結果進行討論，截取了融合結果如圖4所示的部分處理區域，如圖5左邊所示；其細節放大的示意如圖5右邊所示，其中，在頭發c，d兩處出現了錯位和模糊的情況。可見，處理結果中，仍然存在特征點匹配錯誤的情況。

圖5 部分處理結果(左)及細節放大示意(右)

5 結語

為處理在相似場景下獲得的兩幅照片中諸如未展現笑容或者閉眼等細微瑕疵，本文通過用戶參與簡單交互來獲取人臉信息及感興趣區域，進行特征點匹配后，最終完成了圖像融合。在今后的工作中，對于如何優化特征點匹配算法，獲得更好的圖像融合效果，將是研究的重點。