基于人臉尺度約束的人像自動摳圖方法

黃葉玨 潘 翔 褚一平

1(浙江經貿職業技術學院信息技術系 浙江 杭州 310018) 2(浙江工業大學計算機科學與技術學院 浙江 杭州 310023) 3(杭州海量信息技術有限公司 浙江 杭州 310012)

0 引 言

自然圖像摳圖[1]主要用于實現分離目標物體前景和背景，它是計算機圖像處理的一個熱點研究問題，也是許多圖像特效處理的基礎。自然圖像摳圖一般以彩色圖像I作為輸入，輸出圖像背景B和前景F，它假定圖像I的每個像素i的值是由背景B和前景F線性組合而成,即Ii=(1-ai)Bi+aiFi，其中系數ai∈[0,1]。對于RGB三通道圖像的每個像素，由于該公式存在3個已知變量和7個未知變量，所以需要用戶通過交互的方式作草圖或生成三分圖(Trimap)，即在圖像中指定前景、背景、邊界的未知區域來輔助完成求解。

隨著自然圖像摳圖和圖像語義理解研究取得的進展，針對簡單背景或者特定目標類型的圖像，研究人員提出了一些無需用戶交互操作的自動摳圖算法。針對簡單背景圖像，譚文雙等[2]采用Grabcut算法[3]分割背景與前景，根據前景目標的邊界產生三分圖實現自動摳圖并用于生成證件照。近十年來，圖像語義分割[4]已經取得了非常大的進展，采用圖像語義分割技術生成人像和汽車等特定類型的三分圖實現自動摳圖成為了現實。文獻[5]首次提出了采用深度卷積網絡結構學習生成人像半身照的三分圖，并構建了摳圖層達到人像自動摳圖的目的。此后不少學者受到該方法啟發，提出了一些類似的解決方案[6-7]。

在自然圖像摳圖中，提供準確的三分圖是非常關鍵的，它直接影響摳圖的效果。在人臉識別領域,采用人臉關鍵點對人臉進行校正可大幅提高識別的精度。受到該思想的啟發，本文從提高三分圖精度著手，提出一種根據人臉關鍵點估計人像尺度，通過規范化人像尺寸來控制生成比較準確的三分圖，使得人像自動摳圖算法精度不受人像在圖像中占比大小不同的影響。針對自助拍攝證件照場景，如圖1(a)和圖1(c)所示，用戶所拍攝的照片有大頭照、半身照、全身照、有橫拍、有豎拍等，人像在圖像中的占比是不可控的，我們構建了一個包含19 118幅人像的訓練測試數據集(其中500幅測試圖像)，用于訓練和測試本文的模型。還提出一種多級微調的方式來訓練模型，以降低模型的訓練難度并獲得更好的效果。圖1中，(a)和(c)為手機自助拍攝的人像照片，人像在圖像中的占比大小不一；(b)和(d)為人像自動摳圖之后，裁剪成358×441尺寸的證件照。

圖1 算法在自助證件照拍攝場景中的應用

1 相關工作

在深度卷積網絡流行之前，自然圖像摳圖一般采用采樣的方法[1,8-11]和基于傳播的方法[11-13]。Cho等[14]最早利用卷積網絡實現自然圖像摳圖，其設計了一個卷積網絡用于重構閉合摳圖[12]和KNN摳圖[13]的摳圖效果。文獻[5]使用卷積網絡自動生成人像的三分圖，并構造一個摳圖層實現人像自動摳圖。Zhu等[6]設計一種輕量級的自動人像摳圖卷積網絡，可部署在移動設備上使用。Adobe公司的研究團隊[15]首次提出了真正意義上通過卷積網絡直接預測摳圖中的Alpha圖像。阿里巴巴的研究團隊[7]在文獻[5]和文獻[15]的基礎上，構造了一個可端到端訓練的卷積網絡來實現人像的自動摳圖。

在訓練數據集方面，最權威的是alphamatting.org的數據集[16]，它只有27幅訓練數據和8幅測試數據，這些數據數量太少無法用于訓練深度卷積網絡。為了訓練深度網絡，文獻[5]建立了包含2 000幅圖像的數據集，該數據集采用閉合摳圖[12]和KNN摳圖[13]來生成，它的缺點是與其他幾個數據集相比，Alpha圖像質量不是很高。Adobe公司的研究團隊創建了493幅高質量的訓練圖像和50幅測試圖像[15]，通過與MS COCO數據集[17]和Pascal VOC數據集[18]合成產生49 300幅訓練數據和1 000幅測試數據。該數據集的特點是質量高，但人像數據較少。阿里巴巴研究團隊創建了包含35 513幅高質量人像的數據集[7]，只是該數據集為私有還未公開。

2 人像自動摳圖方法

在人臉識別領域，先人臉關鍵點校正再識別的方式已成為共識，受到該思想的啟發，設計了一種通過人臉關鍵點估計人臉尺度，進而得到人體的尺度，通過約束人體尺度來訓練人像三分圖生成網絡，使得該網絡可以生成標準化的人像三分圖，通過保證人像三分圖生成的一致性來獲得更好的摳圖效果。

如圖2所示，整個自動人像摳圖流程由以下幾個部分組成。第一部分為人臉檢測網絡和基于人臉關鍵點的圖像變換模塊，即圖2中的第一行，原始的RGB三通道圖像經過人臉檢測器定位到人臉位置并獲得左右眼瞳、鼻尖和左右嘴角五個人臉關鍵點坐標，根據人臉關鍵點使用圖像變換矩陣把人像統一變換到標準的1 026×513的圖像中，并記錄變換矩陣的參數；第二部分為人像三分圖生成網絡，1 026×513的人像圖像輸入到該網絡用于生成人像三分圖；第三部分是摳圖網絡，人像的三分圖與RGB三通道圖像輸入到該網絡生成初始的Alpha圖像，使用三分圖的前景和背景區域重置該Alpha圖像的前景和背景區域，并根據第一部分預先記錄的圖像變換矩陣參數恢復到原始圖像尺寸，得到最終的Alpha圖像。

圖2 基于人臉尺度約束的人像自動摳圖方法的前向推斷流程

2.1 人臉關鍵點約束的三分圖生成方法

本文的目的是通過人臉尺寸作為參考，控制人像三分圖中未知區域的比例，使得三分圖生成網絡可以通過訓練輸出比較精確的人像三分圖來避免在實際應用場景中人像在圖像中因不同占比而影響摳圖的精度。

利用人臉檢測方法定位圖像中人臉位置并獲得左右眼瞳、鼻尖和左右嘴角五個位置的關鍵點坐標。兩眼瞳距在人臉識別中是一個比較常用的表示人臉大小的參照值，但當人臉姿態變化很大時，人臉的寬度和高度會產生變化。當人臉左右轉動的姿態角度變化時，兩眼瞳距也隨之變化；而上下抬頭低頭則影響人臉的高度。為了獲得與人臉姿態變化相對穩定的參照值，我們采用式(1)來表示。

S=max(P,N)

(1)

式中：S為人臉尺度值；P為兩眼瞳距；N為瞳距中心到鼻尖的距離。

一般情況下，訓練所用的三分圖是根據標注的Alpha圖像來生成的。在Alpha圖像中，需要把前景和背景交界部分轉換成未知區域以生成三分圖。先對Alpha圖像做腐蝕和膨脹操作，再做逐像素相減操作可得到三分圖。在此，使用人臉尺度值S控制腐蝕和膨脹算子的函數核大小，從而控制人像三分圖中未知區域的占比。具體如式(2)所示。

(2)

受空間變換網絡STN[19]的啟發，文獻[20]采用了類似的思想用于人臉標準化處理，根據人臉的兩眼關鍵點通過相似變換矩陣把人臉標準化到128×128的圖像上進行識別。與上述方法類似，以人臉鼻尖作為基準點，通過等比縮放、平移和裁剪變換公式把人像變換到標準的1 026×513的圖像中。變換矩陣如下：

(3)

式中：a=48/S；b=γx-162；c=γy-255；(γx,γy)為原圖像中鼻尖關鍵點的坐標。

為了獲得精細的人像三分圖，選擇合適的卷積網絡結構也是非常重要的。谷歌研究團隊提出的Deeplabv3[21]圖像語義分割框架有機結合了空域金字塔池化模塊和編碼解碼結構，使得網絡可以利用有效的多尺度上下文信息，獲得準確的目標分割邊界。基于上述優點，采用Deeplabv3網絡結構來訓練三分圖生成網絡。輸入為RGB三通道人像圖像數據，網絡輸出前景、背景和未知區域三類分割結果。具體來說，三分圖生成網絡的主干網絡采用Resnet101結構[22]，采用微調的方式進行訓練，損失函數采用交叉熵損失函數。在微調訓練時，首先根據2.1節的方法對創建的18 618幅訓練圖像數據生成三分圖，再利用式(3)裁剪成標準的1 026×513的圖像數據對，把在Pascal VOC上預訓練的模型的最后一層改成輸出3類并提高該層的學習率，整個網絡以低學習率進行微調。

在三分圖生成網絡模型前向推斷過程中，彩色人像圖像根據式(3)變換成1 026×513的圖像I輸入到模型中，模型輸出1 026×513的三分圖T。圖像I和三分圖T進行連接操作生成四通道的圖像Q，即圖像Q的前三個通道分別是圖像I的RGB數據，第四個通道為三分圖T的數據。把圖像Q縮放到320×320輸入到后繼的摳圖網絡中獲得相應的Alpha圖像，在整個過程中需記錄圖像變換參數，以便最后復原到原始分辨率。

2.2 人像摳圖網絡

人像摳圖網絡采用深度摳圖網絡結構[15]，它是一個深度卷積編碼解碼網絡，該編碼網絡有13個3×3卷積層和4個池化層；而解碼網絡有6個5×5卷積層和4個反池化層。與文獻[7]的做法類似，也對該網絡的每個卷積層之后增加一層批歸一化層，以獲得更穩定的訓練效果。

訓練人像摳圖網絡由兩個階段完成。第一階段與文獻[15]相同，使用Adobe研究團隊提供的訓練數據集，隨機摳取320×320、480×480和640×640三種規格的圖像塊，并統一縮放到320×320尺寸進行訓練，直至收斂。第二階段采用自有人像數據進行微調，利用2.1節中訓練好的人像三分圖生成網絡對自有的18 618幅訓練圖像進行前向推斷生成1 026×513的三分圖，連接生成圖像Q并縮放到320×320，采用該數據集對第一階段的模型進行低學習率的微調。

在前向推斷過程中，四通道圖像輸入摳圖網絡之后可得到網絡的輸出結果，根據輸入的三分圖重置前景和背景區域的值，保留未知區域的推斷結果得到Alpha圖像，最后根據預先記錄的圖像變換參數把Alpha圖像變換到與原始人像圖像相對應的尺寸。

3 實 驗

采用Pytorch來實現本文的算法，訓練采用雙路至強處理器、64 GB內存、4塊Titian GPU顯卡的服務器，訓練完三分圖生成網絡和摳圖網絡兩個模型大約需要2周時間。在Intel i5處理器和8 GB內存的計算機上，用CPU做前向推斷處理一幅圖像整個流程的總時間在4.5 s左右。

目前，手機自助證件照拍攝應用越來越廣泛，在該應用場景中，用戶手機所拍攝的照片類型有大頭照、半身照、全身照、橫拍、豎拍等各種不可控的情況。為了高效地處理這些不可控的照片類型，構建了一個包含19 118幅人像的訓練測試數據集。數據集中大頭照大約2 000幅、半身照片12 000幅、全身照片5 000幅；橫拍照片大約占30%，豎拍照片占70%。測試集是從該數據集中隨機選取500幅。該數據集大約由10位兼職人員通過專業圖像處理軟件進行手工摳圖得到標注的圖像。

為了估計算法的有效性，將本文算法與閉合摳圖[12]、KNN摳圖[13]、深度摳圖網絡[15]等算法進行了比較，考慮到這些摳圖方法需要事先提供人像的三分圖，采用Deeplabv3語義分割模型[21]對人像進行分割，為了客觀公正地進行對比，Deeplabv3的主干網絡也采用Resnet101網絡結構。Deeplabv3的模型直接采用其他研究人員公開的預訓練模型進行人像的語義分割，根據分割結果把標記為人像的像素置為255，其他像素設置為0，并采用式(2)生成人像三分圖。由于在測試數據集中，人像在圖像的占比大小不一，不同的腐蝕和膨脹函數核大小對結果有較大的影響，經測試發現函數核k=20為一個相對比較好的值，在整個實驗中該經驗值是唯一需要人工設置的參數。

結果的評價指標采用絕對誤差和、均方誤差、梯度和連接度四個指標。與文獻[15]只評價未知區域部分不同，由于是由程序自動產生人像的三分圖，我們對整幅圖像進行統計，并用這四個指標對圖像的像素數量做了歸一化運算。通過計算每幅人像Alpha圖像與標注的Alpha圖像的四個指標值，并除以圖像的像素數量，再對整個測試數據集取平均值即為表1中的最終結果。可以看出在人像占比不可控的環境中，本文的方法有比較明顯的優勢。

表1 不同算法在測試數據集上的指標數據

圖3展示了四種不同方法得到的結果，其中：(a)為原始人像圖像；(b)為Deeplabv3+CF的摳圖結果；(c)為Deeplabv3+KNN的摳圖結果；(d)為Deeplabv3+DIM的摳圖結果；(e)為本文方法的摳圖結果；(f)為標注的圖像。從圖1和圖3中可以看到在真實應用場景中，用戶拍攝的人像照片中人像占比大小不一，有全身照、半身照、大頭照。Deeplabv3這個網絡框架對人像形態、大小、光照、背景的表征能力很強，基本上都可以獲得不錯的處理效果。由于測試數據集中人像在圖像中的占比不一致，導致使用固定大小核尺寸的形態學算子產生的三分圖精度不是很高，所以圖3(b)-圖3(d)的總體效果比圖3(e)要差一些，特別在摳圖邊界上的精度較低。

圖3 實際應用場景中人像圖像的摳圖結果

訓練數據集多樣性嚴重影響深度學習模型的效果。由于在手機自助證件照應用場景中，全國用戶的數量可達億的級量，而這些用戶大多數不懂圖像知識，所以拍攝的照片會存在各種不可控的因素。由于成本的限制，構造大量的多樣性數據是不可行的，這就造成了通用的算法無法對真實數據的多樣性分布進行充分訓練。而本文的算法增加了對人臉尺度的約束，相當于對數據的多樣性分布增加了限制，這可能是本文算法取得較好結果的原因。

4 結 語

針對實際應用場景中人像占圖像比例大小不可控的情況，本文提出一種基于人臉關鍵點計算人像尺度，控制生成較精確的人像三分圖，并實現人像的自動摳圖。實驗表明，本文方法可以獲得較高的人像摳圖準確性。目前算法的模型還是比較大，處理時間也較長，下一步工作可以從模型優化角度展開研究以提高運算速度。