一種利用年齡編輯改進年齡估計的方法

張辰昱 徐樹公 黃劍波

(1.上海大學上海電影學院, 上海 200072; 2.上海大學上海先進通信與數據科學研究院, 上海 200444;3.上海大學上海電影特效工程技術研究中心, 上海 200072)

人臉年齡估計, 即通過一張圖片自動識別圖中人物的年齡, 屬于生物特征識別的范疇, 對于人臉識別具有輔助作用.人臉年齡估計技術有很多應用, 如視頻監控、產品推薦、人機交互、市場分析、用戶畫像、年齡變化預測等[1].由于人臉的多樣性、年齡的欺騙性, 人臉年齡的估計結果容易受光照、姿態、表情等外界因素的影響, 因此, 人臉年齡估計被認為是一個困難的任務.

傳統的年齡估計基于圖像處理知識, 對人臉圖片進行特征提取, 再利用如支持向量機(support vector machine, SVM)[2]、貝葉斯理論[3]等機器學習的理論進行年齡估計, 這種方法運算耗時長, 準確率低.

隨著深度學習理論的提出和網絡大數據時代的來臨, 基于深度卷積神經網絡的人臉年齡估計技術已成為研究熱點.盡管基于深度學習的人臉年齡估計研究已取得了巨大的進展, 但非受限條件下年齡估計的效果仍不能滿足實際需求, 由于實際應用場景復雜, 容易導致人臉年齡估計效果不佳[4].另外, 雖然人臉識別的數據集很多, 但專注于年齡估計任務的數據集卻很少, 并且許多數據集年代久遠, 存在標注錯誤、標注不清晰等問題.生成對抗網絡(generative adversarial network, GAN)的強大數據生成能力, 讓學者們意識到GAN 可以在年齡估計任務中起到數據擴增的作用, 提升年齡估計準確率.

1 相關工作

1.1 年齡估計

基于深度學習的年齡估計算法大致分3 類: 用輸入圖片直接進行分類或回歸; 使用預測值與概率相乘求期望; 引入排序和概率分布信息等[5].直接對人臉圖片進行特征提取并判斷年齡值是最基本的年齡估計算法, 但對于人眼都難以分辨準確的年齡值, 即使卷積神經網絡(convolutional neural network, CNN)也難以準確估計, 因此, 簡單地將年齡估計作為回歸任務直接預測年齡值是不合理的.Levi 等[6]首次提出將年齡值劃分為幾個區間, 通過減少年齡的離散度來提高準確率, 把年齡估計作為一個分類任務.但是, 分類任務無法得到準確的年齡值,Rothe 等[7]提出把年齡估計這一回歸問題用分類問題解決, 通過預測概率和標簽值相乘的求期望方法, 可得到準確的年齡值.目前, 很多表現優秀的年齡估計算法[8-10]都是通過預測值與概率相乘求期望的方法進行預測的.本工作采用的軟階段回歸網絡(soft stagewise regression network, SSR-Net)[9]就是典型的第二種年齡估計算法.

根據人臉識別判斷一個人的身份信息困難, 但判斷兩張人臉是否為同一人容易[11].基于上述觀點, Niu 等[12]首次將年齡回歸問題轉為一系列有序的多個分類的子問題, 每個子問題只對是否比某個年齡大進行判別, 按照有序的回歸問題進行年齡估計.

目前, 大多數年齡估計算法僅利用人臉檢測出的區域進行預測, 人臉的其他區域例如頭發部分則被丟棄.Rothe 等[7]認為這些信息對于年齡估計同樣重要, 并提出利用3 種不同尺寸的區域同時進行學習的方法, 取得了更優異的結果, 本質上該方法也是一種利用數據擴增改進年齡估計的方法.

由于現有人臉年齡估計數據集的限制, 如何在不進行大量數據采集和標注的前提下實現數據擴增是未來人臉年齡估計研究的重要方向之一.

1.2 年齡編輯

年齡編輯(age editing), 即輸入一張人臉圖片, 通過某些方法改變該人臉的年齡并輸出.基于GAN 的圖像翻譯(image translation)算法[5,13-15], 大多可以應用于年齡編輯中.

CelebA (large-scale celebFaces attributes dataset)是一個大規模面部屬性數據庫[16].目前, 利用GAN 進行年齡編輯的算法都是在CelebA 數據集上進行的, 這類年齡編輯的典型算法有CycleGAN[14]和StarGAN[17]等.CelebA 數據集由香港中文大學在2016 年提出, 包含40 種性別、發色、是否微笑等人臉屬性, 是主流的人臉圖片編輯的數據集.

由于CelebA 數據集的標注只有年輕或年老兩種, 并不包含具體的年齡值, 因此這類算法只能學習單一映射, 無法進行指定年齡段人臉圖片的生成.同時, 大多數算法只專注于年齡編輯后生成圖片的視覺效果, 忽略了生成的圖片在人臉年齡估計可以提供的作用.

本工作提出了一種利用年齡編輯改進年齡估計的方法, 并通過聯合訓練圖像生成網絡StarGAN 和年齡估計網絡SSR-Net 提出了一種適應于年齡編輯的分階段訓練策略.在第一階段訓練StarGAN 進行年齡編輯時, 加入了SSR-Net 作為另一個鑒別器進行年齡的約束, 同時對StarGAN 中的鑒別器結構進行改進, 使其在判斷圖片是否為真和預測圖片年齡域的同時, 也可以預測圖片的身份信息; 在第二階段利用StarGAN 的生成數據與原數據一同訓練SSR-Net, 擴增用于年齡估計的數據集.實驗結果表明, 本方法提高了非受限條件下的年齡估計準確率, 在Adience 數據集上達到了目前較好的結果.

2 方 法

2.1 網絡結構

本工作的目標是訓練StarGAN 在不丟失身份信息的同時學習不同年齡域之間的映射,并利用網絡生成的數據擴增數據集, 提升年齡估計準確率.為了實現這一點, 本工作提出了一種分階段聯合訓練的網絡結構.整個網絡使用了一個生成器G(generator)、一個鑒別器D(discriminator)和一個SSR-Net 網絡.

2.1.1 圖像生成

圖1 為圖像生成網絡結構.可以看出, 圖片生成階段分為3 個部分: 圖像重建、圖像年齡編輯和循環一致.

圖1 圖像生成網絡結構Fig.1 Image production network structure

(1) 圖像重建.原圖x和標注c作為輸入送到生成器G進行圖片的重建, 生成與原圖一致的生成圖片x′；圖片x和x′作為輸入送至鑒別器D進行真假判定, 并預測其身份和年齡信息；圖片x和x′作為輸入送至SSR-Net 網絡中進行年齡估計, 兩張圖片的預測年齡應一致.

(2) 圖像年齡編輯.原圖x與one-hot 形式的年齡標注集C(c0,c1,···,cNage-1)作為輸入送至生成器G生成不同年齡段的人臉圖片; 為了平衡數據, 將原圖復制Nage份, 并與這些生成的圖片一同作為輸入送至鑒別器D中進行真假判定, 預測其身份和年齡信息, 該過程同時受SSR-Net 對圖片年齡預測結果的約束.

(3) 為了保證圖片在編輯前后保持內容不變, 只改變年齡相關的部分, 仿照CycleGAN 的結構[14], 在網絡中增加了循環一致部分, 將圖像年齡編輯生成的圖片和原標注c作為輸入再次送入生成器G中, 生成符合原年齡域標注c的人臉圖片, 并與原圖作比較.

StarGAN 網絡結構如圖2 所示, 生成器由3 個下采樣模塊、3 個卷積Bottleneck 層(瓶頸)、3 個反卷積Bottleneck 層和3 個上采樣模塊組成.每個卷積結構都由卷積層、BN 層和Relu 激活函數組成.Bottleneck 層卷積核為3×3, 步長為2, 周圍填充為1, 其余模塊除第一層和最后一層卷積核為7×7 之外, 其余采樣模塊的卷積核均為4×4, 步長均為2, 周圍填充為1.鑒別器由6個卷積層組成, 每一層之間均有BN 層和Relu 激活函數, 其中卷積核為4×4, 步長為2, 周圍填充為1.最終經全連接層映射至3 個輸出, 分別為2×1,Nage×1 和Nclass×1.

圖2 StarGAN 網絡結構Fig.2 StarGAN network structure

2.1.2 年齡估計

由于年齡信息的零散性和不易區分性, 以及大多數年齡數據集的分布特點, 將年齡劃分0～3, 4～7, 8～14, 15～21, 22～32, 33～43, 44～54, 55～65 和66+共9 個區間, 年齡值轉換為對應年齡區間為1, 其余區間為0 的one-hot 形式的年齡標注.

本工作采用SSR-Net 進行年齡估計, 原因如下: ①SSR-Net 網絡采用預測值與概率相乘求期望進行年齡估計, 與上述年齡分段想法一致, 更好約束, 便于收斂; ②SSR-Net 網絡結構簡單, 即使加入復雜的GAN 網絡, 也不會使得整個網絡架構過大而出現無法訓練的情況, 且網絡易于配置, 是目前流行的年齡估計框架; ③SSR-Net 有提供預訓練模型, 便于網絡訓練.

在圖片生成階段中, SSR-Net 充當另一鑒別器的作用, 將網絡預測的年齡值與原圖像年齡進行比較.作為StarGAN 網絡訓練的一個約束, 在圖像生成過程中, SSR-Net 使更多的年齡信息被關注.

年齡估計網絡結構如圖3 所示.原圖x與年齡標注c原圖x和標注c作為輸入送到固定網絡參數的生成器G進行圖像的重建, 生成與原圖一致的圖片x′; 圖片x′作為擴增數據與原圖x作為輸入一同送至SSR-Net 進行年齡估計的訓練.在這個過程中, 用于年齡估計的數據集直接被擴充為原來的2 倍, 且增加的數據并不是基于原圖的簡單旋轉變換, 而是適用于年齡估計網絡的含有隱藏年齡信息的人臉圖片.

圖3 年齡估計網絡結構Fig.3 Age estimation network structure

2.2 損失函數

為了使生成的圖片與真實圖片難以區分, 本工作采用了一種對抗損失的方法,

式中:G(x,c)代表輸入原圖x和目標年齡標簽c生成器生成的圖片;Dsrc(x)是鑒別器對圖片是否真實的預測值, 值越大代表越真實.生成器試圖令Ladv最小, 而鑒別器試圖令Ladv最大,整個網絡的訓練是一個博弈的過程.

對于一個給定的輸入圖片和一個目標年齡域標簽, 目標是將輸入圖片轉化為輸出圖片并正確分類到目標域.為了達到這個目標, 在鑒別器上添加一個輸出用于判斷圖片的年齡, 并用于約束整個訓練過程.因此, 訓練的目標分為兩個: 優化生成器和鑒別器.利用真實圖片優化鑒別器, 分類損失函數定義為

式中:c代表輸入圖片的原年齡域;Dcls(c|x)代表鑒別器D預測的年齡域標簽的概率分布.最小化, 鑒別器就學習到了如何正確分類一個真實的圖片的年齡域.利用生成圖片優化生成器的分類損失函數定義為

式中:c′代表要轉換到的年齡目標域;G(x,c′)代表輸入原圖x和目標年齡標簽c′生成器生成的圖片.最小化, 生成器就可以生成能被正確分類到目標年齡域的圖片.

通過最小化對抗性損失Ladv和分類損失,, 可以使得生成器在訓練時生成真實的符合目標年齡域的人臉圖片.然而, 這并不能保證轉換后的圖片保留其輸入圖片的內容, 而只改變與目標年齡域相關的部分.為了緩解這個問題, 本工作對生成器應用一個循環一致性損失函數[14],

式中:G取轉換后的圖片G(x,c′)和原始域標簽c作為輸入, 并嘗試重建原始圖片x.采用L1范數作為重建損失.值得注意的是, 這個過程使用了兩次生成器, 首先將原始圖片轉換為目標年齡域中的圖片, 然后利用轉換后的圖片重建原始圖片.

為了保證圖片轉換前后人物的身份不變, 增加了一個身份信息的分類損失函數, 使用與尺度相關的Softmax 函數進行身份信息的判斷:

另外, SSR-Net 作為另一鑒別器對整個訓練過程也起到約束作用, 將圖片輸入SSR-Net 中得到的年齡預測值與原年齡值比對, 其年齡損失函數為

式中:p(k)代表圖片屬于第k段bin(年齡區間)的可能性;μ(k)代表第k段bin 所代表的年齡;每一個bin 的寬度為是bin 的索引.

綜上所述, 整個網絡的優化函數為

式中:λcls,λrec,λid,λage均是控制各損失函數的超參數.在實驗中, 設置λcls= 5,λrec= 10,λid=0.1,λage=1.

2.3 訓練策略

參考Yin 等[18]分段訓練的思想, 整個聯合訓練過程分為圖像生成和年齡估計.在第一階段圖像生成時, SSR-Net 網絡參數保持固定, 充當另一鑒別器的作用, 只改變StarGAN 生成器和鑒別器的參數, 做對抗學習；在第二階段年齡估計時, StarGAN 生成器參數保持固定, 利用其生成的圖片作為擴增數據和原圖訓練SSR-Net 作年齡估計, 此時鑒別器處于失活狀態.整個聯合訓練過程的算法如圖4 所示.

圖4 聯合訓練過程算法Fig.4 Joint training process algorithm

3 實 驗

在Adience, MegaAge-Asian, Morph2 以及FG-NET 上進行測試, 分別驗證本工作提出的方法在非受限條件和受限條件下的效果.所有網絡模型均使用Adam 優化[9], 配置為β1=0.5,β2= 0.999.在訓練過程中為了增加數據, 以0.5 的概率水平翻轉圖片.參照文獻[19]中的做法, 在5 個鑒別器更新之后執行一個生成器更新, 每次送入網絡的batch=32.

在訓練階段具體參數設置如下: 在步驟一圖片生成階段, 固定SSR-Net 網絡參數, 更新生成器和鑒別器的參數, 設置學習速率lr= 0.001, 進行10 000 次迭代; 在步驟二年齡估計階段, 固定生成器和鑒別器的參數, 更新SSR-Net 的參數, 設置lr= 0.000 1, 進行5 000 次迭代.根據Lage 的收斂情況決定重復步驟一、步驟二的次數.

3.1 年齡估計

在測試受限條件下年齡估計的準確率結果如表1 所示, 評價指標平均絕對誤差(mean absolute error, MAE), 表示測試圖片的年齡估計值和年齡真值的平均誤差.MAE 越小, 年齡估計算法的性能越好.現有的年齡估計算法在網絡復雜度上分為兩類, 越復雜的網絡, 其性能表現越好.可以看到: 本方法在不增加網絡空間復雜度的同時, 對SSR-Net 在準確率方面獲得了提升, 同時估計時間也和原網絡時間一致; 唯一的不同僅體現網絡的訓練過程中, 增加了年齡編輯部分的耗時.

表1 年齡估計方法在受限條件數據集上的結果Table 1 Results of age estimation methods on constrained data sets

對于非限制場景下的Adience 數據集, 由于判斷具體年齡值較為困難, 而判斷一個大致的年齡區間較為簡單, 因此采取單一分類準確率和1-off分類準確率的評教指標[20].

式中:A和A1-off分別為單一分類準確率和1-off分類準確率;Nacc,N1-off和Ntest分別表示預測為正確類別圖片數、預測為正確或相鄰類別圖片數和測試集圖片總數.與單一分類準確率不同, 1-off準確率將預測類別與實際類別相鄰的兩類一致也判別為正確.測試結果如表2 所示.本方法在非受限條件的數據集上表現優秀, 原因在于在StarGAN 進行人臉圖像重建過程中增加年齡的約束, 使得原圖中無關年齡的信息被剔除, 整個圖像生成網絡更多專注于年齡相關特征的恢復.

表2 年齡估計方法在Adience 數據集上的結果Table 2 Results of age estimation method on Adience data sets

在非受限條件MegaAge-Asian 數據集上進行實驗, 結果如表3 所示, 本工作采用允許預測年齡與實際年齡誤差在±3,±5 的準確率作為評測指標.結果顯示, 利用StarGAN 生成的圖片擴充數據集的方法, 可以獲得年齡估計準確率的進一步提升, 尤其是在非受限條件的情況下.同時, 為了驗證本方法中各個部件的效果, 進行消融實驗.在訓練圖像生成時去掉年齡估計網絡SSR-Net, 使得網絡生成的圖片不能用于年齡估計, 反而還會降低年齡估計準確率; 同時, 去掉人臉身份信息的約束, 年齡估計的準確率也會下降, 證明本方法提出的每一種約束在年齡估計任務中都是有效的.

表3 年齡估計方法在MegaAge-Asian 數據集上的結果Table 3 Ablation experiments on MegaAge-Asian data sets

將年齡編輯的范圍控制在0,±1,±2 和±3 個區間, 以2, 4, 6, 8 倍擴充原數據集分別進行年齡估計準確率的實驗, 結果如表4 所示.當編輯范圍為1 個區間, 以4 倍擴充原數據時達到了較好的實驗結果, 在Adience 數據集上年齡估計準確率提升1.3%, MrgaAge-Asian 上有3.8%的提升.隨著年齡編輯范圍的擴大, 年齡估計準確率反而下降, 因此并不是用于訓練的圖片數據越多越好.原因可能是經過年齡編輯之后的人臉圖片仍是不真實的, 增加大量的錯誤訓練數據反而會降低網絡的識別精度.當跨度較小時, 本方法可以有效提升年齡估計準確率, 但年齡跨度過大時, 本方法不再適用.

表4 不同程度年齡編輯實驗結果Table 4 Experiment results were edited at different ages

3.2 年齡編輯

在MegaAge-Asian 數據集上進行年齡編輯的可視化效果驗證, 將原圖片與年齡標注矩陣C(c0,c1,···,c8)一同送入訓練好的StarGAN 中, 結果如圖5 所示.第1 列為原圖片, 后面9 列為年齡編輯結果.如圖5 中第二行顯示, 本方法可以應對較為復雜的背景.對于年齡估計任務,一致的看法是并不需要分辨率特別高的圖片, 因此對于年齡編輯的效果不再進行優化.

圖5 在MegaAge-Asian 數據集上的年齡編輯結果Fig.5 Age editing results on the MegaAge-Asian data sets

從圖片的年齡編輯效果可以看出, 本方法在進行年齡編輯時只是對原輸入圖像增加老化或者幼化的人臉特征, 本質上還是原輸入圖片.當進行區間跨越過大的年齡編輯時, 得到的人臉圖片與現實中位于該區間的真實人臉并不一致, 導致年齡估計的準確率反而下降的實驗結果；在年齡區間跨越度不大時, 比如0 或者±1 個區間, 得到的人臉圖片與現實中位于該區間的真實人臉基本一致, 因此本方法在判定人臉圖片年齡時是有效的.

4 結束語

本工作提出了一種利用年齡編輯改進年齡估計的方法, 研究了在圖片轉換領域表現優秀的StarGAN 在年齡估計中的作用, 根據年齡值的零散性和不易區分性, 將年齡按區間分類, 形成one-hot 形式的年齡標注進行人臉圖像的年齡編輯工作, 可以生成任意階段的年人臉年齡圖片.同時, 年齡估計網絡SSR-Net作為另一鑒別器對于StarGAN 在生成人臉圖片時具有指導意義, 使得生成的人臉圖片擁有了更多隱含的年齡信息.原圖與經過StarGAN 生成的擴增數據共同作為訓練集去訓練SSR-Net, 提高了年齡估計的準確率.

實驗證明, 本方法對于受限條件下的年齡估計準確率提升有限, 但對于非受限條件下的年齡估計準確率提升明顯, 在Adience 數據集上達到了目前較好的結果.本工作的年齡估計網絡SSR-Net 結構參數少, 訓練好之后易于部署.但總體來說, 年齡估計的準確率相比人臉識別準確率還是比較低, 在實際應用中仍存在許多問題.在今后的研究中, 如何在不進行大量數據采集和標注的前提下實現數據擴增, 獲得更高的年齡估計準確率, 是未來人臉年齡估計研究的重要方向之一.