人類面部屬性估計研究:綜述*

曹 猛, 田 青, 馬廷淮 , 陳松燦

1(南京信息工程大學 計算機與軟件學院,江蘇 南京 210044)

2(南京航空航天大學 計算機科學與技術學院,江蘇 南京 210016)

近年來,在計算機視覺與模式識別等領域,人臉相關研究得到了越來越多的關注.這主要由于人臉擁有豐富且穩定的特征信息,且易于被攝像頭等儀器捕捉,進而被廣泛應用于人機交互[1]、智能消費推薦[2,3]、訪問控制[4-6]和輔助身份識別[1,7]等領域.

當前,人臉屬性估計相關工作主要集中在人種估計、性別識別、年齡估計等幾個方面.在相關研究方向上,分別已有大量工作被提出.例如,文獻[8,9]利用集成學習進行人種分類估計;文獻[10-25]借助貝葉斯分類器和SVM分類器等進行人臉性別識別;文獻[26-61]將人類年齡估計分別視為分類問題、回歸問題或者混合問題進行研究;文獻[62]基于字典學習進行人臉老化合成研究等.然而,相關研究[26,63-65]表明,不同面部屬性之間存在關聯性影響,并且某一屬性估計受到其他屬性的影響.因此,依據是否考慮人臉不同屬性之間的內在關聯和影響,本文將現有人臉面部屬性研究工作劃分為兩大類,如圖 1所示:一是未考慮不同屬性間關聯影響的獨立屬性估計方法,這與樸素貝葉斯理論[66]中不考慮屬性間關聯、獨立對待不同屬性的假設相類似,因此本文稱其為樸素的(na?ve)方法;二是考慮并利用不同屬性之間關聯影響的屬性估計方法(例如,男女之間存在老化差異,該差異會對人類面部年齡估計準確性產生影響[26]),在建模估計面部屬性時,考慮面部其他屬性對當前屬性估計的影響,能夠更好地迎合人臉屬性演化的自然規律,因此,本文將該類方法稱為自然的(natural)方法.

盡管目前已有大量的人臉屬性估計相關工作被提出,然而研究者們通常基于 FG-NET[6]、Morph[3]、Adience[67]、CACD 2000[68]等單一數據集進行研究.而單一的相關數據集普遍存在屬性標記不完備(如FG-NET、CACD 2000僅有年齡標簽)、樣本缺失(如Morph樣本的年齡標記空間為16歲～77歲,缺少0～15歲樣本)、樣本不均衡(如Morph含有55 000多張人臉樣本,其中男性樣本占84.6%;黑種人與白種人樣本占總體的96.4%,黃種人與其他人種僅占 3.6%)等固有缺陷,這將嚴重影響屬性估計器的識別準確性,并限制其泛化性能.因此,可基于多屬性跨庫標記以擴充訓練數據集,并構建人臉年齡、性別和人種等多屬性聯合估計模型,探索屬性之間和屬性內在的關聯,以實現更可靠的屬性聯合估計算法.

本文第1節總結并分析樸素的人臉年齡、性別、人種等面部屬性估計相關工作.第2節回顧自然的人臉年齡、性別和人種等面部屬性識別相關工作.第3節探索未來的面部屬性估計研究方向.最后,對本文進行總結.

1 樸素的人臉面部屬性識別

本節主要回顧樸素的人臉年齡、性別、人種等面部屬性識別相關工作,即完全不考慮屬性間關聯影響的單一屬性識別.

1.1 人種分類

人種分類(race classification,簡稱 RC),顧名思義是對給定的人臉圖像識別出其屬于哪一類人種,例如白種人、黑種人、黃種人等人種類型,如圖2所示.

相對于性別和年齡屬性,人臉人種估計相關工作較少.代表性工作如下.

(1) 文獻[8,9],對于給定的人臉圖像,先抽取 Haar-like特征(簡單來看,該特征反映了圖像的灰度變化情況,能夠描述簡單的圖形結構,對邊緣與線段較為敏感),然后采用Adaboost集成分類器進行人種估計,并在FERET等人臉數據集上獲得了較好的人種分類結果.

(2) 文獻[72],首先提取灰度圖像的人臉外觀特征,然后使用多尺度描述算子提取人臉特征,并利用主成分分析(principal component analysis,簡稱PCA)進行特征降維,最后借助線性判別分析(linear discriminant analysis,簡稱LDA)實現測試人臉的人種分類.

1.2 性別識別

所謂性別識別(gender recognition,簡稱GR),即對給定的人臉圖像估計判斷其為男性還是女性,如圖3所示.

不同于RC的多分類問題,人臉性別估計為二值分類問題(非男即女).其代表性實現方法總結如下.

(1) 貝葉斯分類器(Bayesian).文獻[10,11]先將給定人臉圖像分割成多塊互不重疊的網格塊,然后通過學習出來的公共數據庫L獲取相似網絡塊表示,最后使用這些相似網格塊進行后驗概率估計,獲得性別估計結果.

(2) 支持向量機(SVM)分類.文獻[12-17]首先提取臉部特征,經過降維獲取主要面部特征,最后使用SVM分類器得到性別識別結果.其中,文獻[13,14]直接借助線性 SVM 分類器;為應對人臉樣本的線性不可分問題,文獻[12]采用高斯徑向基函數(radial basis function,簡稱RBF)核化的非線性SVM進行人臉性別分類;并且,為了更好地融合利用人臉不同部件的語義判別信息,文獻[15-17]通過集成頭部、面部、眼部和嘴(如圖4所示)等不同部位的性別識別結果,以得到最終的性別識別結果.

(3) 貝葉斯與 SVM 融合分類.為應對復雜的人臉獲取環境并充分利用人臉區域的特有信息,文獻[18]提出人臉多區域SVM性別識別融合的GR.其算法流程如圖5所示,通過貝葉斯準則(見公式(1))融合人面部不同區域的決策結果獲取GR.

其中,PFP和PFN分別表示分類器判別當前樣本為女性的正確概率和錯誤概率,δ(x)表示當x為0時,函數值為1,反之為0.

(4) 決策樹.為挖掘利用三維人臉的空間分布信息,文獻[19]首先提取人臉的三維梯度和空間距離信息,然后利用隨機森林(random forset)法對提取的面部特征進行性別分類.

(5) 極速學習機.文獻[20]采用極速學習機(extreme learning machine,簡稱ELM)構建性別分類網絡.與傳統的神經網絡不同,ELM不需要迭代地調整學習參數,在設定好網絡結構后,僅需隨機初始化輸入層到隱藏層的權值,隱藏層到輸出層的權值即可直接解出,進一步提高了人工神經網絡的訓練效率.典型的ELM由輸入層、隱藏層、輸出層構成,其網絡輸出可表示為

其中,W1表示輸入向量到隱藏節點層的隨機權重矩陣,σ表示激活函數,W2為隱藏節點層到輸出向量的權重矩陣,Ypredict表示網絡的預測輸出.當W1隨機初始化后,W2可由最小二乘法計算得出(見公式(4)、公式(5)).

其中,Yreal表示期望輸出,σ(W1X)+表示矩陣的Moore-Penrose廣義逆.

(6) 神經網絡.鑒于深度卷積學習(convolutional neural network,簡稱CNN)在計算機視覺等領域的成功應用,研究人員開始將CNN用于性別識別之中.為此,文獻[21-25]首先提取歸一化的人臉樣本集,然后借助CNN提取人臉語義表示并采用“端-端(end-to-end)”學習方式訓練性別分類器,在 Morph等人臉數據庫上獲得了更準確的GR結果.其流程如圖6所示.

1.3 年齡估計

所謂年齡估計(age estimation,簡稱AE),就是根據給定的人臉圖像估計其年齡值(或年齡范圍),如圖7所示.

截止目前,已有大量AE工作被提了出來.依據這些工作的方法類型,本文將其歸納為基于分類的AE、基于回歸的AE、基于分類與回歸混合的AE這3種類型.

1.3.1 基于分類的AE

若將年齡(諸如0歲、5歲、23歲等)看成互不相關的離散類,則AE可視為多分類問題.

年齡相關特征表示在 AE中的利用.文獻[35,36]分別采用非負矩陣分解(構建圖像局部信息)和獨立成分分析(獲取圖像本質結構特征)的方法,構造低維子空間獲取人臉特征,然后采用淺層神經網絡作為年齡估計器進行 AE.隨后,文獻[26-34]將更豐富的特征描述方法應用至 AE當中,主要包括主動外觀模型(active appearance model,簡稱AAM)、生物啟發特征(bio-inspired feature,簡稱BIF)、局部二值模式(local binary pattern,簡稱LBP)等,然后借助SVM進行年齡分類.

然而,上述研究方法僅將年齡看作是互不相關的離散類,并沒有將年齡的有序信息(例如,20歲大于10歲,卻小于25歲)考慮其中.

考慮年齡有序性的 AE.文獻[37]提出了一種 LBP特征的代價敏感版本(cost-sensitive local binary feature learning,簡稱 CS-LBPL),將代價敏感學習融入 LBP特征當中,然后使用超平面序列排序器(ordinal hyperplanes ranker,簡稱 OHRanker)借助年齡的有序性進行 AE分類估計.與文獻[37]相異,文獻[73]考慮直接在特征上利用年齡的有序性,該文作者提出一種用于保持人臉圖像局部流型結構與年齡間序列特性的特征提取方法,具體模型見公式(6).

其中,M表示原始圖像特征維度,d表示獲取后的特征子空間維度,yu表示是否利用原始特征中的第u維特征.在公式(6)中,第1項用于獲取人臉圖像的局部流型結構信息(用來刻畫M維原始特征各自的權重),第2項用于保持年齡間的有序信息(利用wu維護),超參數α用于平衡兩種信息之間的重要程度.通過最大化這一模型,可以獲得一個較小維度的既保持序列信息又保有面部局部的流型結構,同時也保持了人臉特征子空間的相對完整性,最后通過該特征子空間,借助OHRanker獲取AE結果.

考慮年齡近鄰相似性的 AE.年齡屬性不僅具有序列性,同時還具有近鄰相似性.如圖 7所示,對于同一個人的人臉圖像,18歲時,與其 16歲和 20歲時的面部較為相似.為此,文獻[38]提出采用標記分布學習(label distribution learning,簡稱LDL)方法刻畫年齡屬性的近鄰相似特性.對于年齡標記,LDL并不認為其為單一的標簽,而是將其轉成一個標記分布向量(包含臨近年齡的描述度),并將標記分布向量作為訓練集中的類別信息.例如,20歲的年齡圖像同樣也可以作為標記為21歲的樣本,只是描述度相比描述20歲時要低,即真實年齡的描述度最高.當前樣本輔助描述(標記)的年齡距離真實年齡越遠,描述度越低,且所有描述度之和為 1.文獻[38]通過條件概率假設,利用最大熵模型來構建映射關系,采用KL散度作為衡量預測分布和真實分布距離的損失函數,獲得了比較好的效果.然而,這些年齡標簽分布需要基于某些先驗假設從訓練樣本中獲得,年齡近鄰關系的描述必然不是十分準確的.同時,由于人類各階段年齡變化速度不同,各年齡階段相似度描述也就相異(如圖 8所示),文獻[39]提出一種自適應版本的LDL(adaptive label distribution learning,簡稱ALDL)來解決上述問題.鑒于文獻[38]使用固定的標記分布以及文獻[39]對于不同樣本集分布描述不靈活的缺陷,文獻[74]提出基于數據依賴的標記分布算法.

同時利用年齡有序性和近鄰相似性的 AE.為建模利用年齡類的有序性和近鄰相似性,文獻[42]利用馬氏距離度量,構建了如下度量目標函數,以學習有序度量空間來實現AE:

跨庫年齡類別互補的 AE.為解決單一年齡庫存在部分年齡樣本不完備的問題(即某些年齡類別無對應訓練樣本),文獻[44]嘗試跨越多個年齡數據庫構建混合表示空間(如圖 9所示),利用典型相關分析(canonical correlation analysis,簡稱 CCA)合并樣本空間,并在所得樣本表示空間通過樣本聯合表示構建年齡估計器,并實驗驗證了其優越性.

借助深度神經網絡的AE.近年來,深度學習在計算機視覺、模式識別等領域得到大量成功的應用.相較于以上傳統方法將特征表示(feature representation)與目標決策(decision making)分離學習的模式,深度學習通常以end-to-end學習方式將二者融合到一起同時進行學習,并可在特定任務上取得更優的性能.受此啟發,文獻[75-78]等借助CNN或VGG網絡抽取圖像特征,然后采用Softmax函數等分類方法預測年齡實現AE.其中,文獻[75,76]采用較深的 VGG-16網絡結構以獲取更高維的特征表示.為防止訓練過擬合,同時也為了利用年齡屬性間的近鄰關系,文獻[40,41]借助高斯分布生成年齡分布標記,并采用IMDB-WIKI數據集微調網絡以獲取更好的泛化能力.

1.3.2 基于回歸的AE

基于分類的AE方法將不同的年齡模式視作相互獨立的普通的多類問題進行處理,然而人臉面部老化是一個連續和漸變的過程.因此,將 AE視作連續的回歸問題加以處理似乎更為合理.為此,文獻[13,45-51]嘗試從人臉圖像中提取不同的特征表示,然后借助回歸器(如支持向量回歸,SVR)進行年齡回歸預測.其中,文獻[45]采用先提取人臉不同區域的特征,然后借助貝葉斯準則融合特征以獲取分層的人臉特征表示,如圖10所示.

文獻[47,49,51]采用多元嶺回歸模型(multi-ridge regression,簡稱mRR)來擬合年齡回歸函數.mRR優化目標如下所示:

其中,yi表示期望輸出,W表示投影矩陣,b表示偏置項.在公式(8)中,第1項用于估計擬合損失,第2項用于控制模型復雜度,當λ取 0時,模型退化為普通的最小二乘線性回歸問題.然而,文獻[52-54]認為,相對于線性回歸模型,二次回歸模型具有更好的年齡估計擬合能力,并通過如下優化目標實現對年齡估計器f(xi)的學習:

其中,f(xi)=α0+α1Txi+α2Txi2表示二次年齡回歸模型(αi表示回歸系數),yi表示真實年齡標簽.

文獻[55]認為:(1) 人臉老化模式不可控;(2) 存在個人因素;(3) 人臉老化模式是隨時間而變化的.基于以上考慮,文獻[55]將人臉按時間順序排列構建年齡模式空間(aging pattern subspace,簡稱AGES)(如圖11所示).鑒于所用數據庫中每個個體年齡標記存在部分缺失的問題,該文作者提出一種編碼再解碼的方式重建缺失的年齡模式,并構建年齡模式空間進行 AE.具體來說,使用相同年齡圖像均值初始化缺失部分xl,并與已存在部分xa用PCA降維后,再重新變換回原始空間,利用重建后的xanew與xa進行誤差估計;反復上述過程,直至重建誤差低于預定值.

文獻[56]為了保證局部語義相似,借助馬氏距離度量,重新調整同一鄰域內樣本對的距離,同時擴大鄰域外部的樣本距離,構建空間度量模型mkNN,并將其用于AE度量.mkNN目標函數如下:

文獻[47]為利用年齡類的有序性和近鄰相似性,將累積屬性編碼(cumulative attribute coding,簡稱CA)融入mRR模型當中,保證人臉的累積變化特性.其中,CA編碼的編碼長度與當前所有樣本的最大年齡相關(如,最大年齡為100歲,編碼長度為101),具體表示為

其中,y表示樣本年齡,li表示第i位編碼.為利用CA編碼間的關系,文獻[49]借助差分運算將CA編碼的0階關系與1階關系融入年齡估計模型,獲得了性能更優的AE結果.

在深度學習方面,文獻[79]在CNN網絡中融入有序回歸思想,在Morph II數據集上取得較好的AE結果.文獻[71]借助同一網絡模型主體架構,對比了5種方案在AE問題上的識別性能,發現基于拉普拉斯損失的回歸型方法略優于其他對比方法.這 5種方案分別為基于交叉熵損失的分類型方法(分別采用 One-Hot編碼和LDL編碼兩種標號編碼方式)、基于最小平方損失和基于拉普拉斯損失的回歸型方法以及基于有序損失的回歸型方法.與此同時,文獻[69]在CNN網絡中借助CA編碼的累積特性以解決訓練樣本類分布不均衡問題,提出采用對比信號來刻畫人臉有序性以增強特征表示的判別能力,并構建 D2C網絡實現 AE.D2C網絡結構如圖12所示.

其中,CRL(comparative ranking layer)用于學習樣本的排列函數f(即若輸入樣本xi年老于xj,則f(φi)＞f(φj),φi與φj分別表示樣本i,j的特征向量).D2C網絡整體損失函數定義為

其中,α與β為超參數,第1項對應年齡預測的損失項,第2項對應CA編碼損失,第3項輔助約束樣本排序.文獻[69]認為,年齡的有序性比單一的年齡標簽信息更加穩定.更為重要的是,通過CRL構建樣本的序列關系可實現重復利用訓練樣本,以減緩樣本類不均衡的狀況.

1.3.3 基于分類與回歸混合的AE

為了獲得性能更優的年齡估計器,文獻[48,57-61]采用分類和回歸相結合的策略實現 AE.其中,文獻[61]認為,SVR回歸預測年齡不精確,僅能預測全局的老化趨勢(如圖 13(a)所示).為此,該文提出借助局部調整策略來構建LARR(locally adjusted robust regressor)估計器,并利用其在測試人臉樣本上進行年齡識別.具體而言,采用局部偏移(如圖13(b)所示)策略,使得預測年齡ypredict更接近真實年齡yreal(即期望yreal∈[ypredict-d,ypredict+d]);為了獲取每類偏移方向,文獻[61]還采用二叉樹構造多分類SVM進行最后的決策.之后,很多對LARR的改進工作被提了出來,如文獻[60]將流型學習融入LARR;文獻[59]對LARR進行了概率化擴展,并在UIUC-IFP-Y等數據集上取得了比LARR更優的AE識別結果.在深度學習方面,文獻[57]采用CNN和LDL分別對人臉圖像進行特征表示與年齡編碼,通過集成兩套網絡(一套基于分類、一套基于回歸)的預測結果實現AE.

1.4 性能對比

本節通過列表對比形式對有代表性的人臉單一屬性估計工作給出總結性性能對比.具體見表1.

Table 1 Summary and comparison of na?ve-group human facial attributes estimation techniques on different databases表1 在不同數據集上的人臉單一屬性估計方法的對比與總結

Table 1 Summary and comparison of na?ve-group human facial attributes estimation techniques on different databases (Continued)表1 在不同數據集上的人臉單一屬性估計方法的對比與總結(續)

2 自然的人臉面部屬性識別

上述樸素的人臉年齡、性別和人種等面部屬性識別方法未考慮人臉年齡、性別和人種等不同屬性間的潛在關聯和影響,而是將它們視作獨立的問題分別加以考慮.相關研究[26,63-65]表明,不同面部屬性之間存在關聯性影響,并且某一屬性估計受到其他屬性的影響.為了與上述樸素的人臉年齡、性別和人種等面部屬性識別相區別,我們稱此類考慮屬性間關系的識別方法為自然的人臉年齡、性別和人種等面部屬性識別.

2.1 考慮性別、人種屬性對AE的影響

為探究性別屬性是否對AE產生影響,文獻[31]分別在按性別拆分的樣本集與在相同樣本集混合情況(即性別當成未知)下,借助SVM進行AE.通過比較實驗結果可知,性別屬性顯著地影響AE的準確率.文獻[26]采用相同的方式在Morph II數據集上(劃分見表2)研究性別、人種屬性對AE是否存在關系.

鑒于同一年齡層內,男性和女性的人臉在年齡特征上的差異較大,文獻[1]首先基于提取的人臉 Gabor特征進行GR,然后依據性別分類結果再借助SVM進行AE以提高AE的性能,具體流程圖如圖14所示.

Table 2 Distribution on Morph Ablum II database[26]表2 Morph II數據集使用情況[26]

與文獻[55]相異,為構建人臉老化空間,同時考慮到性別間的差異與不同年齡段人臉相似性差異不同,文獻[62]劃分年齡段,并將同一人的訓練樣本填充至相鄰年齡段中構建老化空間.鑒于當前數據集的固有缺陷,同一個人的訓練樣本不可能完全填充至每一個年齡段中,文獻[62]在保證至少一組相鄰年齡含有同一人樣本的情況下,借助耦合字典學習構建空間,其學習目標函數如下:

其中,Xg表示第g個年齡段中所有人的樣本圖像,Yg表示在g+1個年齡段中對應人的樣本圖像,Dg(:,d)表示第g個年齡段第d幅圖像特征.在公式(13)中,第1項用于度量第g個年齡段的損失,第3項用于度量第g+1個年齡段的損失,第2項用于保持人臉的個性細節,第4項為稀疏項;通過第1項與第3項的級聯,可以利用人臉對之間存在的關系促進人臉老化關系的學習.然而,文獻[62]為獲取結果需要依賴中間層輸出,中間層結果存在誤差,必然導致實驗效果降低.為此,文獻[80]將老化字典學習模型層次化,以獲得更優的結果.

考慮到性別、人種屬性對AE的影響,文獻[81]借助LDA的思想將來自不同性別和人種的同一年齡類的年齡模式相融合進行研究.其主要思想為:同年齡類內散度小,同人種不同類間盡量分離,同類不同人種之間盡可能接近(如圖15所示).經過映射后,來自不同群體的老化模式被投射到共同空間中,在該空間中不同群體的老化模式可以產生相似或更接近的分布.

2.2 考慮年齡屬性分別對RC、GR的影響

為探究年齡等屬性對RC的影響,文獻[65]在Morph II圖像集上首先進行年齡和性別屬性的人群劃分(同文獻[26]),然后針對每類人群進行RC,并發現RC準確率在不同人群間存在較大差異.

為探究年齡等屬性對 GR的影響,文獻[83]對 YGA等人臉集進行“老”“中”“青”這 3類人群年齡組的分類,然后針對每個分組進行 GR;文獻[84]首先將人臉集劃分為“未成年”和“成年”兩類,然后針對每個子類進行 GR,并發現后者的GR準確率高于前者.

2.3 考慮性別屬性和人種屬性對GR和RC的相互影響

針對人臉面部屬性關系的建模利用問題,同時考慮性別屬性與人種屬性相互關系的有關研究十分稀少.為了將性別和人種兩種屬性間內在關系融入到GR和RC中,文獻[85]借助SVM分別對不同模態的3D圖像進行預測,最后進行決策融合以實現性別與人種的聯合估計.盡管文獻[86]借助架構較淺的神經網絡模型進行性別與人種的聯合估計,卻獲得了較好的識別性能,其具體網絡結構如圖16所示.整體網絡除輸入輸出層外,僅包含4層卷積層,前 3層卷積層之間由 2×2大小的最大池化層連接進行特征選擇,而第 3層卷積層的輸出采用 ReLU函數激活送往第4層卷積層,最后借助Softmax函數實現聯合分類估計.

2.4 考慮年齡屬性和性別屬性對AE和GR的相互影響

為了將年齡屬性和性別屬性兩者內在關系融入到AE和GR中,文獻[87-89]借助深度卷積網絡(CNN)獲取性別和年齡相關的語義特征表示,再基于年齡和性別聯合輸出編碼實現AE和GR.

在傳統方法中,文獻[70,90]認為:(1) 文獻[1]提出的性別識別與年齡估計的級聯模型不能避免性別分類器對整個模型帶來的誤差累計效應(即初始性別分類錯誤,造成年齡估計誤差增大);(2) 文獻[63]雖然聯合了人臉多種屬性,但其標簽連接不僅可能混淆性別和年齡之間的語義關系,還忽略了男性和女性之間的老化差異.為此,文獻[76]提出一種語義空間中近鄰正交的方案,對性別與年齡屬性內在關系聯合建模,同時研究 AE和 GR,其基本模型如下:

其中,第1項表示性別分類損失項,第3項表示有序回歸方法下的年齡估計損失項,第2項、第4項用于控制模型復雜度,第5項定義為RNOSSpaces=(waTwg)2,期望在語義空間中,不同性別間樣本盡可能地分離.

2.5 同時考慮年齡、性別和人種三者屬性之間的內在關聯

偏最小二乘(partial least square,簡稱PLS,見公式(16))與典型相關分析(CCA,見公式(17))可以在輸入樣本集X與輸出集Y之間建模,獲取兩者最大相關的子成分,其中,wx與wy表示投影向量.因此,文獻[63,64,91]借助PLS與 CCA及其變種,將年齡、性別、人種整合為三元集標簽,采用回歸策略在樣本空間與聯合屬性間建立關系,實現AE、GR和RC的聯合估計.

為了同時利用三者屬性信息,文獻[71,92]借助深度模型 CNN實現對年齡、性別和人種這三者屬性的同時估計.文獻[71]認為,AE、GR、RC這3種屬性估計任務難度并不相同,因此,各任務所需特征表示的精細程度相異.該文通過共享底層以實現三者屬性之間的公共特征表示,然后為各屬性分別構建網絡以滿足不同的特征表示需求.網絡基本結構如圖17所示,損失函數定義為

其中,La、Lg與Lr分別表示年齡估計損失、性別分類估計損失、人種分類估計損失,α與β為非負超參數,用于平衡3種任務間的重要程度.然而,對于AE,此框架僅利用了性別與人種信息,沒有兼顧到任務之間的內在關系.盡管此后,文獻[71]提出一種混合模型以利用任務之間的內在關聯,并在Morph II數據集上獲得MAE結果首次低于3的優異成績,但其本質與文獻[1]提出的級聯模型相同,仍然存在分類器分類錯誤帶來的累計誤差等問題,還有提升空間.

2.6 性能對比

本節通過列表對比形式對有代表性的人臉多屬性聯合估計工作給出總結性性能對比.具體可見表3.

3 分析與展望

目前為止,學者們提出了多種方法利用單一的人臉屬性和不同程度地聯合多屬性進行研究,以提高AE、RC和GR的準確率或者精度.文獻[1,26,63-65]的研究表明,男性和女性在面部年齡老化方面存在差異,即性別因素對年齡估計存在影響;白種人、黃種人和黑種人等不同人種的年齡老化規律和性別外觀差異也不盡一致.同時,不同年齡階段的男性和女性的面部性別外觀差異也不盡相同.能否有效地利用多屬性內在關系將成為影響實際應用的主要因素.

然而,現有方法模型訓練通常基于單一的相關數據集(如FG-NET、Morph Album、Adience、CACD 2000等),這些數據集通常存在以下兩個嚴重問題:(1) 單一數據集在某些屬性上的標記分布不完備.如表 4所示,Morph數據集上樣本的年齡標記主要集中分布在16歲～70歲范圍;而FG-NET數據集上樣本的年齡標記主要分布在0～70歲.(2) 單一數據集在某些屬性上的標記缺失.如表4所示,Morph數據集上的每張人臉圖像同時標記了年齡、性別和人種這3種屬性信息;而 FG-NET集合中的人臉圖像僅提供了年齡屬性等標記信息.人臉不同屬性在現有單個臉庫的標記不完備,使得對其聯合估計變得困難.同時,單個數據庫樣本的缺失導致單獨基于該數據集獲得的屬性估計器泛化能力存在嚴重缺陷.

Table 4 Label distributions between Morph Album II and FG-NET表4 相關屬性在不同人臉數據集上的標記信息對比(以Morph和FG-NET為例)

本文中所指自然的人臉屬性估計僅是相對樸素的方法而言,第 2節所回顧的相關工作僅是一定程度上考慮并利用了屬性之間的關系,然而利用得并不完善.除文獻[63,64,71,91,92]等所做的工作之外,本文上述總結回顧的絕大部分人臉年齡、性別和種族等面部屬性識別相關工作都未同時實現以上多屬性的聯合估計.然而,即便是文獻[63,64,71,91,92]等給出的聯合估計模型,也未能很好地利用年齡、性別和種族等面部屬性關系.例如,文獻[63]、文獻[70]指出其標簽連接的方法不僅可能混淆性別和年齡之間的語義關系,而且忽略了男性和女性的老化差異;而文獻[70]也僅利用了性別與年齡之間的內在關系,并未考慮人種屬性的影響.

在零星的跨語義庫研究中,盡管文獻[44]實現了跨庫訓練的年齡單種屬性估計,同時通過實驗表明跨語義庫進行 AE的效果優于單一數據集,但其并未考慮面部性別和種族等其他屬性對年齡估計的影響.此外,該方法亦未實現人臉多個屬性的聯合估計.

基于以上考慮,人臉面部屬性未來的研究方向應基于多屬性跨庫標記搜集訓練數據集,并構建人臉年齡、性別和種族等多屬性聯合估計模型,探索并建模利用屬性間內在關聯,以實現更可靠的屬性聯合估計算法.

4 總 結

就基于人臉圖像的性別、年齡、人種等面部屬性估計,本文首先系統地回顧了樸素的(不考慮屬性之間的相關關聯和影響)和自然的(利用了屬性之間的相關性)人臉屬性相關研究工作.通過對現有工作的回顧和總結,發現現有工作的以下問題和不足:單一訓練庫屬性標記不完備致使估計器泛化性有缺陷;未對年齡、性別和人種等面部多屬性進行完全估計;未很好地利用年齡、性別和人種等面部屬性間關系.為應對以上問題以獲得更好的面部屬性估計結果,本文認為進一步工作可基于多屬性跨庫標記以擴充現有人臉屬性數據集,并構建人臉年齡、性別和人種等多屬性聯合估計模型,探索并建模利用屬性之間和屬性內在的關聯,以實現更可靠的屬性聯合估計算法.