基于流形結(jié)構(gòu)的人臉民族特征研究

王存睿 張慶靈 段曉東 王元?jiǎng)?李澤東

人臉作為重要的視覺信息在人與人交互中傳遞大量信息.很多系統(tǒng)已經(jīng)能夠準(zhǔn)確的識(shí)別人臉的年齡、表情和性別等信息[1?5],人臉的人種、民族在人類學(xué)和計(jì)算視覺具有重要的實(shí)用價(jià)值.隨著日益頻繁的國際和地區(qū)往來,在安保、公共安全、犯罪識(shí)別、海關(guān)簽證、邊境口岸都具有廣泛的應(yīng)用價(jià)值[6?8].同時(shí),相關(guān)研究會(huì)促進(jìn)各種人臉分析識(shí)別系統(tǒng)對于不同人種和民族的技術(shù)公平性,使得系統(tǒng)具有更好的適用性,避免出現(xiàn)一些系統(tǒng)只適于部分族群而產(chǎn)生的技術(shù)“歧視”[8].如何利用計(jì)算機(jī)技術(shù)深入分析和挖掘人臉的群體特征及其規(guī)律,對推進(jìn)和深化人臉識(shí)別技術(shù)和人類學(xué)研究也同樣具有重要意義.

人種是指人類學(xué)用膚色、頭發(fā)、身體結(jié)構(gòu)等差異加以區(qū)分的人群.民族是指在特定地理區(qū)域和遺傳因素形成的具有特定文化和語言的人群共同體.人臉的這些群體特征是人臉視覺認(rèn)知中先于年齡、性別和表情識(shí)別的最重要的人臉信息之一.神經(jīng)科學(xué)研究表明,人臉的人種特征是人臉最先識(shí)別的特征.如圖1所示,在80～120ms首先識(shí)別人臉的人種屬性,接下來在150ms識(shí)別人臉年齡和性別等特征進(jìn)行認(rèn)知[9].體質(zhì)人類學(xué)也對人臉的人種和民族特征進(jìn)行了大量研究,采集大量不同人種和民族數(shù)據(jù)通過人體測量學(xué)對人臉幾何特征進(jìn)行統(tǒng)計(jì)分析[10?11].體質(zhì)人類學(xué)對人臉長度、角度等進(jìn)行測量構(gòu)建相應(yīng)的指標(biāo)體系,這些指標(biāo)體系支撐了體質(zhì)人類學(xué)的發(fā)展.隨著機(jī)器視覺和人臉分析技術(shù)不斷發(fā)展,進(jìn)一步完善體質(zhì)人類學(xué)對提高民族特征指標(biāo)體系具有有效性,通過結(jié)合數(shù)據(jù)構(gòu)建科學(xué)的指標(biāo)體系對體質(zhì)人類學(xué)研究具有重要科學(xué)意義.Bledsoe[12]最早利用面部幾何特征之間的距離和比率,分析了白種人的面部特征;Kanade[13]對眼角、嘴巴和下巴等面部特征之間幾何關(guān)系,在一個(gè)自建的20個(gè)白種人數(shù)據(jù)庫上進(jìn)行了分析;Brunelli等[14]通過47個(gè)樣本的白人數(shù)據(jù)庫,研究了人臉部件幾何結(jié)構(gòu)(例如鼻子長度、嘴巴寬度和下巴形狀等)之間的匹配關(guān)系,研究表明,通過人臉的幾何特征可以有效地判別和分析人臉的民族特征.此外,人臉的族群特征由于相互融合,同一人臉可以包含多個(gè)人種或民族的特征,這也給人臉的族群特征分析帶來了一定的困難.同一人種的不同民族人臉面部特征研究與不同人種的面部特征研究不同,不同人種人臉膚色和體貌特征之間差異較大,同一人種包含多個(gè)民族,同一民族人臉差異要小于人種之間的差異[15].1991年Lindsay等發(fā)現(xiàn)對同人種面孔的記憶力比對不同人種的要好[16],這主要由于日常接觸同族人群較多,因此人們對本民族人臉認(rèn)知要快于異族人群.但目前機(jī)器視覺領(lǐng)域中,人臉民族特征相關(guān)研究主要集中于不同人種的人臉特征差異研究,而對于同人種內(nèi)的不同民族研究較少.中國屬于亞裔黃種人,人口占全世界20%,是一個(gè)統(tǒng)一的多民族國家,由于受地域、生活方式和遺傳等因素的影響形成了56個(gè)民族,并分布于我國橫跨的5個(gè)時(shí)區(qū)之中[17],如何更好地利用計(jì)算機(jī)技術(shù)科學(xué)揭示和研究中國不同民族面部具有重要的科學(xué)意義.

圖1 人臉識(shí)別過程中的屬性識(shí)別順序[6]Fig.1 The cognitive order of face recognition[6]

流形學(xué)習(xí)(Manifoldlearning)可從高維采樣的數(shù)據(jù)空間中恢復(fù)低維的流形結(jié)構(gòu),找到高維空間中的低維流形,并求出相關(guān)映射.流形分析不僅可以實(shí)現(xiàn)高維數(shù)據(jù)降維,還可以可視化分析數(shù)據(jù)本質(zhì)和內(nèi)在規(guī)律[18].2010年Seung和Lee在Science發(fā)表的“認(rèn)知的流形模式”探討了人類視覺感知機(jī)制,證實(shí)了人類視覺神經(jīng)系統(tǒng)可以捕獲這種非線性流形結(jié)構(gòu)的能力,提出視覺感知的流形假說[19].當(dāng)識(shí)別人臉圖像由于光照變化,表情、年齡、姿態(tài)和視覺方向產(chǎn)生變化,人類視覺的高維空間中會(huì)產(chǎn)生一個(gè)由光照、表情、年齡和姿態(tài)等變量控制的低維流形;但對于人臉民族特征是否在不同個(gè)體存在由族群特征控制的低維流形還有待進(jìn)行研究.2015年文獻(xiàn)[20]指出,人臉族群或民族特征的流形相關(guān)工作還未展開.而對于中國不同民族的人臉特征,本文作者[21?24]早期建立了中國多民族人臉數(shù)據(jù)庫,并利用人臉圖像特征對部分民族的人臉特征進(jìn)行了前期研究,研究表明中國的不同民族面部特征間也存在多樣性.人臉民族特征的流形結(jié)構(gòu)研究需要建立多民族數(shù)據(jù)庫.本文將通過構(gòu)建多民族人臉數(shù)據(jù)對中國人臉面部民族特征的內(nèi)在規(guī)律進(jìn)行研究,對比體質(zhì)人類學(xué)人臉面部特征的測量指標(biāo),進(jìn)而研究人臉民族特征.

1 相關(guān)工作

流形學(xué)習(xí)分析人臉數(shù)據(jù)在高維空間中的低維流形是人臉識(shí)別和分析研究的熱點(diǎn)之一.流形學(xué)習(xí)對數(shù)據(jù)進(jìn)行結(jié)構(gòu)學(xué)習(xí),產(chǎn)生可靠的嵌入投影,將數(shù)據(jù)投射到低維的子空間表示,去除冗余信息,找到更為緊湊的本質(zhì)特征表示方法.傳統(tǒng)的流形線性子空間算法有主成分分析(Principal component analysis,PCA)[25]、線性判別分析(Linear discriminant analysis,LDA)[26]、獨(dú)立成分分析(Independent component correlation algorithm,ICA)[27]、二維主成分分析(Two-dimensional principal component analysis,2DPCA)[28]、二維線性判別分析(Two-dimensional linear discriminant analysis, 2DLDA)[29]等.Tenenbaum等提出兩種流形學(xué)習(xí)算法,局部線性嵌入(Locally linear embedding, LLE)和等距映射 (Isometric feature mapping, Isomap)[30],針對LLE方法矩陣分解的不穩(wěn)定和對噪聲敏感等缺點(diǎn),拉普拉斯特征映射(Laplacian eigenmaps,LE)[31]理論于2003年被Belkin團(tuán)隊(duì)提出,該方法是在譜分析理論的基礎(chǔ)上發(fā)展起來的.由于LLE和LE等非線性降維方法沒有顯式地給出映射關(guān)系,只能得到訓(xùn)練樣本的低維嵌入,難以獲得新樣本點(diǎn)的低維投影,于是He等給出了局部保持投影(Locality preserving projection,LPP)[32?33]的概念,它是LE的線性化推廣.因?yàn)長LE和LE具有一樣的不足,He團(tuán)隊(duì)又針對LLE進(jìn)行改進(jìn),這才有了近鄰保持嵌入(Neighborhood preserving embedding,NPE)[34].詹德川等[35]在Isomap的基礎(chǔ)上引入了集成學(xué)習(xí)方法,利用坐標(biāo)相關(guān)性來度量可視化效果.何力等[36]提出了從放大因子和延伸方向兩個(gè)角度出發(fā)來討論維數(shù)約簡過程中樣本點(diǎn)改變前與新形成的對應(yīng)關(guān)系.曾憲華等[37]2007年提出了基于人腦增殖學(xué)習(xí)原理的動(dòng)態(tài)增殖流行學(xué)習(xí)算法. Chen等[38]在LPP的基礎(chǔ)上進(jìn)行二維推廣,提出一種二維局部保持投影(Two-dimensional neighborhood preserving embedding,2DLPP)算法,直接在二維矩陣上從行方向執(zhí)行維數(shù)約簡操作.2011年,張大明等[39]把NPE拓展到二維,即二維近鄰保持嵌入(Two-dimensional neighborhood preserving embedding,2DNPE)算法,解決了NPE可能遭遇奇異值的問題.

流形學(xué)習(xí)不僅可作為人臉識(shí)別的特征分析方法,還被用于人臉年齡和表情的語義分布結(jié)構(gòu)內(nèi)在規(guī)律研究[40?43],在人臉的年齡流形研究中,Guo等在2008年對人臉年齡流形結(jié)構(gòu)進(jìn)行研究[43],實(shí)驗(yàn)表明不同年齡呈現(xiàn)流形結(jié)構(gòu),如圖2(a)所示,在0～45歲人臉呈現(xiàn)均勻的流形分布,60歲以上樣本流形結(jié)構(gòu)分布較為混雜;在人臉的面部表情流形研究中,文獻(xiàn)[42]在Frey人臉表情庫[44]上執(zhí)行Isomap,中性表情、高興的正表情和不高興的負(fù)表情依次在個(gè)體流形呈現(xiàn)如圖2(b)的低維空間結(jié)構(gòu)不同個(gè)體的人臉表情圖像會(huì)形成不同的表情流形.續(xù)爽等在圖嵌入的框架下分析人臉表情子空間,將分散于高維圖像空間中的6個(gè)個(gè)體表情流形都統(tǒng)一到低維子空間內(nèi)的一個(gè)流形上,如圖2(c)所示,證實(shí)了來自不同個(gè)體的表情數(shù)據(jù)按表情的語義流形分布[45].

中國人類學(xué)學(xué)者已經(jīng)通過人體測量學(xué)對我國不同民族進(jìn)行了面部特征研究,進(jìn)而分析各民族及族群的起源、進(jìn)化和融合過程[46?47].隨著數(shù)據(jù)采集設(shè)備不斷發(fā)展,以人臉的二維和三維形狀分析為基礎(chǔ)的形態(tài)測量學(xué)或人體測量學(xué)[48]及幾何形態(tài)測量學(xué)[49]應(yīng)運(yùn)而生,一些難以量化的非線性測量指標(biāo),例如不規(guī)則形狀的角度、曲度、面積都可以通過相關(guān)采集設(shè)備進(jìn)行計(jì)算獲得相應(yīng)數(shù)據(jù).利用人臉特征點(diǎn)定位可以準(zhǔn)確獲得人臉各種幾何特征數(shù)據(jù),基于人臉圖像和三維模型的人臉幾何形態(tài)測量學(xué)成為分析人臉的重要途徑之一[50].本文構(gòu)建了中國分布不同區(qū)域的三個(gè)民族的人臉數(shù)據(jù)集,在此基礎(chǔ)上,結(jié)合人類學(xué)研究文獻(xiàn)對廣西壯族、吉林朝鮮族和新疆維吾爾族體質(zhì)的面部特征研究總結(jié)出20個(gè)常用人臉面部幾何特征,如圖3所示.通過這20個(gè)人臉幾何特征分析不同民族的低維流形空間結(jié)構(gòu).這20個(gè)人臉幾何特征包括面寬(x1)、下頜寬(x2)、形態(tài)面高(x3)、額頭高(x4)、容貌面高(x5)、鼻寬(x6)、嘴寬(x7)、兩眼外寬(x8)、眼裂寬(x9)、鼻高(x10)、兩眼內(nèi)寬(x11)、下臉高(x12)、眉周長(x13)、眼周長(x14)、鼻周長(x15)、嘴周長(x16)眉面積(x17)、眼面積(x18)、鼻面積(x19)、嘴面積(x20).

圖3 人類學(xué)采用的人臉長度特征Fig.3 Facial length attribute in anthropology

人臉特征數(shù)據(jù)集表示為{x1,x2,···,xn},每一張人臉圖像的幾何特征數(shù)據(jù)可以表示為xi∈RD,D代表每個(gè)圖像的特征數(shù)量.假設(shè){x1,x2,···,xn}實(shí)際是一種d維的流形結(jié)構(gòu)M嵌入到RD空間中,其中(d?D),那么,就有可能找到一組新的低維數(shù)據(jù){y1,y2,···,yn}來表示這組人臉幾何特征數(shù)據(jù)集,其中yi∈RD.如圖4所示,其中深色代表朝鮮族,中淺色代表維吾爾族,淺色代表壯族.本文將人臉數(shù)據(jù)庫中的3個(gè)民族按性別分為2組,圖4(a)為男性組,圖4(b)為女性組,分散于Laplacian[51]和LPP[52]流形結(jié)構(gòu).

如圖4所示,在體質(zhì)人類學(xué)指標(biāo)體系下,3個(gè)民族數(shù)據(jù)集Laplacian拉普拉斯和LPP流形空間數(shù)據(jù)分布混雜在一起,不同民族數(shù)據(jù)樣本沒有形成各自民族語義的子流形結(jié)構(gòu).主要由于體質(zhì)人類學(xué)測量指標(biāo)在主要人臉的器官及各個(gè)器官相對位置定義的幾何特征維度較低,沒有有效刻畫民族的人臉幾何特征,這些指標(biāo)特征沒有能夠描述不同民族群體人臉特征差異性.因此未形成相應(yīng)的民族語義子流形.課題組前期在人類學(xué)指標(biāo)體系下對我國幾個(gè)少數(shù)民族進(jìn)行研究,利用AFS概念語義化在人類學(xué)指標(biāo)體系下抽取人臉語義特征進(jìn)行分析研究,也發(fā)現(xiàn)體質(zhì)人類學(xué)指標(biāo)對于民族屬性識(shí)別率較低.因此本文主要探索以下兩個(gè)問題:1)中國各民族人臉特征是否存在按民族語義分布的子流形結(jié)構(gòu).2)人臉中的哪些幾何特征能夠刻畫人臉的民族屬性.

本文將利用中國3個(gè)民族人臉數(shù)據(jù)特征研究不同民族語義流形結(jié)構(gòu).

2 多民族人臉數(shù)據(jù)集

本文為研究中國各民族的人臉特征,根據(jù)區(qū)域分布選取3個(gè)民族建立數(shù)據(jù)集.如表1所示,中國百萬以上人口的民族及其地理位置,選取位于東北、西北和南部的3個(gè)民族進(jìn)行分析,主要由于位于較遠(yuǎn)不同地域的民族區(qū)分度較大,同一區(qū)域內(nèi)的民族可能會(huì)由于人口流動(dòng)造成數(shù)據(jù)區(qū)分度較小.

表1 3個(gè)民族人口數(shù)量和比例[53]Table 1 The demographical comparison of the three ethnic groups[53]

本文采集了我國分布較遠(yuǎn)的3個(gè)民族,位于廣西的壯族、新疆的維吾爾族和吉林的朝鮮族作為數(shù)據(jù)集[54].

圖4 壯族(淺色)、維吾爾族(中淺色)、朝鮮族(深色)男女流形結(jié)構(gòu)Fig.4 Male and female manifold structure of three ethnies(Zhuang,Uygur,Korean)

每個(gè)民族采集1http://zs.dlnu.edu.cn/minzu300face.rar00人,其中男、女各50人,從高校各民族本科生采集,采集對象年齡集中于18～22歲,可以降低年齡因素對民族特征的影響.

為了準(zhǔn)確采集中國多民族人臉數(shù)據(jù)庫.實(shí)驗(yàn)室采用如圖5所示的籃箱系統(tǒng)和多機(jī)位相機(jī)對人臉進(jìn)行采集.圖6為采集的3個(gè)民族人臉數(shù)據(jù)部分樣本[54].本文公開采集的具有民族標(biāo)記和人臉特征點(diǎn)的數(shù)據(jù)集為其他領(lǐng)域相關(guān)研究提供數(shù)據(jù)1http://zs.dlnu.edu.cn/minzu300face.rar.

圖5 人臉數(shù)據(jù)采集環(huán)境Fig.5 The environment and setup for facial image collection

3 人臉特征點(diǎn)定位及相似度計(jì)算

人臉幾何形態(tài)特征作為體質(zhì)人類學(xué)分析民族特征的測量體系,主要研究基礎(chǔ)是基于顱面的測量.其他指標(biāo),例如膚色紋理和顏色等易于受外界環(huán)境變化影響.此外,基于圖像的人臉民族幾何特征與人體測量學(xué)既有聯(lián)系又有區(qū)別.人類學(xué)建立于對于顱面幾何特征精確測量,而基于圖像的人臉的特征點(diǎn)之間的像素點(diǎn)距離進(jìn)行計(jì)算,不是實(shí)測的幾何特征,需要進(jìn)行歸一化,而角度和比例特征不隨人臉圖像大小變化影響,具有較好穩(wěn)定性.要測量長度、角度或者比例特征依賴于對人臉重要特征點(diǎn)的精確定位算法.

圖6 三個(gè)民族正面人臉數(shù)據(jù)集Fig.6 The samples of facial images from three ethnics

本文采用Stasm算法對人臉進(jìn)行標(biāo)注[55].主要由于Stasm標(biāo)注特征點(diǎn)相對較少,這樣生成的其他幾何特征相對規(guī)模較小.如圖7所示,共77個(gè)特征點(diǎn)以及特征點(diǎn)標(biāo)定的位置.

圖7 本文采用人臉特征點(diǎn)及定位Fig.7 Facial landmark detection in this paper

4 人臉高維幾何特征篩選

人臉包含高維的幾何特征.人臉特征維度圖示如圖8所示.一張480像素×640像素的人臉包含像素特征30.72萬個(gè),但由77個(gè)特征點(diǎn)會(huì)生成2926個(gè)長度特征、21萬余個(gè)角度特征、410萬個(gè)比例特征和組成.比例特征遠(yuǎn)遠(yuǎn)高于人臉的像素特征.

圖8 人臉特征維度示意圖Fig.8 Feature dimension compansion of common facial attributes

設(shè)人臉特征點(diǎn)集合為F=[l1,l2,···,ln]T,N=77,其中長度特征為d(li,lj)=‖li?lj‖2,角度特征為

比例指數(shù)為

其中,?li,lj,la,lb∈{l1,l2,···,ln}.

由于人臉結(jié)構(gòu)基本上為左右對稱,因此幾何特征存在大量冗余特征.本文采用LE和LLE流形算法,對未篩選冗余特征的2926維的長度數(shù)據(jù)集進(jìn)行流形分析,如圖9所示.

從圖9可以看出,直接采用人臉全部長度特征進(jìn)行流形分析,不同民族樣本流形分布混雜在一起,沒有形成各自民族的子流形結(jié)構(gòu),主要由于人臉的相對左右對稱存在大量冗余特征,因此需要從高維的特征中篩選掉冗余特征.考慮到特征之間的相關(guān)性和冗余性,本文利用基于空間搜索的最大相關(guān)最小冗余(Minimal redundancy maximal relevance, mRMR)算法[56?57]對幾何特征進(jìn)行篩選.mRMR算法使用互信息衡量特征的相關(guān)性與冗余度,并使用信息差和信息熵兩個(gè)代價(jià)函數(shù)尋找特征子集,其基本思想是基于互信息的最大統(tǒng)計(jì)依賴準(zhǔn)則來獲得較好的特征.mRMR算法中最大相關(guān)和最小冗余定義為

其中,F為人臉幾何特征,c為樣本民族屬性類別,I(fr,c)表示特征fr與類別c之間的互信息,I(fr,f0)表示特征fr與特征f0之間的相互信息.

給定兩個(gè)隨機(jī)變量x和y,設(shè)它們的概率密度分別為p(x),p(y)和p(x,y),則它們之間的互信息定義為

mRMR算法利用下式作為評價(jià)函數(shù)進(jìn)行特征子集的選擇

由于人臉幾何特征數(shù)據(jù)維度較高,傳統(tǒng)數(shù)據(jù)庫只適用于特征維度較低的數(shù)據(jù)集.本文采用mongoDB數(shù)據(jù)庫,將維度較高的角度與比例特征數(shù)據(jù)進(jìn)行存儲(chǔ).實(shí)驗(yàn)中,為了提高算法效率將219450個(gè)角度特征切分22個(gè)獨(dú)立數(shù)據(jù)集分別利用mRMR進(jìn)行篩選,每個(gè)數(shù)據(jù)集包含角度特征9975個(gè);將 4279275個(gè)比例特征分為455個(gè)獨(dú)立的數(shù)據(jù)集,每個(gè)數(shù)據(jù)集包含比例特征9405個(gè),如表2所示篩選的幾何特征.

圖9 高維人臉長度特征流形分布Fig.9 Facial face length feature manifold distribution

表2 篩選的幾何特征Table 2 The selected geometric features

長度特征在mRMR特征權(quán)重值score≥0條件下,篩選出195個(gè)距離特征;在角度數(shù)據(jù)集分割為22個(gè)獨(dú)立的子數(shù)據(jù)集,從每個(gè)子數(shù)據(jù)集特征權(quán)重score＞0.23的特征,共篩選出1535個(gè)角度特征,合并1535個(gè)角度特征形成新數(shù)據(jù)集繼續(xù)進(jìn)行篩選, mRMR權(quán)重score≥0條件下,篩選出250個(gè)角度特征;在455個(gè)的比例子數(shù)據(jù)集,本文利用mRMR分別對每個(gè)子數(shù)據(jù)集根據(jù)權(quán)重score≥0.23的標(biāo)準(zhǔn)共篩選出7124個(gè)比例特征,再利用篩選出的7124個(gè)比例特征形成新數(shù)據(jù)集繼續(xù)進(jìn)行計(jì)算,最終在權(quán)重score≥0條件下,篩選出500個(gè)比例特征.

根據(jù)圖10中的多民族人臉流行分析流程,本文從mRMR對人臉特征篩選特征中構(gòu)建3個(gè)民族人臉長度數(shù)據(jù)集、角度數(shù)據(jù)集和比例數(shù)據(jù)集,進(jìn)而利用流形分析方法對不同數(shù)據(jù)集的樣本空間結(jié)構(gòu)進(jìn)行可視化,并驗(yàn)證在該特征指標(biāo)下是否不同民族人臉在空間中存在民族語義的子流形結(jié)構(gòu),進(jìn)而用分類器驗(yàn)證篩選后特征的有效性.

5 不同幾何特征下的人臉流形分析

本節(jié)對長度、角度及比例特征類別下的5個(gè)不同特征集合的數(shù)據(jù)集進(jìn)行流形分析,觀察和研究不同特征指標(biāo)體系下的人臉民族的樣本空間流形結(jié)構(gòu).

圖10 多民族人臉流形分析流程Fig.10 The schema of multi-ethnic facialmanifold analysis

5.1 多民族人臉長度特征流形分析

人臉幾何長度一直是體質(zhì)人類學(xué)分析民族和族群的重要指標(biāo),77個(gè)特征點(diǎn)包含2926個(gè)長度特征.圖4的實(shí)驗(yàn)數(shù)據(jù)表明,在體質(zhì)人類學(xué)的人臉幾何測量指標(biāo)中,不同族群樣本集中在低維空間子流形結(jié)構(gòu).由于其中含有冗余的長度特征,因此本文利用mRMR篩選出195個(gè)特征長度,構(gòu)建包含3個(gè)民族人臉數(shù)據(jù)樣本的數(shù)據(jù)集.

從2926個(gè)特征中篩選出來的195個(gè)幾何長度特征,按權(quán)重進(jìn)行排序.本文將每個(gè)長度的特征權(quán)重根據(jù)Score分為5部分:[0.15,0.452),[0.10,0.15), [0.05,0.10),[0.01,0.05),(0,0.05),將前4個(gè)不同權(quán)重范圍的長度特征區(qū)域在表3進(jìn)行顯示,并與人類學(xué)的指標(biāo)進(jìn)行對比,其中字體加粗的鼻寬、鼻高、唇厚、口裂寬存在于篩選出的195個(gè)長度特征之中.

為了更為直觀分析影響這些通過mRMR篩選的人臉幾何長度的語義特征,本文將4個(gè)權(quán)重范圍特征在人臉進(jìn)行可視化.一類權(quán)重用19個(gè)距離特征點(diǎn)表示,二類權(quán)重用37個(gè)距離特征點(diǎn)表示,三類權(quán)重用63個(gè)距離特征點(diǎn)表示,四類權(quán)重用65個(gè)距離特征點(diǎn)表示,如圖11所示.通過4個(gè)不同權(quán)重區(qū)間的長度可以觀察到,如圖11(a)和圖11(b)所示,眉毛、眼睛和鼻子組成的T形區(qū)域的長度特征與人臉的民族特征語義相關(guān)性較強(qiáng).特征描述從T形區(qū)域延伸到嘴部區(qū)域.主要表現(xiàn)在上唇和下唇的長寬相關(guān)性較強(qiáng),這與人類學(xué)常用指標(biāo)一致.

表3 mRMR篩選的4個(gè)權(quán)重范圍的長度特征Table 3 The selected distance-based features by mRMR

圖11 不同權(quán)重的人臉長度幾何特征Fig.11 The demonstration of 4 types of distance-based features

從圖11和表3可以看出,1)篩選出的權(quán)重較高,人臉長度特征與人體測量學(xué)對民族研究指標(biāo)略有不同.其中人體測量學(xué)只有4個(gè)指標(biāo)與mRMR算法得到的長度指標(biāo)相同,其余指標(biāo)沒有包含在195個(gè)篩選特征集合中;2)與民族相關(guān)的人臉特征主要集中于眉眼區(qū)域和鼻翼區(qū)域,以及眉、眼睛和鼻部三者之間的距離長度;3)臉型與民族特征相關(guān)性較差,除臉型周圍的特征點(diǎn)集合中除臉部標(biāo)記耳部特征點(diǎn)被作為與眉部被選取外,表明臉型的顴骨周圍特征點(diǎn)及長度都沒有被選取;4)鼻頭部的精細(xì)長度與民族特征相關(guān)性較強(qiáng),在權(quán)重3的范圍內(nèi),鼻部區(qū)域的各種長度特征被更為精細(xì)的刻畫,而這鼻頭部的各種幾何特征度量一致被研究忽視;5)除傳統(tǒng)人類學(xué)的鼻寬和額高,在權(quán)重4的范圍內(nèi),嘴部區(qū)域與民族特征相關(guān)性較強(qiáng),主要表現(xiàn)在上唇和下唇的長寬相關(guān)性較強(qiáng),這與人類學(xué)常用指標(biāo)一致.

通過mRMR從2926個(gè)特征篩選195個(gè)長度特征,本文對篩選后的數(shù)據(jù)集進(jìn)行流形學(xué)習(xí).如圖12所示,采用LE拉普拉斯和LLE對數(shù)據(jù)進(jìn)行流形分布可視化.其中深色代表朝鮮族,中淺色代表維吾爾族,淺色代表壯族,都能在空間內(nèi)形成與民族語義相關(guān)的子流形結(jié)構(gòu)分布.

按民族語義分布的子流形結(jié)構(gòu)表明,3個(gè)民族人臉數(shù)據(jù)集樣本在長度篩選后的特征指標(biāo)中能夠形成各自相對獨(dú)立的子流形分布結(jié)構(gòu).也驗(yàn)證了篩選后長度特征的有效性,這些特征長度可以一定程度刻畫不同民族的差異性.

5.2 多民族人臉角度特征流形分析

人臉角度特征點(diǎn)也是人臉幾何特征之一.例如內(nèi)外眼角角度表示眼睛的形狀,耳際點(diǎn)與下顎角度可以一定程度表示人臉長度比例等.人臉的角度特征不僅可以表示人臉單個(gè)部件器官內(nèi)部的角度,還可以表達(dá)人臉不同器官部件之間關(guān)系.在人臉77個(gè)特征點(diǎn)共包含219450個(gè)角度特征.采用mRMR篩選多民族人臉數(shù)據(jù)集的角度間的相關(guān)性和冗余性,并構(gòu)建特征數(shù)據(jù)集進(jìn)行流形分析.本文利用篩選后的角度特征通過角點(diǎn)和特征區(qū)域?qū)?個(gè)權(quán)重角度的角點(diǎn)及其相關(guān)點(diǎn)集進(jìn)行描述,如表4所示,并對其中特征區(qū)域進(jìn)行說明.

為進(jìn)一步刻畫不同權(quán)重角度特征,找出能區(qū)分人臉民族屬性的角度特征,本文對不同權(quán)重角度特征進(jìn)行可視化,如圖13所示.從這些角度特征中選取出250個(gè)權(quán)重較高的角度特征,每個(gè)角度特征可用上述距離特征(邊)之間的夾角表示,并根據(jù)權(quán)重大小分為4個(gè)不同權(quán)重范圍的角度特征.三角著色的“熱區(qū)”是該區(qū)域角度都是權(quán)重較高的角度特征.

圖13和表4表明,權(quán)重較高與民族特征相關(guān)的人臉角度特征主要是眉、眼、鼻三者之間的布局關(guān)系,人臉局部角度特征集中于眼睛開裂角度和鼻翼角度.分析結(jié)論與人臉的長度特征計(jì)算出的民族特征顯著區(qū)域基本一致.

圖12 篩選長度特征數(shù)據(jù)集的流形結(jié)構(gòu)Fig.12 The illustration of ethnic manifold structure based on selected features

圖13 不同權(quán)重的人臉角度幾何特征Fig.13 The demonstration of 4 types of angular features

表4 mRMR篩選的4個(gè)權(quán)重范圍的角度特征Table 4 The selected angle features by mRMR

本文采用傳統(tǒng)的PCA和LDA對角度進(jìn)行流形分析.PCA是1986年Jolliあe提出的線性降維技術(shù).線性判別式分析LDA,也叫做Fisher線性判別. FLD由Belhumeur于1996年引入人工智能領(lǐng)域,其基本思想是將高維的樣本投影到最佳鑒別矢量空間,從而可以達(dá)到抽取分類信息、壓縮特征空間維數(shù)的效果.

采用PCA和LDA對多民族人臉角度分析結(jié)果如圖14所示,角度的3個(gè)主分量張成到3維空間進(jìn)行顯示.3個(gè)民族的人臉數(shù)據(jù)在篩選后的民族語義描述下分布清晰,各個(gè)民族人臉角度主分量形成了按民族語義的流形結(jié)構(gòu).其中也可以發(fā)現(xiàn)不同民族之間也存在模糊性的樣本,這也表明人臉的民族屬性具有一定的模糊隸屬關(guān)系.

5.3 多民族人臉幾何指數(shù)特征(比例特征)分析

人類學(xué)采用指數(shù)特征對人臉進(jìn)行描述.人體測量中的指數(shù)是兩種測量絕對值之間的百分比關(guān)系.由于指數(shù)反映的是人體形態(tài)上的某種比例關(guān)系,與絕對值特征相比,能夠較好排除因個(gè)體差異帶來的比較誤差,因此,在人類學(xué)群體間的比較研究中具有更為重要的意義.不同民族的各種人臉指數(shù)特征同各種絕對測量一樣,也存在著相當(dāng)大的變異范圍.人類學(xué)家根據(jù)指數(shù)的變異范圍,將指數(shù)區(qū)分為若干等級(jí)進(jìn)行研究比較[58?59].

圖14 角度主分量的數(shù)據(jù)流形分布Fig.14 The principal component distribution of angular features

體質(zhì)人類學(xué)關(guān)于人臉研究定義了18個(gè)比例指數(shù)特征,其中15個(gè)在正面人臉,其他3個(gè)在顱側(cè)面.正面15個(gè)指數(shù)特征如表5所示.

表5 體質(zhì)人類學(xué)定義的15個(gè)正臉指數(shù)Table 5 The 15 Physical anthropological de fi nition of 15 frontal face index

本文首先利用這15個(gè)體質(zhì)人類學(xué)定義的指數(shù)比例特征構(gòu)建數(shù)據(jù)集,驗(yàn)證這些指標(biāo)能否表達(dá)不同民族的人臉差異,因此通過Laplacian和Isomap對數(shù)據(jù)進(jìn)行流形分析,流形分布如圖15所示.

圖15表明,體質(zhì)人類學(xué)比例指數(shù)的流形分布按各民族語義形成了一定程度子流形結(jié)構(gòu),例如女性的Laplacian流形分布中的深色朝鮮族和淺色的壯族形成了較為完整的流形結(jié)構(gòu),而男性的維吾爾和壯族較難區(qū)分.在Isomap流形結(jié)構(gòu)中,男性和女性的流形分布形成了類簇,但是深色朝鮮族與中淺色維吾爾族數(shù)據(jù)混雜在一起,沒有形成明顯邊界的類簇.需要指出,人體測量學(xué)定義了15個(gè)正臉指數(shù)特征,而一張包含77個(gè)特征點(diǎn)的人臉共包括4279275個(gè)指數(shù)特征.

本文采用mRMR對人臉比例特征進(jìn)行權(quán)重分析,從427萬多個(gè)比例特征中找出能夠區(qū)分民族屬性的比例特征.因?yàn)閿?shù)據(jù)維度較高,將數(shù)據(jù)高維指數(shù)特征按維度分為455個(gè)獨(dú)立的子數(shù)據(jù)集,利用mRMR對每個(gè)子數(shù)據(jù)集根據(jù)score≥0.23的標(biāo)準(zhǔn)共篩選出7124個(gè)比例特征,再利用篩選出的7124個(gè)比例特征形成新數(shù)據(jù)集合并進(jìn)行計(jì)算,最終在權(quán)重score≥0條件下,篩選出500個(gè)比例特征.

如圖16所示,根據(jù)權(quán)重大小將部分權(quán)重較高的比例特征分為4個(gè)不同權(quán)重范圍的比例特征刻畫在人臉上.每個(gè)圖的同一顏色代表一對長度組成的比例指數(shù)特征.

從圖16可以看出,眼裂寬度、眉眼距離、鼻翼長度、鼻翼與眼內(nèi)角距離以及鼻翼與眉毛距離等在每類權(quán)重特征中都出現(xiàn),額寬、眼睛到嘴部距離出現(xiàn)頻率也較高,說明這些特征對區(qū)分民族有重要作用.為提供詳細(xì)的人臉指數(shù)特征說明,本文給出了權(quán)重較高的15個(gè)指數(shù)特征,如表6所示.

本文利用篩選的500個(gè)指數(shù)特征構(gòu)建數(shù)據(jù)集進(jìn)行流形分析.采用PCA、LDA、LE和LPP方法比例進(jìn)行維數(shù)約減流形分析,如圖17所示.可視的三維流形空間中3個(gè)民族的人臉比例數(shù)據(jù)分布清晰,各個(gè)民族的比例特征同樣可以形成各自的聚類簇.采用拉普拉斯和LPP方法對數(shù)據(jù)進(jìn)行流形分布可視化后,呈現(xiàn)了與民族語義相關(guān)的子流形結(jié)構(gòu)分布,其中深色代表朝鮮族,中淺色代表維吾爾族,淺色代表壯族.

5.4 多民族人臉幾何混合特征流形分析

人臉包含長度、角度、指數(shù)(比例)特征,這些特征都可以形成各自對民族幾何特征語義描述.為探究三類特征中哪一類特征更重要,本文將三類特征混合形成數(shù)據(jù)集進(jìn)行分析.

圖15 壯族(淺色)、維吾爾族(中淺色)、朝鮮族(深色)男女流形結(jié)構(gòu)Fig.15 The male and female manifold structure of the Zhuang(light),Uygur(middle light)and Korean(dark)

圖16 不同權(quán)重的人臉比例特征Fig.16 The demonstration of types of ratio-features

將250個(gè)長度特征、500個(gè)角度特征和500個(gè)人臉比例特征進(jìn)行混合,利用mRMR篩選了51個(gè)score＞0的特征.其中長度、角度和比例特征的占比分別為0%,14.6%,85.4%.總結(jié)了區(qū)分民族特征的重要指標(biāo)51個(gè),如表7所示.給出了類型(角度或指數(shù)比例)、權(quán)重值及其詳細(xì)的人臉特征點(diǎn)計(jì)算公式.

圖17 比例特征在低維空間分布圖Fig.17 The distribution of ratio-features in low dimensional space

表6 不同權(quán)重的比例特征Table 6 The index features with diあerent weight

從表7可以看出,1)人臉長度特征對于民族特征影響較小,這與我們的認(rèn)知相符.例如,各民族未成年的人臉與成年人臉雖然長度特征相差較大,但人可以很快識(shí)別其族群,可見人臉的長度特征對于人臉的民族特征影響較小;2)指數(shù)(比例)特征占比遠(yuǎn)大于角度特征,數(shù)量比為5.8倍.本文對表7中的角度和比例特征中的頂點(diǎn)和邊按頻度進(jìn)行統(tǒng)計(jì),并標(biāo)記其在人臉的區(qū)域位置,得到如表8所示邊和點(diǎn)的支持度.

從表8可以看出,最為頻繁出現(xiàn)的是眼裂和鼻翼相關(guān)信息,如圖18所示.其中鼻部和眼部特征點(diǎn)占比64%,加上眉部占比超過85%.說明在中國三個(gè)民族數(shù)據(jù)樣本中,區(qū)分度較大區(qū)位為鼻部和眼部信息,這些部位反映了更多的民族特征信息.

由于混合特征中比例特征占比較高,本文得出如圖19所示的混合特征下的流形結(jié)構(gòu),可見其分布與指數(shù)特征數(shù)據(jù)集基本一致,但更為清晰.這個(gè)研究表明人臉比例屬性是描述人臉民族特征的重要指標(biāo),長度和角度對于人臉民族的特征語義表述權(quán)重較小,但融入一些比例無法描述的角度特征可以讓人臉民族刻畫的更為準(zhǔn)確.

表7 長度、角度篩選出的51個(gè)人臉幾何特征Table 7 The selected 51 geometric features from distance-based and angular attributes

5.5 實(shí)驗(yàn)分析

采用分類器對篩選的數(shù)據(jù)集進(jìn)行分析,主要利用不同分類器通過對人臉的族群判別的各種分類指標(biāo)來驗(yàn)證篩選出的不同人臉幾何特征的有效性.將采集到的維吾爾族、壯族和朝鮮族的人臉圖像,經(jīng)過圖像預(yù)處理、特征點(diǎn)定位、幾何特征計(jì)算、特征選擇等步驟,最終建立傳統(tǒng)20個(gè)長度特征(A數(shù)據(jù)集),篩選的195個(gè)幾何長度特征(B數(shù)據(jù)集)、250個(gè)幾何角度特征(C數(shù)據(jù)集)、250個(gè)比例指數(shù)特征(D數(shù)據(jù)集)和有三種特征篩選出的51個(gè)混合特征數(shù)據(jù)集(E數(shù)據(jù)集)共5個(gè)數(shù)據(jù)集,將每個(gè)測試結(jié)果按性別指標(biāo)較好的前兩項(xiàng)粗體標(biāo)注.其中交叉驗(yàn)證為10折,取各指標(biāo)在交叉驗(yàn)證中的平均值.未驗(yàn)證性別對民族特征的有效性,每個(gè)數(shù)據(jù)集按性別拆分為兩個(gè)數(shù)據(jù)集,采用不同的模式分類方法對其進(jìn)行分類與預(yù)測,進(jìn)而驗(yàn)證特征的有效性.類別為3個(gè)民族標(biāo)記,維吾爾族、壯族和朝鮮族.

表8 混合指標(biāo)中的特征邊與點(diǎn)的頻繁項(xiàng)集Table 8 The frequent itemsets of the characteristic edge and point in the mixed attributes

圖18 指標(biāo)中特征點(diǎn)在面部分布比例圖Fig.18 The distribution of landmarks from diあerent facial area

實(shí)驗(yàn)硬件環(huán)境:Intel(R)Core(TM)i7-4770 CPU,8GB內(nèi)存;軟件環(huán)境:操作系統(tǒng)Win7;實(shí)驗(yàn)工具:Weka version 3.6[60].

圖19 比例特征在低維空間分布圖Fig.19 The distribution of ratio-features in low dimensional space

為便于比較各模型的性能,定義TP Rate、FP Rate、查準(zhǔn)率 (Precision)、查全率 (Recall)、FMeasure、AUC(Area under curve)等[61]指標(biāo)匯總信息.對于多分類問題,計(jì)算指標(biāo)值時(shí),假設(shè)Y={y1,y2,···,yn}是數(shù)據(jù)集的類標(biāo)號(hào)集合,首先需將多分類問題分解成k個(gè)二分類問題,為每一個(gè)類y1∈y創(chuàng)建二類分類器,其中所有屬于yi的樣本都被看作正類,而其他樣本被看作負(fù)類.TP代表被分類模型正確預(yù)測的正樣本數(shù),FN代表分類模型錯(cuò)誤預(yù)測為負(fù)類的正樣本數(shù),FP代表被分類模型錯(cuò)誤預(yù)測為正類的負(fù)樣本數(shù),TN代表被分類模型正確預(yù)測的負(fù)樣本數(shù).分類器的分類效果越好,它所對應(yīng)的TP值就越高,FP越低.

式(7)表示正確分類正樣本的比例.

式(8)代表錯(cuò)誤分類負(fù)樣本的比例.

式(9)代表被判定為正確分類的正類樣本數(shù)占所有被正類的樣本數(shù)的比例.

式(10)代表被正確分類的正類樣本數(shù)占所有被判定為正類的樣本數(shù)的比例.

AUC被定義為ROC曲線下的面積,也可以認(rèn)為是ROC曲線下面積占單位面積的比例,AUC的取值范圍在0.5～1之間.AUC更大的分類器效果更好.F-Measure又稱為F-Score,是一種統(tǒng)計(jì)量,常用于評價(jià)模型的好壞.

首先采用J48分類算法進(jìn)行實(shí)驗(yàn)[62],設(shè)置剪枝的閾值0.25,實(shí)驗(yàn)結(jié)果如表9所示,混合特征數(shù)據(jù)集分類器指標(biāo)高于其他數(shù)據(jù)集;其次不同民族男性和女性的角度特征數(shù)據(jù)集分類效果高于比例特征數(shù)據(jù),長度特征數(shù)據(jù)集指標(biāo)較差.

表9 J48交叉驗(yàn)證學(xué)習(xí)后結(jié)果指標(biāo)Table 9 J48 cross validation results afterfeature learning

決策樹J48提供的規(guī)則集可以更好理解人臉的民族特征語義描述.本文從不同數(shù)據(jù)集J48決策樹中抽取其識(shí)別率最高的決策樹,如圖20所示.

從不同類型特征的決策樹可以得到:長度數(shù)據(jù)集決策樹為4層9條規(guī)則,角度數(shù)據(jù)集為3層5條規(guī)則,指數(shù)比例數(shù)據(jù)集有3層4條規(guī)則.可見角度數(shù)據(jù)集和比例數(shù)據(jù)集的決策樹信息表達(dá)較優(yōu),層數(shù)均為3.從規(guī)則條數(shù)看,比例數(shù)據(jù)規(guī)則條數(shù)最為精簡,而且比例指數(shù)數(shù)據(jù)集僅依靠4條分類規(guī)則就可以得到高于其他特征數(shù)據(jù)集的交叉驗(yàn)證的平均準(zhǔn)確率.可見人臉的比例特征數(shù)據(jù)可以更好地對人臉特征進(jìn)行描述.

本文利用Naive Bayes進(jìn)行分類實(shí)驗(yàn)[63],如表10所示,其中Naive Bayes采用K2搜索算法,估計(jì)方法采用Simple estimator,男女混合特征數(shù)據(jù)集指標(biāo)結(jié)果最好,男性比例特征數(shù)據(jù)集分類指標(biāo)相對較好,女性角度數(shù)據(jù)集分類指標(biāo)優(yōu)于比例特征數(shù)據(jù)集結(jié)果.

表11為Naive Bayes算法分類實(shí)驗(yàn)[64]結(jié)果,混合指標(biāo)數(shù)據(jù)集各個(gè)指標(biāo)在不同性別均最好,男性比例特征數(shù)據(jù)集分類指標(biāo)與角度數(shù)據(jù)集分類指標(biāo)基本相當(dāng),女性數(shù)據(jù)集比例特征數(shù)據(jù)集分類指標(biāo)高于角度數(shù)據(jù)集.

表12為RBFNetwork分類實(shí)驗(yàn)結(jié)果[65],其中隨機(jī)種子數(shù)為1、最低標(biāo)準(zhǔn)偏差為0.1,混合指標(biāo)數(shù)據(jù)集各個(gè)指標(biāo)在不同性別均最好,男性比例特征數(shù)據(jù)集分類指標(biāo)相對較好,女性角度數(shù)據(jù)集在5項(xiàng)指標(biāo)除AUC外其他指標(biāo)好于比例特征數(shù)據(jù)集.

表10 Naive Bayes實(shí)驗(yàn)結(jié)果Table 10 Naive Bayes experimental results

圖20 不同指標(biāo)下的民族判別決策樹Fig.20 Ethnic classi fi cation decision trees with diあerent indicators

表13和表14是SVM的兩種不同實(shí)現(xiàn)算法分類結(jié)果.表13采用Weka的LibSVM類庫分類實(shí)驗(yàn)[66],其中分類類型C-SVC,核函數(shù)類型e?r|u?v|2,核函數(shù)中的degree=3,核函數(shù)中的coef0=0,cachesize=40MB.不同男性的混合特征數(shù)據(jù)集與比例數(shù)據(jù)集分類指標(biāo)基本相同,女性混合特征要優(yōu)于比例特征數(shù)據(jù)集.

表11 Bayes network實(shí)驗(yàn)結(jié)果Table 11 Bayes network experimental results

表12 RBF network實(shí)驗(yàn)結(jié)果Table 12 RBF network experimental results

表13 SVM中LibSVM實(shí)驗(yàn)結(jié)果Table 13 SVM in LibSVM experimental results

同時(shí)本文還采用了Weka中的獨(dú)立的SMO(Sequential minimal optimization)[67]算法進(jìn)行分類實(shí)驗(yàn),SMO算法是一種用于解決SVM訓(xùn)練過程中所產(chǎn)生優(yōu)化問題的算法.在SMO算法中,核函數(shù)為多項(xiàng)式函數(shù).

從表14可以看出男性的混合特征數(shù)據(jù)集和比例特征數(shù)據(jù)集分類指標(biāo)相同,女性混合特征數(shù)據(jù)集略微優(yōu)于比例特征數(shù)據(jù)集.

為觀察不同數(shù)據(jù)集對特征數(shù)量的影響,本文將特征屬性按mRMR計(jì)算的權(quán)重score進(jìn)行排序,依次遞增特征數(shù)量,分析不同算法與特征個(gè)數(shù)的變化曲線,如圖21所示.

表14 SVM中SMO實(shí)驗(yàn)結(jié)果Table 14 SVM in SMO experimental results

表15 不同分類算法的平均準(zhǔn)確率(%)及方差Table 15 The average accuracy(%)and variance of diあerent classi fi cation algorithms

圖21 不同類型特征增量下的準(zhǔn)確率變化曲線Fig.21 The recongnition rates comparison based on diあerent types of features

從圖21可以看出,比例特征數(shù)據(jù)集的增量特征準(zhǔn)確率變化曲線較為平緩.各個(gè)分類算法比例特征數(shù)據(jù)集抖動(dòng)相對長度和角度變化較小.這也說明,人臉幾何特征中的比例特征能夠更好幫助區(qū)分人臉的族群特征.

本文對比不同算法在不同數(shù)據(jù)集的交叉驗(yàn)證的平均準(zhǔn)確率及方差,如表15所示.混合特征數(shù)據(jù)其平均準(zhǔn)確率高于其他數(shù)據(jù)集,方差也在較小范圍波動(dòng).表明混合特征可以更加準(zhǔn)確有效地作為人臉民族特征分析的指標(biāo).

6 結(jié)論

本文利用流形學(xué)習(xí)分析研究中國三個(gè)民族人臉幾何特征,分析分布規(guī)律和結(jié)構(gòu).首先從體質(zhì)人類學(xué)采用的測量指標(biāo)入手,驗(yàn)證了傳統(tǒng)經(jīng)驗(yàn)構(gòu)建的低維幾何描述難以形成按不同民族語義特征描述的子流形結(jié)構(gòu).為了進(jìn)一步研究人臉幾何特征是否存在按民族語義分布的子流形結(jié)構(gòu),本文擴(kuò)充了人臉幾何特征維度,并利用mRMR算法對人臉中的冗余幾何特征進(jìn)行篩選,在降維后的長度、角度和比例特征中分析不同民族人臉特征的流形結(jié)構(gòu),實(shí)驗(yàn)結(jié)果表明,民族人臉數(shù)據(jù)在子空間內(nèi)可按民族語義形成流形結(jié)構(gòu),且采用該指標(biāo)體系可以有效地對不同民族人臉進(jìn)行分類和識(shí)別.

本文的主要工作包括:1)通過實(shí)驗(yàn)驗(yàn)證了人臉特征具有按民族語義分布的流形結(jié)構(gòu);2)提出了一種篩選和分析不同民族人臉幾何特征差異的算法框架;3)提出了一套豐富和補(bǔ)充體質(zhì)人類學(xué)指標(biāo)的人臉民族幾何特征測量指標(biāo)集合.

本文研究得到以下人臉民族特征的數(shù)據(jù)結(jié)論: 1)人臉的比例特征相比于長度和角度是較為重要的人臉民族特征描述指標(biāo);2)嘴部和臉型對于人臉民族特征影響較小;3)眼部、鼻部和眉部區(qū)域?qū)τ谌四樏褡逄卣饔绊戄^大,占85%權(quán)重;4)鼻翼和眉眼距是最為重要的人臉民族語義指標(biāo).

此外,本文提出的多民族人臉特征分析和篩選及流形分析方法可以對其他不同民族人臉特征研究進(jìn)行推廣.人臉民族特征分析和體質(zhì)人類學(xué)者可以根據(jù)這種方法來深入分析不同民族之間的差異特征,并可以擴(kuò)充數(shù)據(jù)集,研究不同民族樣本數(shù)據(jù)集下人臉幾何特征的流形結(jié)構(gòu)分布.

1 Calder A J,Rhodes G,Johnson M,Haxby J.The Oxford Handbook of Face Perception.Oxford:Oxford University Press,2011.

2 Bruce V,Young A.Understanding face recognition.British Journal of Psychology,1986,77(3):305?327

3 Su Lian-Cheng,Zhu Feng.Design of a novel omnidirectional stereo vision system.Acta Automatica Sinica,2006,32(1): 67?72 (蘇連成,朱楓.一種新的全向立體視覺系統(tǒng)的設(shè)計(jì).自動(dòng)化學(xué)報(bào), 2006,32(1):67?72)

4 O′Toole A J,Roark D A,Abdi H.Recognizing moving faces: a psychological and neural synthesis.Trends in Cognitive Sciences,2002,6(6):261?266

5 Eberhardt J L,Dasgupta N,Banaszynski T L.Believing is seeing:the eあects of racial labels and implicit beliefs on face perception.Personality and Social Psychology Bulletin, 2003,29(3):360?370

6 Kumar N,Berg A,Belhumeur P N,Nayar S.Describable visual attributes for face veri fi cation and image search.IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011,33(10):1962?1977

7 Demirkus M,Garg K,Guler S.Automated person categorization for video surveillance using soft biometrics.In:Proceedings of the 2010 SPIE 7667,biometric technology for human identi fi cation VII.Orlando,Florida,USA:SPIE,2010. Article No.76670P

8 Senior A,Pankanti S,Hampapur A,Brown L,Tian Y L, Ekin A,Connell J,Shu C F,Lu M.Enabling video privacy through computer vision.IEEE Security and Privacy,2005, 3(3):50?57

9 Ito T A,Bartholow B D.The neural correlates of race.Trends in Cognitive Sciences,2009,13(12):524?531

10 Zhang Ji-Zong.The Research of Chinese Physical Anthropology.Beijing:Science Press,2010.

(張繼宗.中國體質(zhì)人類學(xué)研究.北京:科學(xué)出版社,2010.)

11 Xi Huan-Jiu.Physical Anthropology.Beijing:Intellectual Property Publish House,2012.

(席煥久.體質(zhì)人類學(xué).北京:知識(shí)產(chǎn)權(quán)出版社,2012.)

12 Bledsoe W W.Man-Machine Facial Recognition.Panoramic Research Inc.Palo Alto,CA,Report PRI:22,1966.

13 Kanade T.Picture Processing System by Computer Complex and Recognition of Human Faces[Ph.D.dissertation]. Kyoto University,Japan,1973

14 Brunelli R,Poggio T.Face recognition:features versus templates.IEEE Transactions on Pattern Analysis and Machine Intelligence,1993,15(10):1042?1052

15 Malpass R S,Kravitz J.Recognition for faces of own and other race.Journal of Personality and Social Psychology, 1969,13(4):330?334

16 Lindsay D S,Jack P C,Christian M A.Other-race face perception.Journal of Applied Psychology,1991,76(4):587?589

17 Li Z,Duan X,Zhang Q,Wang C R,Wang Y G,Liu W Q. Multi-ethnic facial features extraction based on axiomatic fuzzy set theory.Neurocomputing,2017,242:161?177

18 Hadid A,Pietik¨ainen M.Demographic classi fi cation from face videos using manifold learning.Neurocomputing,2013, 100:197?205

19 Seung H S,Lee D D.The manifold ways of perception.Science,2000,290(5500):2268?2269

20 Fu S Y,He H B,Hou Z G.Learning race from face:a survey.IEEE Transactions on Pattern Analysis and Machine Intelligence,2014,36(12):2483?2509

21 Duan X D,Wang C R,Liu X D,Li Z J,Wu J,Zhang H L. Ethnic features extraction and recognition of human faces. In:Proceedings of the 2nd International Conference on Advanced Computer Control(ICACC).Shenyang,China: IEEE,2010.125?130

22 Duan Xiao-Dong,Wang Cun-Rui,Liu Xiang-Dong,Liu Hui. Minorities features extraction and recognition of human faces.Computer Science,2010,37(8):276?279,301

(段曉東,王存睿,劉向東,劉慧.人臉的民族特征抽取及其識(shí)別.計(jì)算機(jī)科學(xué),2010,37(8):276?279,301)

23 Li Z D,Duan X D,Zhang Q L.A novel survey based on multiethnic facial semantic web.TELKOMNIKA,2013,11(9): 5076?5083

24 Duan Xiao-Dong,Li Ze-Dong,Wang Cun-Rui,Zhang Qing-Ling,Liu Xiao-Dong.Multi-ethnic face semantic description and mining method based on AFS.Chinese Journal of Computer,2016,39(7):1435?1449

(段曉東,李澤東,王存睿,張慶靈,劉曉東.基于AFS的多民族人臉語義描述與挖掘方法研究.計(jì)算機(jī)學(xué)報(bào),2016,39(7):1435?1449)

25 Turk M,Pentland A.Eigenfaces for recognition.Journal of Cognitive Neuroscience,1991,3(1):71?86

26 Belhumeur P N,Hespanha J P,Kriegman D J.Eigenfaces vs. fi sherfaces:recognition using class speci fi c linear projection.IEEE Transactions on Pattern Analysis and Machine Intelligence,1997,19(7):711?720

27 Bartlett M S,Movellan J R,Sejnowski T J.Face recognition by independent component analysis.IEEE Transactions on Neural Networks,2002,13(6):1450?1464

28 Yang J,Zhang D,Frangi A F,Yang J Y.Two-dimensional PCA:a new approach to appearance-based face representation and recognition.IEEE Transactions on Pattern Analysis and Machine Intelligence,2004,26(1):131?137

29 Li M,Yuan B Z.2D-LDA:a statistical linear discriminant analysis for image matrix.Pattern Recognition Letters, 2005,26(5):527?532

30 Tenenbaum J B,de Silva V,Langford J C.A global geometric framework for nonlinear dimensionality reduction.Science,2000,290(5500):2319?2323

31 Belkin M,Niyogi P.Laplacian eigenmaps for dimensionality reduction and data representation.Neural Computation, 2003,15(6):1373?1396

32 He X F,Niyogi X.Locality preserving projections.Neural Information Processing Systems,2004,16(4):153?160

33 He X F,Yan S C,Hu Y X,Niyogi P,Zhang H J.Face recognition using Laplacianfaces.IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(3):328?340

34 He X F,Cai D,Yan S C,Zhang H J.Neighborhood preserving embedding.In:Proceedings of the 10th IEEE International Conference on Computer Vision.Beijing,China: IEEE,2005,2:1208?1213

35 Zhan De-Chuan,Zhou Zhi-Hua.Ensemble-based manifold learning for visualization.Journal of Computer Research and Development,2005,42(9):1533?1537

(詹德川,周志華.基于集成的流形學(xué)習(xí)可視化.計(jì)算機(jī)研究與發(fā)展, 2005,42(9):1533?1537)

36 He Li,Zhang Jun-Ping,Zhou Zhi-Hua.Investigating manifold learning algorithms based on magni fi cation factors and principal spread directions.Chinese Journal of Computers, 2005,28(12):2000?2009

(何力,張軍平,周志華.基于放大因子和延伸方向研究流形學(xué)習(xí)算法.計(jì)算機(jī)學(xué)報(bào),2005,28(12):2000?2009)

37 Zeng Xian-Hua,Luo Si-Wei.A dynamically incremental manifold learning algorithm.Journal of Computer Research and Development,2007,44(9):1462?1468

(曾憲華,羅四維.動(dòng)態(tài)增殖流形學(xué)習(xí)算法.計(jì)算機(jī)研究與發(fā)展, 2007,44(9):1462?1468)

38 Chen S B,Zhao H F,Kong M,Luo B.2D-LPP:a twodimensional extension of locality preserving projections.Neurocomputing,2007,70(4?6):912?921

39 Zhang Da-Ming,Fu Mao-Sheng,Luo Bin.Image recognition with two-dimensional neighbourhood preserving embedding.Pattern Recognition and Arti fi cial Intelligence,2011,24(6): 810?815

(張大明,符茂勝,羅斌.基于二維近鄰保持嵌入的圖像識(shí)別.模式識(shí)別與人工智能,2011,24(6):810?815)

40 Li Z D,Zhang Q L,Duan X D,Wang C R,Shi Y.New semantic descriptor construction for facial expression recognition based on axiomatic fuzzy set.Multimedia Tools and Applications,2017,1:1?31

41 Roweis S T,Saul L K.Nonlinear dimensionality reduction by locally linear embedding.Science,2000,290(5500):2323?2326

42 Li Z D,Zhang Q L,Duan X D,Wei W.Semantic knowledge based on fuzzy system for describing facial expression.In: Proceedings of the 2017 Chinese Control Conference.2017: 9865?9870

43 Guo G D,Fu Y,Dyer C R,Huang T S.Image-based human age estimation by manifold learning and locally adjusted robust regression.IEEE Transactions on Image Processing, 2008,17(7):1178?1188

44 Yan S C,Xu D,Zhang B Y,Zhang H J.Graph embedding: a general framework for dimensionality reduction.In:Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Diego,CA, USA:IEEE,2005,2:830?837

45 Xu Shuang,Jia Yun-De.Facial expression manifold based on expression similarity.Journal of Software,2009,20(8): 2191?2198

(續(xù)爽,賈云得.基于表情相似性的人臉表情流形.軟件學(xué)報(bào),2009, 20(8):2191?2198)

46 Li Xiao-Lin.Analysis of Morphous Characteristics of Facial Reconstruction and the Five Organs in Chinese South Five National Minorities Crowd[Master dissertation],Chongqing Medical University,China,2008

(李小林.中國南方五個(gè)少數(shù)民族人群面部五官形態(tài)特征研究[碩士學(xué)位論文],重慶醫(yī)科大學(xué),中國,2008)

47 Zhao Ming,Wen Jian-Jun,Zhao Xia,Sun Yan-Yan.An analysis on measuring data of face in 169 young students of Tibetan,Mongolian,Tu,Huis,and Han nationality.Journal of Qinghai Medical College,1995,16(3):7?8

(趙明,文建軍,趙霞,孫嬿嬿.藏、蒙、土、回、漢五民族青年面部測量數(shù)據(jù)分析.青海醫(yī)學(xué)院學(xué)報(bào),1995,16(3):7?8)

48 Xi Huan-Jiu,Chen Zhao.Anthropometric Methods(Second edition).Beijing:Science Press,2010.

(席煥久,陳昭.人體測量方法.第2版.北京:科學(xué)出版社,2010.)

49 Wang X,Liu X,Zhang L.A rapid fuzzy rule clustering method based on granular computing.Applied Soft Computing,2014,24(C):534?542

50 Heo J,Savvides M.Gender and ethnicity speci fi c generic elastic models from a single 2D image for novel 2D pose face synthesis and recognition.IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(12):2341?2350

51 Feng Ding-Cheng,Chen Feng,Xu Wen-Li.Detecting local manifold structure for unsupervised feature selection.Acta Automatica Sinica,2014,40(10):2253?2261

52 Wang Chao-Yun,Jiang Gang-Yi,Yu Mei,Chen Fen.Manifold feature similarity based perceptual image quality assessment.Acta Automatica Sinica,2016,42(7):1113?1124

(王朝云,蔣剛毅,郁梅,陳芬.基于流形特征相似度的感知圖像質(zhì)量評價(jià).自動(dòng)化學(xué)報(bào),2016,42(7):1113?1124)

53 Huang D,Shan C,Ardabilian M,Wang Y,Chen L.Local binary patterns and its application to facial image analysis:a survey.IEEE Transactions on Systems,Man,and Cybernetics,Part C:Applications and Reviews.2011,41:765?781

54 Wang Y G,Duan X D,Liu X D,Wang C R,Li Z D.Semantic description method for face features of larger Chinese ethnic groups based on improved WM method.Neurocomputing, 2016,175:515?528

55 Milborrow S,Nicolls F.Active shape models with SIFT descriptors and MARS.In:Proceedings of the 2014 International Conference on Computer Vision Theory and Applications(VISAPP).Lisbon,Portugal:IEEE,2014.380?387

56 Ding C,Peng H C.Minimum redundancy feature selection from microarray gene expression data.Journal of Bioinformatics and Computational Biology,2005,3(2):185?205

57 Peng H C,Long F H,Ding C.Feature selection based on mutual information criteria of max-dependency,max-relevance, and min-redundancy.IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(8):1226?1238

58 Hong Quan,Chen Song-Can,Ni Xue-Lei.Sub-pattern canonical correlation analysis with application in face recognition.Acta Automatica Sinica,2008,34(1):21?30

(洪泉,陳松燦,倪雪蕾.子模式典型相關(guān)分析及其在人臉識(shí)別中的應(yīng)用.自動(dòng)化學(xué)報(bào),2008,34(1):21?30)

59 Gao Quan-Xue,Pan Quan,Liang Yan,Zhang Hong-Cai, Cheng Yong-Mei.Face recognition based on expressive features.Acta Automatica Sinica,2006,32(3):386?392

(高全學(xué),潘泉,梁彥,張洪才,程詠梅.基于描述特征的人臉識(shí)別研究.自動(dòng)化學(xué)報(bào),2006,32(3):386?392)

60 Bouckaert R R,Frank E,Hall M A,Holmes G,Pfahringer B,Reutemann P,Witten I H.WEKA-experiences with a java open-source project.The Journal of Machine Learning Research,2010,11:2533?2541

61 Han J W,Kamber M,Pei J.Data Mining:Concepts and Techniques(Third edition).Amsterdam:Elsevier,2011.

62 Quinlan J R.C4.5:Programs for Machine Learning.San Mateo,CA,USA:Morgan Kaufmann Publishers,1993.

63 Zhang M L,Pe?na J M,Robles V.Feature selection for multilabel naive Bayes classi fi cation.Information Sciences,2009, 179(19):3218?3229

64 Gopnik A,Glymour C,Sobel D M,Schulz L E,Kushnir T, Danks D.A theory of causal learning in children:causal maps and Bayes nets.Psychological Review,2004,111(1): 3?32

65 Kokshenev I,Braga A P.A multi-objective approach to RBF network learning.Neurocomputing,2008,71(7?9):1203?1209

66 Joachims T.Making Large Scale SVM Learning Practical [Ph.D.dissertation].Universit¨at Dortmund,Germany,1999

67 Keerthi S S,Shevade S K,Bhattacharyya C,Murthy K R K. Improvements to Platt′s SMO algorithm for SVM classi fi er design.Neural Computation,2001,13(3):637?649