改進(jìn)證據(jù)理論的多生物特征融合方法

溫苗利，張洪才

1.西安科技大學(xué) 電氣與控制工程學(xué)院，西安 710054

2.西北工業(yè)大學(xué) 自動(dòng)化學(xué)院，西安 710072

改進(jìn)證據(jù)理論的多生物特征融合方法

溫苗利1，張洪才2

1.西安科技大學(xué) 電氣與控制工程學(xué)院，西安 710054

2.西北工業(yè)大學(xué) 自動(dòng)化學(xué)院，西安 710072

1 引言

通過(guò)多生物特征識(shí)別融合來(lái)提高識(shí)別的正確率是目前生物特征識(shí)別研究的熱點(diǎn)之一。Nandakumar等使用有限混合高斯模型（Gaussian Mixture Model，GMM）求取匹配分?jǐn)?shù)進(jìn)行多生物特征識(shí)別融合，獲得了較好的效果[1]。劉紅毅等提出了將匹配分?jǐn)?shù)先降維，然后進(jìn)行分類(lèi)的改進(jìn)ENN多生物特征融合算法[2]。Wang等研究了基于支持向量機(jī)的多生物牲識(shí)別融合問(wèn)題[3]。證據(jù)理論是Dempster于1967年提出的，是一種不確定的數(shù)值推理方法。它最大的特點(diǎn)是對(duì)不確定信息的描述采用“區(qū)間估計(jì)”，而不是“點(diǎn)估計(jì)”的方法，用信任區(qū)間代替概率，用集合表示命題，在區(qū)分不知道與不確定方面以及精確反映證據(jù)收集方面顯示出很大的靈活性，因而D-S證據(jù)理論已被成功地應(yīng)用于多生物特征識(shí)別[4-8]。在證據(jù)理論方法中，基本概率指派函數(shù)（Basic Probability Assignment，BPA）起決定性的作用[9-10]。如何構(gòu)成BPA是實(shí)現(xiàn)證據(jù)理論融合方法的關(guān)鍵。目前的構(gòu)成BPA方法主要有：根據(jù)各分類(lèi)器的識(shí)別率和誤識(shí)率來(lái)計(jì)算BPA[11]；Rogova根據(jù)各分類(lèi)器的相對(duì)分類(lèi)能力計(jì)算其BPA[12]；而Ng等人則通過(guò)估計(jì)樣本的后驗(yàn)概率來(lái)形成分類(lèi)器的BPA[10]；根據(jù)分類(lèi)器輸出的不確定性度量形成BPA，從而可以有效地拒絕不確定性較高的樣本[9]。

2 基于識(shí)別率和誤識(shí)率的BPA構(gòu)造

在多生物特征識(shí)別中，各識(shí)別專家對(duì)輸入模式的信任程度應(yīng)當(dāng)考慮到它對(duì)各個(gè)模式類(lèi)的識(shí)別能力，所以可利用識(shí)別專家的性能指標(biāo)來(lái)表征其不確定性，則基于識(shí)別率和誤識(shí)率的BPA構(gòu)造方法[11]可描述如下：

設(shè)多生物特征識(shí)別的模式空間由N個(gè)不相交的用戶構(gòu)成，An表示第n個(gè)用戶類(lèi)別n=1，2，…，N，AN+1表示不屬于模板庫(kù)中的類(lèi)別，則證據(jù)理論的辨識(shí)框架P=A1∪A2∪…∪AN+1。設(shè)識(shí)別專家的集合為E={e1，e2，…，eK}，識(shí)別專家ek的輸出標(biāo)號(hào)uk=jk∈{1，2，…，N+1}。通過(guò)每個(gè)識(shí)別專家ek的混淆矩陣（Confusion Matrix）PTk來(lái)表示它們的識(shí)別情況，該矩陣通過(guò)對(duì)訓(xùn)練樣本進(jìn)行統(tǒng)計(jì)獲得。PTk是N×(N+1)的矩陣，表示為：

其中，第i行表示第i用戶類(lèi)的樣本，第j列表示標(biāo)記為uk=j的判斷，表示第i類(lèi)的樣本有個(gè)樣本被識(shí)別專家ek標(biāo)識(shí)為j。

由混淆矩陣可得識(shí)別專家ek的訓(xùn)練樣本總數(shù)為：

則識(shí)別專家ek的識(shí)別率為：

識(shí)別專家ek的拒識(shí)率為：

識(shí)別專家ek的誤識(shí)率分別為：

識(shí)別專家ek的可靠性為：

用證據(jù)理論解決上述多生物特征識(shí)別問(wèn)題時(shí)，把各個(gè)用戶類(lèi)及所有這些用戶類(lèi)的集合作為辨識(shí)框架，表示為：Θ={A1，A2，…，AN}，則每個(gè)識(shí)別專家的輸出就是一個(gè)證據(jù)，根據(jù)識(shí)別專家ek的性能指標(biāo)，則證據(jù)的BPA定義為：

3 存在的問(wèn)題及解決方法

對(duì)于多生物特征識(shí)別問(wèn)題，識(shí)別專家輸出的匹配值有以下特點(diǎn)：匹配值越大，則輸入模式為真實(shí)用戶類(lèi)的可能性越大；匹配值越小，則輸入模式為偽用戶的可能性能越大。基于識(shí)別率和誤識(shí)率的BPA構(gòu)造方法是在統(tǒng)計(jì)訓(xùn)練集的偽用戶匹配值和真實(shí)用戶匹配值分布的基礎(chǔ)上進(jìn)行的。

如果識(shí)別專家的匹配值滿足高斯分布，偽用戶的均值為2，真實(shí)用戶的均值為7，則匹配值的偽用戶和真實(shí)用戶匹配值的分布如圖1所示。圖1為匹配值頻率分布圖，虛線為偽用戶的分布曲線，實(shí)線為真實(shí)用戶的分布曲線。在圖1中，當(dāng)匹配值在2～7之間時(shí)，由偽用戶和真實(shí)用戶匹配值頻率分布估計(jì)得到的識(shí)別率和誤識(shí)率很好地體現(xiàn)以上特點(diǎn)，但在匹配值小于2時(shí)，匹配值變小，偽用戶的正確拒絕率明顯降低，而真實(shí)用戶的正確接受率卻增加得不明顯，導(dǎo)致識(shí)別率明顯降低，此時(shí)偽用戶的FAR誤差明顯增高，而真實(shí)用戶的FRR誤差卻降低得不明顯，導(dǎo)致誤識(shí)率明顯增大，由式（3）～（7）可知，此情況下使用識(shí)別率和誤識(shí)率構(gòu)造BPA函數(shù)存在一定問(wèn)題，它不能體現(xiàn)出匹配值越小為偽用戶的可能性越大這一特點(diǎn)。同樣，在匹配值大于7時(shí)，使用識(shí)別率和誤識(shí)率構(gòu)造的BPA函數(shù)也不能體現(xiàn)出匹配值越大則輸入模式為真實(shí)用戶的可能性越大這一特點(diǎn)。

圖1 匹配值頻率分布

累積頻率是從另一角度反映了一組數(shù)據(jù)的頻率分布情況，它與頻率分布起著相互補(bǔ)充的作用，圖1相應(yīng)的累積頻率分布如圖2所示。圖中虛線為偽用戶匹配值的“不低于”累積頻率曲線，實(shí)線為真實(shí)用戶匹配值的“低于”累積頻率分布曲線。由圖2可以看出，累積頻率能很好地體現(xiàn)匹配值越小為偽用戶的可能性越大，匹配值越大為真實(shí)用戶的可能性越大。本文根據(jù)這一特征進(jìn)行研究，提出CFDS的多生物特征識(shí)別方法。

圖2 匹配值累積頻率分布

對(duì)于多生物特征識(shí)別的模式空間由兩個(gè)不相交的子集構(gòu)成，Si表示第i個(gè)類(lèi)別，i=1時(shí)表示偽用戶類(lèi)，i=2時(shí)表示真實(shí)用戶類(lèi)。設(shè)識(shí)別專家的集合為E={e1，e2，…，eK}，識(shí)別專家ek，k=1，2，…，K，輸出標(biāo)號(hào)uk=jk∈{1，2}，其中K表示識(shí)別專家總數(shù)。

通過(guò)對(duì)第k個(gè)識(shí)別專家ek的累積混淆矩陣（Cumulative Confusion Matrix）CCMk來(lái)表示它們的累積識(shí)別情況，該矩陣通過(guò)對(duì)訓(xùn)練樣本進(jìn)行統(tǒng)計(jì)獲得。CCMk是2×2的矩陣，表示為：

其中，為偽用戶被正確判斷為偽用戶類(lèi)的“不低于”累積頻數(shù)，為偽用戶被錯(cuò)誤地判斷為真實(shí)用戶類(lèi)的“不低于”累積頻數(shù)，為真實(shí)用戶被錯(cuò)誤地判斷為偽用戶類(lèi)的“低于”累積頻數(shù)為真實(shí)用戶被正確地判斷為真實(shí)用戶類(lèi)的“低于”累積頻數(shù)。

設(shè)各識(shí)別專家ek訓(xùn)練樣本的總數(shù)為Μk，則識(shí)別專家ek的累積識(shí)別率為：

識(shí)別專家ek的累積誤識(shí)率為：

則識(shí)別專家ek的可靠性可定義為：

使用累積識(shí)別率和累積誤識(shí)率來(lái)解決多生物特征識(shí)別問(wèn)題時(shí)，把各用戶類(lèi)的集合作為辨識(shí)框架，表示為：Θ={A1，A2，…，AN}，其中N表示用戶類(lèi)數(shù)。根據(jù)各識(shí)別專家的可靠性如式（11）所示，構(gòu)造基本概率指派函數(shù)表示為：

4 實(shí)驗(yàn)結(jié)果

XM2VTS數(shù)據(jù)庫(kù)[12-13]包含了295人在4個(gè)不同時(shí)間段的圖像和聲音錄像。每次，每個(gè)人被記錄了2段聲音錄像和2段頭部旋轉(zhuǎn)錄像。聲音錄像包括了人臉正面和聲音信號(hào)。

XM2VTS數(shù)據(jù)庫(kù)分為三個(gè)數(shù)據(jù)庫(kù)集：訓(xùn)練集（Train）、估計(jì)集（Evaluation）、測(cè)試集（Test）。訓(xùn)練集用于建立真實(shí)用戶的識(shí)別模型，估計(jì)集用于估計(jì)分類(lèi)器參數(shù)和決策閾值，而測(cè)試集用于測(cè)試性能。295個(gè)用戶分成200個(gè)真實(shí)用戶，25個(gè)估計(jì)偽用戶和70個(gè)測(cè)試偽用戶。其中存有兩種不同的分割訓(xùn)練集、估計(jì)集和測(cè)試集方法，稱為協(xié)議1（Lausanne Protocol 1，LP1）和協(xié)議2（Lausanne Protocol 2，LP2）。

聲音識(shí)別采用MFCC（The Phase Auto-Correlation Mel Filter-bank Cepstral Coefficient）特征[14]，采用GMM分類(lèi)器進(jìn)行識(shí)別。實(shí)驗(yàn)中，MFCC特征由采樣窗長(zhǎng)度為20 ms，20個(gè)DCT（Discrete Cosine Transform）系數(shù)由MFCC的30個(gè)傅里葉系數(shù)解相關(guān)計(jì)算得到。本文中將每一種識(shí)別方法稱之為一個(gè)識(shí)別專家，從而構(gòu)成一個(gè)聲音識(shí)別專家：（MFCC，GMM）。

人臉識(shí)別分別采用GH（Gray Feature and Red-Green-Blue Histogram）特征[15]和DCTD（Discrete Cosine Transform Feature&Delta Feature）特征[16]進(jìn)行特征表征，分別采用MLP（Multi-Layer Perceptrons）分類(lèi)器進(jìn)行分類(lèi)，最后，對(duì)DCTD特征采用GMM（Bayes Classifier using Gaussian Mixture Models）分類(lèi)器進(jìn)行人臉識(shí)別。實(shí)驗(yàn)中，根據(jù)規(guī)范化圖像大小，DCTD特征可分為兩類(lèi)：（1）DCTDs特征：規(guī)范化人臉圖像大小為40像素×32像素，得到35個(gè)特征向量；（2）DCTDb特征：規(guī)范化人臉圖像大小為80像素×64像素，得到221個(gè)特征向量。共構(gòu)成五個(gè)識(shí)別專家：（GH，MLP）；（DCTDs，MLP）；（DCTDb，MLP）；（DCTDs，GMM）；（DCTDb，GMM）。

在LP1測(cè)試集上有5組實(shí)驗(yàn)，在LP2測(cè)試集上有2組實(shí)驗(yàn)，表1分別對(duì)采用樸素Bayes[17]、mean[17]、FLD[18]和MLP[18]融合方法與本文中DS方法和CFDS方法的HTER誤差進(jìn)行比較。

表1 人臉識(shí)別專家和（LFCC，GMM）聲音識(shí)別專家融合后的誤差率 （%）

表1分別為各人臉識(shí)別專家與聲音識(shí)別專家（LFCC，GMM）、（MFCC，GMM）和（SSC，GMM）融合后的HTER誤差。表1中加重的HTER值，表示該融合方法的HTER誤差最小，即該融合方法在此實(shí)驗(yàn)中取得的識(shí)別率最高。

由表1可知，在XM2VTS數(shù)據(jù)庫(kù)上LP1和LP2的7組融合人臉和聲音識(shí)別的實(shí)驗(yàn)中，有5組實(shí)驗(yàn)CFDS方法取得了最小HTER誤差，1組實(shí)驗(yàn)是DS方法取得了最小的HTER誤差，1組實(shí)驗(yàn)是mean方法取得了最小的HTER誤差。DS方法在融合人臉和聲音兩種生物特征時(shí)，對(duì)于LP1和LP2測(cè)試集的平均HTER誤差為0.686%，而此時(shí)CFDS方法平均HTER誤差為0.335%，CFDS方法相對(duì)于DS方法使HTER誤差降低了0.351%，因而CFDS方法在融合兩種生物特征時(shí)的識(shí)別率高于DS方法的識(shí)別率。

5 結(jié)論

主要研究了基于證據(jù)理論的多生物特征融合識(shí)別方法。通過(guò)對(duì)利用各生物特征輸出進(jìn)行基本概率指派函數(shù)構(gòu)造方法的分析，結(jié)合統(tǒng)計(jì)學(xué)中累積頻率的原理，提出了一種基于累積頻率和證據(jù)理論的多生物特征融合方法（CFDS）。該方法充分體現(xiàn)了各識(shí)別專家的匹配值越大，輸入模式是真實(shí)用戶的可能性越大，匹配值越小，輸入模式是偽用戶的可能性越大這一特點(diǎn)。在XM2VTS數(shù)據(jù)庫(kù)上的實(shí)驗(yàn)結(jié)果表明，CFDS方法的HTER誤差小于基于誤識(shí)率和識(shí)別率的證據(jù)理論方法。

[1]Nandakumar K，Chen Y，Dass S C，et al.Likelihood ratio-based biometric score fusion[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2008，30（2）.

[2]劉紅毅，王蘊(yùn)紅，譚鐵牛.基于改進(jìn)ENN算法的多生物特征融合的身份驗(yàn)證[J].自動(dòng)化學(xué)報(bào)，2004，30（1）：78-85.

[3]Wang F，Han J.Multimodal biometric authentication based on score levelfusion using supportvectormachine[J]. Opto-Electronics Review，2009，17（1）：59-64.

[4]Gao X J，Yao H X，Gao W，et al.Fusion of biometrics based on D-S theory[C]//Proceedingsof2nd IEEE Pacific-Rim Conference on Multimedia，2001：1120-1125.

[5]Jin A T B，Samad S A，Hussain A.Theoretic evidencek-nearest neighbourhood classifiers in a bimodal biometric verification system[C]//Proceedings of 4th International Conference on Audio-and Video-Based Biometric Person Authentication，2003：778-786.

[6]楊帆，浦昭邦，劉國(guó)棟.基于D-S證據(jù)理論的多指紋數(shù)據(jù)融合[J].儀器儀表學(xué)報(bào)增刊，2003，24（4）：282-283.

[7]趙春娜.基于D-S證據(jù)理論的面像識(shí)別和指紋識(shí)別融合[D].沈陽(yáng)：東北大學(xué)，2004.

[8]邱亞丹，敬忠良，陳雪榮，等.基于決策級(jí)的多源人臉融合識(shí)別[J].計(jì)算機(jī)工程與應(yīng)用，2006，42（27）：219-221.

[9]劉志言，童樹(shù)鴻，王艷.基于證據(jù)理論的多分類(lèi)器集成方法研究[J].電機(jī)與控制學(xué)報(bào)，2001，5（3）：208-212.

[10]Ng G，Singh H.Data equalization with evidence combination for pattern recognition[J].Pattern Recognition Letters， 1998，19（3/4）：227-235.

[11]孫懷江，胡鐘山，楊靜宇.基于證據(jù)理論的多分類(lèi)器融合方法研究[J].計(jì)算機(jī)學(xué)報(bào)，2001，24（3）：231-235.

[12]Messer K，Matas J，Kittler J，et al.XM2VTSDB：the extended M2VTS database[C]//Proceedings of the 2nd International Conference on Audio-and Video-based Person Authentication，1999：72-77.

[13]Norman P，Samy B.Database，protocols and tools for evaluating score-level fusion algorithms in biometric authentication[J].Pattern Recognition，2006，39：223-233.

[14]Ikbal S，Misra H，Bourlard H.Phase Auto-Correlation（PAC）derived robust speech features[C]//Proceedings of IEEE International Conference on Acoustics，Speech，and Signal Processing，2003：133-136.

[15]Marcel S，Bengio S.Improving face verification using skin color information[C]//Proceedings of 16th International Conference on Pattern Recognition，2002：278-281.

[16]Sanderson C，Paliwal K K.Fast features for face authentication under illumination direction changes[J].Patter Recognition Letters，2003，24（14）：2409-2419.

[17]Verlinde P，DruytsP，CholletG，etal.Applying Bayes based classifier for decision fusion in a multi-modal identity verification system[C]//InternationalSymposium on Pattern Recognition in Memoriam Prof Pierre Devijiver，1999.

[18]Ross A，Jain A K.Information fusion in biometrics[J].Pattern Recognition Letters，2003，24（13）：2115-2125.

WEN Miaoli1,ZHANG Hongcai2

1.College of Electrical and Control Engineering,Xi’an University of Science and Technology,Xi’an 710054,China
2.College of Automation,Northwestern Polytechnical University,Xi’an 710072,China

Multi-modal biometrics techniques have shown more accurately due to the presence of multiple physiological or behavioral characteristics.Multimodal biometrics has become one of inevitable trends in the future.In this paper,D-S fusion algorithm using the recognition rate and the error rate of training set,is proposed.Then through analyzing the recognition rate and error rate,it proposes a modified multi-biometric recognition algorithm based on cumulative frequency and D-S fusion method, named CFDS.The modified D-S algorithm is applied to fusing multi-biometric.Experimental results demonstrate that the modified D-S algorithm is efficient and can improve the reliability of the combination results.

cumulative frequency;modified D-S theory;multi-modal biometrics recognition

多生物特征融合考慮了個(gè)體的多種生理或行為特征，因而能顯著地改善系統(tǒng)的識(shí)別性能，成為生物特征識(shí)別技術(shù)未來(lái)發(fā)展趨勢(shì)之一。利用訓(xùn)練樣本的識(shí)別率和誤識(shí)率，提出了基于證據(jù)理論的多生物特征融合識(shí)別方法；對(duì)各識(shí)別專家的識(shí)別率和誤識(shí)率進(jìn)行分析，提出了一種基于累積頻率和證據(jù)理論（Cumulative Frequency based D-S，CFDS）的多生物特征融合方法；通過(guò)幾個(gè)實(shí)驗(yàn)證明了改進(jìn)的D-S算法的有效性，提高了合成結(jié)果的可靠性。

累積頻率；改進(jìn)證據(jù)理論；多生物特征識(shí)別

A

TP391

10.3778/j.issn.1002-8331.1112-0186

WEN Miaoli,ZHANG Hongcai.Fusion of multi-modal biometrics based on modified D-S theory.Computer Engineering and Applications,2013,49（18）：176-179.

溫苗利（1978—），女，博士，講師，主要研究領(lǐng)域?yàn)閳D像處理、模式識(shí)別、生物特征識(shí)別、信息融合等；張洪才（1939—），男，教授，博士生導(dǎo)師。E-mail：wenml78@163.com

2011-12-12

2012-02-13

1002-8331（2013）18-0176-04

CNKI出版日期：2012-05-21 http://www.cnki.net/kcms/detail/11.2127.TP.20120521.1142.067.html

book=179,ebook=184