基于信號質量動態加權的多模生物特征識別研究

張聞彬，劉培順，薛峰會

?

基于信號質量動態加權的多模生物特征識別研究

張聞彬1，劉培順1，薛峰會2

（1. 中國海洋大學信息科學與工程學院，山東 青島 266100；2. 青島黃海學院國際電子商務學院，山東 青島 266427）

將人臉識別和說話人識別進行決策層級的融合，為應對外界環境對識別結果的影響，引入圖像質量和聲音質量評價方法，通過對信息質量進行評估，去除信息質量較差的特征，根據信息質量動態調整模塊的權重比例，并對單模特征識別匹配度低的個體做拒絕處理，然后根據D-S理論將各個證據合并成為一個新的證據體，實現對用戶身份識別。實驗結果顯示，這種考慮特征信號質量的融合方法可以有效提升識別的準確率和安全性。

人臉識別；說話人識別；特征信號質量評估；D-S證據理論；多生物特征識別融合

1 引言

在眾多身份認證方法中，基于生物特征的身份認證因其唯一性、穩定性和易用性受到越來越多的關注，并廣泛應用于現實生活[1]。現階段，較為成熟的生物特征識別主要包括人臉、掌紋、指紋、指靜脈、虹膜、聲紋等，在特征信號質量較好的情況下具有很高的識別準確率。受外界環境影響，單一生物特征識別方式在性能上會出現不同程度的下降，一些生物特征可能會被復制或偽造，難以滿足系統安全要求[2,3]。文獻[4]提出采用融合理論，通過整合多個生物特征屬性提供的證據，形成多模生物特征識別方法，因其使用多個特征信息源而展現出諸多優點：增強了識別性能、降低了驗證失敗率和提高了可靠性[5]。

為增強多模生物特征識別系統的頑健性，文獻[6]給出一種基于圖像質量的多生物特征融合系統，將生物特征圖像質量和特征匹配值相關聯，用貝葉斯網絡實現融合識別；文獻[7]將指紋和虹膜進行融合識別，提出了一種基于似然比的方法實現多生物特征系統中匹配分數的質量融合，實驗得到了較好的識別結果；文獻[8]提出基于虹膜和人臉圖像質量的匹配分級融合策略，根據虹膜遮擋程度以及人臉表情、角度變化調整單模識別匹配器的權重，在IV2多模數據庫的實驗中，等錯誤率相較于不考慮特征質量的融合方案降低30%。

本文將人臉識別與說話人識別進行融合，主要基于以下原因：1) 人臉識別技術和說話人識別技術已相對成熟，在環境良好的情況下識別率理想，且識別過程中只需要有攝像頭和麥克風就可以完成檢測（目前智能手機都具備）；2) 使用范圍也非常廣泛，無論在手機移動端或在電腦客戶端，在復雜多變的自然條件下或較為穩定的室內環境中均能運行；3)在安全方面，將人臉識別和說話人識別相結合，也可以提高抵御照片欺騙、錄音播放等攻擊的能力，增強系統的安全性。

目前針對說話人識別和人臉識別融合的研究相對較少，文獻[9]從人臉圖像亮度和聲音信號信噪比兩方面確定識別模式的加權比例，將2種識別方式的結果按照權值比例進行求和，融合方式較為直接，對于信號質量評價存在局限性，文獻[10]的研究指出，可以在D-S證據理論的框架下進行說話人識別和人臉識別的融合，并用實驗證明了該方法能有效提高識別的準確度。基于上述工作，為更好地應對生物特征的信號質量對識別效果的影響，本文引入人臉圖像和聲音信號質量評價方法，并將特征信號質量進行量化處理，結合D-S證據理論，提出一種基于特征信號質量動態加權的多模生物特征識別的認證技術，以提高身份認證系統的準確率和容錯率。

2 單模生物特征識別技術

單模生物特征識別技術使用單一的生物特征對目標進行身份識別。用來進行身份識別的生物特征可分為兩類：生理特征和行為特征。生理特征主要包括人臉、指紋、虹膜、聲紋等生物特征，而行為特征則包括步態、字跡等。由于本文要實現的是人臉識別和說話人識別融合，下面簡要介紹這2種識別技術。

2.1 人臉識別

人臉識別的研究興起于20世紀60年代，經過幾十年的發展，已經成為一項廣泛應用于社會生活各個領域的生物特征識別技術。傳統的人臉識別的方法主要有幾何結構法[11]、代數特征法[12]等。盡管上述方法在人臉識別領域取得了較好的成果，但均難以應對復雜多變的外部環境。近年來，深度學習在人臉特征學習中表現出來的突出性能使其成為人臉識別領域的主流。2014年，Facebook[13]提出了DeepFace人臉識別方法，該方法利用含有400萬數據量的人臉數據庫訓練一個9層CNN，并將全連接層FC7作為人臉表達，在戶外臉部檢測數據庫（LFW, labeled faced in the wild）中識別準確率達到97.25%。此后，湯曉鷗團隊的DeepID系列人臉識別方法[14~17]和谷歌的FaceNet人臉識別系統[18]相繼提出，在LFW上的準確率分別達到99.53%和99.63%。和傳統特征提取方式不同，深度學習主要從大量的訓練數據中自動學習特征的表示，構建一個具有一定深度的網絡，網絡中包含大量經逐層訓練以后確定的參數，更能表征數據特征。

2.2 說話人識別

說話人識別技術根據采集到的聲音信號實現對說話人的身份鑒定。根據識別任務的不同，說話人識別可分為說話人確認（SV, speaker verification）和說話人辨認（SI, speaker identification）。一直以來，人們將高斯混合模型（GMM, gaussian mixture model）作為說話人識別應用的主要方法[19]，通過構建高斯混合模型?通用背景模板（GMM-UBM）實現對識別系統中說話人模型的建立。Kenny[20]在此基礎上提出聯合因子分析（JFA），把說話人與信道的差異限制在GMM超矢量高維空間的2個子空間中，進而抽取只與說話人有關的特征以解決信道問題，但此時信道空間中仍然包含少量的說話人語音信息。基于上述理論，Dehak在文獻[21]中提出了總變因子技術，也就是在現階段說話人識別領域使用較為廣泛的i-vector方法，該方法是將說話人和信道2部分同時進行建模，得到一個總變化子空間（TVS, total variability space），然后應用PLDA等方法對i-vector空間進行信道補償，最后計算待測身份的i-vector和目標模型的i-vector的余弦距離，并將其與閾值進行比較，得到最終的判決結果。

3 基于特征信號質量動態加權的多模生物特征識別方法

D-S證據理論的關鍵是確定每條證據（即各生物特征識別方法）的可信程度。在生物特征識別過程中，生物信號的質量下降可能導致識別性能的下降[22]。文獻[23~26]研究表明，信號質量對身份識別結果有顯著的影響。基于以上研究結果，根據特征信號質量，動態調整該識別方法在基于D-S證據理論多生物特征識別過程中的權重分配，會使結果更加準確。

本文采用的是一種對生物特征信號質量頑健性的多生物特征識別系統。該系統流程如圖1所示。

3.1 圖像質量評價

在人臉識別中，圖像質量對于識別結果會產生較大影響[27]。在融合過程中，為減少環境影響，對圖像進行合理評價顯得尤為重要。

常用的圖像質量評價可以根據圖像對比度、圖像亮度、結構信息相似度等指標進行分析，根據文獻[28]中對于人臉圖像質量影響因素的研究，本文選擇圖像光照和清晰度這兩方面對人臉圖像進行無參考評價。

3.1.1 光照質量評價指標[29]

存在光照失真的人臉圖像往往有不均勻的質量分布，根據它們在圖像空間中重要性的不同，對人臉圖像不同區域賦予不同的權重。把圖像I分成左右2個子圖像，分別為IL和IR，然后將IR進行水平翻轉得到IFR，從左上角開始計算IFR中8×8窗口的LQI（luminance quality index）[30]，在每一塊圖像的LQI計算完畢后，通過式(1)便可以得到光照質量評價指標Q。

其中，m表示第個塊的光照質量值，w表示對應第個塊的權值，所提出的相關性方法權值求法如式(2)和式(3)所示。

xi和yi分別表示第i個塊中的像素，σx和σy為X和Y像素上的標準差，而c代表基線最小權重的常數。

圖2總結了如何將該方法應用于給定的人臉圖像計算其照明質量。Q的取值范圍為[0,1]，當且僅當左右區域的質量相等時其值為1。其中，每個區域被分成一組大小為8×8像素的區塊。

圖2 人臉圖像被分成左右2個區域

3.1.2 圖像清晰度評價指標

圖像模糊的一般特點是邊緣的模糊和細節的丟失，文獻[31]將邊緣寬度定義為在邊緣點的梯度方向上離該點最近的2個局部極值之間的距離，并將邊緣寬度定義為局部模糊。文獻[32]基于此提出了感知模糊概率積累（CPBD, cumulative probability of blur detection）的清晰度估計算法，對于給定的局部對比度，邊緣點e的感知模糊概率blur()建模如下。

其中，(e)是邊緣點e的寬度；JNB(e)是邊緣點e的JNB閾值對應的邊緣寬度，JNB和的取值均是通過將實驗數據用最小二乘法擬合式(4)的指數模型得到的。當邊緣點感知模糊概率blur小于等于閾值JNB時，這些邊緣點不能被人眼檢測到模糊，即為清晰的邊緣點。當清晰邊緣點占邊緣點總數比例越高，圖像就越清晰。CPBD算法由各邊緣感知模糊概率blur的概率密度分布函數得到最終的圖像清晰度，無參考圖像清晰度指標Q即為的值。

3.1.3 人臉圖像質量評價指標

根據人臉圖像質量評價指標[33]，結合圖片光照質量評價和清晰度量評價，定義人臉識別圖像整體質量評價Q。

圖3是人臉圖像質量由好到差的一組樣本，除去個體差異，主要因為光照條件和人臉圖像采集裝置的不同等原因，導致存在質量較差的樣本。其中，圖3(a)人臉圖像光照條件良好、圖像較為清晰，圖3(b)人臉圖像雖然光照情況較好，但圖像清晰度不佳，圖3(c)和圖3(d)人臉圖像光照條件和圖片清晰度均不理想。

根據主觀評價和計算結果，賦予1、2分布為0.5、0.5，上述4張圖片評價結果如表1所示，所得結果反映了人臉圖像的光照水平和清晰程度，符合人眼對圖像質量水平的主觀感受。

表1 質量指標評估結果

3.2 聲音質量評價

目前，說話人識別最主要的挑戰來自處理測試語料的缺失以及獲取語音時環境和信道的差異問題[34]。需要在決策融合之前，將說話人的聲音信息進行質量評價，提高系統對聲音特征的頑健性。

本文采用主觀語音質量評估（PESQ, perceptual evaluation of speech quality）作為評價方法，主要基于2個原因：1) PESQ是國際電聯（ITU）提出的語音質量評價算法之一，采用改進的聽覺模型和認知模型技術，能夠更好地反映通信延遲和環境噪音對信道的影響，與其他算法相比，PESQ與主觀評價結果相關度最高；2) BLATNIK等[35]將PESQ應用于自動說話人識別系統（ASRS, automated speaker recognition system）中，結果顯示了PESQ得分和ASRS錯誤率的相關性，指出PESQ可以有效地用于ASRS識別性能的預測。

PESQ算法客觀評價得分是平均對稱干擾度SYM和平均非對稱干擾度ASYM的線性組合[36]。

對于正規的主觀測試，PESQ得分在1.0~4.5之間。在失真情況嚴重時，得分可能會低于1.0。圖4顯示的是3段語音的波形圖，其中，圖4(a)是純凈語音，圖4(b)在圖4(a)上加入了信噪比為20 dB的高斯白噪音，圖4(c)在圖4(a)上加入了信噪比為5 dB的粉紅噪音，噪音取自噪聲庫NoiseX-92。

經過測試，圖4(a)、圖4(b)、圖4(c)得分為4.50、2.83、1.67，結果反映出隨著聲音質量的下降，得分逐漸降低。最后將得到的PESQ得分和4.50相比，得到的便是說話人識別聲音質量評價Q。

3.3 基于特征信息質量動態加權的融合方法

有關生物特征識別融合方式主要包含以下3類[4]：1) 特征提取級的融合；2) 匹配分數級的融合；3) 決策級的融合。由于人臉識別與說話人識別是2個獨立的、互不影響的識別系統，在特征層級并無關聯。加上光照強度、噪音等因素的影響，單模生物特征識別在識別系統中的結果可能會存在沖突，影響識別結果，因此，如何能夠表達和處理不確定性成為融合的關鍵。而D-S證據理論通過定義信任函數和似然函數把命題的不確定性問題轉化為集合的不確定問題，解決因信息不完備導致的不確定，這為人臉識別和說話人識別的融合提供了理論支持。

圖5 基于特征信息質量動態加權的D-S證據融合識別流程

在D-S證據理論應用于多模生物特征識別過程中，人臉識別模塊與說話人識別模塊會提供給融合系統各自的證據，通過對信息質量進行評估，動態調整各個識別模塊的權重比例，在這一過程中要檢測到信息質量較差的特征，提示用戶重新輸入該特征信號；對單模特征識別匹配度均較低的個體，說明用戶身份識別結果為否，要做拒絕處理，然后生成每條證據的基本概率分配函數，對所有的證據賦予一個可信度，并利用D-S理論的合并規則將各個證據合并成為一個新的證據體。圖5為該融合方法的完整流程。

具體實現如算法1所示。

算法1 基于特征信息質量動態加權的D-S證據融合識別算法

輸入 待測身份和目標身份的人臉圖像、聲音特征

輸出 識別認證結果

Step1 對輸入的特征進行合理評估，由式(6)、式(8)得到人臉識別圖像整體質量評價Q、說話人識別聲音質量評價Q，此時如果質量評價取值低于0.2，該特征即為無效特征，需要重新輸入。

Step2 人臉識別使用基于FaceNet的深度學習方法進行識別，說話人識別使用基于i-vector的方法進行識別，得到相應匹配分數，利用Tanh方法[37]對所得結果進行歸一化處理，使匹配分數在區間[0,1]中。當2種識別方式的匹配分數均低于0.3時，識別系統直接判定身份不匹配。

α是使用第種識別方法對第個待測身份進行識別的匹配分數。

α=S(),=1,2 (9)

Step3 根據特征匹配分數與特征質量進行概率分配函數構造。R為使用第種識別方法進行身份識別的可信系數[38]。

其中，w為第中識別方式占整個識別系統的權重，根據待測身份特征信號質量Q進行動態調整，相應計算方式為

為識別方式的個數，使用第種識別方式對個待測身份進行識別的基本概率函數為

Step4 證據合并，通過式(12)可以得到人臉識別和說話人識別所對應的概率賦值函數1()和2()，進而計算焦元的信任函數。

最后用閾值法進行判斷，這里取等錯誤率的閾值，如果()>，則身份認證通過，否則認證失敗。

Step5 重復Step1~Step4，直到完成全部輸入的識別認證。

算法應用實例，如圖6所示，從左至右依次為目標身份1、待測身份1、待測身份2、待測身份3、待測身份4的雙模特征對，其中，待測身份1的人臉圖像和聲音特征、待測身份2的聲音特征、待測身份3的人臉圖像來自于目標身份。

根據算法1給出的方法，將圖6的4個待測身份代入，得到表2的結果。

待測身份1的相關生物特征均來自目標身份，雖然人臉圖像特征信息質量較差，但經過融合后依然能獲得較高的目標身份概率；待測身份2、待測身份3分別采用照片欺騙和錄音欺騙仿造目標身份，最后融合結果的概率均低于0.5，攻擊失敗；而待測身份4由于一開始2種識別方式匹配分數較低，直接遭到系統拒絕。由此可以看出該融合識別算法具有較強的防御單一生物特征欺騙的能力。

4 實驗結果與分析

由于現在尚無公開的多生物特征庫，在融合實驗階段選擇將Extended Yale B人臉庫和TIMIT語料庫進行組合配對。Extend Yale B人臉庫共包含38個人的2 432幅人臉圖像，每個人有10種姿態、60多種光照情況，適合進行融合系統的人臉識別測試。從TIMIT語料庫中選取38個人的語音資料，與上述人臉庫組成人臉?語音雙模特征對。由于TIMIT語料庫都是在純凈環境下錄制的，為了模擬真實情況，在每人的5段語音中隨機加入信噪比為5 dB、10 dB、20 dB、40 dB的白噪音、粉紅噪音、工廠車間噪音，其余592人的語音進行說話人通用背景模板（UBM）和全變換子空間矩陣的訓練。

在單一生物特征識別方法選擇方面，人臉識別是基于FaceNet的深度學習方法實現，通過訓練MS-Celeb-1M人臉庫得到人臉模型，在LWF人臉庫中識別率為99.1%；說話人識別基于i-vector實現，實驗預處理系數：預加重0.96、漢明窗、雙閾值端點檢測、39維MFCC特征、UBM高斯混合度為512，矩陣維度400維，在TIMIT語料庫中進行與性別無關的驗證，等錯誤率為1.85%。

實驗根據3.3節中提供的算法進行融合，設置3組測試，將每組的擊中率（TP, true positive rate）和誤報率（FP, flase positive rate）在同一坐標軸表現出來，繪制出在不同特征信息質量組合下該融合系統分類器的ROC曲線，同時與單模生物特征識別方式以及不考慮特征信息質量的融合方式進行對比，結果如圖7~圖9及表3所示。

圖6 目標身份1、待測身份1、待測身份2、待測身份3、待測身份4的雙模特征對

表2 身份測試結果

圖7 待測身份特征信息質量QF∈[0.5,0.7]、QS<0.4

圖8 待測身份特征信息質量QS∈[0.5,0.7]、QF<0.4

圖9 待測身份特征信息質量QS<0.3、QF<0.3

表3 不同識別方式AUC（area under curve）值

從上述實驗結果可以清楚地看到，在不同的特征信號質量組合情況下，本文提出的方法效果最佳，特別是在待測身份的人臉圖像質量指標和聲音質量指標達到較低水平時（Q<0.3、Q<0.3），這種考慮特征信號質量的融合方式依然保持較高的識別準確率，優于不考慮特征質量、只進行單純D-S證據融合的方法以及單模生物特征識別。同時如表4所示，在每100個測試對中，本文方法在時間效率上與單獨使用說話人識別、人臉識別幾乎相同，完全滿足實際識別檢測需要。基于如上實驗數據，本文提出的方法具有檢測速度快、識別準確率高、對特征信號質量頑健性好等特點。

表4 不同識別方式身份識別所需時間（每100個測試對）

5 結束語

由于環境等因素干擾，人臉識別和說話人識別的結果可能存在不確定性，而D-S理論則是表達和處理不確定性知識的數學工具，適合上述2種識別方式的融合。鑒于生物特征信息質量對識別準確度的影響，一般來說，越好的特征信息往往會有較高的識別率，根據特征信息質量對識別方式權重進行動態調整，減小質量較差的特征信息對識別的影響，采用基于特征信息質量動態加權的D-S證據融合的方法，可以有效地利用多模生物識別的優點，提高系統認證的安全性和可靠性。最后實驗結果表明，該融合系統可以有效減少特征信息質量差異的影響，提升識別的準確率和安全性。

[1] JAIN A, BOLLE R, PANKANTI S. Biometrics Personal Identification in Networked Society[M]. Boston: Kluwer Academic Publishers, 1999.

[2] 繞過三星Galaxy S8的虹膜識別？黑客表示非常簡單[EB/OL]. http://www.freebuf.com/ news/135600.html.

To bypass the iris recognition of samsung Galaxy S8? Hackers say it's very simple[EB/OL]. http://www.freebuf.com/ news/135600.html.

[3] 瘋狂的身份證：一張身份證如何攻破人臉識別技術[EB/OL]. http://www.freebuf.com/ articles/others-articles/129889.html.

Crazy ID card: how does a card breach face recognition technology[EB/OL]. http://www.freebuf.com/articles/others-articles/129889. html.

[4] ROSS A, JAIN A. Information fusion in biometrics[J]. Pattern Recognition Letters, 2003, 24(13): 2115-2125.

[5] ROSS A, JAIN A. Multimodal biometrics: an overview[C]//European Signal Processing Conference. 2015: 1221-1224.

[6] MAURER D E, BAKER J P. Fusing multimodal biometrics with quality estimates via a Bayesian belief network[J]. Pattern Recognition, 2008, 41(3):821-832.

[7] NANDAKUMAR K, CHEN Y, JAIN A, et al. Quality-based score level fusion in multibiometric systems[C]//The International Conference on Pattern Recognition. 2006: 473-476.

[8] KHIARI-HILI N, MONTAGNE C, LELANDAIS S, et al. Quality dependent multimodal fusion of face and iris biometrics[C]//The International Conference on Image Processing Theory TOOLS and Applications. 2017:1-6.

[9] 楊靜波. 融合說話人識別和人臉識別的身份認證[D]. 蘭州：西北師范大學, 2016.

YANG J B. Research on authentication by fusing with speaker recognition and face recognition[D]. Lanzhou: Northwest Normal University, 2016.

[10] 陳倩. 多生物特征融合身份識別研究[D]. 杭州：浙江大學，2007.

CHEN Q. Multimodel biometric personal identification based on data fusion[D]. Hangzhou: Zhejiang University, 2007.

[11] LEE S Y, HAM Y K, PARK R H. Recognition of human front faces using knowledge-based feature extraction and neuro fuzzy algorithm[J]. Pattern Recognition, 1996, 29(11):1,863-1,876

[12] KIRBY M, SIROVICH L. Application of the karhunen-loeve procedure for the characterization of human faces[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2002, 12(1): 103-108

[13] TAIGMAN Y, YANG M, RANZATO M, et al. DeepFace: closing the gap to human-level performance in face verification[C]//IEEE Computer Vision and Pattern Recognition. 2014:1701-1708.

[14] SUN Y, WANG X, TANG X. Deep learning face representation from predicting 10,000 classes[J]. Computer Vision & Pattern Recognition. 2014:1891-1898.

[15] SUN Y, WANG X, TANG X. Deep learning face REPRESENTATION by joint identification-verification[J]. Advances in Neural Information Processing Systems, 2014, 27: 1988-1996.

[16] SUN Y, WANG X, TANG X. Deeply learned face representations are sparse, selective, and robust[J]. Computer Vision & Pattern Recognition, 2015: 2892-2900.

[17] SUN Y, LIANG D, WANG X, et al. DeepID3: face recognition with very deep neural networks[J]. Computer Science, 2015.

[18] SCHROFF F, KALENICHENKO D, PHILBIN J. FaceNet: a unified embedding for face recognition and clustering[J]. Computer Vision & Pattern Recognition, 2015: 815-823.

[19] DOUGLAS A. REYNOLDS, QUATIERI T F, et al. Speaker verification using adapted Gaussian mixture models[J]. Digital Signal Processing, 2000, 10(1-3):19-41.

[20] KENNY P, BOULIANNE G, OUELLET P, et al. Speaker and session variability in GMM-based speaker verification[J]. IEEE Transactions on Audio Speech & Language Processing, 2007, 15(4): 1448-1460.

[21] DEHAK N, DEHAK R, KENNY P, et al. Support vector machines versus fast scoring in the low-dimensional total variability space for speaker verification[C]//Conference of the International Speech Communication Association. 2009:1559-1562.

[22] KRYSZCZUK K, DRYGAJLO A. What do quality measures predict in biometrics?[C]//European Signal Processing Conference. 2015:1-5.

[23] HSU R L V，SHAH J, MARTIN B. Quality assessment of facial Images[C]//Biometric Consortium Conference. 2006:1-6.

[24] CAPPELLI R, FERRARA M, MALTONI D. The quality of fingerprint scanners and its impact on the accuracy of fingerprint recognition algorithms[C]//The International Conference on Multimedia Content Representation. 2006:10-16.

[25] ABAZA A, HARRISON M A, BOURLAI T, et al. Design and evaluation of photometric image quality measures for effective face recognition[J]. Biometrics Iet, 2014, 3(4):314-324.

[26] BARTOS A L, NELSON D J. Enabling improved speaker recognition by voice quality estimation[C]//Signals, Systems & Computers. 2012: 595-599.

[27] SELLAHEWA H, JASSIM S A. Image-quality-based adaptive face recognition[J]. IEEE Transactions on Instrumentation & Measurement, 2010, 59(4):805-813.

[28] 高修峰, 張培仁, 李子青. 人臉圖像質量評估標準[J].小型微型計算機系統, 2009, 30(1):95-99

GAO X F, ZHANG P R, LI Z Q. Standardization of face image sample quality[J]. Journal of Chinese Computer Systems, 2009, 30(1): 95-99.

[29] ABBOUD A J, SELLAHEWA H, JASSIM S A. Quality based approach for adaptive face recognition[C]//The International Society for Optics and Photonics. 2009.

[30] WANG Z, BOVIK A C. A universal image quality index[J]. IEEE Signal Processing Letters, 2002, 9(3):81-84

[31] FERZLI R, KARAM L J. A no-reference objective image sharpness metric based on the notion of just noticeable blur (JNB)[J]. IEEE Transactions on Image Processing, 2009, 18(4):717-28.

[32] NARVEKAR N D, KARAM L J. A no-reference image blur metric based on the cumulative probability of blur detection (CPBD)[J]. IEEE Transactions on Image Processing, 2011, 20(9): 2678-2683.

[33] 肖賓杰. 基于圖像質量加權的D-S證據理論多生物特征融合識別[J]. 計算機應用, 2012, 32 (1): 264-268.

XIAO B J. Muti-biometric feature fusion identification based on D-S evident theory of image quality with different weights[J]. Journal of Computer Applications, 2012, 32 (1):264-268

[34] 蔣曄. 基于短語音和信道變化的說話人識別研究[D]. 南京: 南京理工大學, 2013.

JIANG Y. Research on speaker recognition over short utterance and varying channels[D]. Nanjing: Nanjing University of Science and Technology. 2013.

[35] BLATNIK R, KANDUS G. Influence of the speech quality in telephony on the automated speaker recognition[C]//WSEAS International Conference on Circuits. 2011:115-120

[36] RIX A W, BEERENDS J G, HOLLIER M P, et al. Perceptual evaluation of speech quality (pesq)[J]. Journal of the Audio Engineering Society, 2001, 50(10):755-764.

[37] JAIN A, NANDAKUMAR, ROSS K A. Score normalization in multimodal biometric systems[J]. Pattern Recognition, 2004, 38(12):2270-2285.

[38] 王延平, 袁杰, 廖原, 等. 利用信息融合技術的缺損目標識別方法[J]. 中國圖象圖形學報, 2000, 5(3):237-240.

WANG Y P, YUAN J, LIAO Y, et al. Pattern recognition of occluded objects using information fusion[J]. Journal of Image and Graphics, 2000, 5(3):237-240.

Multi-biometrics fusion based on dynamicweighting of characteristic signal quality

ZHANG Wenbing1, LIU Peishun1, XUE Fenghui2

1. College of Information Science and Engineering, Ocean University of China, Qingdao 266100, China 2. Institute of International Electronic Commerce, Qingdao Huanghai University, Qingdao 266427, China

Face recognition and speaker recognition were integrated at the decision-making level. In order to cope with the influence of the external environment on the recognition result, image quality and sound quality assessment methods were introduced. By evaluating the quality of information, features with poor information quality were removed. Information quality dynamically adjusted the weight proportion of the module, and rejected individuals with low matching degree of single-mode feature recognition. Then, according to DS theory, each evidence was merged into a new body of evidence to realize user identification. The experimental results show that the fusion method which takes into account the characteristic signal quality can effectively improve the recognition accuracy and security.

face recognition, speaker recognition, characterization of signal quality, D-S evidence theory, multi-biometrics fusion

TP391.41

A

10.11959/j.issn.2096-109x.2018022

2017-12-17；

2018-01-25

劉培順，liups@ouc.edu.cn

國家重點研發計劃基金資助項目（No.2017YFC0806200）

The National Key R&D Plan Program of China (No.2017YFC0806200)

張聞彬（1994-），男，山東濟南人，中國海洋大學碩士生，主要研究方向為信息安全、模式識別。

劉培順（1975-），男，山東菏澤人，中國海洋大學講師，主要研究方向為網絡與信息安全。

薛峰會（1982-），男，山東沂水人，青島黃海學院副教授，主要研究方向為網絡與信息安全。