基于內唇輪廓標定的唇印提取算法*

李 響，高志娥，強 彥

(1.呂梁學院 計算機系，山西 呂梁 033000；2.太原理工大學 計算機學院，山西 太原 030024)

基于內唇輪廓標定的唇印提取算法*

李 響1，高志娥1，強 彥2

(1.呂梁學院 計算機系，山西 呂梁 033000；2.太原理工大學 計算機學院，山西 太原 030024)

針對現有特征唇印提取中信息處理量較大、識別率不高等問題,本文提出了基于內唇輪廓的特征唇印提取算法。算法首先在基元圖像上對內唇輪廓特征點進行標定，建立基元唇印模型,然后通過均值計算構造普通模型,并利用Gabor變換對基元唇印和普通模型進行聯合特征信息提取，最后通過相似度對比選擇出特征唇印,以實現身份識別。仿真實驗驗證，本文的特征唇印提取算法在較低時空消耗下,具有較高的識別率，具有有效性和可用性。

內唇輪廓；基元唇印；特征唇印；特征點標定；Gabor變換

0 引言

特征唇印的提取是動態唇形身份識別技術中的核心環節，主要分為基于像素、基于模型以及混合型三類特征提取算法。基于像素的特征提取是直接對唇部的灰度圖像進行特征提取。如文獻[1]采用主成分分析法對唇部的灰度圖像進行特征提取，雖然算法對唇部的灰度圖像的質量要求較低，但易受其他因素的影響致使識別率有所差異。基于模型的特征提取通過對唇部建立相應的模型，以模型參數作為特征信息。文獻[2]將自適應的均值模板引入到ASM中，雖然對唇部輪廓有更強的描述能力，但算法復雜，實用性較差。混合型的唇印提取算法結合了上述兩種算法的優點。文獻[3]采用AAM(Active Appearance Model)來提取特征，算法將輪廓模型與主成分分析法相結合，具有較好的效果，但過程較復雜。文獻[4]提出了基于唇色濾波器的嘴唇特征提取, 適用于口型識別的實時唇定位。文獻[5]運用DCT+LDA 的方法提取唇讀視覺特征，但現有特征唇印提取中信息處理量較大、識別率不高。針對嘴唇的外沿變化不是特別明顯、需要對大量數據進行驗證和概括的問題，本文采用模型點和Gabor變換相融合的唇印提取算法，利用內唇輪廓上關鍵點建立唇印模型，利用Gabor變換進行特征提取，算法在一定程度上降低了復雜度，同時具有較高的特征表征能力。

1 特征唇印提取模型及相關規定

1.1 提取模型的相關規定

(1)為了便于敘述，設{a;o;i;u;sh;z}為關鍵基元,這6個聲、韻母充分涵蓋了說話人的唇型特征。

(2)對每個關鍵基元進行圖像標定特征點、邊，構造不同關鍵基元的唇部模型，稱為基元唇印。

(3)對所有基元唇印進行多次訓練，對標定的特征點、邊取平均值計算得唇部均值模型，稱為普通模型。

(4)將以身份識別的唇動特征模型稱為特征唇印。

1.2 特征唇印的提取模型

特征唇印的提取主要由基元唇印建立、普通模型構造、特征唇印選擇等幾個階段組成。

(1)基元唇印的建立：從待識別的基元圖像中選出一幅尚未提取特征的圖像，對其內唇輪廓進行特征點標定，得到特征點的坐標及歐氏距離；(2)普通模型的構造：在基元唇印庫中隨機選擇一定數量的基元唇印作為訓練集，并根據基元類型分類，對每一類每個特征點求取平均坐標，構造六組普通模型；(3)特征唇印選擇：將講話人的六個基元唇印及六組普通模型對應起來，然后利用Gabor變換進行特征點抽取，計算相似度，選擇相似度最小的作為特征唇印。流程如圖1所示。

圖1 特征唇印提取流程

2 基于內唇輪廓的特征唇印提取算法

內唇特征提取算法需要經過基元唇印建立和普通模型構造兩個子過程。

2.1 基元唇印算法

基元唇印的建立是特征唇印提取的前提，算法通過對嘴部圖像集進行操作得到基元唇印庫和6個基元唇印。基元唇印(Primitives Lipstick(P))算法流程如下圖2所示。

設每個講話人6個基元唇印相應嘴部圖像集為P={Pi|P1,P2,P3…Pi}，每個Pi中標定9個特征點，分別是左右嘴角各1個，內唇上沿3個，內唇下沿4個，從左嘴角起順時針標定，從而得到Pi的特征點集T={Tj| 1≤j≤9}。然后計算特征點之間的歐氏距離，這里規定從Pi的特征點集中選擇編號相鄰的特征點，連接為特征邊，設Dmn為Tm、Tn間歐氏距離。

2.2 普通模型構造

普通模型在一定程度上反映了基元唇印庫中的平均唇形，是內唇特征提取的基礎環節。流程為：首先隨機選擇N個基元唇印作為訓練集TtrainingSet={TSi| 1≤i≤N}；然后根據{a;o;i;u;sh;z}對訓練集TtrainingSet進行分類得到六個集合Ki={TSj| 1≤j≤Ni}；再者根據公式(1)和(2)分別求出第i類集合Ni個基元唇印特征點的坐標平均值Xij和Yij。

(1)

(2)

普通模型構造(AverageMouth(TtrainingSet))算法流程圖如圖3所示。

圖3 普通模型構造的算法流程圖

2.3 內唇特征唇印提取

在基元唇印建立和普通模型構造兩個子過程的基礎上，構造內唇特征唇印提取算法。

首先根據基元唇印算法建立講話人的6個基元唇印；然后在基元唇印庫中隨機選擇N個基元唇印作為訓練集，接著利用式(3)對6個基元唇印以及訓練集的6個普通模型的9個特征點進行5個頻位、8個相位的Gabor分解變換，得到特征點的特征向量[6]。

Cj=Ajexp(iφj) (1≤j≤40)

(3)

其中Cj為卷積結果，Aj為幅值，φj為相位。

設J為基元唇印第i個特征點的Gabor變換系數集合{Cj|(1≤j≤40)}，J′為對應的普通模型第i個特征點的Gabor變換系數集合{Jj|(1≤j≤40)}，Si為J與J’之間的相似度值，Aj和Aj′分別為J、J′的幅值，利用角度無關的相似度計算公式(4)可得每個特征點的相似度。

(4)

計算9個特征點相似度的平均值，以sk作為基元對應的基元唇印與普通模型之間的相似度。

(5)

相似度越小表明識別率越高，對sk進行排序，選擇相似度最小的基元唇印作為特征唇印。

根據以上思想并結合基元唇印和普通模型算法，可設計出完整的內唇特征唇印提取算法Lipstick Extract (K,P)，算法的流程如圖4所示。

圖4 內唇特征唇印提取算法流程圖

3 仿真驗證

為了驗證本算法的可行性，利用MATLAB進行仿真實驗，實驗選取32個不同講話人拼讀6個關鍵基元的視頻幀，每個講話人對應6個關鍵基元。

3.1 特征點標定

本文選用內唇輪廓線上的9個特征點標定模型特征，如圖5所示的9特征點B，用點c捕獲[a]、[o]發音過程中嘴唇的高度，用a、e兩點捕獲[o] 、[u]發音時嘴角位置，用b、d兩點捕獲嘴唇在發[o]、[u]、[sh]等音時的形變，用f、g、h、i四點來反映嘴唇上下開合時的距離及[i]、[sh]、[z]發音時唇部特征。

3.2 與普通模型間的相似度水平

將文獻[7]、文獻[8]以及本算法所構造的基元唇印與普通模型間相似度均值進行比對，從圖6中可看出，由于特征點比文獻[7]減少了將近一半，本算法平均相似度值略高于文獻[7]，但與文獻[8]相比，具有較低的相似度，說明本算法的捕獲信息的能力更強。

圖5 四種基本唇印模型

圖6 內唇、外唇、雙唇模型相似度比對

3.3 時間效率

針對時間效率，將本文算法與文獻[7]、文獻[8]以及不提取特征唇印直接進行識別的文獻[9]算法進行比對，時間效率比對結果如表1。

表1 時間效率比對

從表1可以看出，本算法在身份識別中時間耗費最小，有更好的時間性能，雖然文獻[9]節省了提取特征唇印所耗費的時間，但在整個識別過程中耗費時間較多。

3.4 識別率

針對識別率，將本算法與文獻[7]、文獻[8]以及文獻[9]算法進行了對比，結果如表2所示。

從表2中可知，本算法的識別率僅略低于文獻[7]，但拒識率最低。說明本算法能夠在較低時空消耗下，保證較高的識別率。

表2 不同算法的識別率對比

4 結論

針對現有特征唇印提取中信息處理量較大、識別率不高等問題,本文提出了基于內唇輪廓的特征唇印提取算法，算法首先在基元圖像上對內唇輪廓特征點進行標定，建立基元唇印模型，然后通過均值計算構造普通模型，并利用Gabor變換對基元唇印和普通模型聯合特征信息提取，最后通過相似度對比選擇出特征唇印，最終實現身份識別。仿真實驗驗證本文所提出的算法不僅耗時低，還具有較高的識別率。

[1] Yang Jian,ZHANG D, Yang Jingyu. Constructing PCA baseline algorithms to rreevaluate ICA-based face-recognition performance[J]. IEEE Transactions on Systems,Man and Cybernetics,2007,37(4):1015-1021.

[2] KIM H C, KIM H J, HWANG W,et al.Facial feature

point extraction using the adaptive mean shape in active shape model[C].Computer Vision/Computer Graphics Collaboration Techniques, France, 2007: 421-429.

[3] KATSAMANIS A, PAPANDREOU G, MARAGOS P. Face active appearance modeling and speech acoustic information to recover articulation[J],IEEE Tr.on Acoustics,Speech and Lang,2009,17(3):411-422.

[4] 姚鴻勛,高文,李靜梅.用于口型識別的實時唇定位方法[J],軟件學報,2000,11(8):1126-1132.

[5] NEFTAN A V, Liang Luhong, Liu Xiaoxing, et al. A coupled HMM for audio-visual speech recognition[C]. International Confzerence on Acoustics Speech and Signal Processing,2002,5(2):2013-2016.

[6] WISKOTT L,FELLOWS J M, N KRUK ger,et al.Face recognition by elastic bunch graph matching[J].IEEE Trans on Patern.Anal Mach Intell, 1997(19): 775-779.

[7] TIDDEMAN B, PERRETT D.Prototyping and transforming visemes for animated speech[C].IN Proceedings of Computer Animation,Geneva,Switzer-land,2002:248-251.

[8] Meng Yingjie, Li Zhaoxia,Hu Yingjie, et al. Speaker identification based on feature mouth shapes [J]. Journal of Information and Computational Science,2009(6): 1209-1216.

[9] POTAMIANOS G, Graf H. P, COSATTO E. An image transform approach for HMM based aotumatic lipreading [C]. Proceeding of the International Conference on Image Processing,Chicagao,1998(3):173-177.

Lip extraction algorithm based on the calibration of inner lip contour

Li Xiang1， Gao Zhi′e1，Qiang Yan2

(1.Department of Computer Science, Lvliang Institution, Lvliang, 033000, China；2. School of Computer Science, Taiyuan University of Technology, Taiyuan, 030024, China)

In view of the massive information and the low rate of identification in the extraction of distinctive lip prints today, this article suggests a new lip characteristic lip prints on the calibration of inner lip contour. At first, the algorithm sets up primitive lip model while labeling the feature points of inner lip contour in the primitive image. Then, it uses Gabor transformation to extract union feature from primitive lip prints and average model. Finally, it identifies the distinctive lip prints and thus realizes the status recognition by similarity comparison. It has been verified by simulation experiments that this distinctive lip extraction algorithm has higher rate of recognition, reliability and availability in the environment where the consumption of time and space is lower.

inner lip contour; primitive lip prints; characteristic lip prints; feature points labeling; Gabor transformation

國家自然科學基金面上項目(F020508)

TP391.41

A

1674-7720(2016)01-0049-04

李響，高志娥，強彥．基于內唇輪廓標定的唇印提取算法[J] .微型機與應用，2016，35(1)：49-52.

2015-09-14)

李響(1980-)，男，本科，主要研究方向：圖形圖像與模式識別。

高志娥(1984-)，女，講師，碩士，主要研究方向：模式識別與圖像算法設計。

強彥(1969-)，男，博士，教授，主要研究方向：圖像處理與大數據。