三維可視語(yǔ)音合成系統(tǒng)中唇部特征點(diǎn)的采集與處理

陶京京，王麗榮

(1.長(zhǎng)春理工大學(xué) 電子信息工程學(xué)院，長(zhǎng)春 130022;2.長(zhǎng)春大學(xué) 電子信息工程學(xué)院，長(zhǎng)春 130022)

0 引言

從人類現(xiàn)代語(yǔ)音感知學(xué)的相關(guān)研究來(lái)看，聽(tīng)覺(jué)存在障礙的人或正常人在噪聲環(huán)境下對(duì)于語(yǔ)音信息并不能完全獲取，這樣就需要通過(guò)表情信息來(lái)有效獲取對(duì)方所表達(dá)的信息。對(duì)于語(yǔ)言障礙人群來(lái)說(shuō)，文本驅(qū)動(dòng)的可視語(yǔ)音技術(shù)無(wú)疑給他們的生活帶來(lái)了一道新的曙光。

首先，對(duì)于聽(tīng)覺(jué)障礙患者而言，其不能完整接收另一方傳遞的語(yǔ)音信息。而人臉語(yǔ)音動(dòng)畫(huà)是將人類的語(yǔ)音信息與唇形、表情信息同步傳輸?shù)模軌驅(qū)ζ浣邮招畔⒑妥R(shí)別信息起到極大的輔助作用，在很大程度上增強(qiáng)其對(duì)語(yǔ)音信息的識(shí)別效果。

其次，對(duì)于發(fā)聲存在障礙的人而言，人臉語(yǔ)音動(dòng)畫(huà)系統(tǒng)能夠通過(guò)生成與語(yǔ)音同步的信息來(lái)規(guī)范口型，并對(duì)唇部各種器官發(fā)生過(guò)程中的動(dòng)作變化進(jìn)行調(diào)整，從而起到矯正發(fā)音障礙患者的發(fā)音的作用。

雖然國(guó)內(nèi)外學(xué)者在人臉特征獲取方面取得很多成果，但將其直接應(yīng)用于聾兒語(yǔ)言康復(fù)訓(xùn)練當(dāng)中仍存在一些問(wèn)題，上述方法中大多采用二維進(jìn)行特征提取，在此過(guò)程中人臉圖像受到很多因素的干擾:人臉表情的多樣性，外在成像過(guò)程中的光照，圖像尺寸，旋轉(zhuǎn)，以及姿態(tài)變化等，導(dǎo)致即使同一個(gè)人，不同環(huán)境下拍攝的人臉圖像也不相同，甚至?xí)泻艽蟮牟町悺榇耍瑖?guó)內(nèi)外學(xué)者已開(kāi)始采用三維深度圖像研究具有不變性的人臉識(shí)別系統(tǒng)，提出了一些方法，獲得了一定成果，但目前針對(duì)該方法在聾兒康復(fù)方面的研究還很不充分。

本文主要針對(duì)聾兒康復(fù)方面對(duì)三維唇部特征點(diǎn)進(jìn)行采集和處理，得到的數(shù)據(jù)是整個(gè)文本驅(qū)動(dòng)的可視語(yǔ)音合成系統(tǒng)中重要部分。在這些數(shù)據(jù)基礎(chǔ)上，對(duì)唇部發(fā)音動(dòng)作類型進(jìn)行分類和整合，從而建立文本驅(qū)動(dòng)的可視語(yǔ)音合成系統(tǒng)。本文的研究對(duì)聾兒康復(fù)和發(fā)音校正奠定了基礎(chǔ)。

圖1 實(shí)驗(yàn)場(chǎng)景

1 唇部特征點(diǎn)數(shù)據(jù)采集

1.1 實(shí)驗(yàn)環(huán)境

采集過(guò)程利用美國(guó)魔神三維動(dòng)態(tài)捕捉系統(tǒng)，本研究采用6個(gè)攝像頭，其余兩臺(tái)Angle鏡頭高度為1.6m，在中間作為主鏡頭，四臺(tái)Hawk鏡頭高度為1.8m在兩側(cè)作為輔助鏡頭，在數(shù)據(jù)采集場(chǎng)地長(zhǎng)寬各為2m。將攝像頭按弧形位置排列，攝像頭面向圓內(nèi)，待測(cè)點(diǎn)在圓心附近為最佳。如圖1所示。

選取在室內(nèi)自然光照下，實(shí)驗(yàn)者不進(jìn)行任何特別的化裝，唇部和臉部粘貼上Marker點(diǎn)，端正地做在無(wú)反光背景前，頭部自然地面對(duì)三維動(dòng)態(tài)捕捉系統(tǒng)，在發(fā)音過(guò)程中頭部運(yùn)動(dòng)限制在一個(gè)較小的范圍內(nèi)基礎(chǔ)上，旋轉(zhuǎn)角度小于5度，本實(shí)驗(yàn)人臉標(biāo)記點(diǎn)(marker)直徑為3mm。

圖2 特征點(diǎn)分布圖

1.2 特征點(diǎn)的確定

特征點(diǎn)的選取結(jié)合了MPEG-4對(duì)于人臉特征點(diǎn)的定義［4］，標(biāo)注過(guò)程根據(jù)實(shí)際情況對(duì)特征點(diǎn)進(jìn)行了適當(dāng)刪除，由于本文主要研究唇部信息，因此刪除了眼部以及面頰部位的特征點(diǎn)。主要選取了12個(gè)點(diǎn)作為特征點(diǎn)，其中眉部一個(gè)特征點(diǎn)作為參考點(diǎn)H，用于校準(zhǔn)數(shù)據(jù)，其他參考點(diǎn)大多數(shù)位于唇部及唇部周圍。具體分布如圖2所示。

該系統(tǒng)采集的是說(shuō)話人的連續(xù)發(fā)音動(dòng)作，以每秒60幀的速率獲取說(shuō)話人發(fā)音時(shí)面部特征點(diǎn)坐標(biāo)數(shù)據(jù)，通過(guò)輸出為對(duì)應(yīng)特征點(diǎn)運(yùn)動(dòng)軌跡坐標(biāo)，確定特征點(diǎn)的運(yùn)動(dòng)軌跡。圖3為采集過(guò)程中系統(tǒng)運(yùn)行窗口。

圖3 動(dòng)作捕捉窗口

采集到的數(shù)據(jù)是60幀/秒的離散值。每個(gè)音素發(fā)聲時(shí)間約為2s，系統(tǒng)將記錄下這2s內(nèi)所有特征點(diǎn)的運(yùn)動(dòng)坐標(biāo)。圖4為截取音素 /a/在發(fā)聲時(shí)系統(tǒng)所顯示的特征點(diǎn)運(yùn)動(dòng)情況。

圖4 /a/發(fā)音時(shí)特征點(diǎn)運(yùn)動(dòng)情況

運(yùn)動(dòng)捕捉的數(shù)據(jù)形式

幀為單位的運(yùn)動(dòng)序列，每一幀數(shù)據(jù)為離散的三維坐標(biāo)點(diǎn)集.

其中FRAMEn表示為第n幀數(shù)據(jù);MKm表示第m個(gè)特征標(biāo)記點(diǎn)，三個(gè)浮點(diǎn)數(shù)分別表示其x，y，z坐標(biāo)，單位為毫米。

2 唇部特征點(diǎn)數(shù)據(jù)處理

2.1 放射變換方法

在唇部取19個(gè)特征點(diǎn)，為了更加精細(xì)和逼真地得到不同發(fā)音時(shí)的口型，可以基于這19個(gè)特征點(diǎn)再向其外圍自動(dòng)擴(kuò)充13個(gè)特征點(diǎn)，如圖5所示。在得到這些特征點(diǎn)之后，進(jìn)一步將嘴部圖像區(qū)域做三角化，如圖6所示。做三角化可以更加方便地通過(guò)移動(dòng)特征點(diǎn)獲得變形和控制局部變形的幅度［5］。

圖5 嘴部19個(gè)原始特征點(diǎn)

圖6 擴(kuò)展過(guò)的嘴部特征點(diǎn)

運(yùn)用仿射變換方法，可以合成16組中文可視音素的圖像作為人臉動(dòng)畫(huà)的關(guān)鍵幀，部分中文可視音素如圖5所示。但由于該合成方法僅根據(jù)發(fā)音時(shí)視覺(jué)口型經(jīng)驗(yàn)得來(lái)，并且目前只能應(yīng)用于二維模型，因此真實(shí)感不強(qiáng)，實(shí)用性較差，本文未采用。

2.2 三維空間坐標(biāo)變換方法

通過(guò)三維動(dòng)態(tài)捕捉系統(tǒng)得到的實(shí)時(shí)運(yùn)動(dòng)數(shù)據(jù)，在采集過(guò)程中由于人臉頭部在發(fā)聲時(shí)會(huì)產(chǎn)生輕微晃動(dòng)，對(duì)唇部特征點(diǎn)的運(yùn)動(dòng)軌跡坐標(biāo)會(huì)產(chǎn)生一定影響。因此在設(shè)定特征點(diǎn)時(shí)，采用在眉處設(shè)定一個(gè)參考特征點(diǎn)H:(hx，hy，hz)。這點(diǎn)由于離唇部距離較遠(yuǎn)，無(wú)表情發(fā)聲時(shí)可近似看做在該點(diǎn)坐標(biāo)不變。通過(guò)H點(diǎn)運(yùn)動(dòng)軌跡的分析與校準(zhǔn)，達(dá)到使其余特征點(diǎn)得到校準(zhǔn)的目的。以參考特征點(diǎn)的第1幀作為基準(zhǔn)幀，運(yùn)用空間坐標(biāo)變換法求得第K幀到基準(zhǔn)幀的坐標(biāo)變換向量，從而得到第K幀其余特征點(diǎn)在基準(zhǔn)幀坐標(biāo)系下的坐標(biāo)。由于只考慮第K幀各特征點(diǎn)坐標(biāo)，H點(diǎn)從第一幀到第K幀的運(yùn)動(dòng)軌跡可近似看作一條直線。則第K幀時(shí)H點(diǎn)在基準(zhǔn)幀坐標(biāo)系下的坐標(biāo)可以表示為:

設(shè)根據(jù)系統(tǒng)直接測(cè)得的第i個(gè)特征點(diǎn)在第K幀的坐標(biāo)為:

校準(zhǔn)后的坐標(biāo)可以表示為

在后續(xù)的單個(gè)音素合成時(shí)，120幀數(shù)據(jù)運(yùn)算量較大，因此需要提取最能代表該因素特點(diǎn)的一幀作為關(guān)鍵幀，并在后續(xù)運(yùn)動(dòng)軌跡合成中作為終止點(diǎn)。因此我們通過(guò)對(duì)單音素每一幀與靜止幀(首幀)的歐式距離［6］大小來(lái)定義該音素的關(guān)鍵幀，即歐氏距離越大，變化幅度最大，最能體現(xiàn)該音素特點(diǎn)的就定義為關(guān)鍵幀。

歐氏距離計(jì)算方法如下:

設(shè)第i個(gè)特征點(diǎn)靜止幀和第K幀的坐標(biāo)分別為:

則可求出這兩點(diǎn)之間的歐氏距離，

將各特征點(diǎn)每一幀的歐式距離做方差，可以作為從靜止幀到第K幀口型的變化的程度，

通過(guò)計(jì)算可以得到單音素的關(guān)鍵幀，如圖5所示為/u/的關(guān)鍵幀與靜態(tài)幀。

圖5 /u/的關(guān)鍵幀與靜態(tài)幀

運(yùn)用該方法能夠得到較為理想的唇部三維運(yùn)動(dòng)坐標(biāo)，在后期合成軌跡運(yùn)動(dòng)時(shí)提高了真實(shí)感，因此在實(shí)際研究中采用了坐標(biāo)變換方法對(duì)三維數(shù)據(jù)進(jìn)行處理。

3 結(jié)語(yǔ)

本文研究了在三維可視語(yǔ)音系統(tǒng)中唇部特征點(diǎn)的數(shù)據(jù)采集和處理方法，該方法真實(shí)感強(qiáng)，計(jì)算量小，為后續(xù)的可視語(yǔ)音系統(tǒng)合成奠定了基礎(chǔ)。使通過(guò)可視語(yǔ)音技術(shù)幫助聾兒康復(fù)，校正發(fā)音成為可能。對(duì)未來(lái)聽(tīng)障患者的生活和學(xué)習(xí)起到了一定的幫助作用。

［1］徐琳，袁寶宗，龍濤，等.真實(shí)感人臉建模研究的進(jìn)展與展望［J］.軟件學(xué)報(bào)，2003，23(1):90-92.

［2］董蘭芳，王洵，陳意云.真實(shí)感虛擬人臉的實(shí)現(xiàn)和應(yīng)用［J］.小型微型計(jì)算機(jī)系統(tǒng)，2002，14(4):804-809.

［3］晏潔.文本驅(qū)動(dòng)的唇動(dòng)合成系統(tǒng)［J］.1998，19(1):31-34.

［4］尹寶才，王愷，王立春.基于MPEG-4的融合多元素的三維人臉動(dòng)畫(huà)合成方法［J］.北京工業(yè)大學(xué)學(xué)報(bào)，2011，37(2):266-271.

［5］杜鵬，房寧，趙群飛.基于漢語(yǔ)文本驅(qū)動(dòng)的人臉語(yǔ)音同步動(dòng)畫(huà)系統(tǒng)［J］.計(jì)算機(jī)工程，2012:261-264.

［6］鄭紅娜，白靜，王嵐，朱云.基于發(fā)音軌跡的可視語(yǔ)音合［J］成.計(jì)算機(jī)應(yīng)用與軟件，2013，30(6):253-261.