基于超聲影像的舌位參數提取及分析軟件研究

李永宏 寇 贇 張金溪 徐 建

1(西北民族大學中國民族語言文字信息技術教育部重點實驗室 甘肅 蘭州 730030)

2(陜西機電職業技術學院科研信息處 陜西 寶雞 721001)

3(蘭州財經大學商務傳媒學院 甘肅 蘭州 730020)

0 引 言

超聲影像技術為言語發聲實踐開拓了新思路,目前,該項技術無論是在言語發聲還是在臨床醫學研究中已經成為一項重要的測量工具。國際上在語言學的研究中利用超聲影像技術主要體現在以下三個方面[1]:(1) 提取超聲成像中的舌位運動軌跡。研究方法包括主動輪廓模型[2]、主動外觀模型[3]、基于圖形標記方法[4]、基于粒子濾波技術[5]、基于標記模型和局部特征自適應變換的方法[6]、生物力學模型[7]、散斑跟蹤方法[8]、深度學習[9]等方法。常見的免費提取舌位輪廓的軟件有EdgeTrack和Ultra-CATS兩種,如圖1(a)所示。EdgeTrack軟件利用適合帶狀邊緣跟蹤提取的Snakes模型,在此基礎上開發了邊緣跟蹤EdgeTrak[10],該軟件已應用于語音研究。EdgeTrack軟件使用時需要用戶在超聲波視頻中的每一幀舌體輪廓均勻取100個數據點,之后將該數據點的X、Y坐標點存入到文本文件,方便后續統計分析進行處理。由于超聲成像技術在采集數據時,舌位運動軌跡在視頻的某一幀采集不到舌位輪廓或舌位輪廓部分消失,便出現錯誤,則需要手工重新標記,耗時較大;Ultra-CATS軟件是以探頭為圓心,每隔5度左右做一條射線與舌位輪廓相交于點X、Y,之后將該點存入到文本文件,方便后續處理。如圖1(b)所示,該軟件提取輪廓的方法是首先讀入采集好的超聲視頻,利用手工標記的方法初始化舌位輪廓作為一個模板,后續的數據利用算法調整每一幀舌位輪廓到最佳狀態,但是該軟件只適合運行于Windows XP系統,在其他操作系統會出現.dll的配置錯誤信息,兼容性不夠好。(2) 舌體輪廓線和舌位運動的量化分析研究。研究方法包括距離和測量法[11]、舌面的時空可視化分析[12]、平滑樣條方差分析[13]、舌曲率測量法[14]、小波函數混合模型[15]、舌體運動速度測量[16]等方法。Parthasarathy等[17]提出一種從輪廓序列中可視化、量化和比較舌面特征的方法,利用克里格(Kriging)法外推從超聲圖像序列中提取舌面輪廓,由此產生的克里格輪廓被堆疊和可視化為一個時空表面,最后開發了一種結合克里格算法的專用曲面軟件工具Surfaces(如圖1(c)所示),該工具用于對不同舌形進行平均分析和比較分析。(3)舌體三維建模。Stone等[18]和Lundberg等[19]分別使用60片超聲舌位成像數據集和更稀疏的超聲舌位成像數據集,定義了靜態美式英語語音的三維舌面形狀;Yang等[20]提出了一種利用超聲成像測量舌面三維運動的新方法,利用8幅超聲圖像(5幅冠狀面和3幅不同掃描角度的矢狀面)來重建正常語音發音過程中的三維舌體運動。舌體運動三維建模可以提供更多的視覺信息和對舌頭三維運動的定量描述,也可測量舌體體積,能夠比較準確地體現發音時的舌位。

(a) Edge Track (b) Ultra-CATS (c) surfaces

目前在國內將超聲波技術用于語言學研究慢慢深入,但是通過搭建基于超聲影像的數據處理平臺,方便對采集的超聲圖像進行舌位輪廓數據提取、分析與保存操作的工具并沒有被開發。為提高處理舌位超聲成像數據的效率,本文結合上述前人關于超聲影像舌位輪廓提取及參數分析軟件的優缺點,開發基于超聲影像技術的舌位參數提取及分析軟件,該軟件可實時提取動態超聲視頻的舌位輪廓,并對從動態超聲波的視頻某一幀到全部幀都可計算分析舌位輪廓的相關參數。軟件具有便捷、易操作、拓展性強等優點。

1 超聲波數據采集及預處理

利用超聲成像技術研究舌位發音過程的動態時,需根據研究內容來選取合適的探測部位、實驗設備及合理的實驗參數,同時由于采集的超聲數據具有高噪聲等特點,需對其進行降噪、圖像增強處理。

1.1 數據采集

本文采用的數據來源中國民族語言文字信息技術教育部重點實驗室。實驗室超聲設備如圖2所示,超聲設備由顯示器和探頭兩部分組成,為使得實驗人員清晰地看到舌位信息,采集數據時需在探頭涂抹耦合劑。將探頭放置實驗者的下巴,稍用力貼合肌肉組織進行發音,超聲波透過肌肉反射回來的信息呈現在設備顯示屏,則在超聲設備顯示器可實時看到實驗者發音時的舌位信息。實驗過程中,為進一步尋找舌位發音時的參照物——上顎,嘗試讓實驗者含水吞咽的過程中可呈現上顎。整個采集數據過程不僅需調節超聲儀器參數,也需人為干預輔助獲取到更加合理、清晰的超聲數據。

圖2 超聲數據采集儀器

由于探頭所處人體部位的特殊性,為消除實驗人員頭動等因素干擾,本實驗采集超聲數據使用頭部裝備來保證數據的合理性;另外,實驗過程中,針對不同實驗者及同一實驗者發不同音時,實驗人員需合理調節超聲儀器界面參數來獲取有效的超聲數據。

1.2 視頻預處理

本次實驗采集的超聲波視頻數據中的每一幀數據都包含當前超聲視頻的參數設置信息的顯示,并且具有高噪聲等特點。

由于本文研究的對象為舌線部分,因此視頻預處理的目的為最大程度地降低干擾因素(包括超聲視頻參數設置信息、舌體影像等)對舌線提取分析的影響。首先,去除超聲波工作界面邊框,以得到更加精確的舌體運動范圍;其次,截取得到舌線部分的扇形區域,即不包含舌體部分的影像;最后,使用數字圖像增強方法中的空域銳化增強技術——sobel算子,對舌線影像的輪廓等細節信息進行加強,為舌線的提取提供更多可用的信息。超聲圖像預處理分析如圖3所示。

圖3 超聲圖像預處理分析

2 軟件設計與實現

本文基于MATLAB 2016b平臺,在Windows 10操作系統下進行開發,經驗證在Windows 7版本以上操作系統都可運行。

2.1 結構設計

本文軟件的整體可以看作由四部分構成,分別是:文件操作、應用模塊、數據存儲及圖形顯示。軟件設計結構如圖4所示。

圖4 軟件結構設計

本文軟件首先讀入要處理的超聲視頻文件。其次,經過應用模塊得到舌位運動曲線和舌位運動曲線的參數數據,進一步使用SPSS軟件對得到的舌位運動曲線的相關數據進行分析。

應用模塊分別由舌位曲線提取和舌位曲線參數分析兩大功能模塊構成,舌位曲線提取模塊實現了自動擬合舌位曲線及展示其對應的舌位曲線方程的功能;手工標記關鍵點生成舌位曲線功能是可通過保存關鍵點來彌補擬合不準確幀的舌位曲線。舌位運動曲線參數分析模塊包括計算并保存舌位運動曲線范圍、舌位曲線曲率、舌位曲線曲率位置、各幀舌位曲線在X軸、Y軸極值點的數據,并實時計算舌位整體運動的舌位線曲率和曲率位置變化。應用模塊中所產生的數據都保存至excel文件中,后續利用SPSS軟件進行統計量化分析。

本文軟件設計采用模塊化編程模式,從而獨立于人機交互界面,也便于后續舌位曲線提取方法的改進和拓展。

2.2 功能設計

軟件設計界面如圖5所示,其分為菜單、視頻文件信息、文件操作、應用模塊。其中菜單包含:文件:打開文件、保存圖像、復制圖像、打印圖像、退出程序五個功能;設置:恢復默認數據功能;幫助:介紹軟件的操作說明。

圖5 軟件界面

本文軟件的核心是應用模塊中的舌位運動曲線提取和舌位運動曲線參數分析模塊。

(1) 舌位運動曲線提取模塊。超聲數據采集完成之后,為精準獲取舌位運動曲線,首先,本模塊對視頻預處理后的每一幀影像,使用數字圖像處理的方法,得到舌位運動曲線的關鍵點。其次,采用二次樣條曲線擬合方法進行擬合來自動獲取舌位曲線,并實時跟蹤每一幀的舌位運動曲線方程。人在發音時的舌頭非常靈活,無規律可循,因此利用二次樣條擬合舌位運動曲線使得部分幀存在誤差,為精確提取完整發音時的舌位運動曲線的超聲數據,本軟件對存在誤差的數據進行二次提取舌位曲線。二次舌位運動曲線提取采用手工標記關鍵點的方法,利用三次樣條的方法沿著舌位像素標記的關鍵點插值生成連續光滑的曲線。同時該模塊為避免誤標記不符合當前幀的關鍵點,設計刪除關鍵點功能。插值生成的曲線如不符合當前幀舌位運動曲線,設計刪除舌位曲線功能,可重新標記關鍵點生成新的舌位運動曲線。該模塊最核心的部分是保存關鍵點,手工標記的關鍵點插值生成舌位運動曲線,利用保存關鍵點功能,可替換自動擬合生成不準備的舌位曲線,便于后續的數據分析處理。

(2) 舌位運動曲線參數分析模塊。此模塊包括舌位運動曲線范圍、幀距、舌位空間距離、舌位曲線曲率及曲率位置的計算。并可實時顯示舌位曲線各項參數變化統計圖。為方便計算舌位曲線曲率及曲率位置,如圖6所示,為了將舌位輪廓重塑成三角形,建立極坐標系,即以探頭為極點,每隔大約5度左右作射線(極徑)與舌位曲線相交,相交兩端的端點視為三角形兩條邊的交點,最高點作為三角形的另外一個點。舌位曲線的曲率定義為三角形的高與底之比。以舌位曲線的最高點為頂點,作三角形的高與三角形的底邊相交于一點,該點將三角形的底邊一分為二,二者之間的比定義為舌位曲線的曲率位置。

圖6 舌位曲線曲率及曲率位置的計算方法

3 應用案例分析

為了驗證本文軟件的有效性,本文采用/a/、/o/、/e/、/i/、/u/五組元音的超聲數據作為本文軟件的輸入數據,從舌位曲線提取功能和參數分析功能兩方面進行分析。

3.1 舌位運動曲線提取

傳統的發音音系學理論將發音姿勢出現至消亡的過程看作一條360度的軌跡,在這條軌跡上有始發、目標、中心、釋放和釋放達成五個姿勢標志點[21]。另外,在實際的舌位超聲數據中,存在反映舌位初始狀態的發音開始前和發音完成后的數據,這些數據可觀察發音時舌體運動的連貫動作。基于以上,本文實驗采用的/a/、/o/、/e/、/i/、/u/的舌位超聲數據分為三個階段:發音人的準備階段、發音階段和收尾階段。

案例采用元音/a/、/o/、/e/、/i/、/u/各六組自動擬合的舌位曲線,各兩組手工標記關鍵點插值生成的舌位曲線。自動擬合舌位曲線采用ployfit(x,y,n)函數來進行擬合。其中(x,y)坐標點來源于去除超聲圖像干擾點后,利用find函數查找所得。另外,經過對多項式的多次考究,將n設為2。/a/、/o/、/e/、/i/、/u/自動舌位曲線擬合結果如圖7所示(按行順序),同時列舉了五組元音各兩幀的擬合方程系數,見表1。手工標記關鍵點插值生成舌位曲線的方法采用yi=spline(x,y,xi)函數,該函數根據手動標記的點(x,y),插值生成三次樣條曲線,即舌位曲線。圖8列出了/a/、/o/、/e/、/i/、/u/各兩幀的舌位曲線。其中,第一行是二次項式擬合不準確的舌位曲線;第二行是沿著超聲圖像像素點為1的點進行手工標記點的圖像;第三行是利用三次樣條插值生成的舌位曲線。同時根據手工標記關鍵點的數據(每個關鍵點的X、Y坐標點),利用SPSS工具對數據點進行了散點圖的重疊分析,進一步驗證了手工標記關鍵點生成舌位輪廓的可行性。圖9列出了/a/、/o/、/e/、/i/、/u/各兩幀的手工標記關鍵點的散點分析圖,數字圖像的坐標系與普通二維平面的坐標系存在差別,如本文使用的超聲視頻中的某幀,坐標原點在左上角,若要使圖像中舌位曲線與普通坐標系中的方向一致,則可認為,舌位在普通二維平面的坐標系第四象限活動,因此圖9中手工標記關鍵點的散點分析圖的Y軸為負的。

表1 五個元音自動擬合舌位曲線方程系數

圖9 手工標記關鍵點的散點分析圖

3.2 舌位運動曲線參數分析

舌頭的靈活性和柔軟性使得舌位運動復雜多變,無特定運動規律。人在說話時,舌頭在口腔內遇到不同程度的阻塞,使其發出各種各樣的聲音,由此說明舌頭在語音產生中的重要性[22]。本文依據元音在發音過程中舌頭在口腔中所處位置的不同,選取的/a/、/o/兩個前元音和/e/一個后元音作為舌位曲線參數分析的實驗對象。元音是由閉著的聲帶被呼出的氣流所沖擊,作有周期性的顫動,經過口腔的調節有了共鳴而形成的。研究者用于研究元音的生理參數分析如:舌位的高低、前后,舌的凹凸度等其他發音器官的參數分析。因此找出舌位在發聲過程中運動的基本規律和原則就非常重要。上述關于/a/、/o/、/e/三個元音的舌位曲線已提取,本實驗對獲取到的三個元音的舌位曲線從幀距和舌位空間距離進行參數分析。

幀距是計算相鄰兩幀舌位運動曲線之間的差值,本文采用均方根平均距離和(RMSSD)來計算舌位運動曲線差值,這樣的計算方法可以測量不相同數量點的集合插值而成且長度不同的舌位曲線間的距離,簡稱幀距[23]。假設兩個等高線由u=[u1,u2,…,um]和v=[v1,v2,…,vn]兩個不同數量的點的集合插值而成,則這兩條等高線之間的RMMSD的定義為:

根據對/a/、/o/、/e/元音的舌位運動軌跡的數據進行保存,并計算各自的幀距,幀距曲線結果如圖10所示。

“---”代表元音/a/的幀距曲線:元音/a/發音時舌身壓低并后縮,舌尖不抵牙齒。從1～7幀,幀距曲線一直為0,可能出現的原因有:(1) 1～7幀各幀之間舌位輪廓無差異,即RMSSD為0;(2) 1～7幀并無舌位輪廓的數據。人發音的動作以ms來計算,本文所使用的元音超聲波數據采集頻率40幀/s左右,發音階段的動作可能會正好處在連續兩幀圖像之間,為保持獲取數據的完整性,本文在處理數據時,不輕易處理感性認識上認為無效的超聲視頻數據。因此,1～7幀屬于發音人的準備階段,舌位處于初始狀態。7～13幀的幀距曲線有突然加速和減速的幀距曲線變化,說明發音人從第7幀開始,舌位開始向下運動,舌位曲線從無到有。幀距曲線從第13幀開始,一直持續到80幀左右,此范圍內的幀距曲線變化微小,說明發音人處于正在發音階段。80幀以后即進入發音收尾階段,舌位上抬恢復到初始狀態,幀距較發音階段差值較大。同時,發音收尾階段的幀距曲線也回歸到和舌位初始狀態的幀距曲線接近的位置。

“┅”代表元音/o/的幀距曲線:元音/o/發音時舌位半高,舌頭后縮,舌尖微卷。元音/o/的幀距曲線整體比較穩定,從舌位初始狀態慢慢開始抬高舌位,同時伴隨舌尖微卷,舌位運動開始加速到穩定,此過程幀距曲線從無到上升,到平穩狀態。當發音人進入收尾狀態,舌位要前伸,舌位高度下降到原始狀態,幀距曲線則再次加速變化過渡到舌位的初始狀態。

“...”代表元音/e/的幀距曲線:元音/e/發音時舌前部稍抬起,舌尖抵下齒。元音/e/的幀距從1～27幀左右,舌面靠近口腔上部,舌位從初始狀態開始緩慢上升到急速上升,幀距均值也逐漸上升;27幀左右,幀距均值突然加速,舌位運動較快,舌位輪廓變化較大。當發音人處于發音階段時,幀距均值平穩變化,舌位狀態基本穩定,舌位輪廓無顯著變化;當發音進入收尾階段,舌位高度下降,舌尖收回到舌位初始狀態,舌位輪廓再次大幅度變化,逐漸回歸到舌位的初始狀態。

舌位曲線幀距的物理意義是衡量單位時間內舌位運動速度變化的快慢。上述元音的舌位曲線幀距從舌位的初始狀態、舌位發音的初始狀態到舌位發音的過渡階段、舌位發音的穩定階段、舌位發音的收尾階段及其再次恢復到舌位的初始狀態舌位發音的三大階段深入研究,可描述舌位發音運動中整體舌位輪廓的差值變化,也可直觀觀察到舌位發音過程中舌位運動速度變化的快慢。

舌位空間距離是衡量舌位發音時在X軸的收縮度和在Y軸的彎曲度,為分析舌位發音運動過程中舌體自身的長度和高度變化提供參考。本文通過計算超聲數據每幀圖像中舌位輪廓在X軸的最近點、最遠點和在Y軸的最高點、最低點來體現舌位空間距離[24]。圖11分別繪制了元音/a/、/o/、/e/所對應的舌位空間距離的散點分布圖,橫軸為X軸,縱軸為Y軸。

圖11 元音/a/、/o/、/e/舌位空間距離散點分布圖

舌體在Y軸范圍內的變化:元音/a/舌體自身在Y軸高度范圍在-278～-78;元音/o/舌體自身在Y軸高度范圍在-365～-125;元音/e/舌體自身在Y軸高度范圍在-358～-78。在舌位元音圖中,/a/的舌位處于低位,/o/和/e/元音的舌位處于半高。由于舌頭在口腔底部,向下的活動范圍有限,因此元音/a/在發音時,舌身向下壓低的空間有限,在Y軸活動范圍較小。而元音/o/與元音/e/在發音時,舌身向上稍抬,自然狀態下舌位以上的口腔空間較大,因此元音/o/與元音/e/的舌體在Y軸的活動范圍較元音/a/的舌體活動范圍大。

舌體在X軸范圍內的變化:元音/a/舌體自身在X軸的收縮范圍15～470;元音/o/舌體自身在X軸的收縮范圍90～530;元音/e/舌體自身在X軸的收縮范圍80～590。三個元音發音時舌位在X軸范圍內的舌體可收縮程度基本一致,說明舌位在發不同音時在X軸的收縮度變化細微,基本無差異。各自將最遠點集中分布在X軸向右的方向,最近點分布在X軸向左的方向。另外,通過觀察舌位空間散點分布圖,元音/a/與元音/o/舌位的最近點和最遠點的分布范圍的差值微小,而元音/e/作為前元音,舌前部要向硬腭抬起,舌尖要抵住下齒,使得其最遠點分布范圍集中,最近點分布范圍較/a/與/o/的范圍較大。

綜上所述:發音時的舌位空間距離在Y軸范圍內活動比較明顯,且與舌位元音圖的舌位高低所對應;在X軸范圍內舌位發音時的舌體收縮度有細微的舌位前后伸縮的變化。同時,各幀元音在X軸的最遠點、最近點與Y軸的最高點、最低點的分布各自相對比較集中。

上述通過對后元音/a/、/o/及前元音/e/的舌位曲線的幀距和舌位空間距離兩個參數進行分析,幀距可觀察單位時間內舌位運動的快慢,可為分析舌位發音階段提供參考;舌位空間距離可分析舌位曲線在X軸與Y軸范圍內的舌位運動情況,可計算分析舌位在發音時的長度和高度。

4 結 語

本文開發了一個便捷操作的基于超聲影像的舌位數據提取及分析平臺,方便了語言研究者的研究使用。該軟件可實時提取舌位曲線并從舌位運動、舌體自身兩個角度對提取的舌位曲線進行分析。該軟件通過自動擬合舌位曲線與手工標記關鍵點的方法,避免了Edge Track軟件出現每幀都需手工標記點的重復操作,提高了舌位曲線提取的效率與準確度;同時該軟件在目前常用的操作系統平臺上都可運行,較Ultra-CATS大大提高了軟件的兼容性。另外本文軟件實現了處理大量的超聲數據的功能,便于后續利用SPSS工具進行量化統計分析,為處理更多的舌位曲線數據提供了技術支持。同時,在使用軟件的過程當中,由于介入人工標記關鍵點的因素,對生成的舌位曲線存在些許誤差,對后續進行參數分析的數據有影響。后續為提高基于超聲影像技術的數據處理平臺的工作效率,將研究新的、全自動提取舌位輪廓的方法及更直觀、更有益于分析語音規律的參數應用于本文軟件。