基于HMM算法的英語形音匹配可視分析

段 青 青

(中國石油大學(華東)計算機科學與技術學院 山東 青島 266500)

0 引 言

英語作為一種信息交流的載體，在國家之間的交流學習中具有非常重要的作用，為了更好適應時代的發展需求，提高自身英語水平，快速掌握發音規則成為高效學習英語的一個突破口[1]。然而英語中吸收了大量的外族語言，并以大膽的觀念與靈活的方式借用或創造新詞，導致英語發音規則出現多樣性和混沌性的特征，復雜的發音模式成為英語學習者學習英語的一大障礙。

針對上述問題，多位學者進行了相關研究：Chiappe等[2]研究發現形音匹配(Grapheme-phoneme correspondence)在英語學習中可起到積極作用，所謂形音匹配，它的核心是字素-音素轉換(Grapheme-to-phoneme, G2P)過程，相對于其他學習方式，其在閱讀和拼讀陌生單詞方面表現出更大的優勢；Hanna等[3]統計了10 000個高頻單詞的字素-音素特征，并根據特征重復概率為單詞列表建立難度指數，通過直接向學習者提供形音匹配模式和難度指數來指導其對單詞的拼讀學習。近年來，隨著計算機自然語言處理技術的發展，形音匹配模式的量化統計早已通過計算機實現。G2P技術在機器音譯[4]和文字發音預測中表現出極大優勢，從而得以廣泛應用。例如：百度基于G2P研發的文本語音轉換(Test To Speech, TTS)系統Deep Voice[5]，相比于傳統的多級處理模式，具有處理速度快、音素預測準確、音域適應性強等優點。文獻[5]研究表明由于字素和音素的基數相對較小，在發音預測工作中，具有對齊信息的雙向神經網絡模型對G2P有更好的適應性，該模型的發音預測準確率高達94%，較傳統方式有所提升。

前人研究表明了形音匹配規則和字素-音素轉換不僅適用于英文學習者的拼讀學習，而且適用于機器的文字發音預測。然而其中多數研究為單純的數據量化，復雜的統計信息不僅不利于學習者的記憶，反而易使其失去學習興趣。

針對上述問題，本文結合英語學習與發音預測兩個領域的研究成果，以形音匹配為中心，選取字素和音素作為共享單元[6]進行探究，使用隱馬爾可夫算法模型對單詞的形音匹配與發音模式進行分析，探究字素發音受窗口長度與方向影響的影響程度。除此之外，針對傳統研究方法中量化數字復雜、理解性差等缺陷，如圖1所示，本文采用可視化圖形界面以直觀、形象、可交互的方式將量化數據呈現給用戶，在激發學習者探究興趣的同時，幫助其快速、形象地理解字素-音素模式，從而有效地提高學習者的英語能力。

圖1 系統主界面

本文主要工作如下：

(1) 提出一種基于時序與模式的可視分析方法，探索了窗口大小和方向對不同字素發音穩定性的影響。

(2) 根據模式對字素進行聚類。相似的上下文模式在表示空間中具有更近距離，模式相似的字素會成簇出現。

(3) 統計單個字素在不同模式下的發音數量，探究字素對應發音受不同位置字素的影響情況，分析字素結合發音的穩定性。

(4) 統計單個或多個字素在不同模式下的發音數量，比較多個字素之間在不同模式下的發音穩定性與共有模式數量。探究其準確率對字素在形音匹配模式上的相近關系。

1 相關工作

1.1 英語發音

神經網絡技術已經逐漸應用到多個領域，在語音識別技術方面也表現出比較大的優勢。神經網絡技術主要模擬了人類的神經元活動原理，將人類所特有的自主學習、想象能力綜合到英語語音識別中，為語音識別開辟了一道新的途徑。自主學習需要人為給予智能系統一個固定的規則，使其通過學習后對輸入的信息根據規則進行改造，從而輸出人類想要的結果[7]。例如，基于TensorFlow的循環神經網絡構建的發音預測系統、基于Keras 開發的英語單詞發音預測LSTM模型均能通過端到端的訓練得到更為準確的結果。

目前較為成熟的智能系統多以形音匹配關系為核心，借助字素-音素的轉換模式可進行文字發音預測、文本語音轉換等工作。Deep Voice系統就是利用字素和音素之間的匹配模式加快了深度神經網絡的訓練速度，解決了TTS系統開發耗費大量人力與時間的問題，也滿足了系統應用的實時性要求。該系統的核心是使用連接時序分類器分割音素邊界，將文本轉換為音素序列后對序列進行重音、持續時間和基頻的標注。這些音素的標注信息更加貼近人類對語言的表達機制，因此形音匹配法更加適用于解決語音合成、語音識別和翻譯問題[8]。

然而，目前而言，神經網絡模型蘊含的量化數據較為復雜，難以深入理解，而英語學習者則希望知道模型究竟從數據中學到何種知識，從而產生最終的決策。因此，本文將采用可解釋、易于接受的可視化交互方法對英語的發音模式進行展示。

1.2 可視化分析

盡管前人已經在形音匹配模式上做了許多研究，但發音模式的數據可視化分析研究相對較少。研究表明人類從外界獲得的信息中80%以上都來自于視覺系統[9]，且數據正在變得無處不在、觸手可及，但數據創造的真正價值在于能否進一步提供數據分析[10]。

可視化在數據分析和信息理解中具有重要作用，數據可視化也早已應用到人類社會活動中，如約翰·斯諾制作的倫敦霍亂地圖、拿破侖進攻俄羅斯軍事分析圖、衛報數據中的世界煙草地圖集，以及《衛報》制作的伊拉克戰爭報道等，均使用可視化對數據進行展示。數據可視化一方面可更加準確地對信息進行梳理，讓受眾易獲得信息；另一方面通過圖表的表現形式，幫助受眾獲取文本無法直觀獲取到的信息[11]。

隨著計算機運算能力的提升，數據分析的效率大大提高，但是數據分析仍離不開機器和人的相互協作與優勢互補。在分析數據時要以人作為需求主體，得出符合人類的認知規律的方法，需將形象的可視分析與認知抽象的機器分析相結合，幫助受眾洞悉數據背后隱藏的信息并轉化為可運用的知識[12-13]。目前，綜合認知理論、科學、信息可視化及人機交互技術的數據挖掘技術被廣泛用于數據分析領域。

綜上所述，符合人類的認知習慣的分析和表現方法，可以輔助人們更為直觀、高效、形象地洞悉大數據背后的信息、知識與智慧[14]。因此，本文采用數據可視化的形式將分析結論以交互圖表的形式進行展示。

1.3 Hidden Markov Model(HMM)算法

隱馬爾可夫模型HMM用于描述統計現象，這些現象可被視為產生可觀察符號的隱藏狀態序列[15]。

一個HMM包含一個可觀察層和一個隱藏層。可觀察層是待識別的觀察序列，用觀察值輸出概率描述；隱藏層是一個馬爾可夫過程,用狀態轉移概率進行描述。HMM模型主要解決評估、學習和解碼問題[16]。一階HMM中計算狀態轉移概率時，假設狀態序列中的每一個狀態只與前一個狀態有關；計算觀察值的輸出概率時，假設任意時刻觀察輸出概率只依賴于系統當前時刻所處的狀態，其過程由矩陣A、B和向量π組成。矩陣A包含隱藏狀態的轉移概率，矩陣B包含給定隱藏狀態的觀測符號出現的概率，向量π包含隱藏狀態的初始概率[17]。

本文將隱馬爾可夫模型理論應用于形音匹配過程，將系統使用語言的拼寫作為輸入(隱藏狀態序列)，將自然語言的發音作為系統的輸出(觀察)，由此探究自然語言的詞內特征與隱馬爾可夫模型的對應關系[15]。與深度學習的不可解釋性相比，隱馬爾可夫模型具有良好的數據透明性，因此本文沒有采用深度學習模型進行分析。

1.4 數據降維方法

針對字素在多個模式下發音的狀態觀測矩陣維數過高和無特征的特點，對其降維方法展開研究。

基于t-SNE的降維算法,是一種非監督降維算法, 無須預先傳入項目的分類標簽信息。與PCA、SVD 等線性映射降維算法相比，t-SNE可以更好地在低維空間內表達高維變量之間復雜非線性關系[18]。其算法核心思想是在對高維空間中的點構建概率分布的同時，在低維空間中映射這些點的概率分布，兩個概率分布之間盡可能相似，從而達到降維的目的。

本文使用t-SNE降維方法所得狀態觀測矩陣低維空間的映射點有明顯的聚類表現，并且在多個樣本上的降維結果顯現出一定的規律性[19]。

2 數據處理流程

本節首先描述了數據集的分解流程，在此基礎上闡述了隱馬爾可夫算法在不同窗口下的處理流程。

2.1 字素音素分解流程

(1) 根據目的所需，獲取朗文字典中的詞匯的拼寫、音標以及詞性等相關屬性。

(2) 根據詞性以及詞匯的大小寫情況對詞匯的縮寫以及專有名詞進行剔除。

(3) 將剔除后的數據，根據威爾遜閱讀系統解碼、編碼規則將詞匯和音標進行拆分，形成字素-音素聯合單元。對于一個給定的字素，其對應的音素通常是不唯一的。由于劃分過程中存在兩個相同的字素相連的情況，無法精準確定發音由前后哪個字素所得，因此在劃分時將相鄰相同字素進行了合并。通常，字素和音素序列長度相等，且一一對應。在這些排列中，一個字素可能對應一個沒有發音的空音素、一個單一的音素或一個復合音素。復合音素是兩個音位的連接。

(4) 將詞匯中的特例額外劃分，保證劃分的準確性。

2.2 HMM窗口處理

HMM根據窗口值大小w大于1與等于1兩種情況做區分處理，其區別在于：

(1) 在t+1時刻的狀態qt+1的轉移概率依賴于w-1個狀態的影響。例如，窗口大小w=2(L/R=1/0)時，t+1時刻的狀態qt+1依賴于t時刻的狀態qt和t-1時刻的狀態qt-1，其中L/R中的L和R分別表示觀察字素左側和右側的字素長度。

(2) 在t時刻釋放觀察值Oi的輸出概率,不僅依賴于系統當前所處的狀態Si,同時依賴于系統前一時刻所處的狀態Si-1。

圖2表示的是窗口大小w=2(L/R=1/0)時的HMM模型。

圖2 HMM在w=2(L/R=1/0)時的模型

3 可視化分析

本文首先根據數據的窗口大小，對字素發音的整體影響音素進行統計分析，然后根據任務和設計目標, 提出并實現了一個基于形音匹配的可視分析系統。系統包含字素穩定性分析視圖、詞云分析視圖、模式關聯圖、模式對比圖。可視分析以數據集中全部字素的總覽為起點，對詞云中字素進行篩選探索并對比較詞云中相鄰字素的發音變化和相似規律，最后對單個字素的發音模式根據窗口大小的變化進行模式分析，以得出鄰接字素對目標字素發音的影響規律。

3.1 窗口大小解析

本文對《朗文高階美語詞典》中經過篩選的28 073個詞匯(對應192 283個字素)進行隱馬爾可夫模型發音預測。針對不同窗口大小w、左右兩邊不同數量的相鄰字素L/R、預測準確發音的單詞數量#word與其占總詞匯數量的比例pword、匹配準確音素的字素數量#pron與其占總匹配對數量的比例ppron以及在相同窗口不同位置的相鄰字素影響下音素匹配準確的單詞數量#wordw和概率pw情況進行數據分析，分析所得結果表1所示。

表1 受不同數量的鄰近字素影響時概率變化表

續表1

通過觀察表1中研究結果可以發現，詞匯發音預測準確率主要受兩個方面的影響：① 窗口大小。當觀察字素兩邊分布相對一致時，隨著w增加，實驗所得發音準確的詞匯數量以及正確匹配對的數量均呈上升趨勢。例如：w=2(L/R=1/0)與w=5(L/R=4/0)相比，準確匹配音素的概率從70.82%上升到86.84%，準確預測詞匯發音的概率從15.77%上升到41.05%。② 字素與待匹配字素相對位置關系。窗口大小不變時，受影響字素與待匹配字素的相對位置不同，獲取到詞匯的準確發音數量存在明顯差異。例如w=4(L/R=1/2)與w=4(L/R=3/0)相比，前者準確匹配音素的概率為91.09%，而后者僅有83.56%。

3.2 發音規律分析

英語在字素的發音上不存在完全精準的模式，因此對于多個字素，即使其隨窗口大小增加，發音模式穩定性也無法達到100%。例如，字素在從窗口大小w=2時對應的所有音素準確率為98.50%；當窗口增加到5時，字素對應的所有音素準確率增加到99.01%，準確率僅提高了0.51%。

前文分析已得出，隨著窗口大小的增加，音素準確率呈增長趨勢。然而窗口長度的過分增加，不僅對音素準確率的提升效果不明顯，反而對大腦記憶增添負擔，復雜的記憶工作會直接降低學習者學習英語的積極性。因此，應當合理選取窗口進行可視化呈現，以獲取音素準確率與記憶成本間的最大平衡。

3.3 字素穩定性分析視圖

字素穩定性分析視圖采用對稱條形圖的不同柱狀長度呈現字典中所有字素在不同窗口大小和方向下的音素準確率。

圖中以縱坐標軸為界，左半部分表示不同窗口大小下受左側字素影響強度不弱于右側時匹配的準確率情況，右半部分表示不同窗口大小下受右側字素影響強度不弱于左側時匹配的準確率情況。字素穩定性分析視圖的計算基于隱馬爾可夫算法，視圖中所有字素均可結合窗口大小進行對比分析。圖中柱狀長度由窗口大小與字素在窗口中的分布位置決定。

對多個字素的匹配準確率進行對比分析，總結出字素發音穩定性情況呈現以下幾種類別：相同窗口大小下受左側字素的影響程度強于右側、相同窗口大小下受右側字素的影響程度強于左側、字素匹配準確率隨窗口大小的增加而顯著提升、字素匹配準確率不受窗口大小影響而基本持平。

3.4 字素詞云分析視圖

詞云分析視圖是學習形音匹配模式的入口，圖中信息包括數據集中字素的二維分布與字素在模式上的相近關系。字素在詞云中的相對位置反映了字素之間模式的相似程度。字素的位置由數據集中字素的模式通過t-SNE降維方式獲取，對于模式差距較大的字素，在視圖中的距離也會偏大。在探究字素之間的關系時，用戶可以根據降維可視化形成的簇進行對比分析。

3.5 字素模式關聯圖

分析字素模式關聯圖可得單個字素的發音情況，視圖中根節點為所選字素，與根節點相連接的是該字素的所有發音情況，字素的發音由葉子節點和中心字素共同決定。葉子節點的大小與對應字素的數量成正比，當同一個葉子節點連接到不同的音素時(如圖中、、)，表明該根節點與葉子節點字素結合時發音不穩定。

3.6 字素模式對比圖

字素在不同模式下發音對比圖，對詞云中選取的字素進行統計分析。本視圖主要針對多個字素的所有模式進行分析，在橫坐標排布上服從先共有模式，后私有模式。用戶可以從視圖中直觀地比較多個字素之間在不同模式下發音的穩定性情況。研究發現，兩個字素存在共有模式數量及其準確率對字素在形音匹配模式上的相近關系起決定作用。

本文通過該可視分析系統的四個交互圖表直觀體現了字素間的音素匹配模式，從而幫助用戶高效地學習英語形音匹配模式。

3.7 可視化交互

本系統通過可交互視圖集與可視化展示視圖集進行數據聯動的方式(可交互視圖集：字素穩定性分析視圖、詞云分析視圖；可視化展示視圖集：模式關聯圖、模式對比圖)，提供豐富的交互功能，滿足用戶的學習及研究需求。

用戶可在字素穩定性分析視圖選擇待分析的字素，點擊待分析字素后，模式關聯圖區域數據更新，變更為選定字素的模式關聯圖，向用戶展示當前字素的詳細模式信息，幫助用戶學習字素發音規律，提高用戶拼讀能力；用戶可在詞云分析視圖選擇單個或多個字素，選中或退選字素后，模式對比圖區域進行相應數據更新，模式對比圖中會增加選中的字素分析曲線，刪除退選的字素分析曲線，最終呈現全部已選擇字素的發音模式，將字素間發音模式的相似程度直觀展示給用戶，輔助用戶關聯記憶或探索研究。鼠標懸停可以顯示相應數據的詳細信息。

4 案例分析

雖然目前已有許多關于字素的發音模式研究, 但利用可視化技術進行的相關研究相對較少。而且目前針對上下文字素對觀察字素發音影響的研究以及字素之間模式相似性的研究并不詳細。因此本文采用可視化技術，通過可視交互圖表對觀察字素進行發音模式分析和相似性對比。

本文通過兩個案例來介紹系統的可用性與效率。案例一選取字素的發音模式進行分析，案例二選取多個字素發音模式進行對比。以下將對兩個案例分別介紹。

4.1 案例1：字素的發音分析