基于聚類和相似度計算的陸空通話詞向量評估

向 倩

(中國民航大學 空中交通管理學院，天津 300300)

0 引 言

陸空通話用于管制員與飛行員交互空中交通動態信息，是保障航空安全和效率的最基礎手段，是一種全球通用的管制員和飛行員英文對話標準。為加強管制員培訓效果，滿足非英語國家陸空通話用語規范和發音標準的需求，提出管制員飛行員人機對話系統，利用計算機響應管制指令替代機長席位。對話系統分為語音識別模塊和語言理解模塊。語音識別與語音合成技術[1-2]已廣泛應用于陸空通話領域，而直到最近幾年，自然語言理解研究才得到了初步發展。2017年，盧薇冰[3]和路玉君[4]基于改進CNN和RNN模型利用詞向量對陸空通話語義相似度進行比較，輔助計算機判斷復誦過程中的失誤。

2013年，詞向量被證明能捕獲更復雜的語言屬性，最大限度保留單詞語義、結構信息[5]。人機對話系統語言理解模塊基于神經網絡，以對話文本為網絡實際輸入，文本向量為本質輸入，高質量的詞向量能賦予神經網絡更多學習信息，因此除優化系統網絡模型外，需要對詞向量進行評價以保證源頭輸入向量的質量。

早期詞向量內部評估通過直接測量語義相關性和幾何相關性來測量詞向量的質量，包括相似性計算、類比、分類等方法[6]。后來的學者更加關注詞向量在下游任務的表現，使用詞向量作為下游任務的輸入特性，并度量特定于該任務的性能指標的變化稱為外部評估方法。Schnabel[7]、Anna[8]等人結合了傳統內部評估方法和諸如名詞短語分塊、命名實體識別、情緒分類、推理任務等外部評估方法。Tulkens[9]提出了利用詞向量將荷蘭語方言文本映射到文本原始分類區域，借此衡量詞向量的相似分類特性。

對于低資源語言如陸空通話用語，由于缺乏前人標注文件和工具材料，需要制定自身的評估方法和標準。詞向量的首要功能是表征語義，對詞向量質量評估即對詞向量表征語義的能力進行評估?？紤]到下游管制員飛行員人機對話系統的任務，制定了一個基于K-Means的概念分類和基于Siamese網絡句子相似度計算的陸空通話詞向量評估方法。首先建立陸空通話數據集，借助word2vec模型生成詞向量；其次利用概念分類的方法，通過比較詞向量分類和人工分類詞典的差異來證明詞向量表征語義區分單詞的功能；最后建立陸空通話指令比較集，通過詞向量來比較指令相似度，利用判斷準確率來進一步證明詞向量表征語義的功能。

1 語義表示方法

自然語言理解的發展得益于語義表達技術的發展，早期人類知識被表示為知識庫的形式；隨著計算機技術的更新，以自然文本為輸入，高維稀疏向量為輸出的傳統語義表達方法開始盛行[10]；然而高維稀疏的語義表達方法無法有效地表達出詞語之間的相似度信息，1986年Hinton[11]提出了詞的分布式表示，能通過刻畫詞的多重屬性更高效表示詞義和語言結構等信息，在形式上表示為低維連續的向量。以管制員指揮國航1421航班調整航向的指令為例，展示了兩種語義表示方法的具體形式，如表1所示。

表1 語義表示方式示例

每個單詞以幾十上百維的向量形式表示，涵蓋了語義、語法、上下文關系等多種特征。詞向量將單詞映射到向量空間里，通過計算單詞的“距離”信息來捕捉它們之間存在的句法(結構)和語義(語義)等相關關系。

2 陸空通話詞向量訓練

2.1 陸空通話語言結構分析

陸空通話語料數據集來源于飛行進離場階段真實通話錄音文件。進場階段是指航路飛行航空器下降對準跑道的過程，離場階段是指離場航空器加入航路飛行的階段。該階段涉及到的空管指令主要包括：高度、速度、航向、進離場程序。其對話結構如下：

對方呼號+通話內容

復述通話內容+己方呼號

示例：

C:CCA1421,Dongfang Approach,radar contact.

P:Dongfang Approach,CCA1421.

C:CCA1421,turn right heading 110 for spacing.

P:Right heading 110,CCA1421.

管制員用語分為許可類、指令類、限制類、報告類、證實類和信息類，飛行員用語分為請求類、狀態報告類、復訟類。

陸空通話標準用語具有以下幾個特點：語法結構單一，指令長度適中，指令重復率高，詞匯量有限，屬于小型語料庫。分析陸空通話語言結構及詞向量評估方法可得出：

(1)對話多為祈使句和陳述句，不具有主觀情緒色彩，因此不能用情感分類來評估陸空通話詞向量。

(2)語料庫詞匯較少，指令之間存在較弱的上下文語境關系，單詞之間缺乏有效的類比關系，故不能用類比(關系識別)來評估。

(3)指令主語一般為航空器呼號，選擇偏好用于判斷句子語義和動賓等邏輯信息，同樣也不適合該方法。

多個傳統詞向量內部評估標準均不適用于陸空通話詞向量的評估。結合管制員飛行員人機對話系統需求和詞向量內部、外部評估標準，利用概念分類和句子相似度計算來評價陸空通話詞向量。

2.2 詞向量生成訓練

根據上述陸空通話呼叫結構形式和終端區信息，建立指令類-復訟類常規陸空通話數據集，共計360個單詞，3 167 641條指令-回答語句對，涉及5架航空器、1家管制單位。

目前應用最為廣泛的詞向量訓練方法有word2vec、Glove，經過眾多研究顯示word2vec在大部分測評指標優于Glove。word2vec可利用CBOW和Skip-gram兩種方法產生詞向量，CBOW是輸入已知上下文，輸出對當前單詞預測的模型，Skip-Gram是推測當前單詞上下文單詞的模型，模型網絡結構見圖1。

圖1 CBOW網絡結構、Skip-gram網絡結構

簡而言之，word2vec模型其實是一個由輸入層、隱藏層、輸出層組成的簡單神經網絡，隱藏層為線性的單元。該模型以One-Hot向量為輸入，經過訓練之后，使用輸入層和隱藏層之間的連接權重矩陣表示單詞之間的關系，輸出層與輸入層具有相同維度。

(1)CBOW模型。

CBOW模型又稱連續詞袋模型，以某中心詞臨近的上下文單詞所對應的詞向量為輸入，輸出該特定中心詞的詞向量。

(2)Skip-gram模型。

Skip-gram顛倒了CBOW的輸入輸出關系，即已知當前單詞，預測其上下文單詞。不根據上下文單詞來猜測目標單詞，而是推測當前單詞可能的前后單詞。該模型輸入為某一中心詞的詞向量，而輸出則是該中心詞對應的上下文詞向量。

建立一個可以沿文本滑動的時間窗，窗口大小N表示窗里含特定詞在內的單詞數目，利用該滑動窗就能統計出每個單詞可能出現的上下文單詞；為加快訓練速度，將預測相鄰單詞這一任務改變為提取輸入與輸出單詞的模型，并輸出一個表明它們是否是鄰居的分數(0表示“不是鄰居”，1表示“鄰居”)。這個簡單的變換將需要的模型從神經網絡改為邏輯回歸模型，因此更簡單，計算速度更快。同時為避免所有例子都是鄰居即準確率為100%時而產生低質量詞向量，可在數據集中引入不是鄰居單詞樣本作為負樣本，為這些樣本返回0，并隨機填充輸出單詞；最后訓練神經網絡模型，減小損失值，不斷更新模型參數用以表示單詞之間的關系。

CBOW在小型數據庫中表現更佳，而Skip-gram多用于大型語料庫，陸空通話語料庫為小型語料庫，更適用前者。詞向量生成訓練選擇gensim庫中的word2vec模塊，在陸空通話數據集上進行訓練產生詞向量，窗口大小設置為5，維度設置為300。

3 陸空通話詞向量評估

傳統詞向量評估基于更高得分向量必然會改善下游任務結果的假設，往往根據得分來比選不同方法產生的詞向量。然而該假設有時并不成立，不同的自然語言處理任務可能依賴于詞向量的不同語言特征，不能將這些評估分數用作向量質量的絕對評估標準。詞向量作為無監督技術的產物缺乏目標值比較，如果不參考下游任務的性能，不能較客觀地對其質量進行評估，因此針對特殊任務需要一套絕對的指標來評估詞向量。

陸空通話指令分類明顯，內部評估任務設定為概念分類實驗，根據詞向量將具有相同相似屬性的單詞聚類，淺層分析詞向量詞義和詞性的表征效果[12]。外部評估任務設定為指令相似度計算實驗，通過對比基于詞向量的句子相似度計算方法和基于wordnet、基于編輯距離的方法來佐證詞向量表征語義的功能。

3.1 概念分類

手工制作陸空通話詞典并標注分類，利用詞向量將其所對應文本映射到文本的手工分類區域，通過計算映射準確率，判斷是否可以在沒有任何監督的情況下創建與手工制作資源等價的資源。

手工詞典按指令類別分為4大類和19小類。大類：速度、高度、航向、其他進離場指令。小類：航向動作、航向數據、高度動作、高度數據、速度動作、速度數據、動作原因、方位、跑道、航路點、航空器呼號、進離場程序、管制單位、管制單位頻率、距離數據、氣壓數據、應答機編碼、介詞、其他單詞。

利用K-means將詞向量聚類為10類。聚類數據i映射到原始分類中的數據個數和所占比例見公式1。各類別映射準確率見表2。

表2 聚類數據映射到原始分類中數據的比例

(1)

其中，i為聚類類別，m為大類類別(≤4)，n為小類類別(≤19)，count()為數據個數。

注：數據過少的分組忽略不計。

表2聚類數據的映射結果顯示，當聚類數據較少時映射準確率較高，普遍能達到90%以上，分類特征明顯。而當聚類數據較多時，由于單詞涉及的航行動作多且復雜，映射準確率較低，不到60%。該結果從淺層證明了陸空通話詞向量具有一定分類特性，符合陸空通話指令分類明顯的特征。

利用t-SNE(t-distributed stochastic neighbor embedding)機器學習算法將300維詞向量降至2維，圖2可視化了詞向量在二維空間的分布和詞向量聚類結果，不同灰度代表不同單詞分類。其中詞向量的空間距離不代表向量的實際距離。

圖2 陸空通話詞向量聚類二維平面圖

3.2 句子相似度計算

利用基于Siamese網絡的句子相似度計算模型來判斷兩句陸空通話指令的相似程度，其結構如圖3所示。通過比較該方法與其他計算方法的判斷準確率來評價詞向量。句子相似度計算的其他方法主要有基于編輯距離的方法、基于wordnet層級距離的方法，及其組合方法。

圖3 句子相似度計算模型結構

基于編輯距離的方法是指計算兩個句子之間，由一句話轉成另一句話所需的最少編輯操作次數，次數越多，說明它們越不同，多以單詞共現程度來衡量兩句話相似度。這種方法從單詞和語句表面結構出發，弱化了同義詞的語義關系，可視為基于語言結構的度量方法[13]。

wordnet詞典詳細定義了每個單位的詞性和詞義，利用單詞上下位關系構成分類樹，基于wordnet層級距離的方法將分類樹中的路徑作為相似度計算的參數。這種方法從語句深層詞義出發，可視為基于單詞詞義的度量方法，容易忽略掉反義詞包含的可用上下文相關性[14]。對于字面不相似語義相似、語義不相似句子結構相似的場景需要更復雜的模型來捕捉語義和結構信息。

(1)網絡結構。

Siamese網絡是一種神經網絡框架，利用2個共享權值的網絡學習一對輸入數據的差異，能同時考慮單詞詞義和語言結構[15]。具體使用LSTM來構建句子相似度計算模型，該模型由輸入層、嵌入層、LSTM層、全連接層和輸出層5部分組成。LSTM讀取表示每個輸入句子的詞向量，它的最終隱藏狀態即為每個句子的向量表示，這些句向量由詞向量構成，它們之間的相似性被用作語義相似性的預測。該方法依賴于預先訓練好的詞向量作為LSTM輸入，因此它將受益于詞向量質量的提升。損失函數選擇交叉熵損失函數binary_cross entropy，當x1和x2相等時loss=0，否則loss為一個正數，概率相差越大，loss越大。

(2)

其中，xi1表示第i個樣本第1個屬性的取值，xi2表示第i個樣本第2個屬性的取值。

(2)數據構造。

陸空通話指令比較集以{x1,x2,y}的形式構造，示例如下：x1和x2為兩個句子，y為相似度標簽，1表示相似，0表示不相似。比較集總計27 452對標注數據，訓練集占70%，驗證集和測試集各占20%和10%。其形式如下：

指令1

指令2

標簽

示例：

CCA142,turn left heading 200 .

CCA142,turn left heading 200 for spacing.

1

CCA142,descend to 2100 meters.

CCA142,climb to 900 meters .

0

(3)模型訓練。

隨著訓練輪數的增加，損失函數值呈下降趨勢，準確率呈上升趨勢，在訓練輪數達到第34輪時，兩者變化趨于平穩，準確率接近99%，損失函數值降到了0.002 8，模型基本達到收斂狀態(見圖4)。

圖4 模型準確率、模型損失函數值的變化情況

(4)結果分析。

以相似度0.9作為判斷相似與否的分界閾值，相似度高于0.9則認為兩句話相似，反之不相似。三種方法在測試集上的準確率如表3所示。基于編輯距離的方法表現最差，由于陸空通話對飛行動作和動作數據有確切要求，因此在語言結構不變的基礎上變換單詞為反義詞時語義正好相反，而該方法無法準確度量語義，造成相似度比較準確率低的結果。基于wordnet層級距離的方法雖能夠識別同義詞和反義詞，但語言結構變化會引起相似度計算減小，造成判斷準確率下降。以神經網絡和詞向量來計算句子相似度的方法取得了較好的收益，準確率達到了93.6%，證明詞向量是表征語義的良好手段，相對能更大限度蘊含詞義和語言結構信息，作為網絡輸入能對下游管制員飛行員人機對話系統產生正面的影響。

表3 句子相似度算法比較

4 結束語

以近階段常規陸空通話為知識來源，將概念分類和句子相似度計算納入詞向量評價當中。概念分類的準確率平均值達80.2%，淺層證明了詞向量表征語義區分單詞的特性?；谠~向量的句子相似度計算準確達93.6%，遠超基于詞義和語言結構的其他方法，進一步證實了詞向量表征語義的功能，具備作為下游人機對話系統輸入的條件。

研究存在兩點不足：構造比較數據集時方法不夠規范，耗時長覆蓋少；人為設定閾值作為相似與否的分界存在較大主觀性。后續工作研究重點將圍繞數據集構造、相似分界閾值設定展開。