◆孫強強 丘恵軍 陳昊
(深圳供電局有限公司 廣東 518000)
語義分析是人工智能的一個分支,也是自然語言處理技術的核心技術,涉及的學科有:機器學習、認知語言、語言學、計算語言學等。語義分析技術的進步有助于促進其他自然語言處理任務的快速發展。近年來,人工智能中的語義分析技術,特別是深度學習技術發展迅速。例如:在自動駕駛、語音識別、圍棋游戲、圖像識別等眾多領域都取得了突破。
語義分析通過各種方法,識別和理解一段文本內容所表達的語義內容,這種對任何語言的理解都可以歸為語義分析的范疇。通常,一段文本內容由詞、句和段落組成。詞匯語義分析的重點是如何獲得或區分詞的語義。簡單來說,語義分析是通過建立有效的模型和系統,實現對各種語言的自動語義分析,達到實現對整個文本所表達語義的理解。
語義分析技術在詞匯層面上的意思是如何理解詞義,包括詞義消歧和詞義表示。
詞匯歧義作為自然語言固有特征。詞義消歧是根據一個多義詞在文本中出現的上下文聯系來確定其在該文中的詞義,是各項自然語言處理的基礎步驟和必經階段。詞義消歧包括兩個必要的步驟:(1)在詞典中描述詞義;(2)在語料庫中進行詞義自動消歧。詞義消歧要克服的兩個關鍵問題是:(1)詞典構建、(2)上下文建模。
早期詞匯表示的實踐,是把詞義表示由網絡中的詞義位置,連接到網絡根節點的路徑的信息。……