基于詞聯接的自然語言處理改進技術研究

趙棟材 周雁

摘要：隨著人類社會信息化程度和計算機水平的提高，自然語言處理（NLP）技術逐漸成為計算機應用和人工智能研究的熱點。自然語言的處理方法主要采用描述語言規律的基本思路，研究者探索出一些有效的技術，并取得一定的成果。通過對此類技術進行升級改造，總結了研究成果，改進基于詞聯接的自然語言處理技術的應用原理，從而使得該技術在應用中具有更高的處理語言文字的效率和準確性，使其更適應現代的人際交往。

關鍵詞：詞聯接；NLP；技術改進

中圖分類號：TP391文獻標志碼：A文章編號：1008-1739（2018）09-61-2

Study on Improvement Technology of Natural Language Processing Based on Word Link

ZHAO Dongcai， ZHOU Yan（School of Information Science and Technology， Tibet University， Lhasa Tibet 850000， China）

0引言

隨著人類社會進入信息化時代，計算機硬件水平不斷升級改進，NLP技術也日益發展成熟。計算機自然語言處理技術的目標是讓計算機具有類似人的語言智能，例如能夠和人一樣對語言文字進行基礎的聽、說、讀、寫等方面的處理，使得語言文字處理技術逐漸發展成熟，最終形成一門綜合性、交叉性學科[1]。

自然語言處理技術是計算機應用和人工智能研究的熱點和難點，也是計算機技術和信息社會發展的一項重大課題[2]。在改進計算機語言處理技術的同時，發揮詞語聯接功能，研究基于詞連接的自然語言處理技術的升級改造，使之更精準地適合于人類信息化社會的發展，為人類信息化社會和計算機技術的提升提供一定的幫助[3]。

1基于詞聯接的自然語言處理技術

1.1詞聯接自然語言處理技術發展階段

自然語言規則處理技術屬于理性處理方法，其基本思想是根據語言規則分析語言的正確性，建立語言規則庫。語言規則包括語義規則和語法規則兩方面，其理論基礎源于喬母斯基的形式主義語言學。該語言學理論在人類語言學和計算機語言學中都占有重要地位，其理論中關于語言結構部分已經被廣泛應用于自然語言的詞語關聯和句法關聯處理中[4]。在升級計算機硬件條件基礎上，將處理重點放在大規模的真實文本處理上，通過建立統計語言分析模型來分析自然語言的正確性。

基于詞聯接的自然語言處理技術也正在不斷地改進和發展，在自然語言處理技術的應用中占有重要的地位。

1.2詞聯接自然語言處理技術模型分析

由于受到自然語言環境的限制，傳統語言處理方法無法對文學語言進行處理分析，缺少對文學語言的寫作內容和創作技巧的分析探究。基于詞聯接的NLP技術，將結構主義語言學和認知語言學相結合，建立起全面、簡便的技術結構，已經成為自然語言處理技術中的核心技術，在自然語言處理系統中占有重要地位，基本模型如圖1所示。

此模型中，體現在受限的自然語言環境中建立動態語料庫，動態語料庫中以高級知識為主體，實例知識是對高級知識的補充，在一定情況下，實例知識還可以轉化為高級知識，二者都是動態語料庫中的重要組成內容。此模型中也可以分析得出，基于詞聯接的自然語言處理模型具有受限性、動態性和經驗性。

基于詞聯接的自然語言處理技術依賴于自然語言環境，面向的也是受限的自然語言處理，也是某一特定語境中真實應用的語句，是因為NLP技術的受限性才讓此技術具有可操作性，對受限內容進行規范化處理，從而正確而高效地處理語言內容[5]。

NLP技術在自然語言處理上具有動態性，因為NLP語料庫的建設過程就是一個動態的過程，受限自然語料庫隨著時間的推移不斷改變，動態語庫要進行不斷地更新替換，知識庫的更新同樣會加強語言智能機器處理的能力。因而，NLP技術在現實中的應用能夠不斷更新，獲取高質量的知識[6]。

2基于詞聯接的自然語言處理技術改進

詞聯接自然語言處理技術在現實應用中有其自身的特點，然而在應用過程中依然會存在一定的限制和不足。首先對單詞邊界的界定，一般而言，漢語中以雙音節詞為主，如蝴蝶、蜜蜂等。但有時一些三音節的詞也比較多，如紅彤彤、綠油油等，四字成語如翩翩起舞、天涯海角等，這些是否界定為詞語還是成語，或者是短語，不僅是語言界難以界定的問題，也是目前語言處理技術難以克服的問題。其次，在日常語言交際中，詞類和詞性都具有一定的模糊性。漢語中，一個詞具有多類詞性，如工作既可以是名詞又可以是動詞，而詞義上面的模糊性更加明顯，如白天和晚上2個詞表示的時間是不明顯的，更加沒有完全的界限。

通過對詞聯接的自然語言技術的了解和分析，可以構建出此類技術的改進模型，如圖2所示。

此類技術中包括自然語言知識表述、語言分析和語言生成，這3類技術著重對語言的知識進行輸入分析和輸出整理，包括知識獲取、知識評價和知識修改這3類技術的應用能夠最大限度地對自然語言知識進行整理分析和評價修改，確保自然語言庫中語言知識的準確性。

知識是主體認識經驗的總和，知識表述技術是對自然語言處理技術的綜合改進，知識作用于主體能夠有效幫助主體解決問題，也是主體獲取知識、認識世界的間接過程。但是由于世界的無限性，知識也具有無限性，而知識主體的認識卻是有限的，間接通過認識世界來獲取知識，可以節約時間和提高效率。

自然語言是人類特有的、最為主要的語言，語言作為承載人類知識和信息的載體，有其自身的結構和體系。一般而言，語言結構包括字、詞、句、篇和章5個組成部分，基于詞聯接的自然語言處理技術模型可以包括除上述5個層次之外，加入詞聯接層次，通過改進基于詞聯接的自然語言處理技術，在語言結構中加入一個詞聯接單位，使得原來由詞和復雜的句子連接的成分變成了由詞聯接和句子相連，詞的語義具有不確定性，也存在很多多義詞，而構成詞的下級成分———字，具有明確的含義，構成詞的上級成分———句子和篇章，往往表達的也是明確的含義，因而需要在詞和它的上級成分之間建立一個詞聯接，以確保詞義具有明確性。

3基于詞聯接的自然語言處理技術應用

經過改進的詞聯接自然語言處理技術，可以規避詞義模糊性和不確定性的弱點，將詞聯接加入到語言成分結構體系中，將詞聯接技術加入到自然語言處理技術中，可以減少詞義模糊性帶來的弊端，提高自然語言處理技術在現實生活中的應用效率，使得此技術既可以應用于自然語言的處理中，又可以最大程度地處理文學語言，包括文學語言的詞匯應用技巧以及文學語言中的修辭概念手法等。

基于詞連接的自然語言處理技術在現實生活中具有廣泛的應用，可以利用此技術來進行知識的獲取，人類之所以能夠不斷發展強大，其中一個重要的原因就是經過漫長的知識學習，積累了技能和經驗，而知識的獲取需要通過語言這種載體來承載。詞聯接技術使得自然語言得到一定的豐富，也使得自然語言處理技術得到一定的發展和改進。

①基于詞聯接的自然語言處理技術能夠獲得更多的間接知識，直接知識是指人類從自然界和社會生活中經過實踐而得來的知識和經驗，需要耗費大量的時間和精力，那么通過語言和語言處理技術的不斷改進的同時，也改進了人類獲取知識的方式。間接知識概括間接，可以直接拿來使用，因而間接知識存在的意義往往大于直接知識，通過不斷改進自然語言處理技術，也是改變知識獲取的途徑，從而擴展人類獲取語言和知識的途徑。

②基于詞聯接的自然語言處理技術的應用使得語言更具有一定的體系，也使得語言在運用中更具有準確性。通過詞聯接自然語言處理技術對語料進行加工，再對某些出錯或者存在歧義的語料內容進行標注，最終使得被加工的語言更加規范完整，有一定的邏輯性和修辭運用合理等特點，使得知識的傳遞更加規范和準確。

③基于詞聯接的自然語言處理技術能夠增加語言規則的規范性。語言規則是規范語言使用中的一套邏輯體系，一般而言，人類先有語言，后有語言規則，語言規則是對語言本身的一種有效性規范，也是對語言材料在加工中加入邏輯思維的一種方法。語法規則是由最基礎的字詞按照一定的規則組裝成句，再將每個句子按照一定的并列、轉折、遞進等關系來規范段落和篇章的邏輯體系，從而形成一套語義完整和邏輯清晰的篇章。

④能夠在日常生活中得到廣泛應用，人們在日常交際中需要運用語言來組織話語，使得話語具有一定的邏輯結構從而完成交際活動。基于詞聯接的自然語言處理技術通過語料庫的積累和語法規則的建立，從而使得語句上具有一定的邏輯性體系，每種句法成分和句型句式可以通過一定的推理和演繹法來進行表達，并形成一個完整的算法結構。

4結束語

在信息技術不斷發展的社會，人類語言處理技術也發生著巨大的變化，自然語言處理技術經歷了3次大的階段性轉變后，基于詞聯接的自然語言信息處理技術正在處于不斷上升階段，但此類技術在運用中依然還存在一定的問題和弱點，為此，需要進行一定的升級和改造，使之適應當今高效率的現代社會人際交往。通過對改進后的技術進行應用，探究其在現實中的應用效果和優勢。

參考文獻

[1]王萌，俞士汶，朱學鋒.自然語言處理技術及其教育應用[J].數學的實踐與認識，2015，45（20）：151-156.

[2]俞士汶，朱學鋒，耿立波.自然語言處理技術與語言深度計算[J].中國社會科學，2015，12（3）：127-135.

[3]孫道功.基于大規模語義知識庫的“詞匯—句法語義”接口研究[J].語言文字應用，2016（2）：125-134.

[4]賈潤亮.基于自然語言處理的知識檢索算法研究[J].微電子學與計算機，2016，33（10）：130-133.

[5]熊志恒，閔華松.基于自然語言的分揀機器人解析器技術研究[J].計算機工程與應用，2017，53（8）：113-119.

[6]任海英，于立婷，黃魯成.基于鏈接預測的科學研究機會發現方法研究[J].情報雜志，2016，35（10）：53-58.