從語言學發展及社會影響淺談NLP發展歷程及意義

胡惟儀 郭心宇 周子奇 安冠華 孫睿

【摘要】自然語言處理（NLP）作為人工智能（AI）的子領域，近年來發展勢頭迅猛，而自然語言處理在語言學發展和社會發展層面也功不可沒，本文旨在研究NLP在上述兩個層面發展歷程極其意義。

【關鍵詞】自然語言處理;語言學;發展影響

【作者簡介】胡惟儀（1998.08.09-），女，東北林業大學外國語學院，本科;郭心宇，周子奇，安冠華，孫睿，東北林業大學大學外國語學院。

【基金項目】本論文為東北林業大學大學生創新訓練項目成果（項目編號：201910255275）。

一、NLP定義

NLP（Natural Language Processing），即自然語言處理，是人工智能領域以及計算機科學領域的一個重要研究與運用對象。自然語言處理的主要研究目標和內容為人類與計算機之間如何運用自然語言進行真實而有效的溝通。

二、NLP發展歷程

眾所周知，語言行為是人類區別其他動物的本質特性，語言承載著人類的邏輯思維方式，是交流溝通的重要渠道。從語言的發生與目的角度來看，語言行為也可看成是一項施動行為。在該層面下，從嚴格意義上來講，語言等同于人類溝通過程中所使用的指令，即自然語言。而隨著科學技術的日益發展與壯大，人類與計算機之間進行真實有效溝通的目的、僅憑計算機語言的應用已無法全面達成與滿足。因此，無論是從計算機科學發展的角度，還是從人類更好地掌握與操控計算機的角度去思考，利用自然語言實現計算機的運行需求亟待滿足，這也就是將自然語言跨界運用到計算機科學領域這一重大突破的伊始。這一將人類日常生活中所使用的自然語言融合到計算機科學中、從而達到人與機器自由交流的過程即為NLP，自然語言處理。自然語言處理作為一個多邊緣的交叉學科，其研究以語言學為主，涉及計算機科學、數學、心理學、哲學、邏輯學、統計學、電子工程學、生物學等各個領域。其所涉及學科的多樣性造就了研究自然語言處理的復雜性與特殊性，也注定了實現人與機器交流的過程必將是困難重重的。從現已掌握的理論和技術方面來看，研究出高效的、優質的自然語言處理系統，仍然是科學界需要長期努力達成的目標。但是針對一些較低需求的應用，具備基本自然語言處理能力的實用性系統已經成功研制出，有些甚至已經商品化、普遍化，甚至開始產業化。人類日常生活中典型的運用自然語言處理系統的例子有：各種機器翻譯系統、手機語音助手、自動文摘系統等。這些產品的普遍應用便是自然語言處理在計算機科學下所達成成就的見證。

迄今為止，自然語言處理的發展已歷經了四個重要時期，分別為萌芽期、快速發展期、低谷發展期以及復蘇融合期。1956年以前可看作是自然語言處理的初生萌芽期，一方面，人類文明經過幾千年的發展，在語言學、數學、物理學等方面積累了大量的原始材料，夯實了自然語言處理的基礎理論知識。另一方面，第一代電子計算機的誕生不僅為自然語言處理的應用提供了物質基礎，還引發了社會層面對機器翻譯的需求，推動了自然語言處理的基礎研究。另外，1952年貝爾實驗室對語音識別系統的研究以及1956年人工智能的誕生等該時期內的相關研究的發展也為自然語言處理提供了技術鋪墊。第二個階段為1957年至1970年的快速發展時期，在這一時期內自然語言處理以極快的發展趨勢迅速融入了人工智能領域。其主要研究人員也因研究方法的不同而被分為兩派，一派是基于規則方法的符號派;一派是采用概率方法的隨機派。符號派學者著重于形式語言理論以及生成句法的研究，于60年代末期又進行了形式邏輯系統的研究。而隨機派學者采用基于貝葉斯方法的統計學研究方法，在這一時期也取得了很大的進步。在隨后的1971年至1993年間，自然語言處理的研究因人們逐漸發覺自然語言處理的應用難以實現而到達了低速發展時期，難以取得重大研究成果。90年代中期之后，受計算機飛速發展以及網絡技術日益完備的刺激，自然語言處理的研究得到了復蘇與發展。至今已取得了諸如NLP的神經網絡、注意力機制、預訓練語言模型等多項具有里程碑意義的研究成果。

三、NLP四方面影響

自然語言處理，作為人工智能（AI）的子領域，是一種高科技新興技術。而自然語言處理的意義在于深度學習，快速應用，提供就業崗位，對語言學發展的反饋。1.從自然語言處理這個研究領域發展出一批極具增長潛力的有用的應用程序。以下是其中幾個：拼寫檢查，關鍵字搜索，查找同義詞，從網站提取信息，分析機器翻譯口語對話系統，復雜的問答系統。事實上，這些應用程序已經在工業中得到了廣泛應用，例如，從搜索（書面和口頭）到在線廣告匹配。2.具有先進功能和改進性能的新模型和算法：其能夠靈活地表示算法本身，更有效地端到端聯合系統學習，更有效地在各項任務之間的轉移學習方法，以及更好地正則化和優化方法。大多數機器學習方法都能很好的工作。深度學習提供了一個非常靈活，通用且可學習的框架，用于呈現視覺和語言信息的世界。3.人工智能的發展是大勢所趨，當前從事互聯網的人們已經制造出了海量的數據，未來還將繼續持續，其中包括結構化數據、半結構化和非結構化數據。大數據、云計算技術共同整合使得結構化數據技術基本趨向成熟和穩定，而半結構化、非結構化的數據，因其自身的復雜性，在當前和未來更多領域應用都具有很大的困難和挑戰。而當前市場對于 NLP 技術人才的需求又非常急切，而且這種狀態將持續5-10年，大部分企業需要懂NLP技術的人來處理海量非結構數據。在這個市場缺口下，這種技術將會催生很多人才。這不僅是對自己的肯定，也是對自己未來的規劃的認同。這種人才無疑是搶手的、待遇好的、發展潛力大的。在BOSS直聘上，對 NLP 技術人員的待遇需求中，僅僅是NLP開發工程師的薪資在30-60k。4.一般認為，自然語言處理是人工智能和語言學的交叉學科。但是，從其發展歷程上來看，基本上還是由計算機科學家主導的一個研究領域，語言學家往往是起到輔助性的作用。甚至于，在其發展歷史的許多階段都沒有語言學家的直接參與。然而，無論從其發展歷程、現狀和發展策略上來看，似乎都可以看到語言學理論的影子。目前，計算機學習和使用自然語言的研究成果會對語言習得、語言學習和語言使用的研究提供新的啟發。

四、結語

由此可以看到，在人工智能發展得如火如荼的今天，自然語言處理似乎被人們揭開了神秘的面紗，本文只是列舉了很少的一部分，但相信也會有待查明的理論問世，到那時自然語言處理就更會為我們的生活增添上濃墨重彩的一筆！

參考文獻：

[1]馮志偉.自然語言處理的學科定位[J].解放軍外國語學院學報， 28，3，2005，5.

[2]Byte貓.自然語言處理的發展歷程[J].簡書，2019，3.

[3]百度百科NLP詞條[OL].

[4]易水寒.NLP的介紹和如何利用機器學習進行NLP以及三種NLP技術的詳細介紹，2018，6.

[5]Boss直聘NLP相關數據[OL].

[6]徐大明.語言學理論對自然語言處理的影響和作用[J].云南師范大學學報，2017，5.

[7]張一凡，徐蔚然.基于文檔頻率的分級主題模型[D].北京郵電大學，2011.