人工智能專業自然語言處理課程建設的實踐與探索

趙 莉

（上海工程技術大學電子電氣工程學院，上海 201620）

0 引言

在人工智能走向2.0的發展過程中，數據和知識是兩個最重要的關鍵元素[1-3]。處理大數據和處理多重知識，形成了AI發展的兩類核心技術。自然語言處理的核心驅動力來自數據驅動,在文本處理、信息抽取、情感分析、話題推薦、機器翻譯、專家系統、語音識別與合成等領域，取得了較好的應用成效。

人工智能上升到國家戰略，正在邁入“創新驅動、應用深化、規范發展”的新階段。人工智能作為一項戰略性技術，不僅標志著人類第三次認知革命，還成為世界多國政府科技投入的聚焦點和產業政策的發力點。2017年全國兩會，政府工作報告首次提及人工智能。同年7月，《新一代人工智能發展規劃》由國務院印發，提出人工智能的三個發展新方向，包括計算機視覺，語音處理和自然語言處理，拉開了我國人工智能高速發展的序幕。

然而，自然語言處理的技術難度高，技術成熟度較低。NLP是一門集心理學、計算機科學、語言學、數學于一體的科學。在人工智能所覆蓋的六大核心領域──視覺、語言、認知、機器人、機器學習、多智能體，自然語言處理技術被比爾·蓋茨譽為人工智能皇冠上的“明珠”，其研究是極富挑戰性的。人類語言中的一些不規則現象。因為語義，即語言所蘊含的意義，復雜度較高，僅靠目前基于大數據、并行計算的深度學習，很難達到人類的理解層次。

該課程建設，提出順應潮流，與時俱進，為培養人工智能一流人才，促進中國人工智能生態建設服務。從更新課程內容，豐富教學手段，完善評價體系等方面著手，實施教學改革，快速、有效地彌補數字鴻溝，為全面提升人工智能專業本科生的實踐能力與科學素養，培養人工智能應用工程師探索有效途徑。此外，本文對自然語言處理課程建設的優點、發展、痛點等工作進行了一一探討。

1 自然語言處理課程建設

1.1 自然語言處理的優點

自然語言處理是人工智能領域的一項“知易行難”的底層技術，一般分為語法、語義、語用三個層次，被譽為人工智能皇冠上的明珠[4-6]。數據增強技術，利用對上下文的深刻理解，豐富了原始數據的含義。其最顯著的優勢體現在數據挖掘和文本分析方面。國內外高校，諸如麻省理工、斯坦福大學等世界一流大學，紛紛將其列入本科生與研究生的必修課程。

在世界上已經查明的5651種語言中，英語作為主要的媒體，往往具有功能強大、數量眾多的語料庫，形成了豐富多彩的生態圈。目前，已然形成了140多個百萬量級的語料庫[7-9]，簡化了開發的復雜度。1991年后，以中國國家語言文字工作委員會為首，建立起國家級大型漢語語料庫。相當一批大學和研究機構對中文語料庫的建設做出了重要貢獻。逐漸創造出一套新的理論與方法，形成了語料語言學新學科。

1.2 自然語言處理的發展

基于以上現狀，構建符合我國國情的自然語言處理課程，為人工智能的后續課程奠定理論與實踐基礎。是NLP發展壯大的基石，它賦予了技術“智能化”的基因。相比于基礎NLP技術，例如分詞、詞干提取、詞性標注、詞性還原等技術，高級NLP技術奠定了NLP未來發展的方向[10]，主要應用于以下四個方面：

1.2.1 機器翻譯

得益于翻譯需求的增長，機器翻譯系統的開發研究已經持續了半個世紀。2013年，我國提出了偉大“一帶一路”倡議，涉及65個國家和地區，語言種類超過110種，對多語言翻譯的需求異常巨大。早期的詞法分析是用分詞工具切分單詞，找出詞匯詞素，利用對齊算法，獲得單詞的詞義。2016年，Google發布了神經網絡翻譯系統，擁有一對編、解碼器。編碼器負責把源語言表示成一個高維的向量。解碼器負責把這個高維向量再解碼翻譯成目標語言。考慮到本校NLP課程的覆蓋范圍涵蓋國際班和國內班，機器翻譯具有巨大潛力。

1.2.2 自動文本摘要

文本大數據是自然語言的主要載體，自動文本摘要，是指從原始文檔中，自動提取出簡潔、連貫短文的過程。如何有效過濾井噴式信息，凝練出感興趣的內容，是自動文本摘要的痛點。過去，利用直接抽取方法生成摘要，準確率較低。基于深度學習的生成式特征提取方式，應用注意力機制，計算每個輸入單詞的權重，已經超越了傳統的抽取式模型，取得了不錯的訓練效果。該方法的普及，對學生動手能力的培養，提高語言概括能力，對大量未知語料進行主成分分析，優缺點比較等方面，具有不同程度的提升。

1.2.3 情感分析

情感分析是自然語言處理的常見應用場景，其核心是情感分類算法與模型[10-12]。傳統算法需要建立情感詞典，對正面評價、負面評價、否定詞匯和程度副詞進行分類，然后劃分情感等級。然而，語言的發展與變化對該方法構成了瓶頸。考慮到開發者迫切希望找到未見新詞的需求，主流的NLP方法采用深度學習算法[8]，訓練―映射―編碼是推動人工智能時代發展的強大引擎。

1.2.4 多模態模型

預訓練模型的出現，使自然語言處理由原來的手工調參、依靠機器學習專家的階段，進入到可以大規模、可復制的大工業實施階段。早期NLP中，基于預訓練模型+微調機制，具備很高的可擴展性，展現出很高潛力。而當前研究也從單一語言擴展到多模態。總的來說，是從海量大數據中學到蘊含在數據中的知識、邏輯，凝練到神經網絡上變成一個“同質化”大模型，旨在訓練一套算法，為各種通用智能任務，建立提供服務的基礎性平臺。

1.3 自然語言處理的難點

基于上述理由，自然語言處理課程建設是一項比較復雜的系統工程。由于數據規模的巨大提升可以彌補數據內部存在的噪聲，萬億級別的超大模型陸續涌現。目前，海量數據高效標注，少量標注樣本微調，數十個模式場景準確識別成為NLP發展的共識。該課程理論教學內容跨度較大，橫貫機器翻譯、文本摘要、情感分析、模態識別等多個方面。這對教師的知識體系的廣度、深度，結構化思維和呈現技巧都提出比較高的要求，是NLP課程建設的主要障礙。

2 結語

最后，清晰的課程目標，數字化平臺和數字化工具是探索NLP技術的良好基礎。課程的開設與學習，為學生在求真務實中，實現知識積累、技能培養、能力提高奠定了扎實基礎。本文在人工智能專業本科生中開設，年均授課120人，通過混合教學方式，提供了iclass的線上課堂體驗。考慮到本課程建設尚在起步階段，后續本項研究將于本地企業相結合，為學生創造更多真實應用場景與實習途徑，為全面提升人工智能專業本科生的實踐能力與科學素養，培養人工智能應用工程師探索有效途徑。