基于數學學科知識的語義理解技術研究

摘?要：隨著人工智能技術的發展，數學學科知識智能化服務系統越來越多地成為數學教育的輔助工具。結合數學學科知識的特點，本文對數學學科知識中的語義理解技術和應用做總結說明。首先闡述和分析數學學科知識語義理解的技術框架，包含其語義理解過程中知識存儲、知識抽取和知識推理等研究；然后闡述用于語義表達通用語料庫和數學領域常見的垂直語料庫；同時，從數學智能問答系統、自動判卷系統闡述語義理解在數學學科領域中的應用；最后從數學學科語料庫、數學學科知識點標注等方面對語義理解的研究趨勢作了展望。

關鍵詞：語義理解；自然語言處理；深度學習；數學智能問答

隨著互聯網和人工智能的發展，“互聯網+教育”的方式成為學科教育的主流方式，互聯網公司紛紛致力于將互聯網技術應用到學科教育上，智能英語問答系統、智能知識百科平臺、智能信息檢索等智能平臺應運而生。但當前的互聯網技術仍處于人機交互階段，許多模式還需要大量的人工干預。隨著計算機性能的進一步提升，自然語言技術空前發展，計算機語義理解也廣泛應用到各類學科的知識服務中，特別是數學這類基礎性學科，很多的智能系統已經在實際場景中得到應用。所以，探索和學習數學學科知識的自然語言語義理解及邏輯推理技術是我們未來需要努力的方向。自然語言語義理解技術先后經歷了基于語言學規則、基于統計學和基于深度學習的階段。當前主要流行的方法是基于深度學習的語義理解。深度學習是通過構建多層神經網絡（三層或三層以上），對語義數據進行表征學習和處理。隨著LSTM、BERT等神經網絡模型的提出，深度學習技術將自然語言的語義理解推至一個新的高度。本文結合數學學科的特殊性，探索和研究數學學科知識的語義理解，從知識獲取、知識存儲、知識表示等方面，對數學學科知識的知識圖譜、知識表示等技術進行總結性研究，并對數學語料庫，數學領域的語義理解及應用進行分析和闡述。如圖1所示的主要技術框架。

圖1

1?數學學科知識的語義理解技術

數學學科知識的語義理解從數學的知識存儲、知識表示以及知識分類，實現數學學科知識的全理解。通常來說，知識圖譜是經過語義化的網絡知識庫。它將散亂的數學文本數據經過知識獲取、知識表示、知識推理后轉化為能夠表達領域知識信息的“實體—關系—實體”的三元組合，實現知識的結構化表示。與此同時，知識圖譜還將文本數據進行語言模型的表示，形成計算機可理解的數據類型，通過諸如卷積神經網絡技術，將帶有明顯特征的文本數據映射到多個類別上，從而實現文本分類。

1.1?知識圖譜

知識圖譜本質是個結構化的語義知識庫，它揭示了知識實體之間的語義關系，即實體—關系—實體三元組結構形式。如圖2（三元組基本形式）：

圖2?三元組基本形式

其實，知識圖譜是谷歌在2012年為了提高用戶搜索引擎查詢速度，理解用戶的語義信息提出的。知識圖譜以現實世界的事物為研究對象，通過“實體—關系—實體”的結構化形式揭示事物內部語義信息。它不僅可以對知識進行查找、匹配、獲取、推送和共享，還具有智能工具化和結構化的特點。通過知識圖譜，可以將非結構化的文本內容提取出實體與實體關系，再將這些內容轉化為相互連接的圖譜結構。數學學科的知識圖譜是把數學知識作為研究對象，通過語義網絡結構化的方法展示數學知識內部存在的邏輯關系和知識點之間的關聯。本文主要從數學學科的知識抽取、知識表示、知識保存及知識推理等技術來說明數學知識圖譜的構架。圖3表示數學知識圖譜構架：

圖3?知識圖譜技術構架

1.1.1?知識抽取

知識抽取是一種自動地從不同結構的數據中抽取可用知識單元的技術。這些知識單元包括從結構化或非結構化的數據中抽取知識的概念、實體、事件，以及其相關的屬性和之間具有關聯關系等結構的信息［1］?。早期的知識抽取技術采用基于規則的方法抽取。而規則的構建往往需要通過人工歸納總結來完成，然后通過模式匹配的方式進行實體、關系、屬性的挖掘。這種方法不需要模型訓練，簡單高效，但可移植性差。一旦文本結構有所改變，就需要重新構建新的知識抽取規則，人工成本和時間成本耗費較大。

針對規則的抽取方法帶來的問題，自動化和半自動化的知識抽取被提出。BiLSTM就是當前一種主流的知識抽取模型。但該種模型對長序列有前端語義信息丟失的問題。后來引入注意力機制，使注意力機制集中在關鍵部位，生成不同的語義向量，可以解決該模型存在的問題。李思儒［2］?提出將注意力機制用在BiLSTM+CRF的模型之上，獲取了不同語境下高中數學知識的實體標簽，從而構建高中數學的知識圖譜。張曉彤等［3］?在BiLSTM+CRF的基礎上，采用SCIBERT預訓練模型進一步對數學領域的實體特征提取進行改進，極大提升了模型的F1值。

知識抽取是構建大型知識圖譜的關鍵技術，對知識的語義理解具有重要功能。近年來，語言模型的訓練效果隨著深度學習的發展得到了很大的提升，特別是神經網絡模型和注意力機制的引入，使基于弱監督學習的知識抽取技術得到了快速發展，實體信息、語義特征的抽取都得到了極大的提升。

1.1.2?知識表示

知識表示在知識圖譜中起紐帶作用，它是把數學描述語言經過處理轉化為特定的知識形式，在計算機中進行一系列的存儲、傳遞等操作。數學知識表示的內容是數學概念、數學定理、數學試題等。當前，表示數學學科知識的方法有：框架法、語義網絡法、謂詞邏輯法、面向對象法等。張文迪［4］?根據立體幾何實體及關系知識表示特點，采用面向對象的方法很好地描述立體幾何實體及關系知識中的從屬關系，并使用Drools規則匹配方法恰當地表示立體幾何相關定理公理、概念性質和求解方法。

1.1.3?知識推理

知識推理主要圍繞知識內部的實體關系展開，它是通過已有知識推斷出未知知識的過程。推理的方法主要包括基于規則的、基于圖結構的、基于分布式表示學習的、基于神經網絡的和基于混合的等推理方法。張春霞等［5］?構建了數學課程知識推理類型分類體系。從數學語義理解角度給出了知識推理的類型和在數學課程知識圖譜中的定位關系，提高了數學知識服務的質量。郭曉冬等［6］?提出將深度學習用于圖推理系統中，在初等數學解題系統上實現了部分功能的深度圖推理，提高推理引擎進行匹配管理的效率。目前，知識推理作為知識圖譜的一種結構化和語義化的表示方式，引發廣泛關注。隨著深度網絡技術的發展，推理規則也向著神經網絡技術發展。

2?語料庫

隨著神經網絡技術的發展，構建大規模高質量的語料庫是模型訓練的基石，直接決定了數學學科知識的語義理解技術的實現效果。

2.1?通用語料庫

通用的語料庫一般體量龐大，目前國內已開源的語料庫如表1：

在數學文本語義理解的過程中，部分處理方式需要依賴大規模語料庫，如數學文本分類、數學知識點標注等任務。

2.2?數學領域語料庫

作為自然語言處理垂直領域的數學語料庫，除了具有通用語料庫的離散、抽象、概括、語義等語言特點，同時還具有鮮明的領域特點：即（1）內含大量的數字、公式、符號。（2）語言內部隱含一定的邏輯關系，且不同的數學語言描述在語義理解上是等價的。如等式“1+1=？”和“一加一等于幾”以及“小明有一個蘋果，媽媽又給他一個蘋果，問小明有幾個蘋果”在描述上完全不同，但在語義理解上又是一樣的。這些鮮明的特點使得在處理數學語言文本數據時只能構建自適應范圍內的小型語料庫。所以，數學通用的垂直語料庫鮮少可見。具有代表性的語料庫如表2所示：

3?語義理解在數學領域的應用

3.1?數學智能問答

數學智能系統研究伴隨人工智能的發展一直存在。早在20世紀60年代，由Bobrow等開發的STUDENT系統就能夠理解并自動求解用英語表述的代數問題。90年代后，在自然語言理解領域研究中，基于統計的經驗主義方法逐漸被人們所重視。通過建立大量語料庫的統計方法，自然語言理解取得了較好的效果。中國研究學者馬玉慧以Kintsch等提出的問題表征模型為基礎，利用漢語言中句模的研究成果，構建了能夠求解中小學數學第一階段應用題的問題自動問答系統。2012年，Google公司推出的Google?Knowledge?Graph，目的是為了改善Google搜素引擎的性能，增強用戶搜索體驗，但深度學習技術的深入，知識圖譜在數學領域的智能問答系統發揮巨大作用。馮軒聞［7］?以中學數學學科為例，通過構建面向智能教育的中學數學學科知識圖譜，設計并實現了一種基于數學學科知識圖譜的自動問答系統。

3.2?自動判卷

自動判卷系統目前是一個正在研究的課題，在我國處于一個比較初級的領域。國外在這方面研究從20世紀60年代開始。最早研究主觀題自動評判系統是美國杜克大學的Ellis?Essay?Grade（PEG）系統。隨著自然語言處理技術的發展，該系統越來越完善，目前部分系統已投入商業運行。Intelligent?Essay?Assessor（IEA）系統是目前已被證明對作文評估與人工評分一致的基于互聯網的智能作文評估軟件。國內自動判卷系統起步較晚，且沒有成熟的應用案例，但相關的研究正在熱議。在數學學科方面，針對初中數學學科錯誤類型，陳顯玲等［8］?基于Drools規則推理引擎和符號計算工具，構建錯誤模型知識庫，對學生答題內容進行準確正誤判斷和錯誤類型判斷，判卷結果6904%與人工判卷結果一致。

4?展望

語義理解技術已廣泛應用到數學知識服務領域，在當前現有研究成果的基礎上，總結數學語義理解技術的重點問題和發展趨勢，認為該領域還存在如下問題：

（1）數學知識庫標準化程度低的問題，通過數學百科數據、專家知識庫等構建數學統一標準的知識庫，可以有效語料庫數據泛濫的問題。

（2）目前的數學類文本標注知識點還是以人工標注為主，費時費力，且人工標注存在主觀因素導致的標記偏差，影響后續工作。探索適合數學文本知識點標注的模型，提升模型的普適性，幫助科研人員進一步探索數學學科相關的知識智能產品。

（3）隨著多模態信息技術的發展，進一步研究圖像—文本、視頻—文本以及多模態組合內容的模型以及統一維度的映射，完成多模態語義處理問題。隨著計算機的算力提升，自然語言處理技術的發展，面向數學知識的智能化服務會有更廣闊的發展空間與應用價值。

參考文獻：

［1］Guo，X.Y.and?He，T.T.Survey?about?Research?on?Information?Extraction.Computer?Science，42，1417.

［2］李思儒.基于深度學習的高中數學知識圖譜構建研究［D］.長春：東北師范大學，2021.

［3］張曉彤.面向數學領域的命名實體識別算法研究［D］.吉林：吉林大學，2021.

［4］張文迪.類人答題系統中立體幾何問題自動求解的研究及實現［D］.成都：電子科技大學，2015.

［5］張春霞.數學課程知識圖譜構建及其推理［J］.計算機科學，2020.

［6］郭曉冬.深度圖推理研究及其在初等數學問題求解中的應用［D］.成都：電子科技大學，2018.

［7］馮軒聞.面向智能教育的學科知識自動問答系統研究與實現［D］.西安：西北大學，2021.

［8］陳顯玲.初中數學錯誤模型研究及其在自動判卷系統中的應用［D］.成都：電子科技大學，2018.

項目：銀川能源學院科學技術研究項目資助，一般項目，項目名稱：基于自然語言理解的數學智能問答系統的應用研究，項目編號：2022KYY17

作者簡介：楊哲萍（1985—?），女，回族，碩士研究生，助教，研究方向：自然語言處理。