基于深度學習文本摘要的科技名詞釋義生成方法

摘" 要：科技名詞是科學技術形成、積累、交流和傳播的前提和基礎。為科技名詞生成百科性釋義，對于普通民眾和中文學習者掌握科技名詞內涵、正確使用術語具有很強的現實意義。文章提出了一種基于深度學習的科技名詞百科釋義生成方法。通過網絡采集百科文本和專家撰寫的術語釋義文章，構建了科技名詞百科釋義數據集。基于T5 PEGASUS預訓練模型并對模型進行微調，構建了生成式文本摘要模型和建立了科技名詞釋義生成系統。實驗結果顯示，本項研究所提出的模型在生成質量、語義連貫性和通用性等方面具有較高的性能。

關鍵詞：深度學習；文本摘要；科技名詞；術語釋義；釋義生成；數據集

中圖書分類號：H08;H03" 文獻標識碼：A" DOI：10.12339/j.issn.1673-8578.2024.02.004

Research on Term Interpretation Generation Methods Based on Deep Learning Text Summarization//DU Zhenlei， CHEN Ruoyu，JIANG Yushan

Abstract：Scientific and technological terms are the foundation and prerequisite for the formation， accumulation， communication， and dissemination of scientific knowledge. Generating encyclopedic definitions for these terms is of great practical significance for the general public and Chinese learners to grasp the connotations of scientific terms and use them correctly. In this study， we propose a deep learning-based method for generating encyclopedic definitions of scientific and technological terms. We collected encyclopedic texts and expert-written term definitions from the internet to construct a dataset for scientific and technological term definitions. Based on the T5 PEGASUS pre-trained model， we fine-tuned the model to build a generative text summarization model and developed a system for generating definitions of scientific and technological terms. Experimental results demonstrate that the proposed model exhibits high performance in terms of generation quality， semantic coherence， and versatility.

Keywords： deep learning; text summarization; scientific and technological terms; definition of terms; definition generation；dataset

收稿日期：2023-03-27" 修回日期：2023-06-29

基金項目：國家語言文字委員會科研項目“面向中文學習者的科技名詞術語釋義擴展生成研究”（YB135-155）

0" 引言

科技名詞（又稱術語）是科學技術形成、積累、交流和傳播的前提和基礎，更是構建中國特色科技話語體系、掌控我國自主知識產權的核心內容之一。為了更好地推進和規范名詞的公布、共享和交流，全國科學技術名詞審定委員會建立了“術語在線”知識服務平臺，以供用戶查詢該委員會的名詞規范化成果，其內容通常包括中文規范名、英文名、學科歸屬和定義等。對于領域專家來說，“術語在線”的科技名詞定義準確、簡潔，能夠滿足日常工作要求；然而，普通民眾和中文學習者在理解這些科技名詞時，可能會感到困難，因為這些定義通常較為簡潔。為科技名詞生成易于理解的百科式釋義不僅有助于推動科技名詞工作的規范化和統一化，更有助于促進科技知識的普及和傳播，降低公眾和中文學習者在學習和掌握科技名詞時所面臨的障礙。此外，百科式釋義還有助于提高科技名詞在國際交流中的傳播效果，從而提升我國科技話語權。因此，本研究具有現實意義。

當前隨著大語言模型［1-2］的發展，自然語言處理算法已經具備了一定程度的文本生成能力。本文對科技名詞生成百科釋義的不同技術路線進行了詳細對比論證后，決定采用基于深度學習的文本摘要技術來解決科技名詞百科釋義生成問題。通過采集在線百科平臺上的科技名詞相關文本，結合專家撰寫的術語釋義，訓練文本摘要模型，然后以對百科長文本進行摘要的方式，生成相應的百科式釋義。

在研究過程中，重點關注了收集和篩選高質量百科文本、針對科技名詞進行模型訓練以及評估生成的百科式釋義的質量等關鍵問題。本文首先回顧了相關的研究工作，總結了已有的研究方法和成果。之后，詳細介紹了科技名詞釋義生成模型，包括實驗數據來源、系統模型、模型訓練及超參數設置等。為確保數據質量，筆者在數據預處理階段進行了多輪篩選和清洗，以提高模型訓練的準確性。實驗部分展示了本文的方法與其他主流文本摘要方法的對比，證明了本文提出的深度學習模型在生成科技名詞百科式釋義方面的優越性。實驗結果表明，本文提出的模型在保持內容準確性的同時，生成的百科式釋義具有較高的語言流暢度和可讀性。

最后，本文對未來工作進行了展望，探討了如何進一步提高科技名詞百科式釋義的生成質量和效率?？赡艿难芯糠较虬ɡ眠w移學習技術來提高模型的泛化能力，引入多模態信息以豐富百科式釋義的表現形式，以及研究更加先進的自然語言處理技術，以便更好地理解和生成科技名詞的百科式釋義。

1" 研究基礎

自動摘要［3］是自動從一個或者多個信息源中抽取關鍵信息的方法。文本自動摘要能有效地從海量信息中篩選所需的關鍵信息，對文本信息進行提煉壓縮，是目前自然語言處理領域的研究重點之一。自動文摘可以分為兩種主要的技術路線［4］：抽取式文本自動摘要和生成式文本自動摘要。

抽取式文本自動摘要通過抽取文本中的句子生成摘要，通常將句子抽取問題建模為分類問題，訓練機器學習模型，判別文本中的句子是否應出現在摘要中。盡管該方法在一定程度上能夠提取關鍵信息，但其句子抽取的方式限制了摘要的流暢性和生成質量［5］。另一方面，生成式文本自動摘要利用自然語言處理技術對文本進行語法語義分析，并對文本語義信息進行融合，最后通過自然語言文本生成技術進行文本自動摘要。生成式文本摘要能夠產生原文中沒有出現過的表達，相比于抽取式方法更加靈活。

基于深度學習的生成式文本摘要方法通過采用詞向量（如Word2Vec、GloVe和ELMo等）、句向量等預訓練模型和深度學習模型（LSTM、GRU和Transformer）來捕獲文本中的語義信息，通過文本中蘊含的語義信息采用自然語言生成技術來生成文本摘要，是目前效果最好的文本自動摘要技術［6-7］。

在科技名詞百科式釋義生成領域，學者們嘗試了多種方法。術語定義擴寫方法［8-10］通過基于文本生成技術對術語定義進行擴展，使其更易于理解。然而，這種方法可能會產生不連貫和不準確的釋義?；谥R圖譜的方法通過從知識圖譜中提取相關信息生成釋義，但對于一些特定領域或較新的術語，知識圖譜可能存在不完整或過時的信息［11-12］。

相較于這些方法，基于深度學習的文本摘要技術在生成科技名詞百科式釋義方面具有以下優勢［13-15］：

（1）生成式文本摘要能夠產生原文中沒有出現過的表達，相比于抽取式方法更加靈活，能夠生成更連貫、自然的摘要；

（2）基于深度學習的文本摘要技術能夠捕獲文本中的復雜語義信息，從而生成更準確和貼近實際需求的釋義；

（3）該方法能夠自適應地處理不同領域和復雜度的術語，生成具有一致性和可讀性的百科式釋義；

（4）基于深度學習的文本摘要技術可以充分利用海量在線百科平臺上的文本數據，通過學習這些數據的模式和結構，提高生成釋義的質量。

因此，本研究選擇基于深度學習的文本摘要技術作為生成科技名詞百科式釋義的主要方法。我們通過采集在線百科平臺上的科技名詞相關文本，結合專家撰寫的術語釋義，訓練文本摘要模型，從而實現對百科長文本進行摘要的方式，生成科技名詞的百科式釋義。這一方法在保證內容準確性的同時，具有較高的語言流暢度和可讀性，有助于普及科技知識。

總之，在相關研究工作中，基于深度學習的文本摘要技術在生成科技名詞百科式釋義方面展現了優越性，為本研究提供了有力的理論和技術支持。

2" 術語百科式釋義生成模型

2.1" 數據采集與訓練集生成

2.1.1" 規范術語語料

用于本文生成百科式釋義的術語全部來自“術語在線”，如“電子計算機”一詞來自全國科學技術名詞審定委員會于2018年公布的計算機科學技術名詞，其定義只有50余字，過于簡單（圖1）［16］。本文共采集了涵蓋計算機科學、化學、生物學、天文學、地理學、醫學等多個學科的8000條科技名詞，包含規范中文名、英文名、定義、學科等內容。

2.1.2" 百科式釋義標準語料

為了訓練文本摘要模型生成科技名詞的百科式釋義，筆者首先構建了術語百科式釋義的標準語料庫，一部分用作訓練語料，一部分用作評估本文所構建模型生成百科式釋義的質量?！皩W習強國”平臺的“每日科技名詞”欄目是由全國科學技術名詞審定委員會與中宣部宣傳輿情研究中心合作推出的科普欄目［17］，如圖2所示。該欄目由兩部分構成：①主題詞，包括全國科學技術名詞審定委員會審定公布的規范中文名、英文名、異名、定義、學科歸屬、相關名詞等；②延伸閱讀，以主題詞為核心的相關知識科普，每篇文章都在300～600字，力求使讀者快速了解相關科學知識。其中，延伸閱讀是由包括多位院士在內的各領域專家和學者撰寫的百科式解讀，篇幅適中，在闡明科學知識的基礎上，引入了相關科學背景和前沿拓展，特別適合作為本文科技名詞釋義研究的出發點和目標。因此筆者選擇該欄目內容為百科式釋義的訓練語料。本文采集了“學習強國”平臺“每日科技名詞”欄目1000篇文章，并編寫了解析規則，按照中文名、英文名、學科及延伸閱讀等條目，存儲到MySQL數據庫中，如圖3所示，其中longDef是對應術語的百科式釋義。

2.1.3" 在線百科語料

為了構建訓練數據集，本文使用主題爬蟲從多個在線百科平臺上采集了與2.1.1規范術語語料中

目標術語相關的文本作為實驗數據來源。數據采集過程遵循以下原則：首先，確保數據的相關性和準確性，收集與科技名詞直接相關的百科條目；其次，主題相關且多源文本，選取文本長度在1000～1500字的百科條目。經過篩選，本文得到在線百科語料共計7653篇。

2.1.4" 訓練數據集

筆者對采集到的百科語料進行了多輪篩選和清洗，以提高數據質量。首先，去除了與2.1.2百科式釋義標準語料中主題不相關的百科條目；并對文本進行分詞、詞性標注和句法分析，將文本中的停用詞、標點符號和其他無關信息去除；最后，對文本進行分段和分句處理，便于模型訓練時進行批量處理。經過預處理后，最終得到了800篇用于本文研究使用的訓練數據集，每篇均包含“每日科技名詞”百科式釋義和網絡百科語料。

在此基礎上，本文將數據集劃分為訓練集、驗證集和測試集，比例為8：1：1。訓練集用于模型訓練，驗證集用于模型參數調整，測試集用于評估模型生成百科式釋義的質量。此外，筆者隨機抽取了100個樣本作為評估數據集，人工檢閱了模型生成的百科式釋義的質量。

2.2" 系統模型

本研究采用了基于開源T5 PEGASUS生成式預訓練模型［18］構建的科技名詞釋義生成系統。這一模型以多語言的mT5［19］為基礎架構和初始權重，通過類似PEGASUS［20］的方式在中文語料進行預訓練而生成。mT5模型采用Transformer模型為基礎架構，將各類自然語言處理任務（如翻譯、問答、分類）都建模為文本到文本的輸入輸出模式，從而允許在多種任務中使用同一個模型、損失函數和超參數。

PEGASUS是一種用于生成式文本摘要的自監督預訓練目標。通過將輸入文檔中的部分“重要句子”和單詞遮蔽或刪除，再利用剩余的句子在輸出中生成這些被刪除或遮蔽的句子，該方法在多個文本摘要數據集上取得了較好的效果。本文所使用的模型架構如圖4所示。

為了充分利用PEGASUS模型在生成式文本摘要任務上的優勢，筆者對其進行了針對科技名詞釋義生成任務的定制。首先，對T5 PEGASUS模型進行了微調。使用收集到的科技名詞釋義訓練數據，對模型進行端到端訓練。在訓練過程中，本文采用了動態學習率調整策略，以提高模型收斂速度和性能。利用余弦退火策略，在訓練過程中逐漸降低學習率，以便模型在早期學習較快，隨著訓練的進行逐漸穩定。其次，在模型推理階段，為了生成更加流暢且語義連貫的百科式釋義，本文采用了束搜索（Beam Search）算法。通過控制束寬度，在生成過程中平衡了生成文本的質量和計算復雜度。此外，為了進一步提高所生成釋義的質量，筆者嘗試了多種文本生成策略，例如采用不同的詞匯限制方法，以限制生成文本中的罕見詞匯，從而增強生成釋義的通用性和可理解性。在研究中，筆者觀察發現限制生成文本中的詞匯表中出現頻率較低的詞匯可以有效提高釋義的通用性和可理解性。

在本文的系統模型中，編碼器負責從輸入的百科條目中提取語義信息，而解碼器則根據編碼器的輸出生成百科式釋義。具體來說，本文采用了以下架構：

編碼器：基于mT5的Transformer編碼器被用于提取輸入文本的語義信息。編碼器接收輸入文本，

并將其轉換為詞向量表示。通過多層自注意力和全連接層，編碼器將文本信息編碼為一個固定長度的向量序列，用于表示文本的語義內容。

解碼器：基于mT5的Transformer解碼器負責根據編碼器的輸出生成百科式釋義。解碼器以編碼器的輸出向量序列作為輸入，并通過自注意力和全連接層生成釋義文本。在訓練階段，解碼器使用已知的百科式釋義作為目標輸出，并通過優化損失函數來調整模型參數。在推理階段，解碼器根據編碼器的輸出生成百科式釋義。

此外，筆者還對模型進行了多輪調優和驗證，以提高生成釋義的質量。在評估生成釋義的質量時，采用了多種評價指標，如ROUGE、BLEU和METEOR等，以確保釋義的準確性、流暢性和可讀性。

2.3" 模型訓練和超參數設置

本文將訓練數據按照8：1：1的比例劃分為訓練集、驗證集和測試集。為了防止過擬合，筆者使用了Early Stopping策略，即如果驗證集上的性能連續多個世代沒有提升時，停止訓練。在訓練文本摘要模型的過程中，使用到的超參數設置如表1所示。

本文采用了分段線性學習率調整策略，即在訓

練的前80%世代中，學習率線性增長；在訓練的后20%世代中，學習率線性衰減。這種策略可以在訓練初期更快地找到合適的參數空間，同時在訓練后期保證模型收斂。

本文還引入了權重衰減以減小模型復雜度，防止過擬合。權重衰減通過在損失函數中加入模型權重的L2范數懲罰項，使得模型學到的權重更小，降低過擬合風險。

在生成釋義時，本文使用了帶溫度的Top-k采樣方法。溫度參數可以調整生成文本的多樣性，較低的溫度會使生成文本更加保守，而較高的溫度會使生成文本更加多樣。在實驗中發現，溫度參數設為0.7可以平衡生成文本的質量與多樣性。

此外，在推理階段，為了生成更準確且流暢的百科式釋義，本文采用了束搜索（Beam Search）算法，通過設置Beam寬度為5，來平衡生成文本的質量和計算復雜度。

這些超參數設置經過多次實驗調優，最終使模型在測試集上獲得了較好的性能。

2.4" 實驗結果

為了評估本文提出的術語釋義生成模型的性能，筆者采用了ROUGE系列指標進行評價。ROUGE指標基于召回率（recall），通過將模型生成的摘要與參考答案進行比較計算得到對應得分，這是機器翻譯、自動摘要、問答生成等領域常見的評估指標。本文使用了ROUGE-N和ROUGE-L兩種指標。

ROUGE-N指標是將模型生成的結果和標準結果按N-gram拆分后，計算召回率，其計算公式如下：

Rouge-N=∑S∈Ref∑gramn∈SCountmatchgramn∑S∈Ref∑gramn∈SCountgramn

其中，Ref為所有參考結果的句子N-gram集合，S為某一個句子的N-gram集合。Countmatchgramn函數計算模型輸出結果的N-gram與參考結果中的N-gram匹配的個數，Countgramn函數計算參考結果中的N-gram個數。通常來說，較為常用的N值為1和2。

ROUGE-L指標的計算利用了最長公共子序列（Longest Common Subsequence），其計算公式如下：

Rlcs=LCSX，Ym

Plcs=LCSX，Yn

Flcs=1+β2Rlcs×PlcsRlcs+β2Plcs

其中，X，Y分別為參考結果和模型生成結果中的句子，m，n分別為X和Y的長度，LCSX，Y為句子X和Y的最長公共子序列，β為超參數。

筆者將本文提出的模型與其他經典的文本生成方法（包括Seq2Seq、Transformer、BERT等）進行了對比實驗。通過比較各個模型在測試集上的表現，可以直觀地了解到本文提出的模型相對于其他方法的優勢。在上述評價指標下，模型性能如表2所示。

從表2可以看出，T5 PEGASUS模型在所有ROUGE指標上都優于其他方法。這說明本文所提出的術語釋義生成模型在生成質量、語義連貫性和通用性等方面具有較高的性能，有望為科技名詞的百科式釋義生成提供有效的支持。

為了進一步驗證模型的有效性，筆者還邀請了領域專家對模型生成的術語釋義進行評估。專家們基于語義正確性、語法正確性、信息完整性和可讀性等多個維度，對生成的釋義進行打分。實驗結果表明，本文提出的模型在專家評估中得到了較高的評分，進一步證實了模型在實際應用中的有效性和可靠性。

3" 結語

為科技名詞生成百科式釋義對于促進科技名詞的傳播、交流和普及具有重要意義，它能幫助普通民眾和中文學習者正確掌握術語內涵，推動科技發展和跨領域交流。本文通過網絡采集百科文本并結合專家撰寫的術語百科文本，構建了科技名詞百科釋義數據集?；赥5 PEGASUS預訓練模型，筆者進行了模型微調，構建了生成式文本摘要模型，并建立了科技名詞釋義生成系統。實驗結果驗證了所提出模型的有效性，具備較高性能和實用價值。

目前的系統在長文本生成方面仍存在不足，且只能對單個百科文檔進行摘要生成。針對這些問題，在未來的工作中，筆者計劃采取以下策略進行改進：

（1）改進模型的長文本生成能力：通過優化模型架構和引入長文本處理策略等方法，提高生成長文本摘要的質量和效果；

（2）支持多文檔摘要生成：拓展模型能力，使其能夠處理多個百科文檔，從而生成更全面、準確的科技名詞釋義；

（3）引入領域知識：將領域知識融入模型訓練過程，以提高生成釋義的專業性和準確性；

（4）實現交互式摘要生成：允許用戶在生成過程中提供指導性信息，從而使生成的釋義更加符合用戶需求和期望；

（5）模型泛化和可移植性：通過對模型進行調整和優化，使其能夠適應其他領域的術語釋義生成任務，提高模型的泛化能力和應用范圍。

綜上所述，本文提出了一種基于深度學習的科技名詞百科釋義生成方法。盡管在某些方面仍存在局限性，但隨著技術的不斷發展和改進，本文提出的方法有望為科技名詞的百科式釋義生成提供更加有效且實用的支持。

參考文獻

［1］ RADFORD A， WU J， CHILD R， et al. Language models are unsupervised multitask learners［J］. OpenAI blog， 2019， 1（8）： 9.

［2］ BROWN T， MANN B， RYDER N， et al. Language models are few-shot learners［J］. Advances in Neural Information Processing Systems， 2020， 33： 1877-1901.

［3］ LIU P J， SALEH M， POT E， et al. Generating Wikipedia by Summarizing Long Sequences［C］//International Conference on Learning Representations. 2018.

［4］ 李金鵬， 張闖， 陳小軍， 等.自動文本摘要研究綜述［J］.計算機研究與發展， 2021， 58（1）： 1-21.

［5］ 張龍凱，王厚峰.文本摘要問題中的句子抽取方法研究［J］. 中文信息學報， 2012， 26（2）： 97-101.

［6］ 趙偉，王文娟，任彥凝， 等. 基于改進Transformer的生成式文本摘要模型［J］. 重慶郵電大學學報（自然科學版）， 2023， 35（1）： 185-192.

［7］ FAN M， SUN F， MA Y. A survey of text summarization techniques［J］. Journal of Artificial Intelligence Research， 2017， 59： 185-212.

［8］ ZHANG Y， CHEN J，CHEN X. Fine-grained definition generation for scientific terms via a hierarchical and compositional approach［J］. Journal of the Association for Information Science and Technology， 2021， 72（9）： 1051-1065.

［9］ JIANG T， LIU S， ZHOU Z， et al. A method for scientific term definition expansion based on machine learning［J］. Computer Applications in Engineering Education， 2021， 29（5）： 1097-1112.

［10］ WU X， CHEN H， CHEN Y. A Method of Acronym Expansions with Attention Mechanism［J］. Journal of Information Science Theory and Practice， 2021， 9（1）： 73-90.

［11］ CUI Q， LIU Z， WANG J， et al. Knowledge-based text summarization： Enriching summarization by incorporating knowledge graphs ［C］//Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. 2018： 579-584.

［12］ CHEN X， ZHOU Y， YANG H， et al. An Improved Text Summarization Method Based on Entity-Relation Graph［J］. Future Internet， 2020， 12（2）： 27.

［13］ 陳松林， 高志勇， 劉艷芳. 中文自動文摘綜述： 基于深度學習技術［J］. 數據分析與知識發現， 2021， 5（7）： 1-18.

［14］ CHEN J， LIU Y，JIN J. Neural summarization： A survey of supervised and unsupervised approaches［J］. ACM Transactions on Intelligent Systems and Technology （TIST）， 2018， 10（3）： 1-28.

［15］ WANG W， PAN Y， DAHLMEIER D. A survey of deep learning-based text summarization models［J］. 2019， arXiv preprint arXiv：1912.01722.

［16］ 電子計算機 ［DB/OL］.術語在線. （2023-02-13） ［2023-03-05］. https：//www.termonline.cn/search？k=%E7%94%B5%E5%AD%90%E8%AE%A1%E7%AE%97%E6%9C%BAamp;r=1679891581708.

［17］ 學習強國·每日科技名詞編委會. 學習強國·每日科技名詞（2021）［M］. 長春：吉林出版集團股份有限公司， 2022.

［18］ SU J. T5 PEGASUS – ZhuiyiAI ［EB/OL］. （2022-04-03） ［2023-03-05］. https：//github.com/ZhuiyiTechnology/t5-pegasus.

［19］ XUE L， CONSTANT N， ADAM R， et al. mT5： A Massively Multilingual Pre-trained Text-to-Text Transformer［C］//Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. 2021： 483–498.

［20］ ZHANG J， ZHAO Y， SALEH M， et al. Pegasus： Pre-training with extracted gap-sentences for abstractive summarization［C］//Proceedings of the 37 th International Conference on Machine Learning. PMLR， 2020： 11328-11339.

作者簡介：杜振雷（1985—），男，碩士，全國科學技術名詞審定委員會事務中心宣傳推廣處副處長，學習強國·每日科技名詞編輯部主任，全國語言與術語標準化技術委員會計算機輔助術語工作分技術委員會委員。主要研究方向為術語管理、術語傳播和自然語言處理。主持或參與國家級、省部級及其他科研項目共8項，發表學術論文10篇，參與制定新聞出版行業標準1項，參與編寫專著4部。通信方式：duzl@cnterm.cn。

陳若愚（1982—），男，博士，2013年畢業于北京理工大學，現為北京信息科技大學計算機學院講師。主要研究方向包括自然語言處理、知識圖譜構建與應用等。作為主要人員參加了國家自然科學基金、國家242信息安全計劃課題等多項研究。在國內外期刊、會議上發表論文10余篇。通信方式：chenruoyu@bistu.edu.cn。

姜雨杉（1999—），女，北京信息科技大學信息管理學院網絡空間安全專業2022級碩士研究生，研究方向為自然語言處理。通信方式：jiangys0929@163.com。