基于預訓練語言模型的智能問答系統設計與實現

一、前言

隨著人工智能領域的不斷突破，預訓練語言模型的廣泛應用對智能問答的研究起到很大的促進作用?，F有的自動問答算法多采用基于規則的匹配或者基于淺層學習的算法，在適應性和推廣方面存在局限性。而以此為基礎構建的智能問答體系，可以實現對復雜自然語言的查詢，并與海量的知識庫相融合，實現精確解答，極大地提高用戶的使用效率。智能問答系統的核心挑戰是快速理解用戶意圖，提取相關信息，并給出順暢、精確的答案。基于海量文本的預訓練語言（BERT、GPT等）具有較強的語義理解與自動生成功能，為自動回答問題的研究開辟新途徑。但在面向多輪對話的智能問答系統中，仍然存在著知識庫構建和管理、多輪對話情景理解、問答系統的可靠性和可理解性等問題。針對這些問題，本研究對該框架設計、知識庫構建、關鍵技術優化，以及今后的發展方向進行深入研究，以期對該技術的發展有一定的借鑒意義。

二、預訓練語言模型的基礎與發展

（一）預訓練語言模型概述

預訓練語言模型（PLM）是自前國際上最重要的一項研究內容，它的發展反映了當今人工智能的飛速發展。

前期研究中，以n-gram等統計建模為代表的語言建模方式具有簡潔、效率高等優點，但仍面臨著缺乏對數據的稀疏性以及對長距離相關性的獲取等問題[1]。近年來，以Word2Vec、GloVe為代表的傳統詞匯向量表達模式在很大程度上提高了語義表達的性能，但是仍然不能有效地克服詞匯多義問題。在2017年，Transformer框架被推出，以其自身的關注機理（Self-Attention）高效地捕獲遠程相關性，極大地提高算法的并行性?；谶@一突破，BERT（Bidirectional EncoderRepresentations fromTransformers）模型在2018年問世，該算法利用Mask語言建模（MLM）和NSP預訓練實現對多個文本的統計分析。而OpenAI所推出的通用預訓練翻譯（GPT）序列模式，其特點是使用一種單向的譯碼器架構，利用自身的特點，使自身具有較強的自動生成能力。從GPT-1到GPT-3，該模型的參數數目由原來的1.17億猛增到現在的1750億。由尺度效應所產生的“涌現能力”使得模式具有驚人的少樣本（few-shot）乃至零樣本（zero-shot）式的學習功能[2]。

（二）預訓練語言模型發展歷程

近年來，預訓練語言模型的發展呈現出幾個明顯趨勢。首先，在現有的編碼一解碼器基礎上，出現一個類似于T5和BART的通用框架。其次，在培訓目的上進行改革，引進對比學習和知識提煉等教學手段，進一步研究模型的壓縮、量化、稀疏化等方法。其中，基于域的適應性預學習技術（Domain-adaptivePretraining）是一個非常有價值的研究課題，它能夠通過對特定領域進行持續的預學習來提高在某一特定領域的性能。預訓練語言模型對比見表1。在具體的研究中，如何選取合適的預訓練語言，要從任務要求、計算資源以及使用環境三個方面進行考慮。BERT類型的模式往往更適用于那些要求較高精確度的工作，而GPT類型的模式在產生性問題上具有更大的優越性[3]。另外，基于DistilBERT和ALBERT等輕量級建模方法能夠在保證良好性能的前提下顯著減少運算開銷，更適用于各種網絡環境。

表1預訓練語言模型對比

表2智能問答系統架構層功能

三、智能問答系統的架構設計

（一）用戶交互層

智能問答系統架構層功能見表2。在用戶交互層，為滿足用戶的需求，必須提供多種輸入方法。隨著計算機技術的發展，聲音作為一種新的信息輸入手段已日益受到人們的重視。高品質的聲音辨識必須整合高級去噪與語調自適應性，以保證在各種復雜情況下仍能保持正確的辨識效果。在手機上，為提高系統的反應能力，開發人員也要設計一個脫機的聲音識別系統。在可視化互動中，本系統能夠支持圖片、文件掃描等多種媒體的輸人，并使用OCR識別進行文本信息的抽取[4。用戶的交互接口應該按照用戶的習慣來進行，包含明確的對話狀態提示、智能的自動補償和良好的差錯處理等。這一層次的關鍵是多回合會話管理，其關鍵在于保持完備的會話情境（如用戶偏好、歷史查詢等），以滿足復雜的會話環境需求。

（二）查詢理解層

查詢理解層是系統的智能核心，其性能將影響到自動答疑的效果。第一步是對基本的文字進行預處理（如拼寫校正，分詞，詞性標注等），進一步進行命名實體識別、依存句法分析等深入的語義分析。用戶意向辨識模型要求對不同的用戶進行不同的意向詢問，有事實性問題、建議性問題和比較性問題，并且針對不同的問題提出不同的解決方法。其中，關系提取是指在查詢過程中發現事物間的關聯，是解決問題的關鍵。在查詢擴充方面，使用同義詞典和知識地圖等方法來充實查詢表達，從而提升檢索的回瀕效率。當前，整合多個預處理方法，實現對復雜場景的整體識別，應用于醫學中的生物醫學模式（如生物BERT等）可以有效地提高其在某一領域的性能。

（三）檢索層

檢索層設計必須在查詢效果與反應速率之間找到一個平衡點。在召回階段中，利用關鍵詞檢索和語義檢索等多種方式，實現高召回效率。目前，利用倒排索引方法進行主題詞的搜索，能夠挖掘出更深層次的語義聯系，采用HNSW、IVF等鄰域查找方法能有效地提高矢量檢索的效率。近似最近鄰搜索算法（如HNSW、IVF等）可以大幅提升向量檢索效率。重排階段采用精細的排序模型，可以考慮查詢文檔相關性、文檔權威性、時效性等多個維度。個性化分類能夠依據不同的用戶特征來調節檢索的權值，從而為用戶帶來個性化的檢索體驗。在時效性要求較高的應用場合，需要進行動態的索引更新。緩存策略的優化可以顯著降低系統負載，包括查詢結果緩存、模型推理緩存等多級緩存設計[5]。

（四）回答生成層

回答生成層需要針對不同的問題，提出有差別的應答方案。在實際問題中，通過建立在知識地圖上的結構性詢問能夠得到準確的回答。在開放式題目中，模板可以提供順暢、自然的答案。采用混合產生方法，首先提取重要信息，然后將此信息組合為具有一致性的篇章結構，以達到精確、易讀的目的。回答的品質評價主要從事實的準確性、信息的完整性和語言的流暢度等幾個方面來評價。信息不足的答案可能會引發驗證過程，或者提示使用者重寫。多模式問答系統實現圖文交互，增強用戶對問題的理解?；卮饌€性化調整可以根據用戶的知識水平、偏好等特征調整回答的詳細程度和表達方式。

四、知識庫的設計與構建

（一）知識建模

建立知識庫首先要做的就是對知識理論模型化，并針對不同的領域特征選取適當的表達方式。本體的設計是對概念系統、屬性關系，以及在域中的限制進行界定，為知識的組織和管理奠定基礎。針對高度結構化的領域，提出基于屬性圖的知識表達方法，以實現對復雜圖的檢索。文檔型知識庫則需要設計合理的文檔結構和元數據體系，便于檢索。多模態知識庫要求對文本、圖像和視頻等多種類型的知識進行統一管理。

（二）知識獲取

知識獲取是建立知識庫的重要步驟，多源信息的融合是其重要組成部分。通過ETL過程，從一個關系數據庫或者一個API界面中引入結構化的數據。非結構化文本的處理流程包括文本預處理（分句、分詞等）實體識別、關系抽取、事件抽取等[。對于HTML表格和PDF表格等半結構數據，其結構性的信息都要通過專用的語法分析工具進行抽取。眾包知識的獲得能夠彌補其缺陷，但要進行嚴密的質量管理。在知識融合過程中，要處理好實體消歧和沖突消解問題，保證知識庫的一致性。通過對已提取的實體和已有的規則進行相關分析，從而解決由于表達方式不同而引起的模糊性問題。

（三）知識存儲方案的選擇

如何選取合適的知識庫，要綜合考慮數據類型、規模和查詢方式等方面的影響。知識庫存儲方案對比見表3。以Elasticsearch為代表的分布式搜索引擎適用于文本搜索，并能實現對布爾和聚集分析等多種類型的文本搜索。以Neo4j為代表的圖型數據庫能夠對各種復雜的相關性進行有效存儲與檢索，并且能夠實現多跳躍檢索與路徑分析。關聯資料庫適用于處理較具組織性的中繼資料資訊。新興的矢量數據庫是為嵌入式檢索而進行的，支持高效的相似度搜索。以ArangoDB為代表的多模式數據庫能夠同時支持文檔、圖和鍵值等不同類型的數據。在大型知識庫中，分割是影響檢索效率的關鍵因素，因此必須針對不同的檢索方式，設計合理的分片鍵。

（四）知識質量評估

知識質量評價是對知識庫進行不斷完善的一種方法。檢測結果的準確度可以采用取樣檢驗或者與有公信力的信息源進行對比。整體評價主要是對知識的覆蓋率進行檢測，找出其中的差距。連貫性評價可以保證各個方面的認識之間沒有沖突。實時性評價可以識別出陳舊知識，這些知識必須得到更新。質量評估結果可以指導知識獲取策略的調整，形成閉環。

五、關鍵技術實現與優化

（一）模型優化

領域適應性預訓練能夠有效提高其在特定領域的性能。Adapter、LoRA、Prefix-tuning等參數化的有效修飾方法能夠顯著減小網絡中可供學習的參數數目，并有效減小運算代價。該方法主要有對浮點參數進行低精度表達、剪枝（去除冗余參數）、提煉（用少量數據模擬大數據）等方法，實現大規模數據在有限資源條件下的應用。多任務學習能夠使一個模型在同一時間內對多個相互關聯的任務進行訓練，從而提升對參數的使用。連續學習是指在保持原有知識的前提下，對新的信息進行有效獲取，并動態調整。

（二）檢索系統優化

查詢理解環節的優化包括查詢糾錯（處理拼寫錯誤）查詢擴展（添加同義詞和相關概念）查詢重構（轉換表達方式）等。將基于B25等關鍵字的檢索與DPR等基于語義的檢索相融合，能夠取得優于單個的檢索結果。采用多層次的搜索框架，首先實現對海量候選詞的快速提取，然后進行細化，以實現高效均衡。在困難案例挖掘中，積極尋求易混淆的負面樣本，以提高其鑒別性。在個性化搜索中，綜合考慮用戶畫像和歷史行為等多種因素，對搜索結果進行合理的排序。在對新聞、社會化媒體等實時性要求較高的領域，需要進行動態的索引更新[]。

（三）生成質量優化

事實一致性增強技術包括檢索增強生成（RAG）知識圖譜約束生成、事后事實核查等?？煽厣杉夹g可以通過調整參數來實現對輸出風格、復雜程度、情緒傾向等的控制。多元化的產生方式能夠解決問題的單一性、重復性和多樣性。該方案能夠有效發現并濾除偏見、虛假信息等不良信息。通過互動產生的方式，一步步完善解答，并能依據使用者的回饋來調節解答的方向。多模式生成將文本、圖片和表格等多種方式進行融合，提高表達的有效性。

表3知識庫存儲方案對比

（四）系統性能優化

計算優化包括使用模型并行、流水線并行、算子融合等技術提升計算效率。存儲器最佳化是通過激活數值檢驗點、梯度累加等方式來減少使用。在分散式培訓中，通信最佳化可降低資料傳送的數量。服務化體系結構把一個系統分割成多個可以單獨擴充的微型服務?？烊≌叩脑O計包括結果快取、模型快取、特性快取等。該系統可根據負荷狀況對系統的資源進行動態調節。

（五）監控與評估體系優化

離線評價指標主要包括準確率、召回率和F1值。通過A/B試驗，對各種算法的性能進行對比。用戶經驗評價是指用戶的行為資料，包括用戶的滿意度評分、點擊次數等。缺陷分析對失效情況進行系統剖析，確定改善的方向。系統的性能監測主要包括響應時間、吞吐量、資源利用率等。通過對數據進行分析，可以有效地識別出性能下降和錯誤率增加等系統異常。

六、結語

本文從體系結構設計、知識庫構建、關鍵技術和發展趨勢等幾個方面進行深人的研究。多模式融合、不斷學習以及個性化的業務將是今后的發展方向，對于提高自動答疑水平具有重要的科學意義和實用價值。

參考文獻

[1]鞠煒剛，汪鵬，王佳.基于大語言模型和RAG的持續交付智能問答系統[J].計算機技術與發展，2025.35（02）：107-114.

[2]王文瑾，李昀昊，張寅.大語言模型文檔圖像智能問答指令設計與微調方法實證研究[J].數字圖書館論壇，2025，21（01）：11-21 +32. （204號

[3]王家，龍冬梅.基于大語言模型的智能問答系統在高校中的設計與應用[J].移動信息，2024，46（06）：288-290 +294

[4]曾澤凡，胡星辰，成清，等.基于預訓練語言模型的知識圖譜研究綜述[J].計算機科學，2025.52（01）：1-33.

[5]張朝陽，沈建輝，葉偉榮.融合預訓練語言模型的知識圖譜在政務問答系統中的應用研究[J].數字通信世界，2024（09）：188-190.

[6]楊琳，劉政，葉禹杉，等.基于人體成分分析的智能化空降兵軍事體能訓練系統設計[J].醫療衛生裝備，2025.46（02）：16-23

[7]石致遠，張佳蕾，孔志偉，等.結合知識圖譜與大語言模型的風電裝備智能問答系統[J].東方電氣評論，2024，38（03）：77-84.

作者單位：永城職業學院

責任編輯：王穎振鄭凱津