一種基于語言大模型的強度智能化知識管理的應用

摘要：在人工智能領域的不斷進化中，大語言模型（Large Language Model，LLM）應用成了當前的熱點和前沿技術之一。過去幾年中，檢索增強生成（Retrieval-Augmented Generation， RAG）技術的快速發展為LLM帶來了新的發展機遇。RAG技術通過結合強大的語言模型與信息檢索系統，在復雜的問題解決和信息處理任務中提供更加精確和深入的答案，并且不斷優化和擴展其應用范圍。文章基于LLM應用研究，結合RAG技術和智能化知識平臺，探索了LLM在強度智能化知識管理中的應用，為企業的創新研發和產品設計提供更加智能化、高效、準確的支持。

關鍵詞：大語言模型；檢索增強生成技術；智能化知識管理

中圖分類號：TP273

文獻標志碼：A

0 引言

隨著LLM的持續進步，一些人開始質疑RAG技術未來的地位。他們認為，如果LLM能夠內化足夠多的信息并提高內部處理復雜性，那么外部檢索可能就不再必要。而RAG技術可以通過實時檢索最新信息來保持模型的時效性和準確性，這是單純依靠預訓練LLM難以實現的。另外，國內外LLM的研究取得了重大成果，但在智能化知識平臺方面，國內外研究和應用還處于初級階段，存在諸多挑戰和機遇。因此，開發具有自主知識產權的智能化知識平臺，結合LLM技術，實現對海量知識資源的智能化處理和分析，為企業的創新研發和產品設計提供強大的支持，具有重要的現實意義和廣闊的前景。

1 RAG技術研究

1.1 RAG技術簡介

RAG是一種結合信息檢索和文本生成的技術，旨在提高自然語言處理任務的性能。RAG通過檢索外部知識庫中與輸入相關的信息，將這些信息與問題一起輸入給模型進行處理，從而生成更加準確、相關和豐富的回答^［1］。

1.2 RAG技術應用場景

RAG技術主要適用于以下2種場景。第一種是領域專業化知識，即RAG可以提供豐富且專業的背景信息來支持決策。第二種是回答需要驗證追溯，即RAG允許用戶追溯答案來源，增加了回答的可信度。

1.3 RAG技術的主要范式

1.3.1 經典RAG模式

經典的 RAG 流程，即初級 RAG，主要包括3個步驟：（1）索引。即將文檔分割成短小的片段，并利用編碼器建立一個向量索引。（2）檢索。根據問題與這些片段之間的相似度來尋找相關的文檔片段。（3）生成。結合檢索到的信息，生成回答問題的內容。

1.3.2 高級RAG模式

高級 RAG在檢索前后加入了額外的處理步驟，即在檢索前，可以采用查詢重寫、路徑選擇和擴展等方法來縮小問題與文檔片段之間的語義差異。檢索后，對文檔進行重新排序。

1.4 基于安全保密的RAG技術框架研究

為了滿足企業和軍工研究所對安全保密的要求，RAG框架需要具備良好的安全可靠性及運行穩定性。因此，本研究對基于安全保密的RAG框架進行了探索，以支持知識維護與應用。

1.4.1 RAG技術框架需求分析

（1）需要分級保護設定功能。在RAG框架中，可以對知識庫中的信息進行分級保護，以保證不同級別的用戶只能訪問相應級別的信息^［2-3］。

（2）需要基于角色權限、密級權限的權限管理功能。

（3）需要對系統中各項操作信息、維護信息、安全審計信息進行詳細的日志管理。

（4）需要采用專門的網絡傳輸協議，確保系統內設計數據傳輸的正確性和完整性。

（5）需要對系統中管理的設計數據進行加密處理，保證系統中的數據安全。

1.4.2 RAG技術框架設計

本研究基于以上要求，探索了基于安全保密的RAG框架，如圖1所示。RAG框架的設計包括以下幾個方面：

（1）分級保護設定。對知識庫中的信息進行分級保護，并采取相應的保護措施。

（2）權限管理。基于角色權限、密級權限的權限管理，保證系統功能應用安全性。

（3）日志管理。對系統中各項操作信息、維護信息、安全審計信息進行詳細的日志管理。

（4）網絡傳輸協議。采用安全的網絡傳輸協議。

（5）數據加密處理。對系統中管理的設計數據進行加密處理。

2 強度智能化知識管理技術研究

本文基于AI大模型成熟算法的數據分析挖掘平臺，提供了數據預處理、特征工程、機器學習、深度學習訓練與預測的端到端的數據挖掘分析能力，同時為分析結果提供專業的數據可視化^［4］。面向強度所特有的需求，本文提供了相應AI大模型算法組件、模型的開發環境，也提供了AI模型算法模型的管理，結合現有的LLM，統一形成強度智能化知識服務系統。

2.1 知識加工

知識加工是一種將原始數據轉化為可用知識的技術，目的是通過對數據進行處理、分析和提取，將其轉化為結構化的、易于理解和應用的知識。

2.2 向量數據庫

向量數據庫是一種用于存儲和檢索向量的特殊類型的數據庫，可以支持高維數據的存儲和檢索，并提供相似性查詢、聚類分析等功能。幾種主流的向量數據庫的對比如下：

（1）Milvus。Milvus是一個開源的向量數據庫，支持大規模的向量數據存儲和檢索，使用近似最近鄰搜索算法，支持快速的相似性查詢。

（2）PostgreSQL。PostgreSQL是一種關系型數據庫管理系統，支持向量數據的存儲和檢索，支持向量數據類型和相似性查詢，支持快速的相似性查詢。

（3）PieCloudVector。PieCloudVector是一種國產的向量數據庫，支持大規模的向量數據存儲和檢索。自研的近似最近鄰搜索算法，支持快速的相似性查詢。

2.3 知識加工技術流程

知識加工技術流程包括：（1）Word文檔結構化解析；（2）內容切片；（3）文檔知識點智能化提取；（4）文檔中問答對自動提取；（5）知識向量化存儲。

2.4 Word文檔碎片化技術

Word文檔碎片化技術是指將一個大的Word文檔分解成多個小的文檔片段或塊的過程，以提高文檔的處理和分析效率，并支持更精細的信息檢索和管理。Word文檔碎片化技術的一些關鍵步驟如下：

2.4.1 文檔解析

（1）將Word文檔解析成不同的元素，包括標題、段落、圖片、表格等。（2）對于每個元素，提取其在文檔中的相關信息。（3）單獨存儲圖片和表格，并記錄圖片、表格與段落之間的關系。

2.4.2 文檔分塊

（1）按照標題層級結構，將文檔分塊成不同的章節、小節、段落等。（2）根據不同的分塊規則和策略，確定每個塊的邊界和范圍。（3）記錄塊與塊之間的關系。（4）對于每個塊，提取其在文檔中的相關信息。

2.4.3 文檔切片

（1）按照設定的規則，對文檔塊進行切割，生成更小的文檔片段或塊。（2）根據不同的切片規則和策略，確定每個片段的邊界和范圍。（3）記錄文檔片與文檔塊之間的關系。（4）對于每個片段，提取其在文檔中的相關信息。

2.5 檢索內容優化技術

RAG的效果高度依賴于檢索到的內容。為了提高RAG的性能，本研究采用了查詢優化、召回優化和排序優化等步驟對檢索內容進行優化。

2.5.1 查詢優化

查詢優化是指在檢索過程中，對用戶輸入的查詢請求進行分析和改寫，以提高檢索的精確度和召回率。本研究采用了以下2種查詢優化策略：（1）查詢意圖識別；（2）查詢優化改寫。

2.5.2 召回優化

召回優化是指在檢索過程中，擴大檢索范圍，以提高檢索結果的召回率。本研究采用了以下2種召回優化策略。（1）召回范圍限定。在檢索過程中，根據用戶的權限和知識庫中的密級和可見范圍，限定檢索范圍，以保證檢索結果的安全性和合法性。（2）向量相似度匹配。在檢索過程中，采用向量空間模型對查詢請求和知識庫中的信息進行匹配，計算向量之間的相似度，以提高檢索結果的召回率。

2.5.3 排序優化

排序優化是指在檢索過程中，對檢索結果進行排

序，以提高檢索結果的相關度。本研究采用了以下3種排序優化策略：（1）相似性模型；（2）策略融合；（3）內容重排序。

3 結語

本文圍繞LLM在強度智能化知識管理中的應用進行了深入探討，不僅展示了LLM和RAG技術在處理復雜問題和信息管理方面的強大潛力，也為強度智能化知識管理的未來發展方向提供了明確的指引。隨著相關技術的持續發展和優化，LLM和RAG技術將為強度科研和產品設計領域帶來革命性的改進，促進知識管理流程的智能化，加速創新進程。

參考文獻

［1］余勝泉，熊莎莎.基于大模型增強的通用人工智能教師架構［J］.開放教育研究，2024（1）：33-43.

［2］周奇安，李舟軍.基于BERT的任務導向對話系統自然語言理解的改進模型與調優方法［J］.中文信息學報，2020（5）：82-90.

［3］陳彥宇，李彪，張連軍，等.基于大規模語言模型的文本分類方法研究綜述［J］.中文信息學報，2021（2）：1-12.

［4］張海濤，鄒建華，陳明，等.基于檢索增強生成技術的智能問答研究綜述［J］.現代計算機，2021（1）：1-9.

（編輯 王雪芬）

Application of intensive intelligent knowledge management based on language large model

He" Zhao

（National Key Laboratory of Strength and Structural Integrity， Aircraft Strength Research

Institute of China， Xi’an 710065， China）Abstract： In the continuous evolution of the field of artificial intelligence， the application of large language model （LLM） has become one of the hot topics and cutting-edge technologies. In recent years， the rapid development of retrieval-augmented generation （RAG） technology has brought new opportunities for LLM. RAG technology combines powerful language models with information retrieval systems to provide more accurate and in-depth answers in complex problem-solving and information processing tasks. It continuously optimizes and expands its application scope. This paper will explore the application of LLM in intensity intelligent knowledge management based on LLM application research， combined with RAG technology and intelligent knowledge platforms. It aims to provide more intelligent， efficient， and accurate support for innovation research and product design in intensity intelligence.

Key words：large language model; retrieval-augmented generation technology; intensity intelligent knowledge management