


摘要:知識問答(QA,QuestionAnswering)作為AI重要應用之一,結合NLP和機器學習技術,實現高效精準的知識問答。通用大模型如ChatGPT、文心一言、通義千問功能強大,但在特定領域如建筑專業知識問答上表現欠佳。本文依托微軟GraphRAG技術,結合大模型與向量數據庫,學習建筑專業知識、政策、法規,顯著增強建筑領域學習能力。通過Neo4J構建可視化知識圖譜,實現局部至全局的靈活搜索,實現知識本地化高效存儲與分享。實踐表明,本系統在建筑領域問答表現超越通用大模型,且本地化部署保障數據隱私與安全,為用戶提供安心高效的服務體驗,為特定領域知識問答提供了新的解決方案。
關鍵詞:知識問答;人工智能;GraphRAG;大模型;Neo4J
中圖分類號:TP18
文獻標識碼:A
文章編號:1009-3044(2025)20-0023-03
0引言
隨著大語言模型的不斷迭代發展,以OpenAI為代表的大語言模型(LargeLanguageModel,LLM)從最初的GPT-1發展到現今的GPT-4。LLM的發展為企業知識管理與分享創造新的模式。在實際應用中,大模型在知識問答中面臨的問題主要表現在以下4個方面:1)幻覺問題,即大模型生成的回答與現實世界或用戶的上下文不一致甚至錯誤的情況,分為事實性幻覺和忠實性幻覺兩種;2)知識的實時性:由于數據采集、整理以及模型訓練等方面的原因,大模型無法實時更新知識,在向其提問時,有可能會提供過時的信息;3)違背事實和邏輯:有可能由于訓練數據本身的錯誤,導致大模型生成的信息與已知的事實相違背或出現邏輯性錯誤;4)知識的局限性:大模型采集的數據基于已公開的知識,面向大眾用戶,并未對特定領域的知識進行專門訓練,導致大模型在特定領域的知識問答中表現欠佳。
針對上述問題,專家學者提出了微調與檢索增強生成(RAG)兩項解決方案。它們的本質區別在于是否須創建新模型:微調是通過讓大模型學習特定領域知識來形成新模型,用戶向新模型提問;RAG則是將知識向量化,先檢索新知識,再將檢索結果與上下文一并提供給大模型,由其綜合生成答案。鑒于建筑領域對知識的解釋性要求高且標準數據更新迅速,結合成本與技術難度等因素,RAG技術更為適宜。洪亮[1]等人基于RAG技術搭建了一套煤礦安全輔助決策的智能問答原型。郝世博[2]等人基于RAG技術構建了一套適用于校企技術合作信息推薦場景的智能問答系統。曹益銘[3]等人在文化領域實現了基于知識圖譜的智能問答系統。向小偉[4]等人基于Qwen1.5-14B Chat大語言模型實現一套科技政策法規問答系統。隨著RAG技術的發展,已經有多達15種RAG模式,如圖1所示。在RAG技術的大量實踐中,學者發現RAG技術也存在一些不足。如:ScottBarnett[5]等人總結了RAG的常見7個問題。針對RAG技術存在的問題,微軟研究院DarrenEdge[6]等人于2024年4月提出GraphRAG技術,采用圖結構的知識圖譜來增強知識問答的精確性和準確性,有效解決了傳統RAG無法提供全局性、綜合性詢問的問題,支持對大量數據的全局理解。
借助GraphRAG技術,并與通義千問大語言模型融合建立私有企業知識庫,搭建知識查詢平臺,該平臺通過直觀友好的人機交互界面,僅需簡單輸入問題,系統后臺智能地分配資源,將問題進行整合后提交至大模型。平臺有效提升了工作效率,節省了查詢時間。結合相關的技術,用戶能夠獲得精準、針對性的回答,確保信息的準確性和實用性。采用本地化部署方案,有效保障了企業數據的隱私安全,避免了敏感信息泄露的風險。
1關鍵技術
1.1GraphRAG技術
GraphRAG是由微軟研究院提出的一種結構化、分層檢索增強生成(Retrieval-AugmentedGeneration,RAG)框架,突破了傳統基于純文本片段的簡單語義搜索范式,整合了RAG機制與圖數據庫(GraphDB)的強大功能。該方法利用輸入的廣泛語料庫結合大型語言模型(LargeLanguageModel,LLM)動態地創建知識圖譜。圖譜不僅富含詳盡的實體關系,還結合了社區摘要和圖形機器學習的先進輸出,共同作用于優化查詢時的提示生成流程。基于圖數據庫和大語言模型的綜合策略,GraphRAG在回答綜合性、全局性問題時展現出顯著的效能提升,其智能表現與知識掌握程度相較于以往應用于私有數據集的其他先進方法而言,實現了質的飛躍。其實現步驟包含構建文本單元、圖譜元素提取、圖譜增強、社區總結、文檔處理和網絡圖譜可視化流程六大步驟,如圖2所示。
1.2大語言模型
本系統采用阿里云研發的通義千問-7B(Qwen2-7B),作為通義千問大語言模型系列的一員,它擁有70億參數的強大規模。Qwen2-7B基于先進的Trans?former架構構建,其預訓練數據豐富多樣,廣泛覆蓋了網絡文本、專業書籍、代碼等多種類型,確保了模型的全面性和深度。
Qwen2在性能上超越了包括Qwen1.5在內的眾多先前開源模型,甚至在與閉源模型的對比中,也在語言理解、生成、多語言處理、代碼生成、數學運算及推理等多個基準上展現出了卓越的性能。其顯著特點有:1)大規模高質量的訓練語料,為知識問答的準確性提供保障;2)具有先進的模型架構,在邏輯推理、上下文理解等方面展現強大的能力;3)根據AnYang[7]等人的描述,Qwen-7B的表現顯著超越了現有相近規模的開源模型,甚至在部分指標上,與更大尺寸的模型相比也毫不遜色,展現出強大的競爭力;4)Qwen2的模型權重已在HuggingFace和ModelScope平臺上開源,相關的樣例代碼也已在Github上公開,為用戶提供了極大的便利。
1.3向量數據庫
在人工智能領域,文本嵌入(TextEmbedding)技術是理解和處理自然語言的關鍵。隨著技術的發展,各種模型不斷涌現,其中“text-embedding-v2”模型以其獨特的技術特點和多場景應用,引起了業界的廣泛關注。“text-embedding-v2”模型是一個基于深度學習的文本嵌入模型,它通過將文本數據轉換為固定長度的向量,使得機器能夠理解和處理自然語言。該模型是“text-embedding-v1”的升級版本,旨在提高文本表示的質量和效率。
2系統架構設計
系統的構建涵蓋了普通用戶應用程序、模型訓練師應用程序以及模型管理平臺應用程序三大模塊,實現了應用功能、模型訓練與模型管理工作的有效分離,系統架構如圖3所示。其中,普通用戶應用程序與模型訓練應用程序均采用Gradio技術來構建直觀的圖形交互界面。Gradio作為一項高效工具,能夠迅速為人工智能應用場景搭建起交互式界面,并提供豐富的輸入輸出組件,支持文本、聲音、圖像、視頻等多種類型的數據與應用程序之間的交互。這一特性使得開發人員能夠將更多精力聚焦于AI業務場景與流程的優化上,而無須過分糾結于用戶界面的構建,因此在機器學習領域得到了廣泛的應用。在系統實現過程中,采用Langchain作為大語言模型的開發框架。Langchain框架集成了多個大模型的API接口,提供了統一的接入點,簡化了模型的使用與整合流程,使得自由構建LLM應用成為可能。Langchain框架主要由六大核心模塊構成,包括輸入輸出模塊、數據連接模塊、鏈模塊、記憶模塊、智能體模塊以及回調模塊。此外,Langchain的開發社區資源豐富,官方網站及相關資料詳盡,為開發人員提供了強有力的支持。系統還集成了PyTorch這一深度學習框架,該框架由Facebook公司研發,并于2017年在GitHub平臺上正式開源。PyTorch以其高度的靈活性、快速的開發速度以及動態計算等優勢而著稱,目前已迭代至2.0版本通過綜合運用上述技術。,成功構建了一個包含兩個前端應用程序以及一個后臺管理系統的綜合平臺。
3知識學習
建筑行業的蓬勃發展,建筑標準、規范以及相關政策等知識也隨之快速更新。在此背景下,大模型需要不斷吸納新知識。持續的學習與更新已成為確保大模型效能與準確性的關鍵,使其能夠有效應對快速迭代更新的行業知識環境。GraphRAG在進行知識學習時主要需要經歷三步:知識索引、知識更新、知識檢索。具體步驟如下。
3.1知識索引和動態更新機制
知識索引是GraphRAG系統進行知識學習的首要步驟。該過程充分利用大語言模型的處理能力,對收集整理的垂直領域知識文檔進行深度加工。具體步驟包括文檔的加載、內容切片以適應模型處理單元、格式轉換以確保數據兼容性,以及向量化處理來捕文本語義特征。通過知識文本抽取,系統能夠形成包含實體、屬性、關系在內的三元組結構,三元組隨后被存入向量數據庫中,便于后續的快速檢索與分析。GraphRAG系統還內置了知識動態更新機制,確保隨著新知識的涌現,舊有索引能夠適時得到更新,從而保持知識庫的時效性和準確性。
3.2精準知識檢索策略
在知識檢索階段,GraphRAG利用LLM(大型語言模型)服務來優化查詢過程,檢索流程如圖4所示。首先,系統通過LLM對用戶的查詢關鍵詞進行智能提取和泛化處理,這包括識別關鍵詞的大小寫變體、別名、同義詞等,從而拓寬檢索范圍,提高檢索的全面性。隨后,基于這些關鍵詞,系統采用深度優先搜索(DFS)或廣度優先搜索(BFS)策略,在知識圖譜中遍歷子圖,搜索指定跳數(N跳)以內的局部子圖,以快速定位與用戶查詢最相關的知識片段。
3.3知識生成與查詢優化
知識生成環節是GraphRAG將檢索到的局部子圖數據轉化為可讀文本的關鍵步驟。系統首先將這些子圖數據格式化為適合大模型處理的文本形式,然后將其作為上下文信息與用戶的具體問題一并提交給大模型進行處理。在GraphRAG中,提供了兩種主要的查詢方式:局部查詢(LocalQuery)和全局查詢(GlobalQuery)。
局部查詢:適用于針對特定實體或特定目標的問題,它能夠精確地返回與查詢相關的局部知識片段,為用戶提供詳細的、針對性的解答。
全局查詢:更適合于提取知識的主旨或進行總結性提取的問題。通過全局視角,系統能夠整合并呈現與查詢相關的整體知識框架,幫助用戶快速把握知識的核心要點。
4結論與展望
本文聚焦于建筑領域私有知識庫的構建,創新性地結合QWen2大模型、Gra?phRAG技術,并綜合運用了Langchain語言處理框架與PyTorch人工智能框架,成功打造了一套集模型訓練、知識問答與本地化部署于一體的知識問答處理系統。該系統初步驗證了GraphRAG技術在建筑垂直領域應用的可行性,彰顯了知識庫私有化部署的廣闊應用前景,同時也為大語言模型在其他垂直領域及多樣場景下的應用探索提供了寶貴的實踐經驗。
在系統初步應用過程中,通過精細的提示詞工程及歷史上下文信息的融合,系統展現出了卓越的理解力與問答性能。然而,在知識訓練與系統構建的深入探索中,研究者也遭遇了一些挑戰:1)知識學習訓練階段的穩定性與效率問題:在基于QWen2的本地大語言模型訓練過程中,小概率出現通信錯誤揭示了訓練穩定性的不足,訓練耗時較長也成為亟待解決的問題。未來研究須致力于提升模型訓練的穩定性與效率;2)構建全面的評價機制:為了更準確地評估本知識庫問答系統的性能,須構建一套完善的評價機制,涵蓋準確率、精確率、召回率等多個維度。構建專家評價與Lang?Smith第三方評價機制,加大對系統的調試、測試、評估及監控力度,確保系統性能的持續優化與提升;3)推廣與應用的前景展望:作為企業新質生產力的重要組成部分,本系統不僅應在內部得到廣泛推廣與應用,更應積極響應市場對AI知識的普遍需求,向更廣泛的領域拓展。通過積極拓展其他領域的知識庫構建,進一步挖掘系統的應用潛力,推動AI技術在更多領域的深入應用與融合。
參考文獻:
[1]洪亮,郭瑤,劉興麗,等.基于RAG的煤礦安全智能問答模型[J].黑龍江科技大學學報,2024,34(3):487-492.
[2]郝世博,史東昊,唐裕晨.基于開源RAG架構的校企專利技術合作問答應用研究[J].技術與市場,2024,31(5):1-11.
[3]曹益銘.基于文化領域知識圖譜的智能問答系統研究與實現[D].北京:北京郵電大學,2021.
[4]向小偉,申艷光,胡明昊,等.大模型驅動的科技政策法規問答系統研究[J].計算機科學與探索,2024,18(9):2349-2360.
[5]BARNETTS,KURNIAWANS,THUDUMUS,etal.Sevenfail?urepointswhenengineeringaretrievalaugmentedgenerationsystem[EB/OL].[2024-10-21].https://arxiv.org/abs/2401.05856.
[6]EDGED,TRINHH,CHENGN,etal.FromLocaltoGlobal:AGraphRAGApproachtoQuery-FocusedSummarization[EB/OL].(2024-04-24)[2024-10-21].https://arxiv.org/abs/2404.16130.
[7]YANGA,YANGB,HUIB,etal.Qwen2technicalreport[EB/OL].(2024-07-15)[2024-10-21].https://arxiv.org/abs/2407.10671.
【通聯編輯:梁書】