基于JRAG的涉水法律法規智能知識問答技術

摘要：當前以自然語言大模型為代表的生成式人工智能技術迎來了蓬勃發展，為涉水法律法規領域的智能知識問答提供了新的思路。然而，現有的大模型主要是在通用數據集上訓練的，在涉水法律法規領域上的知識問答容易出現回答內容相關度較低、回答不準確等問題。對此，提出了基于聯合檢索增強生成（JRAG）的涉水法律法規智能知識問答技術框架，該方法主要由知識存儲、知識檢索以及問答生成等環節組成。為了提高知識檢索的效果，在知識檢索環節提出詞向量-關鍵詞聯合檢索的方法，有效地提高了檢索內容與用戶問題匹配的能力。為了驗證JRAG的有效性，提出了一套涉水法律法規問答數據集。在該數據集上與最新中文大模型，如文心一言、通義千問、Yi、ChatGLM3等進行對比，JRAG在評估指標真實性、完整性、相關性和有效性上取得了更好的效果。研究成果具有一定的擴展性，可為其他業務領域的智能知識問答研究奠定基礎。

關 鍵 詞：大模型； 知識問答； 涉水法律法規； 聯合檢索增強生成； 詞向量

中圖法分類號： TP183

文獻標志碼： A

DOI：10.16232/j.cnki.1001-4179.2025.02.030

0 引 言

近年來，隨著法治社會建設的縱深推進，一系列法律法規如《長江保護法》《黃河保護法》等陸續出臺，快速獲取、準確理解和完整掌握這些涉水法律法規知識對于保護河湖生態環境、依法依規開展水域岸線空間生產建設活動、推動經濟社會發展全面綠色轉型等具有重要意義。然而，由于法律法規文本的復雜性、專業性以及知識的密集性，公眾往往難以理解和應用，導致在實際生活中難以有效運用相關法規解決涉水問題。因此，如何在水生態保護、涉河項目建設、水安全保障等領域的生產實踐中幫助人們更便捷地獲取涉水法律法規知識，解決實際生產生活中的涉水問題，提高社會對水資源、水環境、水生態及水域岸線空間管理的認識和應用水平，成為亟待解決的問題。開展涉水法律法規知識問答技術的研究成為解決該問題的有效途徑^［1］。

知識問答技術的研究最早起步于20世紀50年代的圖靈測試^［2］，受限于當時的技術能力，知識問答能力并沒有出現較大的突破。20世紀60～70年代，隨著數據庫技術的出現，專用問答系統應運而生，如Baseball^［3］和REQUEST^［4］等。這類系統主要用于特定領域事實性問題的回答，覆蓋范圍非常有限。20世紀90年代后期，隨著互聯網的出現，大量的文本信息如網頁、郵件等開始涌現，以關鍵詞提取^［5］、文檔檢索^［6］、文本分類^［7］為代表的的自然語言處理技術開始應用于問答系統中，并且已經初步具備了交互式問答對話能力。21世紀以來，人類的知識總量呈現爆發式增長，知識圖譜作為一種結構化圖數據庫對這些知識進行存儲和表達，具備知識表達、知識檢索、知識推理等能力，并被應用于智能知識問答^［8-9］。然而知識圖譜存在過于依賴于專家知識、語義理解能力不強、成本高、更新維護困難等問題，基于知識圖譜技術的知識問答應用在實際落地中還存在較大的局限性。

2023年以來，以ChatGPT為代表的大模型技術迎來了蓬勃發展^［10］，基于大模型的知識問答系統極大地提升了問題的語義理解能力，并且支持上下文理解和多輪對話，給用戶帶來了更好的智能化知識問答體驗。然而，在帶來這些巨大提升的同時，大模型在知識問答的應用中也存在著巨大的挑戰。它的知識主要來源于訓練數據，知識的更新周期長、迭代成本高昂；此外，在面對沒有“見過”的問題時，容易出現“答非所問”的誤導性回答，即“幻覺”問題。

針對上述問題，本文提出了一種基于聯合檢索增強生成的涉水法律法規知識問答框架（JRAG）。該框架主要由3個部分組成：知識存儲、知識檢索、問答生成。知識存儲部分將所有法律法規文本條款進行提取，并轉換為索引進行存儲；知識檢索部分是根據用戶輸入的問題，在知識庫中匹配出和查詢文本最相關的法律法規文本條款文本知識；問答生成部分將用戶問題與相關文本知識聯合輸入大模型，經過總結歸納后生成答案。本文的創新點主要包括3個方面：

（1） 針對生產實踐中無法隨時隨地對涉水法律法規知識進行答疑解惑的難題，構建了首個面向涉水法律法規的知識問答應用，可為公眾提供問答咨詢服務。

（2） 為了解決大模型在知識問答中產生“幻覺”等問題，提出了一種基于聯合檢索增強生成的技術框架，有效地提高了回答的效果。在知識檢索部分，提出了詞向量-關鍵詞聯合匹配方法，有效地提升了檢索內容與問題匹配的能力。

（3） 創建了一套涉水法律法規知識問答數據集和基于真實性、完整性、相關性、有效性等指標的評估方法。在該數據集上與最新的中文大模型文心一言^［11］、通義千問^［12］、Yi^［13］、ChatGLM3^［14］等進行對比，本方法在評估指標真實性、完整性、相關性和有效性上效果更好。

1 整體流程

本文提出的涉水法律法規知識問答整體框架如圖1所示。整個框架共分為3個部分：知識存儲、知識檢索和問答生成。

1.1 知識存儲

知識存儲是將非結構化法律法規文本進行提取和存儲，便于問答生成后續流程的高效利用。知識存儲包括文本收集、文本切分和索引建立3個步驟。

（1） 對涉水法律法規文本進行收集，收集的來源主要包括國家法律法規數據庫、國家部委（水利、生態環境、自然資源等部門）、流域機構網站、地方水行政主管部門網站等，收集的文本類型有國家法律、國家行政法規、部委規章制度、地方行政法規等。這些文本構成了本文所提出的知識問答系統的知識來源。

（2） 文本切分是指對大塊的文本按照一定的規則切分成若干小塊文本。文本切分需要保證切分后的文本塊長度適中，同時還要保證文本塊上下文的連貫性。這是由于法律法規文本往往有數千字，整體作為知識輸入送到大模型中消耗的GPU資源多、處理效率低，此外，切分后的文本塊可能破壞語義完整性，使其難以被大模型理解。法律法規文本條目通常短小精悍且具有固定的格式，如下所示：

“第三條 河道的等級劃分，主要依據……

第四條 河道劃分為五個等級，即……”

“一、各類功能區

（一）禁止一切不符合主體功能定……

（二）禁止在《長江岸線保護和開發利用總體規劃》……”

因此，本文對各法律法規文本按條目進行切分，這樣一方面保證了語義的連貫性，另一方面又使得切分的文本塊長度適中。

（3） 索引建立是指對切分的文本塊建立索引便于檢索。本文所使用的索引包括兩種形式，即向量索引和文本索引。向量索引是采用嵌入式模型（Embedding Model），將切分好的文本塊數據映射成向量形式，并利用FAISS（Facebook AI Similarity Search）^［15］工具構建向量索引。文本索引是使用中文分詞工具對文本塊進行切分，并建立“詞-文本列表”形式的倒排索引。這些索引最終都被存儲在數據庫中，便于后續的檢索。

1.2 知識檢索

知識檢索是根據用戶輸入的問題，在知識庫中匹配出和查詢文本最相似的k條數據，作為后續提供給大模型的提示信息。

在檢索方式上，主要有向量檢索和文本檢索兩種方式。其中，向量檢索是基于嵌入式模型，將用戶輸入的問題文本和知識庫中文本映射成向量并進行相似度匹配，具有能較好地表征文本的潛在語義、部署方便等優點。文本檢索則是對問題關鍵詞與知識庫文本進行匹配，過程簡單直接，并且能通過修改知識庫文本、行業詞庫等方式，快速實現檢索效果優化和人工干預。本文提出詞向量-關鍵詞聯合檢索方法的綜合檢索方式，將向量檢索與文本檢索合并后的結果作為最終的匹配結果，該方法可緩解嵌入式模型的漏匹配問題和關鍵詞匹配的弱語義問題，本文消融實驗中驗證了該方法的有效性。該方法的流程圖如圖2所示。下面分別介紹兩種檢索方式。

1.2.1 向量檢索

向量檢索是從向量索引中找出與問題相似度最高的k1個文本塊，它的流程是首先將問題按照文本塊相同的方式映射成向量形式，然后利用FAISS工具進行向量檢索。本文使用bge-large-zh-v1.5作為嵌入式模型^［16］。該模型基于數據量約100 M的C-MTP中文語料數據集，采取RetroMAE^［17］的訓練策略，經過預訓練、一般微調、特定任務微調等階段，將文本映射為1 024維度的向量，在中文語義向量綜合表征能力評測C-MTEB中表現卓越。

向量檢索的核心思想是基于聚類算法找出與問題相似度最高的文本塊組（子空間），在選定的子空間（最近鄰子空間）中，搜索與問題向量相似的文本塊。通常通過計算問題向量與子空間中向量的距離來實現。本文采用余弦相似度作為距離的度量方法，向量檢索的整體流程如圖3所示。

1.2.2 文本檢索

文本檢索是從文本索引中找出最匹配的k2個文本塊。主要分為查詢預處理、檢索、排序等過程，圖4為文本檢索的流程圖。

在接收到用戶輸入的查詢問題后，首先對查詢問題進行預處理，本文采用預處理的方式包括關鍵詞提取、查詢詞擴展等。首先采用Jieba進行分詞和詞性篩選，在保留名詞、數量詞、動詞等實詞后，基于TF-IDF^［18］算法對每個詞進行權重打分，將每個詞在知識庫整體文檔中的TF-IDF分值作為權重。按照權重高低生成若干個擴展查詢詞，分別在索引中進行匹配。

在檢索到結果后，根據結果文本和原始問題文本的BM25^［19］得分對結果進行排序，取得分高的前k2條結果作為最終檢索結果。

1.3 問答生成

問答生成主要依賴于大模型的對話生成能力。傳統的基于大模型的問答生成方式包括基于預訓練模型的問答生成、基于微調模型的問答生成和直接推理的問答生成。其中，基于預訓練模型的問答生成和基于微調模型的問答生成需要標注大量的數據，效率低、成本高昂，推廣價值較低；基于直接推理的問答生成方式在處理沒有學習過的知識或少見問題時的泛化能力有限。

針對上述問題，本文采用基于知識驅動的問答生成方法，主要包括兩方面內容：① 基于知識驅動的提示詞構造方法，為涉水法律法規知識問答設計了一套提示詞模板，輔助問答生成；② 基于融合知識增強的生成式問答方法，聯合提示詞與文本知識塊，引導大模型的問答生成。

基于知識驅動的提示詞構造方法方面，針對涉水法律法規文本知識的特點，構造了一套引導大模型輸出的提示詞模板。涉水法律法規文本知識具有簡潔性、專業性和權威性等特點，其文本語義知識不可以發生改變。此外，模型輸出的結果需要與用戶問題匹配，需要對大模型進行引導自動過濾不相關的知識。本文通過以下提示詞模板對大模型進行引導：

“lt;指令gt;根據已知信息，簡潔和專業的來對問題進行歸納、總結。lt;/指令gt;

lt;要求gt;1.回答問題必須給出參考依據。2.不得改變提供信息中的定性、定量的描述，如大、小、多、少、全部、部分、所有等。3.請過濾掉與問題無關的信息。如果無法從中得到答案，請說′根據已知信息無法回答該問題′，不允許在答案中添加編造成分。lt;/要求gt;

lt;已知信息gt;{context}lt;/已知信息gt;

lt;問題gt;{question}lt;/問題gt;”

在涉水法律法規知識問答中，通過將具體的法律法規文本知識塊以提示詞的形式融入問題中，可以顯著提高大模型回答問題的完整性和相關性。

基于融合知識增強的生成式問答方法方面，通過融合知識驅動的提示詞構造階段得到的提示詞、檢索的文本知識塊以及用戶問題，利用大模型強大的語言理解和生成能力，產生準確且具有針對性的回答。在實際使用中，需要將提示詞中的“{context}”和“{question}”分別替換成檢索到的文本塊知識文本和用戶問題文本，從而將三者融合在一起作為大模型的輸入。

本方法通過引入來自知識檢索的文本塊作為額外的輸入，模型可以獲得更多與問題相關的信息，從而提高問答生成的準確性和連貫性。這些檢索的文本塊通常包含了與用戶提問相關的背景知識、解釋性信息或者具體細節，可以被視為大模型本身尚未包含的外部知識。這種外掛知識的引入有助于彌補大模型因知識不足而產生的“幻覺”，提高了問答生成的質量和準確性。傳統的問答系統在面對法律法規變更時可能需要標注大量的數據更新大模型的知識。而通過基于知識驅動的提示詞構造方法，可以從最新的法律法規文本中檢索和構造提示詞，從而快速適應法律法規的變化。這樣不僅節約了重新訓練所需的時間和資源成本，同時也提高了模型的使用效率和靈活性。

2 問答數據集來源與構建流程

2.1 數據集來源

為了客觀評估本文提出的知識問答應用的效果，本文提出了首個面向水利知識問答的涉水法律法規知識問答數據集。數據集的來源主要包括權威問答平臺，如水利部、流域機構、地方水行政主管部門等面向社會的公眾咨詢平臺，以及水利部門新聞發布會。這些來源具有權威性和可靠性，能夠提供關于涉水法律法規的權威解答和信息。通過收集來自這些權威部門和平臺的問答數據，可以確保數據集的質量和準確性，為涉水法律法規知識問答應用的評估提供可靠的基礎，同時也可為知識問答領域的相關研究提供參考和借鑒。

2.2 問答對構建流程

（1） 數據收集。從水利部、流域機構、地方水行政主管部門等權威問答平臺和水利部門新聞發布會中收集問答數據，這些數據包括公眾提問和權威機構或發言人給出的專業回答。

（2） 數據清洗。對收集到的問答數據進行清洗和預處理，包括去除重復或相近問答數據、標準化文本格式、同義詞替換等，以確保數據的質量和一致性。此外，還對超出涉水法律法規知識的數據進行了篩選，確保問題設計的知識范圍不超出收集的法律法規范圍。

（3） 問答對組合。將清洗后的問答數據組織成問答對的形式，每個問答對包括一個問題和對應的權威回答。這些問答對將用于評估知識問答應用的效果。

通過上述流程，本文提出了由500個涉水法律法規知識問答對組成的數據集，問答數據集的部分樣例如表1所列。

3 實驗評價

3.1 實驗設置

3.1.1 實驗環境

本節的所有實驗采用Python搭建知識問答服務，使用的大模型來自于開源模型社區modelscope、huggingface以及文心一言平臺。實驗中使用了5張GeForce RTX 4090消費級顯卡部署模型，實驗過程中采用了單機多卡并行計算的推理方式提高計算效率。知識問答測試服務運行在以Linux為操作系統的高性能計算環境中，包含24個CPU核心、256 GB運行內存、17 TB存儲空間。

3.1.2 實驗方法

大模型問答系統的效果評估實驗，主要通過構建的問答對數據集，采用對模型輸出內容進行評估打分的方式完成。其中評估方式包括自動評估和人工評估兩類方式。其中自動評估主要采用BLEU、ROUGE、BERTScore等方法計算模型輸出與標準回答之間的文本相似程度，更適合于回答域較為固定的場景，如不定項選擇題等。對于長文本問答等開放生成場景，更適合使用人工評估的方式，根據場景的實際需求，從多個方面來評估模型輸出內容的質量。

此外，本節的所有實驗均采用第2節構建的數據集來評估模型。

3.1.3 評估指標

關于法律法規問答模型的評估指標，本文參考了法律大模型測評方法^［20］，在實驗中使用4個指標對模型效果進行表征：真實性，用來表征模型針對用戶輸入信息所提供的輸出信息的真實程度；完整性，用來表征模型針對用戶輸入所輸出內容的完整程度；相關性，用來表征模型依據用戶一系列輸入信息所生成的輸出信息之間的相關程度；有效性，用來表征模型針對用戶輸入信息所生成的輸出內容的有用程度。每種指標的評價分數均為5級，具體的分級規則如表2所列。

3.2 對比實驗

本文將提出的JRAG同chatglm3-6B（ChatGLM3）、Qwen-14B-Chat-Int8（Qwen）、Yi-34B-Chat-8bits（Yi）、文心一言（ERNIE）等最新的中文大模型進行對比實驗，實驗結果如表3所列。其中，使用JRAG框架后，完整性提升最明顯，相對大模型中表現最好的文心一言提升了約27%。這在一定程度上說明，JRAG框架在知識檢索階段檢索到法律法規名稱和條款內容，并向大模型提供了明確的信息依據后，能激發大模型輸出更加詳細和精確的回答。圖5給出了JRAG框架下提問和回答的樣例。此外，實驗中還將JRAG與平均分僅次于該方法的ERNIE在不同問答樣例上的效果進行了分析（如附表1所列），結果表明本文提出的JRAG方法在4個評估指標上具有更好的效果。

3.3 消融實驗

消融實驗的作用是用來驗證所提框架的關鍵性能和特征。通過消融實驗，可以逐步剔除框架中的某些組件或特征，以評估它們對框架整體性能的影響。這有助于揭示框架的關鍵部分，更好地理解框架的工作原理和優化方向。

本文針對JRAG框架，分別從檢索方式和大模型類別兩個方向進行了消融實驗，來探究使用不同的檢索方式和大模型類型對JRAG框架的影響。首先，嘗試使用文本匹配檢索、語義向量相似度檢索、同時使用文本和向量的綜合檢索三種方式進行知識檢索。實驗中，用于處理檢索結果并輸出回答的大模型使用的是Yi-34B-Chat-8bits。消融實驗-檢索方式對比結果如表4所列。可以看出使用綜合檢索的方式效果提升明顯，在4個指標上均取得了最高的分數，其4個指標平均分提升約13%。此外，綜合檢索在有效性方面表現突出，比模型本身、文本檢索和向量檢索分別提升約22%，25%和6%，這表明本文所提出的JRAG方法相比其它方法能夠檢索到更全面的與問題相關的知識塊信息，能夠更好地解答相關的問題，可以較好地解決大模型在知識問答中存在的“幻覺”問題。實驗中還將向量檢索與關鍵詞檢索的召回結果進行對比（如附表2所列），結果表明綜合運用兩種檢索方式可彌補向量檢索漏檢的問題。

其次，對比使用不同的大模型對JRAG效果的影響，對比的模型包括ChatGLM3、Qwen、Yi。實驗中，知識檢索采用綜合檢索的方式。消融實驗-大模型對比結果如表5所列，可以看出大模型使用Yi的效果提升明顯，平均分提升約9%。

4 結 論

本文提出的基于聯合檢索增強生成的涉水法律法規知識問答技術框架，由知識存儲、知識檢索和問答生成三個部分組成，并以此為基礎構建了知識問答應用。同時，為了客觀評估本文構建的知識問答應用的效果，還創建了一套涉水法律法規知識問答數據集。在該數據集上，本文提出的方法在4個評估指標上均顯著優于最新的中文語言大模型。本文提出的知識問答技術框架具有較強的通用性，可進一步擴展至其它領域。該框架能夠減少資料檢索的時間，便捷地獲取問題的解答，提高工作效率，具有廣泛的推廣價值。

雖然本文提出的知識問答技術框架取得了較好的效果，但由于法律法規領域對于知識問答的準確性要求較高，具體落地中還需要進一步提高知識問答的使用效果。下一步，將從知識檢索流程中的嵌入式模型優化訓練以及問答生成流程中的大模型調優等方面開展進一步的研究工作。

參考文獻：

［1］ 王婷，王娜，崔運鵬，等.基于人工智能大模型技術的果蔬農技知識智能問答系統［J/OL］.智慧農業（中英文），2024.http：∥kns.cnki.net/kcms/detail/10.1681.s.20231226.0850.002.html.

［2］ TURING A M.The essential turing：the ideas that gave birth to the computer age［M］.Oxford University Press，2004.

［3］ GREEN J R B F，WOLF A K，CHOMSKY C，et al.Baseball：an automatic question-answerer［C］∥Western joint IRE-AIEE-ACM computer conference，1961：219-224.

［4］ PLATH W J.REQUEST：a natural language question-answering system［J］.IBM Journal of Research and Development，1976，20（4）：326-335.

［5］ CHIEN L F.PAT-tree-based keyword extraction for Chinese information retrieval［C］∥In Proceedings of the 20th annual international ACM SIGIR conference on Research and development in information retrieval.1997：50-58.

［6］ BEAR J，ISRAEL D，PETIT J，et al.Using information extraction to improve document retrieval［R］.SRI International，1998.

［7］ NIGAM K，LAFFERTY J，MCCALLUM A.Using maximum entropy for textclassification［C］∥In IJCAI-99 workshop on machine learning for information filtering，1999：61-67.

［8］ 喬少杰，楊國平，于泳，等.QA-KGNet：一種語言模型驅動的知識圖譜問答模型［J］.軟件學報，2023，34（10）：4584-4600.

［9］ 馮鈞，朱躍龍，王云峰，等.面向數字孿生流域的知識平臺構建關鍵技術［J］.人民長江，2023，54（3）：229-235.

［10］WU T，HE S，LIU J，et al.A brief overview of ChatGPT：the history，status quo and potential future development［J］.IEEE/CAA Journal of Automatica Sinica，2023，10（5）：1122-1136.

［11］SUN Y，WANG S，LI Y，et al.Ernie 3.0：Large-scale knowledge enhanced pre-training for language understanding and generation［EB/OL］.https：∥arxiv.org/abs/2107.02137.

［12］BAI J，BAI S，CHU Y，et al.Qwen technical report［EB/OL］.（2023-09-28） ［2024-02-17］.https：∥arxiv.org/abs/2309.16609.

［13］LI K.Yi-34B［EB/OL］.［2024-02-17］.https：∥www.modelscope.cn/organization/01ai.

［14］DU Z，QIAN Y，LIU X，et al.Glm：general language model pretraining with autoregressive blank infilling［C］∥In Proceedings of the 60th annual meeting of the association for computational linguistics，2022：320-335.

［15］JOHNSON J，DOUZE M，JGOU H.Billion-scale similarity search with gpus［J］.IEEE Transactions on Big Data，2019，7（3）：535-547.

［16］ZHANG P，XIAO S，LIU Z，et al.Retrieve anything to augment large language models［EB/OL］.（2023-10-25） ［2024-02-17］.https：∥arxiv.org/abs/2310.07554.

［17］LIU Z，XIAO S，SHAO Y，et al.Retromae-2：Duplex maskedauto-encoder for pre-training retrieval-oriented language models［C］∥Proceedings of the 61st annual meeting of the association for computational linguistics.2023：2635-2648.

［18］KIM S W，GIL J M.Research paper classification systems based on TF-IDF and LDA schemes［J］.Human-centric Computing and Information Sciences，2019（9）：1-21.

［19］ROBERTSON S，ZARAGOZA H.The probabilistic relevance framework：BM25 and beyond［J］.Foundations and Trends in Information Retrieval，2019，3（4），333-389.

［20］智慧司法技術總師系統，浙江大學，上海交通大學，等.法律大模型評估指標和測評方法（征求意見稿）［EB/OL］.（2023-08-21） ［2024-02-17］.http：∥sias.zju.edu.cn/2023/0823/c57510a2792895/page.htm.

（編輯：鄭 毅）

Research on intelligent knowledge Qamp;A for water related laws and regulations based on jointly retrieval-augmented generation

ZHANG Zhixin^1，2，3，MING Chenxi^1，2，3，LIU Jie⁴，LIU Zhe^1，2，3，LI Anyun^1，2，3，ZENG Dejing^1，2，3

（1.Network amp; Information Center，Changjiang Water Resources Commission，Wuhan 430010，China； 2.Center of Technology Innovation for Digital Enablement of River Basin Management of CWRC，Wuhan 430010，China； 3.Smart Changjiang Innovation Team of CWRC，Wuhan 430010，China； 4.School of Civil and Hydraulic Engineering，Huazhong University of Science and Technology，Wuhan 430074，China）

Abstract： Currently，the flourishing development of generative artificial intelligence technologies represented by large natural language models provides new insights for intelligent knowledge question-answering （Qamp;A） in the field of water related laws and regulations.However，the existing large models are primarily trained on general datasets，and knowledge Qamp;A in the field of water related laws and regulations is prone to hallucinations，resulting in low relevance and inaccurate answers.To address this issue，we propose the intelligent Qamp;A framework on knowledge of water related laws and regulations based on jointly retrieval-augmented generation （JRAG）.This method consists of knowledge storage，knowledge retrieval，and question answering.To enhance the performance of knowledge retrieval，a word vector-keyword jointly retrieval method is proposed in the knowledge retrieval stage，which effectively improves the matching capability between retrieved content and user questions.Furthermore，to validate the effectiveness of JRAG，a water related laws and regulations Qamp;A dataset is presented.Compared with the advanced large models such as ERNIE，Qwen，Yi，and ChatGLM3 on this dataset，JRAG achieves the best performance in evaluation metrics of authenticity，completeness，relevance，and effectiveness.This study is extendable and lays a foundation for intelligent knowledge Qamp;A research in other business domains.

Key words： large models； question answering； water related laws and regulations； jointly retrieval-augmented generation； word vector