一種基于領域知識的檢索增強生成方法

摘 要：

為了提高當前大語言模型（large language model，LLM）在利用檢索文檔生成答案時的準確性，提出一種基于領域知識的檢索增強生成（retrieval-augmented generation，RAG）方法。首先，在檢索過程中通過問題和領域知識進行第1層的稀疏檢索，為后續的稠密檢索提供領域數據集；其次，在生成過程中采用零樣本學習的方法，將領域知識拼接在問題之前或之后，并與檢索文檔結合，輸入到大語言模型中；最后，在醫療領域和法律領域數據集上使用大語言模型ChatGLM2-6B、Baichuan2-7B-chat進行多次實驗，并進行性能評估。結果表明：基于領域知識的檢索增強生成方法能夠有效提高大語言模型生成答案的領域相關度，并且零樣本學習方法相較于微調方法表現出更好的效果；采用零樣本學習方法時，融入領域知識的稀疏檢索和領域知識前置方法在ChatGLM2-6B上取得了最佳提升效果，與基線方法相比，ROUGE-1、ROUGE-2和ROUGE-L評分分別提高了3.82、1.68、4.32個百分點。所提方法能夠提升大語言模型生成答案的準確性，為開放域問答的研究和應用提供重要參考。

關鍵詞：

自然語言處理；開放域問答；檢索增強生成；大語言模型；零樣本學習；領域知識

中圖分類號：

TP391.1

文獻標識碼：A

DOI： 10.7535/hbgykj.2025yx02001

A retrieval-augmented generation method based on domain knowledge

ZHANG Gaofei1， LI Huan1， CHI Yunxian1， ZHAO Qiaohong2， GOU Zhinan3， GAO Kai1

（1.School of Information Science and Engineering，Hebei University of Science and Technology， Shijiazhuang， Hebei 050018， China; 2.Hebei Vocational College of Rail Transportation ， Shijiazhuang， Hebei 050801， China; 3.School of Management Science and Information Engineering， Hebei University of Economics and Business， Shijiazhuang， Hebei 050061， China）

Abstract：

In order to enhance the accuracy of current large language model （LLM） in generating answers using retrieval documents， a retrieval-augmented generation method based on domain knowledge was proposed. Firstly， during the retrieval process， the first layer of sparse retrieval was conducted using both the question and domain knowledge， providing a domain-specific dataset for subsequent dense retrieval. Secondly， in the generation process， a zero-shot learning method was employed to concatenate domain knowledge before or after the question， and combined it with the retrieved documents to input into the large language model. Finally， extensive experiments were conducted on datasets in the medical and legal domains using ChatGLM2-6B and Baichuan2-7B-chat， and performance evaluations were conducted. The results indicate that the retrieval-augmented generation method based on domain knowledge can effectively improve the domain relevance of the answers generated by large language models， and the zero-shot learning method outperforms the fine-tuning method. When the zero-shot learning method is used， the sparse retrieval incorporating domain knowledge and the method of placing domain knowledge before the question achieve the best improvement on ChatGLM2-6B， with ROUGE-1， ROUGE-2 and ROUGE-L scores increasing by 3.82， 1.68 and 4.32 percentage points respectively compared to the baseline method. The proposed method can enhance the accuracy of the answers generated by large language models and provide an important reference for the research and application of open-domain question answering.

Keywords：

natural language processing;open-domain question answering; retrieval-augmented generation; large language model; zero-shot learning; domain knowledge

在開放域問答任務中，大語言模型［1-3］（large language model，LLM）利用檢索增強生成（retrieval-augmented generation，RAG）系統提供的檢索文檔能夠生成精確的答案［4-5］。盡管RAG方法展現出顯著的優勢，但仍然存在一些問題，如LLM利用檢索文檔生成答案的準確性不高，檢索文檔中可能會包含不相關的內容［6-7］，這些問題都會導致LLM生成錯誤的答案［8-9］。因此，如何提高LLM利用檢索文檔生成答案的準確性成為一個亟待解決的問題。

現代開放域問答系統已普遍將傳統的檢索技術與神經閱讀理解模型相結合［10］。檢索器［11-12］檢索文檔后，提取式或生成式閱讀器使用檢索文檔生成答案［13］。近年來，諸多研究大多數聚焦于RAG系統的魯棒性［14-17］。ASAI等［15］引入生成特定標記的機制，使LLM能夠自我評估文檔與問題的相關性，從而自我檢查生成結果的準確性。YORAN等［17］的研究要求LLM在生成答案前先評估文檔的相關性，該方法僅依賴稀疏的二進制標簽評估文檔的相關性，難以精確捕捉細粒度的關聯信息。ZHANG等［18］通過微調LLM，使其學習如何過濾干擾文檔，從而優化特定領域的RAG系統，雖然效果顯著，但是微調LLM非常耗時且需要大量的算力資源。GLASS等［19］在檢索階段增加了重排器，對檢索到的文檔集進行重排，從而提升檢索準確性，但要實現這一效果，重排前的檢索文檔的質量必須足夠高。KIM等［20］提出了新的RAG框架，該框架通過檢索相關文檔并生成摘要，進而提升LLM生成答案的準確性。盡管RAG領域已經取得了一系列卓越的研究成果，但現有研究在整合領域知識方面仍有待加強，這種局限性阻礙了對檢索文檔中領域知識的深入挖掘，同時也影響了大語言模型利用檢索文檔生成答案的準確性和可靠性。

針對上述問題，本文提出了一種基于領域知識的檢索增強生成方法。在檢索階段，通過融入領域知識向LLM提供問題所屬領域的相關檢索文檔；在生成階段，將領域知識拼接于問題之前或之后，并結合檢索階段的檢索文檔，以零樣本學習（zero-shot learning， ZSL）［21］方式輸入給LLM。該方法能夠增強LLM對專業領域知識文檔的理解，提升LLM對檢索文檔的適應性和選擇性，提高LLM生成答案的準確性。

1 基于領域知識的檢索增強生成方法提出

1.1 基本框架

在利用RAG方法解決開放域問答任務時，首先，針對給定查詢q，通過檢索器在檢索階段進行稀疏檢索和稠密檢索，從文檔集中提取出前k個相關文檔（可選用重排器進一步優化結果）［22-23］；然后，將查詢q與檢索到的參考文檔D=diki=1一同輸入到閱讀器，由其生成一個答案A。

A=LLM（q，di）|di∈D。

（1）

本文提出一種基于領域知識的檢索增強生成方法，該方法在檢索和生成過程中融入領域知識，從而提升大語言模型生成答案的準確性，其基本框架如圖1所示。

在檢索階段的稀疏檢索部分，通過問題與領域知識的聯合檢索，為稠密檢索提供訓練數據集，從而更精準地獲取高領域相關度的檢索文檔。在生成過程中，采用前置或后置拼接領域知識的方式，使LLM能夠更有效地選擇與問題領域相關度更高的檢索文檔，進而提高答案的準確性。

1.2 基于領域知識的檢索

在RAG方法中，通過第1層的稀疏檢索構建的文檔集包含正樣本（包含1條黃金樣本和多條正樣本，黃金樣本與正確答案完全一致，而正樣本則為其他正確的答案）、負樣本（錯誤的樣本）和強負樣本（強負樣本是指和黃金樣本非常相似但是依舊錯誤的樣本）。

在稀疏檢索階段中融入領域（domain， Dmn）知識，不僅可以為第2層的稠密檢索器提供更好的訓練集合，而且可以使檢索到的文檔和問題的領域相關度更加契合。在第1層檢索中，采用BM25［24］算法進行聯合檢索，從而利用問題及其領域知識共同檢索相關內容。具體公式如下

SCORE（Dmn+q，D）=∑ni=1IDF（Dmni+qi）×

f（Dmni+qi，D）×（k1+1）f（Dmni+qi，D）+k1×（1－b+b×dd），

（2）

式中：Dmn為領域信息；d表示檢索的文檔集；n表示查詢中包含的詞項數；f函數表示查詢詞項在樣本集中出現的頻率；b和k1是該算法的超參數；d表示文檔集d的長度；d表示所有文檔集平均長度。

通過第1層稀疏檢索獲得1個按照相關度排行的文檔集，用于為第2層的稠密檢索構建訓練文檔集。該文檔集正樣本（以第1條正樣本為黃金正樣本）、負樣本和強負樣本的比例按照稠密段落檢索（dense passage retriever，DPR）方法中的1∶2∶2設置［25］。負樣本的選擇借鑒了RocketQA的方法［26］，在其他文檔的黃金正樣本中隨機選取多個樣本，作為該文檔集的負樣本，這種方法有助于更好地區分正、負樣本。強負樣本是選取相關度排行文檔集中排名靠后的樣本。對檢索階段進行領域知識的融入，保證檢索到的檢索文檔集都是在同一領域下的。

無論是在稀疏檢索還是稠密檢索階段，文檔集均基于訓練集中的問答對構建，且不包含任何測試集中的問題和答案。

1.3 基于領域知識的生成

在特定領域，準確的領域知識對LLM處理檢索文檔起到了至關重要的作用。通過前置或后置方法，將領域知識融入到RAG的生成過程中，從而提升開放域問答任務的準確性和專業性。

1）前置方法 通過前置方法，將問題與該問題所對應的領域知識進行前置拼接，這樣做的目的是，在問題理解階段為LLM提供直接且明確的語境指引，促進LLM更快捕捉到問題的專業領域和特定背景，前置領域知識的方法可以使LLM給予領域知識更高的權重信息，提高生成文檔和問題的領域相關度。具體公式如下。

afront=LLM（Dmn+Q，D），

（3）

式中：afront為前置方法的大模型生成的答案；Q為查詢的問題。

2）后置方法 后置方法通過將檢索問題與其對應領域知識后置拼接，作為背景提示貫穿模型處理問題的全過程，影響LLM對檢索文檔領域知識的判斷，并最終影響生成決策。具體公式如下。

arear=LLM（Q+Dmn，D），

（4）

式中：arear為后置方法的大模型生成的答案。

2 實驗與結果分析

2.1 數據集和實驗設置

2.1.1 數據集

本文基于醫療領域和法律領域2個數據集進行實驗。

1）醫療數據集 針對開放域問答任務，實驗采用了一個包含25萬條數據的數據集。該數據集是人工構建的數據集，主要包括詳細的病人問題和醫生科室信息、治療建議，訓練集和測試集的比例為8∶2。醫生所屬科室信息為領域知識，如表1所示。

2）法律數據集 采用LaWGPT［27］中的法律知識問答數據集，共2.3萬條法律問答數據。該數據集包括法律咨詢問題及其答案和該問題所屬的案件類型。案件類型包括房產糾紛、勞動糾紛、債權債務、交通事故、婚姻家庭5種，案件類型是領域知識。訓練集和測試集的比例為8∶2。數據集中案件類型的數量統計如表2所示。

2.1.2 實驗設置

實驗使用基于64位Linux操作系統的環境，主機硬件配置如下：顯卡為NVIDIA RTX 4090（由英偉達公司提供）；內存為24 GB（由金士頓科技公司提供）。采用Elasticsearch（ES）進行稀疏檢索；采用DPR進行稠密檢索。在生成階段選擇ChatGLM2-6B［28］和Baichuan2-7B-chat［29］大語言模型，初始參數使用LLM的默認值。

2.2 基線方法和評估指標

2.2.1 基線方法

本文通過2種基線方法驗證領域知識和零樣本學習在開放域問答任務中的重要性。首先，通過未融入領域知識的RAG方法證明領域知識的重要性；其次，通過LoRA［30］微調的RAG方法證明利用零樣本學習的方式能更有效地利用檢索文檔，從而提升答案的準確性。

1）未融入領域知識的RAG方法 在該方法中，使用常規的混合檢索，第1層檢索使用ES進行稀疏檢索，第2層檢索使用訓練好的DPR，采用檢索文檔集前k（取k=3）個樣本與測試集問題組成知識密集型數據集。將這種未融入領域知識的RAG方法標記為no-Dmn，并將其作為基線方法。

2）LoRA微調的RAG方法 在檢索過程中將測試集檢索改為訓練集檢索，并利用檢索文檔和訓練集問題對ChatGLM2-6B、Baichuan2-7B-chat進行LoRA微調。

2.2.2 評估指標

開放域問答任務中，確保答案的準確性和完整性至關重要。本文使用Rouge-N指標（具體為Rouge-1和Rouge-2）評估生成文本的準確性，使用Rouge-L通過最長公共子序列評估文本的完整性。

2.3 實驗設計

通過5種實驗設計，探究在檢索階段和生成階段融入領域知識的方法。

1）方法1 首先，在稀疏檢索階段添加領域知識的聯合檢索；然后，利用稠密檢索作為第2層檢索；最后，采用檢索文檔集前k個樣本和測試集的問題作為一個新的知識密集型數據集。該方法為融入領域知識的稀疏檢索方法（標記為Dmn）。

2）方法2和方法3 首先，使用常規的稀疏檢索方法作為第1層檢索；然后，通過訓練好的DPR模型對測試集中的問答對進行第2層檢索。利用領域知識與測試集的問題進行前置或者后置拼接，并與檢索文檔集的前k個樣本結合，得到2個新的知識密集型數據集。這2個方法分別為領域知識前置方法（標記為ques-front）和領域知識后置方法（標記為ques-rear）。

3）方法4和方法5 首先，在稀疏檢索階段添加領域知識的聯合檢索；然后，使用訓練好的DPR模型在測試集上進行檢索，得到檢索文檔集。將初始測試集中的問題與檢索文檔集中的前k個樣本相結合，同時將初始測試集中的領域知識字段添加到問題的開頭或結尾，得到2個新的知識密集型數據集。這2個方法分別為融入領域知識的稀疏檢索和領域知識前置方法（標記為Dmn-ques-front）、融入領域知識的稀疏檢索和領域知識后置方法（標記為Dmn-ques-rear）。

本文對所提出的方法在開放域問答任務上的表現進行了評估。融入領域知識的稀疏檢索（Dmn）是為了證明在RAG中檢索階段提供的領域文檔的重要性；領域知識前置方法（ques-front）、領域知識后置方法（ques-rear）是為了證明RAG在生成階段中，領域知識對LLM提高檢索文檔的領域相關度識別的重要性；融入領域知識的稀疏檢索和領域知識前置方法（Dmn-ques-front）、融入領域知識的稀疏檢索和領域知識后置方法（Dmn-ques-rear）是為了證明在RAG中的2個階段同時融入領域知識對生成結果的影響。以上方法在生成過程中均采用ZSL策略，此外，通過將生成階段的ZSL策略替換為LoRA微調，驗證了在ZSL條件下融入領域知識相比LoRA微調對生成答案準確性的提升效果更顯著（相關源代碼已在GitHub開源，網址為https：//github.com/zgf1005/dpr-llm.git）。表3和表4分別展示了大語言模型ChatGLM2-6B、Baichun2-7B-chat在2個開放域問答任務上的實驗結果。

首先，在ZSL方式下，于LLM的生成階段將領域知識融入RAG中，其效果優于LoRa微調方法。這種優勢在ROUGE-1、ROUGE-2和ROUGE-L等評估指標上表現得尤為突出。

其次，在ZSL方式下，融入領域知識的稀疏檢索和前置融入領域知識（Dmn-ques-front），在ChatGLM2-6B模型上取得了最佳提升效果，與基線方法（no-Dmn）相比，ROUGE-1提高了3.82個百分點，ROUGE-2提高了1.68個百分點，ROUGE-L提升了4.32個百分點。其他融入了領域知識的方法同樣優于基線方法。

綜上所述，基于領域知識的RAG方法普遍優于基線方法，更適用于開放域問答任務。

2.4 參數調整實驗

為了全面評估本文所提方法的性能，通過調整生成階段的參數配置，設計了一系列對比實驗。在這些實驗中，檢索階段的設置與之前保持一致，而生成階段則針對ChatGLM2-6B和Baichuan2-7B-Chat模型進行了參數調整，主要涉及temperature和top_k參數值。通過調整這些參數值，并利用ROUGE-1和ROUGE-L指標對生成結果進行評估，以系統地分析不同參數配置對生成效果的影響。

1）在ChatGLM2-6B和Baichuan2-7B-chat中調整temperature參數，當temperature值較高時，模型生成的文本會更加多樣，但也可能會包含更多不相關或不連貫的內容；而較低的temperature值會使得模型更傾向于選擇概率最高的詞匯，從而生成更一致和連貫的文本，通過實驗研究其在生成過程中的影響。如圖2和圖3所示，temperature取值在［0.20， 0.60］時，融入領域知識的方法生成的結果在完整性和準確性上優于未融入領域知識的方法。然而，隨著temperature值的增加，某些方法的精度會有所下降。盡管融入領域知識稀疏檢索的方法（Dmn）在temperature=0.4時的ROUGE-L效果不及基線方法，但總體而言，其他方法表現優于基線方法。

2）在ChatGLM2-6B和Baichuan2-7B-chat中，通過調整采樣參數top_k來優化生成效果。top_k取值越大，生成文本的多樣性越強；取值越小，生成文本多樣性越弱。由圖4和圖5可知，top_k取值在［20，40］時，融入領域知識的方法生成結果的完整性和準確性優于未融入領域知識的方法。盡管隨著top_k值的增加，某些方法的性能會下降，但總體上融入領域知識的方法始終優于未融入領域知識的方法。

2.5 消融實驗

為了驗證各個模塊在本文方法中的貢獻，基于領域數據集設計了9個消融實驗，分別對RAG框架的檢索階段中的稀疏檢索和稠密檢索2個模塊進行了消融實驗，實驗設計組合包括：

1）ES 僅采用ES檢索；

2）ES+Dmn ES檢索與領域知識的聯合檢索；

3）ES（ques-front） ES檢索與前置領域知識；

4）ES（ques-rear） ES檢索與后置領域知識；

5）ES+Dmn（ques-front） ES與領域知識的聯合檢索與前置領域知識；

6）ES+Dmn（ques-rear） ES與領域知識的聯合檢索與后置領域知識；

7）DPR僅采用DPR檢索；

8）DPR（ques-front） DPR檢索與前置領域知識；

9）DPR（ques-rear） DPR檢索與后置領域知識。

DPR的訓練過程需要使用訓練數據集。在DPR訓練數據集的設計中，正樣本為1條黃金正樣本；使用RocketQA的方法，取其他文檔的黃金樣本作為該文檔集的負樣本；強負樣本為空。通過訓練數據集訓練好DPR檢索器后，再進行檢索，從檢索結果中獲取排行較高的前k個檢索文檔作為強負樣本，繼續訓練DPR，找到一個最優配置，以上操作均基于DPR方法展開。生成階段依舊是在ChatGLM2-6B和Baichuan2-7B-chat上利用ZSL進行實驗。使用大語言模型ChatGLM2-6B和Baichuan2-7B-chat進行消融實驗的結果分別如表5、表6所示。

在消融實驗中，ES系列方法在2個模型上均表現優越，特別是將問題前置或后置的策略（ES（ques-front）和ES（ques-rear））顯著提升了性能。ES+Dmn方法在2個模型上的表現略有提升，但效果有限。由于缺少ES提供的聯合檢索訓練數據集系列方法，DPR系列方法在2個模型上的表現均低于ES，但將問題前置或后置（DPR（ques-front）和DPR（ques-rear））有助于提高性能。ChatGLM2-6B和Baichuan2-7B-Chat在不同方法上的表現趨勢相似，但ChatGLM2-6B提升差異更大。這表明，優化檢索階段的方法以及領域知識前置或后置拼接的方法，能夠有效提升LLM利用檢索文檔生成答案的準確性。

3 結 語

本文提出了一種基于領域知識的檢索增強生成方法，并在醫學領域和法律領域開放域問答任務中進行了驗證。該方法能夠顯著增強大語言模型對檢索文檔中領域知識的挖掘能力，從而提高開放域問答任務中答案的準確性和領域相關度，為特定領域的問答系統提供了一種有效的解決方案。主要結論如下。

1）基于領域知識的檢索增強生成方法在生成階段無需額外訓練，可以直接通過零樣本學習的方式生成高質量的答案。與微調方法相比，零樣本學習方法在本研究中展現出了更好的效果。

2）采用零樣本學習方法時，融入領域知識的稀疏檢索和領域知識前置方法在ChatGLM2-6B上取得了最佳提升效果，與基線方法相比，ROUGE-1、ROUGE-2和ROUGE-L評分分別提高了3.82、1.68、4.32個百分點。此外，其他不同的融入領域知識的方法也均優于基線方法，進一步證明了領域知識的重要性。

3）調整不同的大語言模型生成參數（temperature和top_k），對生成結果有一定程度的影響，融入領域知識的方法均優于不融入領域知識的基線方法。

4）融入領域知識的稀疏檢索提供的領域數據集對大型語言模型生成答案的準確性影響顯著；融入領域知識的稀疏檢索和領域知識前置方法能夠有效提升大語言模型生成答案的準確性。

本文所提方法雖然在當前數據集上的預測效果有一定的提升，但是由于數據集結構形式的局限，對于其他自然語言處理任務的效果還需要進一步進行驗證。未來的工作將聚焦于將本文方法應用到更細粒度（例如段落或句子級別）的數據處理，并探索該方法在其他知識密集型任務中的應用。

參考文獻/References：

［1］

杜家駒，葉德銘，孫茂松.中文開放域問答系統數據增廣研究［J］.中文信息學報，2022，36（11）：121-130.

DU Jiaju，YE Deming，SUN Maosong.Data augmentation in Chinese open-domain question answering［J］.Journal of Chinese Information Processing，2022，36（11）：121-130.

［2］ BROWN T B.Language models are few-shot learners［J］.Advances in Neural Information Processing Systems，2020，33：1877-1901.

［3］ ZHAO W X，ZHOU Kun，LI Junyi，et al.A survey of large language models［J/OL］.（2024-10-13）［2025-01-19］.https：//arxiv.org/abs/2303.18223.

［4］ GAO Yunfan，XIONG Yun，GAO Xinyu，et al.Retrieval-augmented generation for large language models：A survey［J/OL］.（2024-03-27）［2025-01-19］.https：//arxiv.org/abs/2312.10997.

［5］ LEWIS P，PEREZ E，PIKTUS A，et al.Retrieval-augmented generation for knowledge-intensive NLP tasks［J］.Advances in Neural Information Processing Systems，2020，33：9459-9474.

［6］ LIU N F，LIN K，HEWITT J，et al.Lost in the middle：How language models use long contexts［J］.Transactions of the Association for Computational Linguistics，2024，12：157-173.

［7］ SHI F，CHEN Xinyun，MISRA K，et al.Large language models can be easily distracted by irrelevant context［C］//Proceedings of the 40th International Conference on Machine Learning.Honolulu：ICML，2023：31210-31227.

［8］ MALLEN A，ASAI A，ZHONG V，et al.When not to trust language models：Investigating effectiveness of parametric and non-parametric memories［C］//Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics.Toronto：ACL，2023：9802-9822.

［9］ REN Ruiyang，WANG Yuhao，QU Yingqi，et al.Investigating the factual knowledge boundary of large language models with retrieval augmentation［C］//In Proceedings of the 31st International Conference on Computational Linguistics.Abu Dhabi：ACL，2025：3697-3715.

［10］CHEN Danqi，FISCH A，WESTON J，et al.Reading wikipedia to answer open-domain questions［C］//Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics.Vancouver：ACL，2017：1870-1879.

［11］REN Ruiyang，LYU Shangwen，QU Yingqi，et al.PAIR：Leveraging passage-centric similarity relation for improving dense passage retrieval［C］//Findings of the Association for Computational Linguistics： ACL-IJCNLP 2021.Online：ACL，2021：2173-2183.

［12］ZHANG Hang，GONG Yeyun，SHEN Yelong，et al.Adversarial retriever-ranker for dense text retrieval［J/OL］.（2022-10-30）［2025-01-19］.https：//arxiv.org/abs/2110.03611.

［13］ZHU Fengbin，LEI Wenqiang，WANG Chao，et al.Retrieving and reading：A comprehensive survey on open-domain question answering［J/OL］.（2021-05-08）［2025-01-19］.https：//arxiv.org/abs/2101.00774.

［14］ZHAO Penghao，ZHANG Hailin，YU Qinhan，et al.Retrieval-augmented generation for AI-generated content：A survey［J/OL］.（2024-06-21）［2025-01-19］.https：//arxiv.org/abs/2402.19473.

［15］ASAI A，WU Zeqiu，WANG Yizhong，et al.Self-rag：Learning to retrieve，generate，and critique through self-reflection［J/OL］.（2023-10-17）［2025-01-19］.https：//arxiv.org/abs/2310.11511.

［16］LUO Hongyin，CHUANG Y S，GONG Yuan，et al.Sail：Search-augmented instruction learning［J/OL］.（2023-06-25）［2025-01-19］.https：//arxiv.org/abs/2305.15225.

［17］YORAN O，WOLFSON T，RAM O，et al.Making retrieval-augmented language models robust to irrelevant contex［J/OL］.（2024-05-05）［2025-01-19］.https：//arxiv.org/abs/2310.01558.

［18］ZHANG Tianjun，PATIL S G，JAIN N，et al.Raft：Adapting language model to domain specific rag［J/OL］.（2024-06-05）［2025-01-19］.https：//arxiv.org/abs/2403.10131.

［19］GLASS M，ROSSIELLO G，CHOWDHURY M F M，et al.Re2G：Retrieve，rerank，generate［C］//Proceedings of the 2022 Conference of the North American Chapter of the Association for Computational Linguistics. Seattle：ACL，2022：2701-2715.

［20］KIM J，NAM J，MO S，et al.SuRe：Summarizing retrievals using answer candidates for open-domain QA of LLMs［J/OL］.（2024-04-17）［2025-01-19］.https：//arxiv.org/abs/2404.13081.

［21］LIU Man，BAI Huihui，LI Feng，et al.Attend and enrich：Enhanced visual prompt for zero-shot learning［J/OL］.（2024-12-10）［2025-01-19］.https：//doi.org/10.48550/arXiv.2406.03032.

［22］HOFSTTTER S，CHEN Jiecao，RAMAN K，et al.Fid-light：Efficient and effective retrieval-augmented text generation［C］//Proceedings of the 46th International ACM SIGIR Conference on Research and Development in Information Retrieval.Taipei：SIGIR，2023：1437-1447.

［23］XU Fangyuan，SHI Weijia，CHOI E.Recomp：Improving retrieval-augmented LMs with compression and selective augmentation［J/OL］.（2023-10-06）［2025-01-19］.https：//arxiv.org/abs/2310.04408.

［24］ROBERTSON S，ZARAGOZA H.The probabilistic relevance framework：BM25 and Beyond［J］.Foundations and Trends in Information Retrieval，2009，4（3）： 333-389.

［25］KARPUKHIN V，OGUZ B，MIN S，et al.Dense passage retrieval for open-domain question answering［C］//Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing.Online：ACL，2020：6769-6781.

［26］QU Yingqi，DING Yuchen，LIU Jing，et al.RocketQA：An optimized training approach to dense passage retrieval for open-domain question answering［C］//Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.Online：ACL，2021：5835-5847.

［27］ZHOU Zhi，SHI Jiangxin，SONG Pengxiao，et al.LawGPT：A Chinese legal knowledge-enhanced large language model［J/OL］.（2024-06-07）［2025-01-19］.https：//arxiv.org/abs/2406.04614.

［28］ZENG Aohan，LIU Xiao，DU Zhengxiao，et al.Glm-130b：An open bilingual pre-trained model［J/OL］.（2023-10-25）［2025-01-19］.https：//arxiv.org/abs/2210.02414.

［29］YANG Aiyuan，XIAO Bin，WANG Bingning，et al.Baichuan 2：Open large-scale language models［J/OL］.（2023-09-20）［2025-01-19］.https：//arxiv.org/abs/2309.10305.

［30］HU E J，SHEN Yelong，WALLIS P，et al.LoRA：Low-rank adaptation of large language models［J/OL］.（2021-10-16）［2025-01-19］.https：//arxiv.org/abs/2106.096855.

收稿日期：2024-11-08;修回日期：2025-01-19；責任編輯：丁軍苗

基金項目：河北省自然科學基金（F2022208006 ，F2023207003）；河北省高等學校科學技術研究項目（QN2024196）

第一作者簡介：

張高飛（2000—），男，河北邯鄲人，碩士研究生，主要從事自然語言處理方面的研究。

通信作者：

高凱教授。 E-mail：gaokai@hebust.edu.cn

張高飛，李歡，池云仙，等.

一種基于領域知識的檢索增強生成方法

［J］.河北工業科技，2025，42（2）：103-111.

ZHANG Gaofei，LI Huan，CHI Yunxian，et al.

A retrieval-augmented generation method based on domain knowledge

［J］. Hebei Journal of Industrial Science and Technology，2025，42（2）：103-111.