基于檢索增強生成的油菜科研智能問答模型

摘 要：針對油菜科研智能問答輔助的迫切需求，研究提出了一種智能問答模型實現方案。該方案基于油菜科研論文數據源，引入檢索增強生成技術，構建了油菜科研智能問答模型。模型通過構建向量數據庫，優化檢索過程并保留上下文信息，顯著提升了查詢的理解能力；同時采用重排機制，進一步增強了模型生成的準確性。在Ragas評估框架下，與其他基線模型對比，研究方法在各項性能指標上均表現出色，顯著優于其他方法。研究不僅為油菜科研提供了高效的智能問答工具，而且為智能問答技術在農業科研中的應用提供了新思路與參考。

關鍵詞：油菜；農業科研；檢索增強生成；問答模型；上下文檢索

中圖分類號：S24；TP18 文獻標志碼：A 文章編號：1674-7909（2024）18-150-5

DOI：10.19345/j.cnki.1674-7909.2024.18.037

0 引言

油菜作為全球重要的油料作物，廣泛應用于食品加工及工業生產領域，且隨著人口增長和經濟發展，其市場需求量持續攀升［1-2］。然而，油菜科研面臨著數據多源、分散、龐大及閱讀效率低下等挑戰，一定程度上制約了對油菜作物的科研進展。因此，高效獲取和利用相關信息，已成為油菜科研的迫切需求。

近年來，自然語言處理領域技術發展迅速且成果顯著，特別是OpenAI發布的大語言模型（Large Language Models，LLM）ChatGPT［3］，促進了AI與科研的深度融合［4］，廣泛應用于文本生成和回答。這也為科研人員通過AI輔助高效地獲取和利用信息、提高科研效率提供了可能［5］。雖然ChatGPT等LLM展現出強大的文本理解和生成能力［6］，但是仍面臨“幻覺”問題導致的錯誤回答［7］、知識時效性問題［8］及缺乏特定領域的專業知識［9］等局限。這些限制難以滿足科研人員對精準、實時信息的獲取需求。

在此背景下，檢索增強生成（Retrieval Augmented Generation，RAG）技術應運而生［10］，為上述問題的解決帶來新的契機。RAG通過整合外部知識來源，提升模型在知識密集型任務中的表現，為解決大語言模型局限性問題提供了新的途徑［11］。具體而言，RAG根據輸入從語料庫中檢索相關段落，并與輸入、提示詞一同提供給LLM，使LLM能借助外部知識生成更準確、可信的響應，并有效應對挑戰。

研究基于RAG技術，針對油菜科研中的實際問題，構建了油菜科研智能問答模型。該模型以油菜科研論文為數據源，通過融入上下文檢索，保留關鍵信息的上下文，提高了檢索準確性；引入重排模型，篩選文檔，提升RAG系統準確性和回答相關性，顯著提升了模型對油菜科研文獻的理解力和閱讀效率。

1 檢索增強生成模型

油菜科研檢索增強生成智能問答系統的構建框架如圖1所示，其整體流程可劃分為三個核心層級：數據處理層、檢索層及生成層。

數據處理層處理科研論文數據，并進行精細切分、上下文檢索預處理和向量化，構建油菜論文向量數據庫，為后續檢索提供數據支持。

檢索層將用戶查詢向量化，召回與查詢相關的Top k文檔，并通過Rerank模型進行精細排序，最終保留Top n個相關文檔，作為生成層的候選背景信息。

在生成層中，系統結合大語言模型，將篩選排序后的文檔塊轉化為針對用戶查詢的準確回答，充分利用了檢索層提供的背景信息及大語言模型的文本生成與理解能力。

油菜科研檢索增強生成智能問答系統通過三層緊密的協作，實現了從數據處理到精準回答的全過程，達到為油菜科研提供高效智能的信息檢索和問答服務的目的。

1.1 向量數據庫的構建

研究基于油菜作物方面的科研文獻，探索并實施一種高效的向量數據庫構建與檢索的方法，其主要包括文檔加載、切分、向量化及存儲。

1.1.1 文檔加載

針對PDF格式的文獻數據，本研究通過光學字符識別技術（Optical Character Recognition，OCR）識別圖片和表格中的文本，進而對文本內容進行提取。相較于傳統的純文本匹配方法，此策略顯著提升了信息提取的精度和效率。

1.1.2 文本切分

研究采用了固定大小的分塊策略，每個分塊包含256個單元（token），并設定了50個token的重疊區域，以在保持語義連貫性的同時，有效減少噪聲干擾。

1.1.3 向量化模型

研究采用了BGE-M3-Embedding模型。該模型作為兩階段檢索算法的核心組件，通過召回和精排兩個模塊的協同工作，實現對用戶問題與知識庫語料之間語義關系的精準捕捉。

1.1.4 向量數據庫

研究引入Facebook人工智能相似性搜索庫（Facebook AI Similarity Search，FAISS）進行相似性搜索。FAISS作為Facebook公司開發的工具，能夠支持大規模高維向量數據的快速存儲和檢索。

1.2 上下文檢索

在檢索增強生成系統的框架下，傳統的文檔分割策略雖然能夠有效提升檢索效率，但是經常出現上下文信息丟失而影響檢索結果相關度與精確度的現象。因此，研究引入上下文檢索機制，作為預處理策略優化檢索。上下文檢索通過在每個文本塊嵌入前預先添加特定的解釋性上下文，有效解決了傳統RAG系統中的上下文缺失問題。這種上下文嵌入策略不僅使文本塊更完整、更易于理解，還顯著提升了系統檢索和回答問題的準確性。

該研究使用GPT-4.0模型，結合Prompt，自動為每個文本塊生成簡潔且富有針對性的上下文信息，其通常包含50～100個token，每個文本塊均攜帶了專屬的上下文，使得模型在檢索和生成回答時能夠準確地理解和利用這些信息，具體情況如圖2所示。

該項目設Q為用戶查詢，D為文檔集合，Di為文檔集合中的第i個文檔塊，Ci為與Di相關聯的上下文信息。上下文嵌入的目標是為每個Di生成一個包含上下文信息的向量表示[Dci]，⊕表示上下文信息與文檔塊的拼接操作，Encoder為用于生成向量表示的編碼器模型，計算公式見式（1）：

[Dci=EncoderDi⊕Ci]" （1）

1.3 排序優化

在傳統的RAG方法中，初步檢索可能會引入與查詢不緊密相關的上下文，影響精確性。為提升系統準確性，引入重排序技術，通過精細篩選與排序，優先選擇高度相關的上下文。如圖3所示。具體步驟：初步檢索獲取相關上下文塊，利用重排序模型深度評估這些塊與用戶查詢的相關性，然后根據評分選出前K個最高分塊，最后將這些高質量上下文傳遞給生成模型，以產生最終響應。

研究所采用的Cohere Rerank模型，通過深度語義分析精確排序文本輸入與用戶查詢的語義相關性，優化搜索結果。技術上，Cohere模型計算每個候選文檔塊與用戶查詢之間的高維向量相似度分數。對于給定的查詢Q及候選文檔集DQ，Cohere模型計算每個文檔塊DQi與Q的相似度Score（Q，DQi），并據此對DQ中的文檔塊進行排序，得到重排序后的上下文集合DrQ。計算過程見式（2）。

[DrQ=SortDQi，Score（Q，DQi），DQi∈DQ] （2）

其中，Sort函數根據Score函數計算的相似度分數進行排序，篩選出構成DrQ的相關上下文塊。這一機制確保了RAG系統能夠生成更加準確、高質量的響應。

2 驗證分析

2.1 數據集

為了驗證油菜科研領域的查詢問答方法，構建了科研論文知識庫和Ragas評估數據集。知識庫源自美國國家生物技術信息中心（NCBI）的854篇油菜相關論文，細分為基因定位克隆、基因組測序、抗逆及育種、形態標記性狀等4大類，為問答系統提供專業背景知識。Ragas評估數據集包含用戶查詢、相關上下文、系統生成的答案及人工標注的標準答案。研究為了增強數據集多樣性，采用Ragas中基于知識圖譜的方法生成測試集，涵蓋單跳具體查詢（50%）、多跳抽象查詢（25%）和多跳具體查詢（25%），以全面評估問答系統性能。

2.2 評估指標

在評估問答系統性能時，采用Ragas評估方法，以衡量模型的檢索精度、召回率、答案相關性和事實一致性。具體評估指標如下：

2.2.1 Context Precision

該指標用于衡量retrieved_contexts的相關塊比例，其通過計算檢索結果中各文本塊相關性的平均值得出，反映相關塊在排名靠前的文本塊中的比例，從而評估檢索性能。其計算公式見式（3）：

[Context Precision@K=" " "k=1K Precision@k×vkTotal number of relevant items in the top K results] （3）

2.2.2 Context Recall

該指標成功檢索的相關文檔數量，調避免遺漏重要結果；召回率越高，遺漏的相關文檔越少。其值范圍在0～1，數值越大表明性能越優。其計算公式見式（4）：

[Context Recall=" " " " "GT claims that can be attributed to contextNumber of claims in GT]" " "（4）

2.2.3 Answer Relevancy

該指標用于評估生成答案與提示的相關性。對于不完整或包含冗余信息的答案，該指標將給予較低分數，反之則給予較高的分數，即分數越高，答案與提示相關性越強。該指標通過user_input、retrieved_contexts和response計算得出，計算公式見式（5）：

[Answer Relevancy=1Ni=1NcosEgi，Eo]" " " " （5）

2.2.4 Faithfulness

該指標用于衡量生成答案在給定上下文中的事實準確性。根據答案和檢索到的上下文內容計算得出，答案的得分被縮放至（0，1）范圍內，得分越高表示事實一致性越好。其計算公式見式（6）：

[Faithfulness score=Answer that can be inferred from given contextTotal number of claims in the generated answer]" "（6）

2.3 基線方法對比分析

筆者將研究提出的檢索增強生成方法與當前先進的幾種基線方法進行了對比分析。參與對比分析的基線方法如下所述。

Standard RAG：將原始文本切割成塊并存儲在向量數據庫中，通過查詢與文本塊之間的相似度進來檢索相關文本。

RQ-RAG：利用LLM將查詢分解為多個子查詢，以提高搜索準確性。

HyDE：通過LLM生成假設文檔，根據該文檔檢索相關文本塊形成最終答案。

2.4 實驗環境

實驗平臺為Ubuntu18.04，NVIDA T4×3，Python3.10版本，PyTorch1.10.2版本，Ragas 0.1.18版本，LangChain0.3.3版本。

2.5 結果分析

通過RAGAS評估體系評價，具體考察系統對相關背景知識的檢索與召回效能和最終生成答案的準確度，以此驗證研究提出的模型框架在增強大型語言模型問答能力方面的實際成效。

根據表1展示的檢索增強生成智能問答任務評估結果，在油菜數據集上，當采用GPT-4.0作為生成器時，筆者提出的方法表現顯著優于其他對比方法。具體而言，在Context Precision和Context Recall評價指標上，筆者提出的方法取得了0.951和0.887的分數指標，領先其他模型。該結果有力地證明了筆者提出的方法能夠更有效地利用上下文信息，從而檢索出與問題相似度更高的信息塊，進一步說明了該方法在信息獲取方面的精準性得到了顯著提升。

同時，在Faithfulness和Answer Relevancy指標上，筆者提出的方法也取得了0.978和0.9642的分數，表明該方法能夠通過重排機制有效篩選并優化信息塊，極大地促進了與用戶查詢之間的語義匹配度，并顯著提升了排序結果的準確性，進一步驗證了其在信息處理和問答優化方面的顯著成效。

3 RAG油菜科研論文模型應用

研究提出了基于檢索增強生成的油菜科研智能問答模型，旨在實現油菜科研領域的高效問答應用，主要功能包括智能問答和回答引用查看。

為驗證RAG模型在油菜科研領域的準確性，研究團隊進行了多次人機交互測試。例如，針對“油菜的干旱耐受性與哪些遺傳因素有關？”這一提問，系統能夠精準地提供深入的分析與解答，如圖4 所示。

為驗證RAG問答模型在油菜科研領域的可靠性，模型提供了“回答引用查看”功能，用戶可以追溯答案的具體來源文獻，進一步增強了答案的可信度，如圖5所示。

4 結束語

研究針對油菜科研領域信息檢索與問答需求，提出了一種基于檢索增強生成技術的智能問答模型，并通過構建油菜科研論文向量數據庫，并融合上下文檢索與重排模型優化策略，提升了問答系統的準確性與可靠性。測試結果表明：該模型能補充上下文信息并提高回答結果準確度，在各項性能指標上均超越基線方法，展現出了顯著的優勢。油菜科研智能問答模型不僅為油菜科研提供了高效問答工具，也為智能問答技術在農業科研的應用提供了新思路。

參考文獻：

［1］劉成，趙麗佳，唐晶，等.中美貿易沖突背景下中國油菜產業發展問題探索［J］.中國油脂，2019，44（9）：1-6，11.

［2］李谷成，牛秋純，冷博峰，等.新時代十年：我國油菜產業發展與路徑選擇［J］.中國油料作物學報，2024，46（2）：228-235.

［3］BROWN T，MANN B，RYDER N，et al.Language models are few-shot learners［C］//Advances in Neural Information Processing Systems：Vol.33.Curran Associates，Inc，2020：1877-1901.

［4］OWENS B.How nature readers are using ChatGPT［J］.Nature，2023，615（7950）：20-20.

［5］GRUDA D.Three ways ChatGPT helps me in my academic writing［J］.Nature，2024.

［6］BANG Y，CAHYAWIJAYA S，LEE N，et al.A multitask，multilingual，multimodal evaluation of ChatGPT on reasoning， hallucination，and interactivity［C］//Park J C，Arase Y，Hu B，et al.Proceedings of the 13th International Joint Conference on Natural Language Processing and the 3rd Conference of the Asia-Pacific Chapter of the Association for Computational Linguistics （Volume 1：Long Papers）.Nusa Dua，Bali： Association for Computational Linguistics，2023：675-718.

［7］JI Z，LEE N，FRIESKE R，et al.Survey of Hallucination in Natural Language Generation［J］.ACM Comput.Surv，2023，55（12）：248：1-248：38.

［8］CAO B，LIN H，HAN X，et al.Knowledgeable or educated guess？Revisiting language models as knowledge bases［C］//Zong C，Xia F，Li W，et al.Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing （Volume 1：Long Papers）.Online：Association for Computational Linguistics，2021：1860-1874.

［9］ZHANG T，PATIL S G，JAIN N，et al.RAFT：adapting language model to domain specific RAG［C］//First Conference on Language Modeling.2024.

［10］LEWIS P，PEREZ E，PIKTUS A，et al.Retrieval-augmented generation for knowledge-intensive NLP tasks［C］//Advances in Neural Information Processing Systems：Vol.33.Curran Associates，Inc，2020：9459-9474.

［11］FAN W，DING Y，NING L，et al.A survey on RAG meeting LLMs：towards retrieval-augmented large language models［C］//Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining.New York，NY，USA：Association for Computing Machinery，2024：6491-6501.

基金項目：2024湖南農業大學學位與研究生教學改革研究項目（XJG2024019）。

作者簡介：張藝（1999—），男，碩士生，研究方向：農業信息化。

通信作者：聶笑一（1978—），男，博士，副教授，研究方向：復雜網絡、人工智能、生物信息。