農業垂直領域大語言模型構建流程和技術展望

摘要：隨著互聯網的普及，農業知識和信息的獲取變得更加便捷，但信息大多固定且通用，無法針對具體情況提供定制化的解決方案。在此背景下，大語言模型（Large Language Models，LLMs）作為一種高效的人工智能工具，逐漸在農業領域中獲得關注和應用。目前，LLMs技術在農業領域大模型的相關綜述中只是簡單描述，并沒有系統地介紹LLMs構建流程。本文重點介紹了農業垂直領域大語言模型構建流程，包括數據采集和預處理、選擇適當的LLMs基模型、微調訓練、檢索增強生成 （Retrieval Augmented Generation，RAG）技術、評估過程。以及介紹了LangChain框架在農業問答系統中的構建。最后，總結出當前構建農業垂直領域大語言模型的一些挑戰，包括數據安全挑戰、模型遺忘挑戰和模型幻覺挑戰，以及提出了未來農業垂直領域大語言的發展方向，包括多模態數據融合、強時效數據更新、多語言知識表達和微調成本優化，以進一步提高農業生產的智能化和現代化水平。

關鍵詞：大語言模型；檢索增強生成；LangChain；農業問答系統

1 "引言

隨著互聯網的普及，農業知識和信息的獲取變得更加便捷。然而，網絡上的農業信息大多是固定且通用的，無法針對具體情況提供定制化的解決方案。這個問題在實際應用中尤其突出。例如，在應對突發病蟲害或極端氣候條件時，固定且通用的答案往往不足以解決實際中的生產問題。

在此背景下，大語言模型（Large Language Models，LLMs）[1]作為一種高效的人工智能工具，逐漸在農業領域中獲得關注和應用。例如，LLMs可以通過農業知識問答系統提供實時、可靠的信息支持，涵蓋作物種植、農業技術、病蟲害防治等方面。這些模型能夠通過自然語言處理和語義理解技術，將用戶的問題轉化為語義表示，生成準確的答案反饋給用戶。目前，LLMs技術在農業領域大模型的相關綜述[2-3]中有所提及，而構建流程的部分技術尚未研究。本文將重點針對LLMs技術，系統介紹LLMs在農業領域中的構建流程、技術挑戰以及發展趨勢，以期為今后農業垂直領域大語言模型的研究和應用提供理論依據作為參考。

2 "大語言模型

LLMs是基于強大的Transformers架構[4]，用海量文本數據訓練，用來理解和生成人類語言的模型。LLMs通過數十億甚至數百億的參數捕獲語言的復雜性，在自然語言處理任務中表現卓越。隨著技術的發展和硬件設備的提升，特別是OpenAI發布了GPT系列[1]之后，LLMs成為人工智能領域的研究和應用熱點。

在實際應用方面，LLMs已經在不同任務中顯示出其價值，包括但不限于摘要生成[5]、機器翻譯[6]、情感分析[7]等。這些應用展示了LLMs強大的語言理解和生成能力，極大地提高了這些領域的自動化和智能化水平。

2.1 "垂直領域大語言模型

針對LLMs處理任務的能力，LLMs分為通用LLMs和垂直領域LLMs。通用LLMs能夠處理多種語言理解任務；垂直領域LLMs使用大量的垂直領域文本數據在LLMs基模型上進行訓練以便為特定行業，例如：法律、醫療或農業等領域提供定制化的解決方案，一些典型的垂直領域LLMs，見表1。同時在農業領域中也出現一些LLMs的構建工作，例如：果蔬農技知識大語言模型[8]、“后稷”、“神農”等。這些模型不僅提升了特定領域的操作效率，還可以針對具體情況提供定制化的解決方案。

2.2 "農業垂直領域大語言模型

隨著垂直領域LLMs研究越來越廣泛，越來越多的研究者也開始探索LLMs在農業領域的潛力，以更好地滿足農業領域的特定需求并優化決策過程。例如：

王婷等人開發了基于人工智能大語言模型技術的果蔬農技知識智能問答系統，通過采用Low-Rank Adaptation（Lora）微調和Prompt-tuning（P-tuning）微調對LLMs基模型進行微調，從而實現了系統能夠高精度地生成無歧義的答案。此外，系統利用檢索增強生成 （Retrieval Augmented Generation，RAG）技術進行模型優化，結合外部知識源構建知識庫，通過向量檢索等方法實現了知識的快速搜索。這些技術手段使得該系統能夠支持復雜的多輪對話，為果蔬農技領域提供了高效的知識服務和交流平臺[8]。

Xianjun Yang等人開發的PLLaMa模型，采用了基于大型語料庫的LLMs基模型，通過訓練和微調，使模型具備了對植物和農業科學方面的知識的基本理解和應用能力。團隊使用Llama2作為LLMs基模型，在訓練過程中，采用flash-attention和bf16等方法來提高訓練效率，并利用zero-stage-3和全切片數據并行（Fully Sharded Data Parallel，FSDP）實現了分布式訓練。此外，通過引入指令調整過程，進一步優化了模型對特定指令的理解和響應能力[17]。

Biao Zhao等人的研究采用了ChatGPT模型，并結合農業領域的專業知識，構建了“ChatAgri”，以實現農業文本的自動分類和理解。在構建“ChatAgri”的過程中，引導ChatGPT正確地理解和分類農業相關的文本，并在問答推理階段讓ChatGPT生成響應。最后，通過答案規范化或對齊階段，將ChatGPT生成的自然語言響應轉換為預定義的分類標簽，確保模型的輸出與預期的分類體系相一致。這一系列步驟為實現農業垂直領域大語言模型的構建提供了關鍵技術支持[18]。

Angels Balaguer等人使用RAG技術和微調技術，有效地在農業數據集上構建一個框架，專注于從復雜和非結構化的PDF文檔中提取信息，并生成問題答案。該框架的設計不僅涉及基本的信息提取，還包括通過精確解析文本內容、表格和視覺信息，恢復文檔的底層結構。此外，通過RAG技術，該系統能結合先進的檢索和生成機制，針對特定問題生成高質量的答案，從而增強問答系統的實用性和響應質量[19]。

Bruno Silva等人通過結合GPT-4與RAG技術和集成優化（Ensemble Refinement ，ER）技術，構建農業領域LLMs，并評估了該模型在解答農業相關問題和生成作物管理指南等方面的能力。研究過程中，首先通過手動或自動化腳本從書籍、文章和在線資源中收集數據，然后將數據轉換為JSON格式的選擇題或開放性問題格式，并進行數據清洗以刪除不適合LLMs處理的問題。接著，創建包含背景知識的提示來引導LLMs生成高質量的答案。在LLMs調用RAG和ER技術生成響應后，最終通過專家對比和LLMs輔助檢查評估答案的準確性和相關性[20]。

3 "構建流程

在基于微調LLMs構建農業知識問答系統過程中，首先進行數據采集工作，數據來源包括但不限于書籍、學術文獻、網絡資源和行業文章，確保農業知識數據的廣泛性和專業性。隨后，對數據進行清洗等操作，進一步確保所獲數據質量。利用合適的LLMs，將數據轉換成微調所需的問答語料數據。根據任務性質、數據特點、資源可用性等需求選擇適合的LLMs基模型。LLMs微調訓練階段利用數據，采用合適的微調策略對LLMs基模型進行訓練，逐漸調整參數以提升精確度。在訓練過程中，定期對模型進行評估和調優，在確保語言理解能力的前提下提高LLMs在垂直領域的專業能力。利用LangChain框架，將微調好的農業LLMs和向量知識庫部署到實際應用中，進一步優化和調整以滿足實際需求，農業問答系統框架流程見圖1。

3.1 "準備數據

微調LLMs的基礎是利用大規模的語料庫進行微調，通常這些語料庫是公開的或者經過授權的私有數據。然而，農業領域的語料庫少而分散，因此需要保證法律允許的前提下來獲取數據，例如：中國農業信息網、百度百科、新聞、學術文獻等。其次，進行數據清洗并利用LLMs將數據處理為滿足微調要求的問答語料數據，生成問答語料數據的框架有：Self-instruct[21]、Self-QA[22]、Self-KG[23]，見表2。

Self-Instruct框架[21]通過利用編寫的種子微調數據，結合LLMs模型，生成更多符合要求的微調數據。首先，從種子數據中隨機選擇指令，通過LLMs生成一系列新指令。其次，判斷指令類別屬于“分類”問題還是“生成”問題，并采用不同的策略生成答案。經過上述步驟生成的微調數據需要過濾與已有數據高相似度和低質量的問答語料數據。過濾后的微調數據繼續與“種子數據”結合，形成循環過程，不斷地生

成新的微調數據，Self-Instruct框架見圖2。

Self-QA框架[22]由三個階段組成：知識引導指令生成、模型閱讀理解、過濾和裁剪。知識引導指令生成階段為LLMs模型提供一些指導，利用LLMs基于非結構化農業知識數據進行無監督的文本指令生成。模型閱讀理解是指LLMs根據所提供的農業知識進行理解，并回答第一階段生成的指令。最后，對生成的問題進行過濾和裁剪，剔除那些不符合預期、違反規

則或含有明顯錯誤的文本，Self-QA框架見圖3。

Self-KG框架[23] 基于知識圖譜[24-25]來構建問答語料數據，常見的農業知識圖譜有：蘋果病蟲害知識圖譜[26]、草莓種植管理知識圖譜[27]、大豆育種知識圖譜[28]等。Self-KG由三個技術組件組成：相對相似性度量和自負采樣以及多個負隊列。相對相似性度量：將未對齊的實體推得更遠，從而避免使用正對的監督。自負采樣：為了緩解無監督實體對齊中的碰撞問題，通過從同一知識圖譜中排除實體，避免其作為負樣本，提高對齊準確性。負隊列：維護負隊列來存儲先前編碼的批次作為已編碼的負樣本，從而以有限的成本容納數千個已編碼的負樣本。

3.2 "選擇LLMs基模型

選擇適合的LLMs基模型進行微調時，需要綜合考慮多個因素以確保選擇的LLMs基模型能夠滿足需求。首先，評估現有的硬件設備，包括CPU和GPU的內存等方面的配置，以確保所選LLMs基模型參數大小與硬件設備兼容并能夠有效地運行。其次，不同的LLMs基模型對不同語言的處理效果有所差異，因此需要選擇適合微調數據語言特點的LLMs基模型，以提高微調效果。部分開源LLMs基模型見表3。

3.3 "微調模型

基于農業問答語料數據訓練LLMs是有效地將LLMs適用于下游任務。常見方法是監督微調（Supervised Fine-Tuning，SFT）。通過SFT，能夠將LLMs基模型與特定任務的需求對齊，從而提高模型在這些任務上的表現[37]。

盡管監督微調在改善模型性能方面取得了顯著成效，但也面臨著一些挑戰。尤其是模型的參數越來越多，傳統的SFT微調方法可能不適用于現在的LLMs。除了要保證微調的效果還要減少微調所投入的成本，所以涌現出了一些高效的微調方法[38-39]，微調方法見表4。

Lora（Low-Rank Adaptation）基本原理是通過凍結LLMs基模型參數的同時，向LLMs基模型中添加可訓練的低秩分解層。低秩分解層通過將LLMs基模型的權重矩陣進行低秩分解，實現對LLMs基模型的微調[40]，Lora框架見圖4。

Lora微調通過減少微調參數量，降低了微調的成本和計算資源需求，提高了微調效率。其次，凍結的LLMs基模型參數可以被共享，從而降低了多個任務切換的成本。此外，在部署到生產環境中時，Lora微調方法不引入額外的推理延遲，具有良好的實用性。

檢索增強生成[43-44]（Retrieval Augmented

Generation，RAG）將獲取的農業數據處理為文本數據，并以不同的粒度進行文本分割并轉換成向量矩陣并存入到向量數據庫中。在用戶的提問時，通過高效的檢索方法，查找并返回與提問最相關的知識，并融入Prompt中；大模型參考當前用戶的上下文和相關知識，生成相應的答案，RAG框架見圖5。

3.4 "評估

3.4.1 "評估基準

評估基準分為兩種類型：通用任務的基準和垂直任務的基準[45]。

通用任務的基準評估LLMs在多任務知識理解方面的表現，它們涵蓋了多個領域的任務和主題，從數學和計算機科學到人文和社會科學等不同范疇，包括了各種任務的難度級別，從基礎到高級。這些基準的目標是通過系統評估LLMs在不同任務上的性能，以便比較不同模型之間的表現，并且促進對LLMs的進一步研究和發展，以便改進這些模型的性能，并推動它們在各個領域的應用。常見的通用評估基準有：MMLU[46]、BIG-bench[47]、HELM[48]、Chatbot Arena[49]等。

垂直任務的基準由專業領域的知識組成，并且要比模型微調所訓練的知識更先進，用于評估LLMs在垂直領域中的表現。垂直任務的基準有：中文醫學語言理解評測基準CBLUE[50]、中國法律體系的法律評測基準LawBench[51]、多領域知識評測基準Xiezhi[52]等。

在構建農業LLM時，不僅需要考慮模型對農業知識的掌握能力，還要考慮到模型對語言理解的能力。由復旦大學肖仰華團隊構建的多領域知識評測基準xiezhi包含了516門學科、13學科門類、240w條數據。其中農業領域包括：作物科學、獸醫學、農業資源利用、園藝、林業、植物保護、水產養殖、畜牧業、草藥學等[52]。

3.4.2 "人工評估

人工評估指通過人類參與者對LLMs的性能進行主觀評價和分析的過程。這種評估通常涉及讓人類參與者完成特定的任務或者針對特定的語言模型輸出提供反饋。

人類評估員通常是一些領域專家來評估LLMs生成的答案質量。評估員通常采用成對比較或為答案打分兩種方法。在成對比較中，評估員需要比較兩個來自不同LLMs的答案，以確定被評估的LLMs生成答案的質量；而在單一答案評分中，只需要對目標評估LLMs生成的答案進行評分。其中，農業領域評估的指標一般為：準確性、可理解性、安全性。給出相應的打分標準，求得平均評估得分。

3.4.3 "自動評估

自動評估是指向LLMs提供完全相同的問題、待

評估的樣本和用于進行評估的指標和得分等要求，要求LLMs對這些問題做出回應[53]。例如：Yang Liu等人以GPT-4為骨干模型，采用鏈式思維（Chain-of- thought， CoT）[54]和填充范式，用于評估LLMs生成摘要任務的性能[55]。

3.5 "系統搭建

在構建基于微調LLMs構建農業知識問答系統中，LangChain框架簡化和加速由LLMs支持的應用程序的開發過程。此框架通過提供通用接口和集中式開發環境，使開發人員能夠輕松地構建和集成復雜的應用程序。在農業問答系統的具體實現中，LangChain的六個主要組成部分起著至關重要的作用，Langchain組件框架見圖6。

1）模型輸入/輸出（Model I/O）：作為與LLMs

交互的入口和出口，處理所有進出模型的數據流，確保用戶查詢和模型響應的準確傳遞。

2）檢索（Search）：檢索功能確保從大量農業知識中提取準確信息，確保LLMs生成的答案的準確性。

3）鏈（Chains）：通過特定邏輯順序連接多個提示，處理復雜的農業任務，如綜合分析作物健康狀況或優化種植策略。

4）記憶（Memory）：存儲與過往作物種植歷史相關的數據，以便在提供新的建議時利用歷史上下文。

5）代理（Agents）：由語言模型和提示驅動，負責決定下一步采取什么動作。

6）回調（Callbacks）：便于在LLMs處理過程中進行實時記錄、監控，確保數據流動性和可操作性。

通過整合這些組件，LangChain不僅提高了農業問答系統的構建效率，也提高了這些系統的性能和可靠性。這種集成化的方法使得農業問答系統能夠更好地服務于農業工作者，提供精確、及時的技術支持和決策輔助，從而推動智慧農業的發展。

4 "技術挑戰與發展趨勢

4.1 "技術挑戰

4.1.1 "數據安全挑戰

進行知識獲取時，必須特別關注隱私安全和信息安全問題。首先，需要確保所采集的信息符合法律法規的規定，不能侵犯他人的隱私權或泄露敏感信息[56]，以免觸犯相關法律法規并承擔相應責任。除了隱私和信息安全外，還需重視數據的專業準確性。在農業領域，數據會涉及專業知識，如農藥使用、環境保護等。因此，必須確保所采集的數據來源可靠、準確，避免可能會出現偏見的農業數據[57]。例如，一些國內禁止使用但在國外允許使用的農藥，若未經篩選直接被收錄，可能會對不同地區農業生產和環境造成不良影響，甚至危害公眾健康。

4.1.2 "模型遺忘挑戰

災難性遺忘問題[58]指在LLMs學習新知識后忘記了之前學習的任務。這一問題在模型持續學習場景下尤為突出，限制了LLMs在實際應用中的能力。當LLMs學習新知識時，新的權重會完全覆蓋舊知識相關的權重[59]。例如，如果在基于病蟲害數據訓練的LLMs上繼續訓練豬病害數據，會導致權重文件發生變化。這種情況下，病蟲害相關知識的理解能力相比之前會顯著降低。這一問題影響了LLMs在多任務學習和持續學習環境下的應用，需要通過合適的方法來緩解或解決，例如：新舊知識混合訓練。

4.1.3 "模型幻覺挑戰

幻覺是指LLMs生成無意義的文本，或者與提供的源輸入內容不符合。通常情況下有三種情況：輸入相沖突的幻覺，指LLMs生成的內容偏離用戶提供的源輸入；上下文相沖突的幻覺，指LLMs生成的內容與自身先前生成的信息相沖突；事實相沖突的幻覺，指LLMs生成的內容與已知的世界知識不符[60]。這種現象的原因有兩種：來自數據的幻覺和來自訓練和推理的幻覺[61]。在數據收集過程中，當大量數據中含有錯誤信息或重復信息時，就會增加模仿虛假信息的風險。當一個具有缺陷的理解能力的LLMs接受訓練時可能會加深幻覺的程度，它們可能會無意中放大這些誤導性，從而產生事實不正確的幻覺。例如，關于“草莓農殘超標會致癌”的說法實際上是一種誤解，長期以來被廣泛傳播。如果LLMs在這種有歧義的數據上接受訓練，可能會產生錯誤的輸出，進而會影響到農業發展。一些常用的評估基準有：長文本評估幻覺標準“FACTSCORE”[62]、用于評估幻覺嚴重程度“HALO”[63]等。

4.2 "發展趨勢

4.2.1 "多模態數據融合

農業領域數據模態多樣，除了文本、還有視頻、圖片、遙感影像等。這種數據形式的運用可以彌補單一數據類型在描述問題上的不足，提供更全面、更豐富的信息，有助于提高模型的理解和表達能力。在農業領域，用戶提出的問題可能會存在描述模糊的情況。例如，他們可能描述一個病害或蟲害的特征，但是有些病害或蟲害的特征相似，從用戶的主觀描述中，文字描述可能不夠清晰，難以準確表達問題。然而，通過結合文字描述和相關的圖片或視頻，用戶就能更直觀、更清晰地展示問題，從而幫助模型更好地理解并給出準確的答案。例如，Chenjiao Tan等人[64]對GPT-4V[65]在農作物類型識別、植物疾病識別、雜草識別等達到良好的效果。將LLMs的自然語言理解能力與擅長圖像識別和分類的大模型的優勢相結合在農業垂直領域大語言的建設中，多模態數據的利用至關重要。多模態數據的運用可以提高模型對用戶問題的理解能力，能夠更精準地解決實際生產中的問題，為農業工作者提供更準確的指導和建議。

4.2.2 "時序性數據更新

LLMs在解決農業生產實際問題方面的應用，離不開時序數據的支持。Ali Ibrahim等人[66]通過評估ChatGPT回答農民問題的能力得出：ChatGPT提供的與種植時間、播種率、施肥率和時間相關的信息不準確。在農業生產過程中，及時獲取和分析各種時序數據，例如遙感時序數據、作物生長數據、氣象監測數據等納入人工智能助手中是至關重要的。這些時序數據可以確保LLMs的預測結果更加實時和可靠，從而幫助農業從業者及時調整生產活動，降低可能的風險損失。例如：NDVI時間序列數據[67]、GF-6時序數據[68]等。將這些時序數據與LLMs結合起來，可以更好地提升預測準確性和應用價值，為農業生產提供更有效的支持和指導。這種將時序數據與LLMs結合的策略在其他領域也取得了顯著成效。例如，Abramson J等人基于一個改進版的Evoformer模塊（一種蛋白質語言模型）構建了高準確性預測蛋白質與其他各種生物分子相互作用結構預測統一框架AlphaFold3[69]。

4.2.3 "多語言知識表達

農業垂直領域大語言模型的用戶群體不僅包括專業領域的專家，更多的是農民和農場主，他們希望能夠利用這些模型來解決實際生產中的問題?？紤]到用戶的文化程度和地域的多樣性，用戶不一定使用統一的語言進行交流，而更多地使用地方方言或行業術語。

因此，在構建農業垂直領域大語言時，需要特別關注用戶的語言差異，確保模型能夠理解和處理不同的語言和方言。這可能涉及對地方方言的語音識別和自然語言處理技術的支持，以確保模型能夠準確地理

解用戶的需求并提供相應的解決方案。

通過考慮用戶的語言差異，農業垂直領域大語言可以更好地服務于廣大農民和農場主群體，提供更加貼近他們實際需求的智能化解決方案，促進農業生產的現代化和智能化發展。

4.2.4 "微調成本優化

在LLMs的發展過程中，保證LLMs性能的同時

如何減少成本成為一個顯著的趨勢。斯坦福大學提出三種減少LLMs推理成本的三種策略：提示適應：通過優化和調整輸入的Prompt，減少模型推理所需的成本。LLMs近似：使用參數量較小或簡化的LLMs來近似較大的LLMs來減少計算成本。LLMs級聯：根據用戶查詢的不同，組合使用不同的LLMs保證性能的同時來減少成本[70]。通過這些策略，LLMs可以在減少成本的同時保證性能，使得更多的領域和用戶能夠利用大語言模型的優勢，推動各行業的智能化發展。特別是在農業垂直領域，通過降低微調成本，可以更快地開發出適合農民和農場主需求的智能化解決方案，促進農業生產的現代化和智能化進程。

5 "結語

本文中詳細討論了LLMs在農業領域垂直大語言模型構建中的各個關鍵階段，包括數據采集、數據預處理、LLMs基模型選擇、微調訓練及部署。這些階段的精確處理對于構建有效的農業垂直領域大語言模型至關重要。此外，還介紹了LangChain框架，這一框架通過其各個組件的優化協同作用，顯著提高了農業問答系統的構建效率和系統性能。通過LangChain框架，可以更加靈活和高效地處理和整合農業數據，從而加快響應時間并提高信息準確性。在討論構建過程中的技術挑戰時，特別指出了數據安全性問題、模型遺忘問題以及模型生成幻覺的風險。這些挑戰不僅影響模型的性能，還可能威脅到模型在實際操作中的穩定性和可靠性。解決這些問題是確保模型有效運行的前提。期望通過本文能夠更好地理解如何利用LLMs來推動農業的智能化和信息化進程，最終促進農業生產的現代化和持續發展。

參考文獻

[1] BROWN T， MANN B， RYDER N， et al. Language models are few-shot learners[J]. Advances in neural information processing systems， 2020， 33： 1877-1901.

[2] 張振乾，汪澍，宋琦，等.人工智能大模型在智慧農業領域的應用[J].智慧農業導刊，2023，3（10）：9-12+17.

[3] 郭旺，楊雨森，吳華瑞，等.農業垂直領域大語言：關鍵技術、應用分析與發展方向[J].智慧農業（中英文），2024，6（2）：1-13.

[4] VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need[J]. Advances in neural information processing systems， 2017， 30.

[5] WANG Y， ZHANG Z， WANG R. Element-aware summarization with large language models： Expert-aligned evaluation and chain-of- thought method[J]. arXiv preprint arXiv：2305.13412， 2023.

[6] BRIAKOU E， CHERRY C， FOSTER G. Searching for Needles in a Haystack： On the Role of Incidental Bilingualism in PaLM's Translation Capability[J]. arXiv preprint arXiv：2305.10266， 2023.

[7] LIU Z， YANG K， ZHANG T， et al. Emollms： A series of emotional large language models and annotation tools for comprehensive affective analysis[J]. arXiv preprint arXiv：2401.08508， 2024.

[8] 王婷，王娜，崔運鵬，等. 基于人工智能大模型技術的果蔬農技知識智能問答系統[J]. 智慧農業（中英文）， 2023， 5（4）：105-116.

[9] ZHANG X， TIAN C， YANG X， et al. Alpacare： Instruction-tuned large language models for medical application[J]. arXiv preprint arXiv： 2310. 14558， 2023.

[10] ZHANG H， CHEN J， JIANG F， et al. HuatuoGPT， towards taming language model to be a doctor[OL]. arXiv preprint， 2023. arXiv： 2305.15075.

[11] HUANG Q， TAO M， AN Z， et al. Lawyer llama technical report[J/OL]. arXiv preprint，2023. arXiv：2305.15062.

[12] LUO Y， ZHANG J， FAN S， et al. Biomedgpt： Open multimodal generative pre-trained transformer for biomedicine[J/OL]. arXiv preprint， 2023. arXiv：2308.09442.

[13] LUO Y， YANG K， HONG M， et al. Molfm： A multimodal molecular foundation model[J/OL]. arXiv preprint， 2023. arXiv：2307.09484.

[14] ZHAO S， ZHANG J， NIE Z. Large-scale cell representation learning via divide-and-conquer contrastive learning[J/OL]. arXiv preprint， 2023. arXiv：2306.04371.

[15] YANG H， LIU X Y， WANG C D. Fingpt： Open-source financial large language models[J/OL]. arXiv preprint， 2023. arXiv：2306.06031.

[16] LI Y， MA S， WANG X， et al. EcomGPT： Instruction-tuning large language models with chain-of-task tasks for e-commerce[C]// Proceedings of the AAAI Conference on Artificial Intelligence. 2024， 38（17）： 18582-18590.

[17] YANG X， GAO J， XUE W， et al. Pllama： An open-source large language model for plant science[J]. arXiv preprint arXiv：2401.01600， 2024.

[18] ZHAO B， JIN W， SER J D， et al. ChatAgri： Exploring potentials of ChatGPT on cross-linguistic agricultural text classification[J]. Neurocomputing， 2023， 557： 126708.

[19] BALAGUER A， BENARA V， DE FREITAS CUNHA R L， et al. RAG vs Fine-tuning： Pipelines， Tradeoffs， and a Case Study on Agriculture [J/OL]. arXiv e-prints， 2024. arXiv： 2401.08406.

[20] SILVA B， NUNES L， ESTEV?O R， et al. GPT-4 as an Agronomist Assistant？ Answering Agriculture Exams Using Large Language Models[J]. arXiv preprint， 2023. arXiv：2310.06225.

[21] WANG Y， KORDI Y， MISHRA S， et al. Self-instruct： Aligning language models with self-generated instructions[J/OL]. arXiv preprint， 2022. arXiv：2212.10560.

[22] ZHANG X， YANG Q. Self-qa： Unsupervised knowledge guided language model alignment[J/OL]. arXiv preprint，2023. arXiv：2305. 11952.

[23] LIU X， HONG H， WANG X， et al. Selfkg： Self-supervised entity alignment in knowledge graphs[C]//Proceedings of the ACM Web Conference 2022. 2022： 860-870.

[24] YAN J， WANG C， CHENG W， et al. A retrospective of knowledge graphs[J]. Frontiers of Computer Science， 2018， 12： 55-74.

[25] 侯琛，牛培宇.農業知識圖譜技術的研究現狀與展望[J].農業機械學報，2024，55（6）：1-17.

[26] 田鵬菲.蘋果病蟲害知識圖譜和施藥輔助App的研究與實現[D].新疆塔里木：塔里木大學，2023.

[27] 張宇，郭文忠，林森，等.基于Neo4j的草莓種植管理知識圖譜構建及驗證[J].現代農業科技，2022，（1）：223-230+234.

[28] 張文豪.基于大豆育種語料的知識圖譜構建[D].濟南：山東大學，2021.

[29] TOUVRON H， LAVRIL T， IZACARD G， et al. Llama： Open and efficient foundation language models[J/OL]. arXiv preprint， 2023. arXiv：2302.13971.

[30] TOUVRON H， MARTIN L， STONE K， et al. Llama 2： Open foundation and fine-tuned chat models[J/OL]. arXiv preprint，2023. arXiv：2307.09288.

[31] WORKSHOP B S， SCAO T L， FAN A， et al. Bloom： A 176b- parameter open-access multilingual language model[J/OL]. arXiv preprint，2022. arXiv：2211.05100.

[32] DU N， HUANG Y， DAI A M， et al. Glam： Efficient scaling of language models with mixture-of-experts[C]//International Conference on Machine Learning. PMLR， 2022： 5547-5569.

[33] CHOWDHERY A， NARANG S， DEVLIN J， et al. Palm： Scaling language modeling with pathways[J]. Journal of Machine Learning Research， 2023， 24（240）： 1-113.

[34] BAI J， BAI S， CHU Y， et al. Qwen technical report[J/OL]. arXiv preprint，2023. arXiv：2309.16609.

[35] DU Z， QIAN Y， LIU X， et al. Glm： General language model pretraining with autoregressive blank infilling[J/OL]. arXiv preprint， 2021. arXiv：2103.10360.

[36] YANG A， XIAO B， WANG B， et al. Baichuan 2： Open large-scale language models[J/OL]. arXiv preprint，2023. arXiv：2309.10305.

[37] OUYANG L， WU J， JIANG X， et al. Training language models to follow instructions with human feedback[J]. Advances in Neural Information Processing Systems， 2022， 35： 27730-27744.

[38] LIU H， TAM D， MUQEETH M， et al. Few-shot parameter-efficient fine-tuning is better and cheaper than in-context learning[J]. Advances in Neural Information Processing Systems， 2022， 35： 1950-1965.

[39] LESTER B， AL-RFOU R， CONSTANT N. The power of scale for parameter-efficient prompt tuning[J/OL]. arXiv preprint， 2021. arXiv：2104.08691.

[40] HU E J， SHEN Y， WALLIS P， et al. Lora： Low-rank adaptation of large language models[J/OL]. arXiv preprint，2021. arXiv：2106.09685.

[41] LI X L， LIANG P. Prefix-tuning： Optimizing continuous prompts for generation[J/OL]. arXiv preprint， 2021. arXiv：2101.00190.

[42] LIU X， JI K， FU Y， et al. P-tuning v2： Prompt tuning can be comparable to fine-tuning universally across scales and tasks[J/OL]. arXiv preprint， 2021. arXiv：2110.07602.

[43] LEWIS P， PEREZ E， PIKTUS A， et al. Retrieval-augmented generation for knowledge-intensive nlp tasks[J]. Advances in Neural Information Processing Systems， 2020， 33： 9459-9474.

[44] GAO Y， XIONG Y， GAO X， et al. Retrieval-augmented generation for large language models： A survey[J/OL]. arXiv preprint， 2023. arXiv：2312.10997.

[45] CHANG Y， WANG X， WANG J， et al. A survey on evaluation of large language models[J]. ACM Transactions on Intelligent Systems and Technology， 2024， 15（3）： 1-45.

[46] HENDRYCKS D， BURNS C， BASART S， et al. Measuring massive multitask language understanding[J/OL]. arXiv preprint， 2020. arXiv：2009.03300.

[47] LEWKOWYCZ A， SLONE A， ANDREASSEN A， et al. Beyond the Imitation Game： Quantifying and extrapolating the capabilities of language models[R]. Technical Report， 2022.

[48] BOMMASANI R， LIANG P， LEE T. Holistic evaluation of language models[J]. Annals of the New York Academy of Sciences， 2023， 1525（1）： 140-146.

[49] CHIANG W L， ZHENG L， SHENG Y， et al. Chatbot arena： An open platform for evaluating llms by human preference[J/OL]. arXiv preprint， 2024. arXiv：2403.04132.

[50] ZHANG N， CHEN M， BI Z， et al. Cblue： A chinese biomedical language understanding evaluation benchmark[J/OL]. arXiv preprint， 2021. arXiv：2106.08087。

[51] FEI Z， SHEN X， ZHU D， et al. Lawbench： Benchmarking legal knowledge of large language models[J/OL]. arXiv preprint， 2023. arXiv：2309.16289.

[52] GU Z， ZHU X， YE H， et al. Xiezhi： An ever-updating benchmark for holistic domain knowledge evaluation[C]//Proceedings of the AAAI Conference on Artificial Intelligence. 2024， 38（16）： 18099-18107.

[53] CHIANG C H， LEE H. Can large language models be an alternative to human evaluations？[J/OL]. arXiv preprint， 2023. arXiv：2305.01937.

[54] WEI J， WANG X， SCHUURMANS D， et al. Chain-of-thought prompting elicits reasoning in large language models[J]. Advances in Neural Information Processing Systems， 2022， 35： 24824- 24837.

[55] LIU Y， ITER D， XU Y， et al. G-eval： Nlg evaluation using gpt-4 with better human alignment[J]. arXiv preprint， 2023. arXiv： 2303.16634.

[56] PI?EIRO-MARTíN A， GARCíA-MATEO C， DOCíO-FERNáNDEZ L， et al. Ethical challenges in the development of virtual assistants powered by large language models[J]. Electronics， 2023， 12（14）： 3170.

[57] SHUTSKE J M. Harnessing the power of large language models in agricultural safety amp; health[J]. Journal of Agricultural Safety and Health， 2023： 0.

[58] CHEN X， LI L， CHANG L， et al. Challenges and Contributing Factors in the Utilization of Large Language Models （LLMs）[J/OL]. arXiv preprint， 2023. arXiv：2310.13343.

[59] McCLOSKEY M， COHEN N J. Catastrophic interference in connectionist networks： The sequential learning problem[M]// Psychology of Learning and Motivation. Academic Press， 1989， 24： 109-165.

[60] JI Z， LEE N， FRIESKE R， et al. Survey of hallucination in natural language generation[J].ACM Computing Surveys， 2023，55（12）： 1-38.

[61] HUANG L， YU W， MA W， et al. A survey on hallucination in large language models： Principles， taxonomy， challenges， and open questions[J/OL]. arXiv preprint，2023. arXiv：2311.05232.

[62] MIN S， KRISHNA K， LYU X， et al. Factscore： Fine-grained atomic evaluation of factual precision in long form text generation[J/OL]. arXiv preprint，2023. arXiv：2305.14251.

[63] ELARABY M， LU M， DUNN J， et al. Halo： Estimation and reduction of hallucinations in open-source weak large language models[J/OL]. arXiv preprint，2023. arXiv：2308.11764.

[64] TAN C， CAO Q， LI Y， et al. On the promises and challenges of multimodal foundation models for geographical， environmental， agricultural， and urban planning applications[J/OL]. arXiv preprint， 2023. arXiv：2312.17016.

[65] YANG Z， LI L， LIN K， et al. The dawn of LMMs： Preliminary explorations with GPT-4V （Ision）[J/OL]. arXiv preprint，2023. arXiv： 2309.17421.

[66] IBRAHIM A， SENTHILKUMAR K， SAITO K. Evaluating responses by ChatGPT to farmers’ questions on irrigated rice cultivation in Nigeria[J]. Research Square Platform LLC， 2023.

[67] 杜保佳，張晶，王宗明，等. 應用 Sentinel-2A NDVI 時間序列和面向對象決策樹方法的農作物分類[J].地球信息科學學報，2019，21（5）： 740-751.

[68] 陳詩揚，劉佳. 基于 GF-6 時序數據的農作物深度學習識別算法評估[J]. 農業工程學報， 2021， 37（15）：161-168.

[79] ABRAMSON J， ADLER J， DUNGER J， et al. Accurate structure prediction of biomolecular interactions with AlphaFold 3[J]. Nature， 2024： 1-3.

[70] CHEN L， ZAHARIA M， ZOU J. Frugalgpt： How to use large language models while reducing cost and improving performance [J/OL]. arXiv preprint，2023. arXiv：2305.05176.

引用格式：張宇芹，朱景全，董薇，李富忠，郭雷風.農業垂直領域大語言模型構建流程和技術展望[J].農業大數據學報，2024，6（3）： 412-423.DOI： 10.19788/ j.issn.2096-6369.000052.

CITATION： ZHANG YuQin， ZHU JingQuan， DONG Wei， LI FuZhong， GUO LeiFeng. Construction Process and Technological Prospects of Large Language Models in the Agricultural Vertical Domain[J]. Journal of Agricultural Big Data， 2024，6（3）： 412-423.DOI： 10.19788/j.issn.2096-6369.000052.

Construction Process and Technological Prospects of Large Language Models in the Agricultural Vertical Domain

ZHANG YuQin1，2， ZHU JingQuan3， DONG Wei2， LI FuZhong1*， GUO LeiFeng2*

1. College of Software， Shanxi Agricultural University， Jinzhong 030801， Shanxi， China; 2. Agricultural Information Institute of Chinese Academy of Agricultural Sciences， Beijing 100081， China; 3.The National Agro-Tech Extension and Service Center， Beijing 100125， China

Abstract： With the proliferation of the internet， accessing agricultural knowledge and information has become more convenient. However， this information is often static and generic， failing to provide tailored solutions for specific situations. To address this issue， vertical domain models in agriculture combine agricultural data with large language models （LLMs）， utilizing natural language processing and semantic understanding technologies to provide real-time answers to agricultural questions and play a crucial role in agricultural decision-making and extension. This paper details the construction process of LLMs in the agricultural vertical domain， including data collection and preprocessing， selecting appropriate pre-trained LLM base models， fine-tuning training， Retrieval Augmented Generation （RAG）， evaluation. The paper also discusses the application of the LangChain framework in agricultural Qamp;A systems. Finally， the paper summarizes some challenges in building LLMs for the agricultural vertical domain， including data security challenges， model forgetting challenges， and model hallucination challenges， and proposes future development directions for agricultural models， including the utilization of multimodal data， real-time data updates， the integration of multilingual knowledge， and optimization of fine-tuning costs to further promote the intelligence and modernization of agricultural production.

Keywords： LLMs; RAG; LangChain; agricultural Qamp;A systems