融合圖推理的交通樞紐知識服務大模型

摘 要：城市交通樞紐的業務功能復雜，高效的信息服務對樞紐運營和旅客體驗十分重要。針對現有系統在處理復雜查詢方面的不足，本文研究融合知識圖譜推理的知識服務大模型。首先，收集數據構建交通樞紐知識庫，并建立知識圖譜。其次，利用知識庫對大模型進行領域微調，將大模型有效地適配于交通樞紐領域。最后，采用圖推理技術，大模型結合樞紐知識圖譜進行檢索推理，提高查詢的準確性。試驗結果顯示，該知識服務大模型能為復雜查詢提供精準的回答和建議。該研究能夠提升樞紐用戶的知識獲取體驗，也為未來智能交通服務系統的發展提供了新思路。

關鍵詞：大模型；知識圖譜；交通樞紐

中圖分類號： TU 984 文獻標志碼：A

隨著城市化進程加速和交通需求日益增長，綜合交通樞紐逐漸成為城市交通網絡的關鍵節點[1]。樞紐通常涉及各類交通方式的銜接服務，對維持城市交通流暢和旅客出行安全至關重要。傳統樞紐的信息服務系統經常出現孤島現象[2]，在理解自然語言查詢和提供精確回答方面存在局限性[3]。人工智能技術發展迅速，大語言模型（Large Language Models，LLM）在信息檢索和復雜查詢等領域展現出巨大的應用潛力[4]，這也為交通樞紐知識服務大模型提供了新思路。然而，當通用大模型直接應用于垂直領域時，通常難以獲取領域內最新知識，幻覺問題也會導致模型生成的回復與真實信息存在偏差[5]。知識圖譜（Knowledge Graph，KG）利用圖結構來組織和管理大量結構化信息[6]，可以幫助大模型減少推理偏差和獲取動態知識。鑒于此，本文基于大語言模型和知識圖譜技術，研究了一種交通樞紐知識服務大模型，通過構建知識庫和領域微調策略，將大模型適配于樞紐領域，結合知識圖譜推理技術，為樞紐用戶提供精準、有效的知識查詢響應。

1 樞紐知識服務大模型

本研究針對交通樞紐領域的知識服務大模型，其構建流程如圖1所示，主要包括3個部分：知識庫構建、大模型微調和知識圖譜推理。首先，從多渠道收集交通樞紐相關源數據，整合成包括問答數據、偏好數據和知識圖譜的樞紐知識庫。其次，針對樞紐領域內數據微調大模型，通過指令微調和直接偏好優化技術對預訓練大模型進行領域調優，以提高對交通樞紐相關查詢的理解和響應能力。最后，融合知識圖譜推理策略對樞紐知識查詢進行分析處理，幫助大模型生成準確且可解釋的回答。

2 樞紐知識庫構建

2.1 源數據收集與整合

為構建一個全面的軌道交通樞紐知識庫，本研究選擇包括交通樞紐相關主題的專業文檔，以構建領域數據集。具體涵蓋了樞紐歷史交通數據、樞紐常用客服用語、樞紐運維技術手冊、社交媒體內容和公共交通數據庫等。此外，針對收集的大量領域內數據，采取一系列數據處理技術，例如數據清洗、去重和格式化，以確保所收集數據的質量，為訓練模型和構建知識圖譜提供數據基礎。

2.2 問答數據集構建

為構建適用于微調大語言模型的問答數據集，本研究首先通過分析用戶查詢日志來識別常見的查詢模式，涵蓋時刻表查詢、票價信息、站點設施及緊急情況響應等需求。基于這些分析結果，設計一系列大模型提示詞，以模擬真實用戶查詢場景，從而引導開源大模型生成問答數據集。如圖2所示，展示了問答數據集的構建流程，這一方法使問答數據集的構建更便捷，同時知識服務大模型能夠滿足用戶的實際查詢需求。

2.3 知識圖譜構建

構建軌道交通樞紐知識圖譜，采用與問答數據集構建相似的方法，即利用開源大模型和精心設計的提示詞來提取源數據文本中的三元組信息。通過定義涵蓋車站布局、列車時刻、維護活動等方面的提示詞，引導大模型識別文本數據中隱含的實體和關系，形成結構化的三元組信息，例如電扶梯故障、征兆、出現異常聲音等。大量三元組被用于構建和豐富知識圖譜，其中每個實體轉化為圖中的節點，實體間的關系則通過邊來表示，并將其導入Neo4j（圖數據庫）。知識圖譜能夠反映軌道交通樞紐的運營和管理狀況，為用戶提供準確全面的查詢響應和決策支持。

3 大模型在交通樞紐領域的微調

3.1 指令微調

考慮開源預訓練大模型在原始狀態下處理垂直領域查詢能力較差，本研究采用低秩自適應（Low-Rank Adaptation，LoRA）微調技術來優化模型在軌道交通樞紐對話場景中的性能。LoRA微調技術通過在預訓練模型基礎上引入低秩矩陣對模型權重進行調整，該方法能夠在不顯著增加參數量的情況下，提升模型在特定任務上的表現。

當大模型在交通樞紐領域內進行指令微調時，將模型預訓練權重凍結，使用低秩矩陣來近似每個權重矩陣的變化。變化矩陣可以分解為2個低秩矩陣的乘積，將可訓練的低秩矩陣添加到每個變換器層中，從而減少需要更新的參數量。如圖 3 所示，預訓練大模型權重矩陣W的維度為d×d，旁路低秩矩陣的秩為r，矩陣A的維度為d×r，矩陣B的維度為d×r，指令微調過程中僅對旁路矩陣A和B進行調整，而預訓練大模型的權重矩陣保持不變。指令微調階段數據集包括交通樞紐相關的實際指令對話數據，能夠覆蓋多種常見知識服務場景，大模型關鍵參數在微調過程中得到精細調整。

3.2 直接偏好優化

為進一步滿足用戶知識查詢的實際需求和偏好，本研究采用直接偏好優化（DirectPreferenceOptimization，DPO）方法來優化大模型知識服務大模型的交互質量和提升用戶滿意度。DPO優化方法通過收集用戶對回答的偏好反饋，直接調整模型，以生成更符合用戶期望的回答。本研究通過模擬樞紐用戶知識查詢來收集偏好數據，以表示樞紐用戶的偏好響應，表示非偏好的響應，這些數據用于進一步優化指令微調后的大語言模型，用戶偏好的獎勵函數和非偏好的獎勵函數公式（1）、公式（2）所示。

（1）

（2）

式中：x為用戶輸入的查詢；yw和yl分別為用戶偏好和非偏好的響應；πref和πθ分別為優化前和優化后的策略模型。

在直接偏好優化階段，為增加大模型生成樞紐用戶偏好回答的可能性，損失函數定義為用戶偏好回答得分之間的差異，該階段的偏好損失如公式（3）所示。

L（πθ；πref）=-E（x，yw，yl）∈D[logσ（βrw-βrl）] （3）式中：（x，yw，yl）為一個問答對數據；D為問答對的集合；πref和πθ分別為優化前和優化后的策略模型；rw和rl分別為用戶偏好和非偏好的獎勵函數；σ為Sigmoid激活函數；β為獎勵模型的縮放參數。

通過比較生成回復的偏好來優化大模型，確保被偏好回答得分比不被偏好的回答高，大模型能夠學習生成更符合用戶偏好的回答。本研究采用直接偏好優化策略，進一步優化樞紐領域大模型，生成更符合樞紐用戶需要的偏好響應，提供更個性化的對話體驗。

4 知識圖譜推理機制

4.1 圖推理機制

在交通樞紐知識服務大模型中，知識圖譜推理機制是提升查詢準確性的關鍵。知識圖譜作為軌道交通樞紐知識的事實庫，包括大量真實信息，例如車站布局、列車時刻表、運營狀態等，這些信息對提升模型回復的準確度至關重要。為進一步提升樞紐知識服務大模型在處理用戶復雜查詢時回復的準確率，本研究設計了一種融合知識圖譜的推理策略。

該推理機制通過分析樞紐知識圖譜實體間的關系，確定連接查詢實體的最優推理路徑。具體來說，樞紐知識圖譜由大量事實三元組構成，將三元組的實體和關系分別表示為e和r，則樞紐知識圖譜可以表示為G={（e，r，e'）|e，e'∈E，r∈R}，E和R分別為樞紐事實庫涉及的實體集合和關系集合。以q表示用戶提交的查詢問題，大模型首先識別查詢中的關鍵實體e，并將此實體與知識圖譜中的相應實體進行匹配。隨后，大模型生成預定關系路徑作為推理規劃，并根據這些規劃在知識圖譜中進行答案檢索。在此過程中，獲取最大化推理答案的概率如公式（4）所示。

Pθ（a|q，G）=∑z∈ZPθ（a|q，z，G）Pθ（z|q） （4）式中：G為樞紐知識圖譜；q為用戶查詢的問題；a為知識圖譜中檢索的答案；θ為大模型的參數；z為大模型生成的關系路徑；Z為關系路徑集合。

該機制不僅能夠利用知識圖譜的結構化知識，而且還可以結合大模型的深層語義理解能力，從而提升推理過程的可解釋性和準確度。

4.2 答案的構建

在確定推理路徑之后，需要將推理結果轉化為用戶易于理解的自然語言回答。本研究采用提示詞方式，將從知識圖譜中檢索到的答案整合為提示詞，輸入大模型以生成查詢回復。在構建回復過程中引入知識圖譜作為事實依據，并通過大模型整合知識圖譜推理結果，生成的回復更豐富、更準確，從而提升用戶查詢的滿意度。

5 案例分析

為了評估本研究的有效性及準確性，以下采用Llama2-7b模型在Ubuntu 20.04操作系統環境中進行實踐驗證。試驗結果表明，交通樞紐知識服務大模型能夠為用戶提供知識查詢指導和幫助，在交通樞紐專業領域內更具有優勢。

本文研究的交通樞紐知識服務大模型，對預訓練大模型進行指令微調和直接偏好優化，能更好地適應樞紐領域知識查詢服務。樞紐知識圖譜能提供更真實全面的信息支持，結合圖推理策略能夠幫助大模型更準確地回答用戶問題。此外，大模型展示出強大的對話能力，能夠快速準確地識別用戶需求，并提供相關知識和解決方案。由此可見，樞紐知識服務大模型在專業領域內極具應用潛力，這不僅體現在其能夠理解復雜查詢并回應專業術語，而且也包括其在提供決策支持和專業建議時的高準確度。

6 結語

本文基于大語言模型和知識圖譜推理技術研究了交通樞紐的知識服務大模型。通過構建領域內知識庫提供全面的信息查詢支持，一系列微調策略使大模型能夠更好地適應交通樞紐領域，而知識圖推理策略能夠進一步提升模型回復的準確性。未來的工作將繼續優化知識圖譜的構建過程、提高大模型的可擴展性，以探索人工智能在交通系統中更廣泛的應用。

參考文獻

[1]張欣.深圳市西麗綜合交通樞紐產站城一體化規劃設計探索[J].城市軌道交通研究，2023，26（12）：1-5，10.

[2]張濤，賈真，李天瑞，等.基于知識庫的開放領域問答系統[J].智能系統學報，2018，13（4）：557-563.

[3]趙京勝，宋夢雪，高祥，等.自然語言處理中的文本表示研究[J].軟件學報，2022，33（1）：102-128.

[4]王麗.基于ChatGPT4.0的人工智能藝術設計走向分析[J].中國新技術新產品，2023（19）：38-41.

[5]趙月，何錦雯，朱申辰，等.大語言模型安全現狀與挑戰[J].計算機科學，2024，51（1）：68-71.

[6]馬亞中，張聰聰，徐大鵬，等.城市大腦知識圖譜構建及應用研究[J].中文信息學報，2022，36（4）：48-56.