大模型異構智能體實現“機器人總動員”

文/本刊記者 段永利

隨著機器人技術的發展，人們一方面希望機器人能夠自主適應更加廣泛而又復雜的任務，另一方面又希望不同類型機器人有更少的感知限制，這樣相互協作的成本會更低。群體智能為解決這一矛盾帶來了新思路，已經成為機器人研究領域的新熱點。

今年8月初，西北工業大學（以下簡稱“西工大”）光電與智能研究院教授李學龍及其團隊在大模型異構智能體方面取得重大進展，實現了大模型對無人機集群、機器狗、機械臂三種智能體的真機協同控制。該成果展示了大模型在智能體控制方面的能力，也為智能無人系統的研究提供了無限可能。

什么是異構智能體？

異構智能體是采用不同的技術和平臺創建的智能體，以及具有不同外觀結構、控制單元和性能參數的智能體。在人工智能領域，大模型控制智能體是大勢所趨。在此背景下，李學龍團隊提出了一種大模型驅動的異構智能體協同控制算法框架，利用大模型調度多種智能體自主協作，實現了“機器人總動員”。

事實上，同構系統中的自組織通常容易理解，然而，自然集群的不同個體在動力學、運動速度、傳感器配置、通信功能等方面的巨大差異性和局限性，使得它們在互相協同下完成各種復雜任務的難度加大了不少。因為異構性被認為是賦予群體行為靈活性、新條件適應性及應對外部擾動恢復力的基礎。系統需要處理來自完全不同的智能體平臺數據，并依據決策分析模塊，有效協同無人機、無人車等平臺的運動和任務執行控制。

縱觀國內外科研工作者對集群協同控制的研究，這一領域目前的發展如火如荼，成果頗豐。如2023年3月，美國斯坦福大學和Google Research的研究者們在一個類似沙盒游戲的場景中成功構建了一個小鎮，小鎮里有25個生成式智能體，智能體們能通過基于ChatGPT 3.5的大型語言模型生成可信的行為，在小鎮中模擬人類的生活方式，自主完成基本的日常活動和社交。雖然那些虛擬居民的活動范圍不大，生成的交互類型與事件也比較簡單，但人們已經能通過它們看到虛擬人物自主生活、自主交往的雛形。智能體們的種種反饋都是由基本的尋路移動和文字形式給出的，效果還比較簡陋，但它展示出的可能性顯然難以估量。

而李學龍團隊研究成果的創新點在于，硬件智能體的存在，使得大模型具有物理實體，具備與真實物理世界感知交互的能力。同時，借助于大模型，智能體能夠獲得更強大的感知、決策和執行能力，使其具備更高的自主性和適應性。這項研究能夠推動機器人和自動化行業的發展，從而創造出更多的就業機會和經濟增長。

李學龍團隊研究成果的難點是，其算法框架如何將一個跨場景、跨智能體的復雜任務，通過語義任務解析，拆分成異構智能體協同執行的多個子任務，然后通過無人機集群、機器狗、機械臂的聯合控制，共同完成指定任務。

懂所思、知所能、行所意，是大模型驅動多智能體協作的主要能力，即高層語義理解能力、自身技能認知能力、復雜任務執行能力。團隊研究成果異構智能體系統利用了異構多智能體的功能互補性，組成跨域協作系統，實現任務協同和信息共享，從本質上提升了面對復雜環境和任務規劃的感知能力、執行能力和運行效率。

如何充分發揮大模型的語義理解能力，讓無人機、機器狗、機械臂等人造智能體能夠根據輸入的自然語言分工合作，是智能體在現實場景中執行復雜任務的前提條件。

針對這一問題，李學龍團隊利用國產大模型作為語義理解底座，以無人機集群、機器狗、機械臂三種異構智能體作為協同控制平臺，設計了融合環境信息與自身狀態的語義交互框架，實現了對異構智能體任務理解、硬件控制、協調合作等復雜需求的高層語義交互。

同時，智能體的行為能力易受周圍環境、自身機械結構等限制因素的影響。如何在多變的外界環境下讓智能體準確地認知當前自身的行為能力，是異構智能體協同的關鍵環節。

為了讓大模型異構智能體實現自身技能認知能力這一目標，團隊提出了異構智能體通用中層技能認知算法，實現了異構智能體間精細的硬件協同控制。在此基礎上，智能體通過自主環境感知、自身狀態建模、協同運動規劃，自適應地調整技能執行。

此外，為了完成復雜任務目標，異構智能體協作需要依據子任務間的依賴關系和環境約束，設計安全合理的子任務執行次序和方式。李學龍團隊為此特地設計了多智能體閉環反饋的任務執行機制，實現了異構智能體在任務執行層面的自主協同。在任務執行的過程中，智能體向任務分解模塊報告子任務執行狀態，形成任務分配與執行動態閉環，實現任務目標導向的異構智能體高效協同。

如果說，ChatGPT只是提供聊天和文本生成服務，西工大的這項研究則是提供了智能無人服務的任何可能。舉個簡單的例子，當你愜意地靠在沙發上說一句“我餓了，去拿點吃的”，智能體就能為你拿來食品；當你生病躺在床上懶得動彈，只需說一句“我病了”，智能體就會把藥品和溫水遞到手邊。智能體收到指令后，會智能分析任務執行的路徑，通過機器狗、無人機、機械臂協同完成任務。

西北工業大學這一成果是大模型算法和智能體硬件交叉的創新性研究，李學龍團隊實現了用更自然、更直觀的方式進行多種智能體的控制，降低了人機交互的門檻。同時，也將促進異構智能體之間協作的自主性和流暢度，對人工智能在工業生產、災難救援等復雜場景下的靈活應用具有重要意義。