異構Agent協作的研究進展

王 晶，劉 瑋，吳 坤，李 爽

武漢工程大學計算機科學與工程學院，湖北 武漢 430205

異構Agent協作的研究進展

王 晶，劉 瑋*，吳 坤，李 爽

武漢工程大學計算機科學與工程學院，湖北 武漢 430205

首先在介紹多Agent協作的研究背景以及國內外研究現狀的基礎上，對多Agent理論及其協作機制分別進行了分類和總結；然后，在研究多Agent協作框架的基礎上，分析了當前最具代表性的幾種多Agent協作模型，如黑板模型、合同網模型、熟人模型、關系網模型以及承諾模型，闡述各模型特點并在動態性、異構性、靈活性和反應性等方面進行比較，突出承諾模型與其它協作模型相比的優勢；最后，介紹了異構Agent協作模型在智能足球機器人、協同決策以及虛擬訓練等領域的具體應用.在Agent協作模型的比較與具體應用中，突出了承諾模型在異構Agent協作過程中所展現的較好的動態性、靈活性和反應性等特征，并提出了在開放環境下，當前Agent承諾模型在動態生成承諾協議方面的不足與改進方向.

多Agent系統；異構；協作；機制；框架；模型

多Agent系統（multi-agent systems，MAS）是由多個Agent組成，通過各Agent間相互協作，形成擁有豐富知識庫和強大功能的系統［1］.在該系統中，為完成一個共同全局目標，各Agent之間相互合作、協調、共享知識和資源并最終解決問題.同構Agent系統（homogeneous multi-agent systems）是由多個具有相同行為能力、相同組織結構的Agent組成；而異構 Agent系統［2］（heterogeneous multi-agentsystems）則是由多個具有相似或不同行為能力的、相互獨立的Agent組成，它們之間存在可以相互理解和協作的接口，根據一定的邏輯關系進行協作和資源共享.

由于各個系統間的數據是動態、異構、有限的數據共享，因此實現不同系統間協作顯得格外重要.面向異構Agent的協作技術，是MAS研究亟待解決的問題之一.

在一些典型的多Agent研究領域中，比如智能機器人足球大賽［3］、醫療機構中基于無人駕駛小車（AGV）的醫療垃圾運輸問題［4］以及股票投資決策［5］等領域，復雜、動態變化的環境都要求Agent為完成任務而必須采取協作行為，即把多個Agent看做一個團體，通過建立多Agent之間合作、協調、通信等機制來提高整個系統效率和性能.異構Agent由于組織結構、行為能力的不同能夠彌補在完成任務時同構Agent的不足，降低系統的構建成本，提高Agent的使用效率.

Agent協作是指多Agent間協作、保持一致性以及聯合行動的過程.一致性意味著團體中的多Agent是作為一個整體行動而不是某個Agent的個體行為.MAS環境從封閉到開放，從可預知到不確定的變化，導致Agent協作經歷了從同構Agent協作到異構Agent協作、從靜態協作到動態協作的過程，這種變化趨勢對當前Agent協作模型提出了新的難題和挑戰.

筆者針對MAS面臨的變化和挑戰，首先在介紹多Agent協作的研究背景以及國內外研究現狀的基礎上，對MAS理論和協作機制分別進行了分類和總結；然后，在研究多Agent協作框架的基礎上，總結了當前最具代表性的幾種多Agent協作模型，闡述其特點并進行比較，突出了承諾模型在異構Agent協作性能上的優勢；最后，介紹了異構Agent協作模型的具體應用，在分析當前承諾模型性能的基礎上，提出了當前Agent承諾模型的不足與改進方向.

1 異構Agent相關理論概述

1.1 異構Agent系統協作機制

與同構Agent相比，異構Agent由于組織結構、行為能力的不同，能夠彌補在完成任務時同構Agent的不足，降低系統的構建成本，提高Agent的使用效率；同時在當前網絡信息量急劇增長的情況下，由于不同系統間數據共享非常有限，因此迫切需要異構Agent系統來加速系統間信息的傳遞和共享［6］.

當前異構Agent協作解決的問題主要是集中在承諾、規劃、協商和學習這四個方面，它們共同作用于Agent協作的整個過程.

承諾是保證Agent完成接受任務的一種機制.在一個MAS中，每一個Agent僅僅擁有其它Agent行為的部分知識［7］.所以，為使各主體之間協調合作，系統中的每個Agent內部需要建立起一種機制去解決由于只知道部分Agent的知識庫而影響到它們之間協作的問題.當Agent承諾某個活動時，它實際上就保證了實現整個活動需要的全部資源.若Agent執行一個特定的動作，那么在環境不發生改變的情況下，它將努力遵循這一保證.可以看出，承諾機制是各Agent之間相互協調、合作和通訊的必要保證，它確保Agent擁有足夠的能力完成它所承諾的任務.

規劃是Agent進行決策的主要途徑，它是控制Agent執行動作的基礎.Agent通過推理從而產生實現目標的有效動作.在規劃的經典理論中，Agent擁有自己的領域知識，它可以描述目標狀態、環境狀態和已知的自身動作集合.Agent會通過一種特定方法執行一個動作序列，當該動作序列完成之后會達到設定的最終目標狀態，這就是Agent的規劃過程.多Agent規劃可以分為集中式規劃和分布式規劃兩種，當選擇好規劃方式之后，就需要解決規劃算法和規劃沖突這兩個核心問題.

協商過程需要進行信息的交換處理，從而使整個系統的行為保持一致，其目的是解決在多Agent協作的過程中發生的沖突問題.傳統的協商是基于納什的平衡理論，當然也可以通過引入Agent對象的偏好來進行協商.根據已有的協商理論，可以將協商過程概括為三個部分，即協商協議、協商策略和協商處理［8］.協商協議是 Agent通信交流的基礎，它可以規范協商雙方的數據表示；協商決策可支撐Agent內部協商交互處理過程，目的是產生協商結果；協商處理包含協商交互分析，以及關于對結果一致性的認可.協商過程的三個部分將決定Agent協商的能力強弱，也是協商方法的核心內容.

學習是在Agent完成任務的基礎上進行歸納和自優化的過程［9］.而機器學習（machine learning）是提高Agent智力的有效方法，從連接主義的角度可分為非監督學習、監督學習和強化學習三種.而強化學習方法則是其中一種非常重要的機器學習方法.在協作Agent之間，強化學習主要是采用交換方式，如交換狀態、交換策略、交換經驗以及建議等方式進行學習.但由于學習方法的復雜性，其需要大量的記憶空間以及復雜的邏輯推理，因此使得其在實際應用中具有很大局限性.

1.2 異構Agent協作框架

異構Agent協作體系主要采用混合式結構，即集中式和分布式的混合組合.它分為3個層次，即交互層、管理執行層和資源層，每一層至少含有一個或多個Agent，這些Agent會根據自身能力來完成各自承擔的任務.基于異構Agent協作的體系結構如圖1所示，它由多種具有不同功能的Agent組成.

圖1 異構Agent協作的體系結構Fig.1 Framework of heterogeneous agent collaboration

在交互層，交互Agent主要負責與用戶進行交互并將用戶發送的請求轉化為系統可以識別的指令，并將其發送給管理執行層.

在管理執行層，管理協作Agent統一管理和調用所有執行Agent，然后將任務分配給不同的Agent.當管理協作Agent接收到來自用戶的任務請求后，首先會對其進行逐步分解，然后將分解后的子任務分配給相應的執行Agent來執行.

在資源層，主要是為管理執行層提供相對應的數據服務功能，并對執行過程中產生的新知識、新數據進行分類保存，實時更新相應數據庫，相當于一個本地知識庫.當管理執行層Agent需要某數據服務時，可從資源層調用，當執行完某任務后，也可將執行過程中產生的新數據存儲到資源層，以便下次調用.

參考異構 Agent協作框架［10］，以及交互層、管理執行層與資源層三層之間的交互可以看到異構Agent協作包含以下特征：

1）每一個Agent都呈模塊化結構，方便研究人員獨立開發和設計，它們可以根據環境變化迅速做出反應，并可以根據需要靈活增減Agent的數量；

2）Agent之間相互獨立，一個Agent失效不會對其它Agent產生影響；

3）數據服務Agent會對新到來的數據進行分類和存儲，有助于系統學習新的知識并優化自身模型，豐富系統知識庫；

4）每一個Agent都可以使用自身的知識庫獨立解決問題，從而提高整個系統解決問題的效率.

2 異構Agent協作研究及其進展

2.1 異構Agent協作的研究方向

當前關于異構Agent協作的研究主要分為兩種研究方向.

一種是借鑒其他領域研究協作的技術和方法（如馬爾可夫模型，遺傳算法，博弈論等）應用于Agent協作研究中［11］.以馬爾可夫模型［12］為例，它通常被認為是快速精確實現語音識別的最好方法之一，其復雜的語音識別問題可通過隱含馬爾可夫模型簡單地描述與解決.然而這種方法所運用的各種理論主要適用于語音識別、音字轉換和詞性標注，適用范圍較小，一旦環境復雜度上升，學習周期將變得很長，很難發揮作用.

另一種是從 Agent的信念（belief）、期望（de?sire）、意圖（intention）（即BDI）等方面出發來研究多Agent之間的協作［13-14］，這種方法從邏輯論的角度，注重分析Agent的目標、能力以及需求.在共享計劃理論［15］方面，這種協調方法是以BDI理論作為基礎，采用人工智能領域中的符號推理，通過建立相對完整的符號體系進行知識推理，因而使Agent具有自主思考、決策和協調的能力.此方法的適用范圍較前者更加廣泛，側重于問題的規劃與求解.

在當前人工智能領域尤其是自適應系統方面，基于BDI的推理模型有非常廣泛的應用.由于這種方法從邏輯角度出發，注重分析Agent的目標、能力、需求以及環境變化，具有開放性和動態性，因此，也成為近年來Agent協作研究的熱門方向.

2.2 異構Agent協作研究進展

隨著Agent系統環境從封閉到開放，從可預知到不確定變化，導致Agent協作經歷了從靜態到動態交互，從同構到異構變化的過程.

1）從靜態到動態交互.早期的Agent協作研究認為Agent之間不會產生沖突，因為Agent被認為是唯一的，可兼容的個體.隨著Agent技術發展的愈加深入，需要Agent能夠在有目標沖突的情況下，通過Agent之間的不斷交互，以此逐步協調Agent與環境之間的關系及各自行為，從而達到共同的目標.于是Rosenschein［16］在其博士論文中深入研究目標沖突下的Agent交互過程，應用博弈論建立了理性Agent靜態交互模型，奠定了解決多Agent協作問題的基礎.

近年來，由于現實世界的開放性和動態性，傳統的Agent靜態交互模型已經不能滿足研究需要.Hewitt等人［17］指出系統的協作應該是開放和動態的，并在此基礎上提出了開放分布式人工智能系統思想，即Agent的動態交互思想.而后來的研究在協作求解方面提出了一些Agent協作模型，比如：聯合意圖模型、聯合承諾模型，共同計劃模型等［2］.隨后在對協作問題的研究中，又將MAS間主要協作模型分為：黑板模型［18-19］、合同網模型［20］、關系網模型［21］、熟人模型［22］.之后在此基礎上將Agent協作與語義技術相結合，進一步提出承諾模型［23］的概念.關于承諾模型的研究也是當前Agent協作領域最新的研究方向之一.

2）從同構到異構變化.隨著網絡技術的迅速發展，研究適應于互聯網的異構Agent技術和協作模型逐漸成為MAS領域的熱點［24］.一方面，有關開放環境下的Agent語言、交互協議、體系結構等標準和規范不斷被提出；另一方面，由于Internet的動態開放等特性，傳統的各種協作技術和協作模型也在進行修改和擴展，使之能適用于互聯網環境.與此同時，MAS與其它新興網絡技術的密切結合日益成為一種新的發展趨勢.語義Web技術、自治計算技術、面向服務的計算技術、網格計算、P2P計算等新興計算技術已經引起國內外學術界的廣泛關注.

在最近幾年里，開放環境下異構Agent協作發展趨勢是Agent技術與語義技術的結合［25-28］，目前語義技術的核心就是使用本體論中的概念、屬性和關系給出一個機器可理解的明確的規范說明，從而通過Agent團隊管理和協作求解來促進和管理異構Agent的協作.而承諾模型［29-31］是異構Agent協作與語義技術結合的最具代表性模型之一，也是當前異構Agent協作研究的重點.

2012 年，Singh和 Telang［32-34］從語義學（seman?tics）的角度將目標（goal）和承諾（commitment）結合起來，提出了承諾的生命周期理論，并從語義學上定義了Agent的目標和承諾，同時定義了一系列基于承諾的推理規則.

2013 年，Meneguzzi［35-36］在 Telang的承諾理論基礎上提出了基于承諾和目標的一階線性表達式，并使用 HTN（hierarchical task networks，HTN）來描述如何將一個等級較高的任務分解成一個個小的、離散的任務，并生成解決方案的過程.

2014 年，Akin Gunay［37］在結合 Telang和 Singh關于Agent承諾研究的基礎上進一步簡化了承諾的生命周期模型，并提出了在開放系統中動態生成承諾協議的實現方法.

2015 年 ，Matteo Baldoni［38］在 JaCaMo（一 種Agent程序設計框架）開發平臺的基礎上提出了JaCaMo+，并從程序設計的角度闡述了如何動態生成Agent承諾和目標的過程.

3 多Agent協作模型比較

3.1 多Agent協作模型

比較具有代表性的Agent協作模型主要包括：黑板模型、合同網模型、關系網模型和熟人模型.后來的很多研究在此基礎上做了補充和擴展，進一步提出承諾模型［39］的概念.

Erman等人在1980年首次提出了黑板模型［40］.基于黑板模型的MAS包括Agent，黑板和網絡三個部分.黑板是Agent之間交互的中介，Agent通過黑板與其它Agent進行交互并完成協作過程，而Agent之間的通訊則是靠網絡實現的，通常是TCP∕IP協議.其體系結構比較簡單，容易理解，重點是規范黑板消息格式.黑板模型的不足之處在于結構單一，集中式交互使得黑板開銷過大，交互方式缺乏靈活性.

Davis和R.G Smith提出合同網模型［20］，該模型是協商模型最典型的代表，其源自于社會生產生活，它仿照企業合同模式，以滿足全局最大利益為目標.在合同網中主要包括三種對象：管理者、投標者以及合同者.其整個過程類似于工程的招標和投標行為，管理者首先發布需求，而若干個有能力完成任務的Agent成為投標者，最終中標者將成為合同簽訂者，從而建立簡單的合作關系.在合同簽訂結束后簽訂者要向管理者反饋其執行結果，然后管理者進行審查，若審查通過，則給出終止信息，合同網協議過程便會停止.該模型以及相關擴展模型［41-43］可解決任務分配及資源沖突問題.合同網的不足在于以廣播方式招標且所有Agent均可投標，通信負載大，系統效率不高.

Jennings和 Roda提出熟人模型［44］，這種模型以人類合作習慣與合作機制為范本，設計了一個模型表示Agent自身的信息，該方法使用一個熟人模型來專門表示其他Agent的能力和資源方面的信息.若需要確定協作對象，它首先會先對各熟人活動進行評估，然后從中選擇最適合的合作對象.熟人模型的不足在于增加了在本地建立和維護熟人模型所帶來的系統資源開銷.

陳剛和陳汝玲為解決多Agent系統協作中通信和資源開銷問題提出了關系網模型［21］.關系網模型不需要創建專門的中間協調Agent或熟人模型來記錄所有Agent通訊信息，可有效降低系統資源開銷.熟人關系網中的每一個Agent結點只需在內部創建并維護一個最近訪問頻率較高的熟人通訊錄，限定通訊錄的容量（比如只記錄幾十條熟人信息）.關系網模型的不足之處在于對個體信息處理和存儲能力的要求很高，且信任度的設置具有主觀性.

Cohen和 Levesque從意圖（intention）和目標（goal）的角度提出了Agent承諾（commitment）的概念［45］.國內學者張偉、石純一則在此基礎上提出Agent的組織承諾和小組承諾［46］，進一步推廣了Jennings和Ferber等人對Agent組織的研究.在上一節中闡述了Agent承諾機制的基本概念，它是各Agent之間相互協調、合作和通訊的必要保證，確保Agent擁有足夠的能力完成它所承諾的任務.Agent對一個意圖應該承諾多少既取決于最大期待值，又取決于最小風險值.通過比較各Agent的承諾值，選取最合適的Agent對象進行協作，既保證了任務完成的可靠性也提高了Agent的使用效率.承諾模型的研究難點在于由任務本身的不確定以及Agent規劃過程的不確定導致承諾的不確定性.

3.2 協作模型的特點及比較

從以上對多Agent協作機制及相應模型的研究中可以看出：一個高效的Agent協作模型應該具有以下5個基本特點：

1）健壯性和容錯性.健壯性是指團隊具有故障弱化的能力，即團隊中某個個體任務的失敗不會影響整體行為；容錯性是指團隊應具有檢測和彌補這部分失敗的能力.

2）實時反應性.復雜動態、不確定性的環境要求Agent能在環境的動態變化中進行及時、快速的反應.

3）靈活性.這里的靈活性包括三個方面：a）協作模型的適應性；b）協作模型的可重用性；c）協作模型的可擴展性.

4）持久穩定性.許多Agent環境都要求Agent和Agent團隊具有持久穩定性，即它能夠長時間的穩定的運行.

5）動態性和異構性.動態性是指Agent可在動態、開放環境下運行；異構性是指不同的Agent可以擁有不同的能力或組織結構.

如果將Agent性能的量化等級分為5級：極差、較差、一般、較好、極好，則上述5種模型在多Agent協作模型性能方面的比較如表1所示.

表1 多Agent協作模型性能比較Tab.1 Comparison of performance of five models in agent collaboration

1）黑板模型：集中式交互導致一旦黑板共享資源發生未知錯誤，整個Agent系統都會崩潰，健壯性較差.

集中式交互使得各Agent能及時將主體信息發布到黑板上，實時反應性較好.

2）合同網模型：各Agent間通過招標-投標-中標方式協作，部分Agent故障不會影響全局，健壯性較好.以廣播方式招標且所有Agent均可投標，導致通信負載大，實時反應性較差.

3）熟人模型：使用熟人模型集中對各Agent進行評估，一旦熟人模型評估出現錯誤將影響全局，健壯性較差.采用集中式評估避免通信負載過大，實時反應性較好.

4）關系網模型：分布式管理使得部分Agent關系異常不會影響整個關系網，健壯性較好.個體Agent具有信息處理能力，可同時進行多個Agent協作過程，實時反應性較好.

5）承諾模型：通過Agent之間的社會承諾，確保Agent擁有足夠的能力完成它所承諾的任務，減少任務失敗率，健壯性較好.以承諾度作為選擇合作Agent的標準，提高了Agent使用效率和任務的完成效率，實時反應性較好.

由上述比較可以看出，在健壯性方面，由于承諾模型通過Agent之間相互承諾，確保Agent有能力完成它所承諾的任務，因而任務完成率較高，健壯性較好；在反應性和靈活性方面，由于承諾模型中，Agent之間可以進行分布式交互，即不需要中央管理器的控制，因此靈活性較好，Agent之間信息交互可以不經過中央管理器，因此所占資源較少，實時反應性更強；在動態性和異構性方面，當外界環境動態發生改變時，各異構Agent之間會根據當前環境動態生成承諾協議，即完成整個任務的所有步驟，在生成的多個承諾協議中，根據最大效用值選擇最優協議，并順序執行.若當前環境再次發生改變，則會使已生成的協議失效，并重新生成新的協議.由此可以看出承諾模型在異構Agent中具有較好的動態性和自適應性.

4 異構Agent協作模型應用

異構Agent協作模型具有非常廣泛的應用，基于Action的協作模型主要應用在仿真機器人領域［47］；基于學習和規劃的協作模型可以應用在金融學、生物學、數學、自動化等協作決策領域［48］以及虛擬現實領域［49］中.

4.1 異構模型在智能足球機器人中的應用

制造和訓練機器人使其仿照人類進行足球比賽，是當前人工智能和機器人領域研究熱點之一［47］.比賽通常是在仿真環境下進行，而仿真平臺的設計充分體現了智能機器人在通訊、傳感等方面的限制，以及環境的開放性與不確定性.

在2D仿真機器人組中，足球比賽是在仿真環境下完成.其中包括Agent之間交互、協商、合作、實時規劃與決策的過程.在仿真機器人球隊中主要有兩種類型的Agent，即守門員Agent和球員Agent.由于各自分配的任務不同，它們的功能也不相同，因而整個協作過程就是異構多Agent協作、決策、規劃的動態過程.當前的機器人仿真組具有以下幾個特點：

1）復雜性.隊員沒有完整的外界環境信息；

2）不確定性.有一定幾率會發生隊員執行任務失敗的情況；

3）動態性.每一個隊員可以獨立行動，而且對手可以隨時出現或消失；

4）對抗性.對手的存在意味著在執行任務時會受到更多的阻礙；

5）不可靠通信環境.由于低帶寬所造成的通訊延遲或中斷，導致比賽過程受阻.

從上述特點可以看出，機器人足球是一個相對復雜的領域，它需要Agent之間能夠實時交互和協作，動態規劃和實時決策，進而克服復雜的，動態的，不確定的環境影響，以及通訊和傳感等方面的限制.

4.2 異構模型在市場投資決策中的應用

市場決策Agent［48］是用于模擬市場運行機制、拍賣策略以及供給產業鏈管理等的一種概念模型，可有效協助人類進行智能決策.這種Agent協作過程與同構Agent協作不同，因為它產生貿易信息的方式通常是由多個異構Agent實現的.在整個市場投資協同決策中，主要有兩類Agent，一類是自演化決策Agent，另一類是協作決策Agent.

自演化Agent擁有自優化的計算能力，它們能基于當前給定的最優化目標尋找最優策略.整個搜索過程包括發出最優化請求，創建候選決策，評估候選決策，候選決策間的交互，改變候選決策，重新評估候選決策和最優化決策的過濾.

協作Agent在整個任務求解過程中用于與自演化Agent協商和協調以尋找局部最優決策.在必要條件下協作Agent會和自演化Agent團體協商多個回合以尋找每個自演化Agent的局部最優化決策，接下來將這些局部最優決策整合生成一個全局最優目標.

協同決策系統多用于股票投資市場，通過收集多個股票市場近幾年股票價格的走勢以及在每個交易點用戶做過的最佳決策，對自演化Agent進行最優化訓練.比如，收集近5年的股市信息，其中3年用于Agent自演化訓練，另外兩年用于測試Agent自演化訓練的結果.整個決策過程包括：

1）數據管理Agent準備測試數據，一部分用于Agent自演化過程，另一部分則用于自演化結果的測試.

2）自演化Agent尋找自身局部最優決策，保存在自己知識庫中，同時過濾掉相對較差的決策.這個過程是一直迭代進行的，既發生在演化學習階段，也發生在測試階段.

3）協作Agent提取每個自演化Agent存儲的最優化決策，整合生成一個全局最優決策，最終做出合理投資決策.

4.3 異構模型在虛擬團隊訓練中的應用

在現實生活中，團隊任務無處不在，復雜的任務通常需要多個不同角色協作來完成［49］.每一個角色必須能夠熟悉自己的任務、職責并且學習如何在團隊中和隊友進行協調.然而由于訓練設備在通常情況下很難獲得或者代價昂貴等問題，這種訓練條件往往難以達到，因此虛擬團隊訓練產生了.它通過虛擬現實技術，創造出一個3D的，虛擬訓練者與被訓練者之間交互的仿真環境.而異構模型就被應用到這個仿真環境中，通過Agent與受訓者之間的交互，保證受訓者的學習效率并控制學習成本.

在仿真環境下，虛擬團隊由Agent和受訓者組成.在團隊中每一個成員都會被分配給一個特定的角色，當然也包括Agent在內，每一個受訓者都會分配一個Agent訓練者.通過在虛擬環境下Agent充當訓練者的過程，可以在缺少真人教練的情況下對受訓者進行仿真訓練.整個虛擬環境具有開放性、動態性的特點，訓練者與Agent之間也會進行人機交互，而其中環境的變化，人對Agent做出動作的不確定性，都會使整個環境的狀態變得無法預測.因此虛擬訓練向Agent協作研究提出新要求，即如何在動態、未知環境下，實現人機之間友好交互，并能實時處理突發情況.

5 結 語

多Agent系統（MAS）是分布式人工智能領域一個熱門的研究方向，其理論研究和相關技術在社會各個領域得到廣泛應用.在異構Agent系統應用中，面對復雜、動態變化的網絡和社會環境，如何構建高效、靈活、反應速度快的協作模型，是多Agent協作系統必須解決的難點問題.

在分析異構Agent協作的研究背景及國內外研究現狀的基礎上，對異構Agent理論和協作機制分別進行了概述.在介紹Agent協作框架的基礎上，總結了當前最具代表性的幾種Agent協作模型，闡述其特點并進行對比，突出了承諾模型在異構Agent協作性能中的優勢.最后介紹了Agent協作模型在不同領域的應用，并提出當前承諾模型的不足與改進方向.

在當前異構Agent協作的研究中，環境的開放性和不確定性是構建協作模型的難題，因此，需要一種能將這種不確定信息考慮進去的表示方法.Agent承諾模型能夠較好解決由于環境不確定導致任務完成率不高以及Agent異構等問題［50-51］.

然而，目前關于Agent承諾的生成大多停留在手工預設和創建階段［52-53］.這種創建模式有以下不足：1）Agent發生改變.在開放系統中，新的Agent隨時可能進入系統，不能保證新的Agent會使用該系統中原有Agent使用的協議；2）環境發生改變.當環境發生改變時，某些原有的Agent服務可能無法執行，從而導致當前Agent承諾協議失效；3）Agent的優先項發生改變.由于Agent自身資源占用問題，可能會出現暫時資源不足無法完成任務的情形，這時原有的承諾協議便失去作用，因此如何在開放環境下動態地生成Agent承諾是一個亟待解決的問題.

［1］HOEK W V D，WOOLDRIDGE M.Model checking cooperation，knowledge and time——a case study［J］.Research in Economics，2003，57（3）：235-265.

［2］黃麗麗.基于多Agent的智能生存空間異構協作研究［D］.北京：北京交通大學，2014.

［3］李靜，陳兆乾，陳世福，等.多Agent Teamwork研究綜述［J］. 計算機研究與發展，2004，40（3）：422-429.LI J，CHEN Z Q，CHEN S F，et al.Survey of multiple agents teamwork［J］.Journal of Computer Research and Development，2004，40（3）：422-429.

［4］IBM.UPMC takes health care delivery to new levels with dynamic infrastructure ［EB∕OL］（2012-09-05）［2015-05-06］. https：∕∕www-03.ibm.com∕press∕us∕en∕pressrelease∕38722.wss.

［5］CAO L，LUO D,ZHENG X Y.Agent collaboration for multiple trading strategy integration［C］∕∕KES-AMSTA.Second Kes International Symposium.Incheon:ACM Press，2008：361-370.

［6］WOOLDRIDGE M，JENNINGS N R.Intelligent agents：theory and practice ［J］. Knowledge Engineering Review，1994，10（2）：115-152.

［7］張斯亮.MAS中各Agent之間的沖突與協調［J］.計算機科學，2004，31（10）：264-266.ZHANG S L.The conflict and cooperation of individual agents in MAS［J］.Computer Science，2004，31（10）：264-266.

［8］STONE P，VELOSO M.Multi-agent systems：a survey from a machine learning perspective［J］.Autonomous Robots，2000，8（3）：345-383.

［9］徐衛濱.多Agent系統中Agent承諾的研究［J］.科技情報開發與經濟，2008，18（18）：125-126.XU W B.The research on the commitment in the multi-agent system ［J］. Sci-tech Information Development and Economy，2008，18（18）：125-126.

［10］賈利民，劉剛，秦勇.基于智能Agent的動態協作任務求解［M］.1版.北京：北京科學出版社，2007.

［11］段領玉.基于博弈論的多Agent協作研究［D］.新鄉：河南師范大學，2015.

［12］RIEDMILLER M，GABEL T.Brainstormers 2D——team description［C］∕∕RSWC.Ninth Robot Soccer World Cup.Berlin：Springer Press,2005：17-26.

［13］劉榮.多Agent協作機制的研究與應用［D］.南京：南京航空航天大學，2012.

［14］竇立謙.多Agent協作與協調的研究［D］.天津：天津大學，2005.

［15］GROSE B.Collaborative system［M］.1st ed.Palo Alto：AAAI Press，1996.

［16］ROSENSCHEIN J S.Rational interaction：cooperation among intelligent agents［D］.San Francisco：Stanford University，1986.

［17］HEWITT C，INMAN J.DAI betwixt and between：from“intelligentagents” to open systems science［J］.Systems Man&Cybernetics IEEE Transactions on，1991，21（6）：1409-1419.

［18］NII H P.Blackboard systems：the blackboard and model of problem solving and the evolution of blackboard architectures［J］.AI Magazine，1986，7（2）：38-53.

［19］GILMORE J F.Implementation of a generic blackboard architecture［J］.Applications of Artificial Intelligence，1987，786（5）：116-124.

［20］SMITH R G.The contract net protocol：high-level communication and control in a distributed problem solver［J］.IEEE Transactions on Computers，1980，29（12）：1104-1113.

［21］陳剛，陸汝玲.關系網模型——基于社會合作機制的多Agent協作組織方法［J］.計算機研究與發展，2003，40（1）：107-114.CHEN G，LU R L.The relation web model——an organizational approach to agent cooperation based on social mechanism［J］.Journal of Computer Research and Development，2003，40（1）：107-114.

［22］袁源，慕德俊，戴冠中.基于熟人模型的移動Agent安全機制研究［J］.微處理機，2012，33（1）：37-39.YUAN Y，MU D J，DAI G Z.Mobile agent security based on acquaintance model［J］.Microprocessors，2012，33（1）：37-39.

［23］莫思敏，譚瑛，曾建潮.基于承諾度的尋找合作Agent的方法［J］.計算機科學與工程，2006，28（5）：91-93.MO S M，TAN Y，ZENG J C.A method of finding cooperative agents based on the degree of commitment［J］.Computer Engineering and Science，2006，28（5）：91-93.

［24］劉芳.基于過程本體的異質Agent協作技術研究［D］.長沙：國防科技大學，2006.

［25］WINIKOFF M.Implementing flexible and robust agent interactions using distributed commitment machines［J］.Multiagent and Grid Systems，2006，2（4）：365–381.

［26］YOLUM P.Design time analysis of multiagent protocols［J］.Data and Knowledge Engineering，2007，63（1）：137-154.

［27］GERARD S N,SINGH M P.Evolving protocols and agents in multiagent systems ［C］∕∕ AAMAS.Proceedings of2013 InternationalConference on Autonomous Agent and Multi-Agent Systems.New York:ACM Press，2013：997-1004.

［28］TELANG P R，MENEGUZZIF，SINGH M P.Hierarchical planning about goals and commitments［C］∕∕AAMAS.Proceedingsof2013 InternationalConference on Autonomous Agent and Multi-Agent Systems.New York:ACM Press，2013：877-884.

［29］YOLUM P，SINGH M P.Reasoning about commitments in the event calculus：an approach for specifying and executing protocols［J］.Annals of Mathematics&Artificial Intelligence，2004，42（1∕2∕3）：227-253.

［30］TORRONI P，CHESANI F，GAVANELLI M，et al.A computational logic application frame work for service discovery and contracting［J］.International Journal of Web Services Research，2011，8（3）：1-25.

［31］PHAM D Q,HARLAND J.Temporal linear logic as a basis for flexible agent interactions［C］∕∕AAMAS.Proceedings of the 2007 International Joint Conference on Autonomous Agents and Multi-Agent Systems.New York:ACM Press,2007：1-8.

［32］SINGH M P.Trust as dependence:a logical approach［C］∕∕AAMAS.Proceedings of the 2011 International Joint Conference on Autonomous Agents and Multi-Agent Systems.New York:ACM Press，2011:863-870.

［33］TEACY W T L，PATEL J，JENNINGS N R，et al.TRAVOS：Trust and reputation in the context of inaccurate information sources ［J］. Autonomous AgentsandMulti-agentSystems，2006，12（2）：183-198.

［34］TELANG P R， SINGH M P.Comma:a commitment-based business modeling methodology and its empirical evaluation ［C］∕∕ AAMAS.Proceedings of the 2012 International Joint Conference on Autonomous Agents and Multi-agent Systems.New York:ACM Press,2012:1073-1080.

［35］TELANG P R， SINGH M P， YORKESMITH N.Relating goal and commitment semantics ［J］.International Conference on Programming Multi-Agent Systems，2011，7217（1）：22-37.

［36］MENEGUZZI F,TELANG P R,SINGH M P.A first-order formalization of commitments and goals for planning［C］∕∕AAAI.Twenty-seventh Conference on Artificial Intelligence.New York:ACM Press，2013：697-703.

［37］GUNAY A，WINIKOFF M，YOLUM P.Dynamically generated commitment protocols in open systems［J］.Auton Agent Multi-Agent System，2015，29（2）：192-229.

［38］MATTEO B.Programming with commitments and goals in JaCaMo+［D］.Piedmont：Università di Torino，2015.

［39］楊靈利.多Agent系統交互協作的研究與建模［D］.沈陽：沈陽師范大學，2013.

［40］ERMAN L D,HAYESROTH F,LESSER V R,et al.The Hearsay-II speech understanding system［J］.The Journal of the Acoustical Society of America，1976，60(11):11-23.

［41］BIETHAH N J,HUMMELTENBERG W,SCHMIDT B,et al.Multi-agent system negotiation based on contract netprotocolresearch ［C］∕∕ NLP-KE.The 2005 International Conference on Natural Language Processing.Piscataway:IEEE Press，2005:472-478.

［42］YUN H，LI Q，JIANG D,et al.A contract net protocol based on information intermediary service in multi-agent system［C］∕∕AICI.The 2009 International Conference on Artificial Intelligence and Computational Intelligence.Piscataway：IEEE Press,2009:19-23.

［43］ZHOU Z，CHENG S，LIU Q.A novel contract net negotiation model based on trust mechanism［C］∕∕ICCIS.The 2008 Conference on Cybernetics and Intelligent Systems.Piscataway:IEEE Press,2008:884-887.

［44］RODA C，JENNINGS N R，MAMDANI E H，et al.The impact of heterogeneity on cooperating agents［J］.History of Neuroscience，1991，42（1）：556-561.

［45］COHEN P R，LEVESQUE H J.Intention is choice with commitment［J］. Artificial Intelligence，1990， 42（2∕3）：213-261.

［46］張偉，石純一.Agent的組織承諾和小組承諾［J］.軟件學報，2003，14（3）：473-478.ZHANG W，SHI C Y.Agent organization commitment and group commitment［J］.Journal of Software，2003，14（3）：473-478.

［47］盧振利，田鎧，劉叔軍，等.足球機器人交互規則控制系統設計［J］.計算機仿真，2015，32（5）：368-373.LU Z L，TIAN K，LIU S J，et al.The rules of soccer robot interaction control system design［J］.Computer Simulation，2015，32（5）：368-373.

［48］PLAZA E，ONTANON S.Learningcollaboration strategies for committees oflearning agents［J］.Autonomous Agents and Multi-Agent Systems，2006，13（3）：429-461.

［49］蔡林沁，梅濤，孫怡寧.用于決策訓練的虛擬人行為認知模型研究［J］.系統仿真學報，2008，20（2）：368-371.CAI L Q，MEI T，SUN Y N.Research on behavior and cognition models of virtual human for decision training［J］.Journal of System Simulation，2008，20（2）：368-371.

［50］OSAWA E I.A scheme for agent collaboration in open multiagent environments［C］∕∕AAAI.Proceedings of the 1993 International Joint Conference on Artificial Intelligence.New York：ACM Press，1993：352-358.

［51］ANGELOPOULOS K,AYDEMIR F B,GIORGINI P,etal.Solving the nextadaptation problem with prometheus ［C］∕∕ RCIS. Tenth International Conference on Research Challenges in Information Science.Piscataway：IEEE Press,2016:1-10.

［52］ZAHARIJA G，MLADENOVIC S，MALES L.Unibot，a universal agent architecture for robots［J］.Journal of Computing and Information Technology， 2017，25（1）：31-45.

［53］MALIAH S， SHANI G， STERN R.Collaborative privacy preserving multi-agent planning planners and heuristics［J］. Auton AgentMulti-AgentSystem，2017，31（1）：493-530.

本文編輯：陳小平

Progress in Heterogeneous Agent Collaboration

WANG Jing，LIU Wei*，WU Kun，LI Shuang
School of Computer Science and Engineering，Wuhan Institute of Technology，Wuhan 430205，China

To begin with，we summarized the multi-agent theories and collaborative mechanisms based on analyzing the background and current situation of agent collaboration research.Then，after the study of agent collaborative framework，we analyzed some most representative collaboration models，such as blackboard model，contract model，acquaintance model，relation web model and commitment model，illustrating and comparing their characteristics in the aspects of dynamic，heterogeneity，reaction and flexibility to reflect the advantages of commitment model.Finally，we introduced the application of agent collaborative models in the fields of artificial soccer robots，integrating decision and virtual training.By comparing different collaboration models and describing their applications，we presented the advantages of commitment model in the aspects of dynamics，flexibility and reaction and tried to improve the current agent commitment model and proposed the improvement direction of the model.

multi-agent system；heterogeneous；collaboration；mechanism；framework；model

TP311

A

10.3969∕j.issn.1674?2869.2017.04.012

2017-05-22

國家自然科學基金（61502355）；國家測繪局測繪地理信息公益性行業科研專項（201412014）；武漢工程大學科學研究基金（K201475）

王 晶，碩士研究生.E-mail：878376339@qq.com

*通訊作者：劉 瑋，博士，副教授.E-mail：liuwei@wit.edu.cn

王晶，劉瑋，吳坤，等.異構Agent協作的研究進展［J］.武漢工程大學學報，2017，39（4）：378-386.

WANG J，LIU W，WU K，et al.Progress in heterogeneous agent collaboration［J］.Journal of Wuhan Institute of Technology，2017，39（4）：378-386.

1674-2869（2017）04-0378-09