多智能體系統的研究如何順應時代的發展

■文 /趙登吉 安 波

趙登吉，上海科技大學助理教授，博士生導師，研究員，上海市青年東方學者。

安波，新加坡南洋理工大學助理教授。

多智能體系統研究在共享經濟、公共安全、金融預測、智能制造以及智慧城市等領域面臨眾多新的挑戰。

多智能體系統（Multi-agent Systems）是人工智能一個非常重要的子領域。人工智能的研究可以簡單地分為單智能體和多智能體兩大部分。單智能體的研究包括視覺、自然語言處理、機器學習等。當我們把多個單智能體連接在一起的時候，就構成了一個多智能體系統，這里的單智能體可以是人或者具備一定智能的軟體（代替人做決策）。多個智能體在一起就一定會有合作和競爭，它們會合作完成一些任務、競爭有限的資源，或者借助其他智能體實現單智能體的私有目標等。

多智能體系統所涉及的研究方向包括構建單個智能體的技術，如建模、推理、學習及規劃等，也包括使多個智能體協調運行的技術，如交互通信、協調、合作、協商、調度、沖突消解等。其中，最熱門的研究方向包括交互模型和語言、算法博弈論、談判、推理、強化學習、分布式求解和規劃等。

多智能體系統的發展歷程

自1956年美國科學家約翰·麥卡錫（John McCarthy）在著名的達特茅斯研討會上提出“人工智能”這一概念后，“智能體”的概念便開始興起。盡管智能體的概念很早就已經出現，但在20世紀70年代之前，將多個智能體作為一個功能上的整體（即能夠獨立行動的自主集成系統）進行研究的做法很少。1980年，分布式人工智能領域的首次研討會在美國麻省理工學院舉辦。在會議上，研究人員討論了分布式問題求解、多智能體規劃、組織控制、合同網、協商、分布式傳感器網絡、功能精確的協作分布式系統、大規模行為者模型以及智能體規范邏輯框架等重要的多智能體系統研究問題。自此，集成智能體構建和多智能體系統研究的各個分支領域都有了較大發展。

1995年，第一屆國際多智能體系統會議（International Conference on Multi-Agent Systems，ICMAS）在美國舊金山舉辦。2002年，國際智能體及多智能體系統協會（International Foundation for Autonomous Agents and Multiagent Systems，IFAAMAS）將ICMAS和另外兩個相關的會議合并為智能體及多智能體系統國際會議（International Joint Conference on Autonomous Agents and Multi-Agent Systems，AAMAS）。經過近30年的發展，多智能體系統已經成為國際人工智能領域的前沿和研究熱點。AAMAS已經成為人工智能領域非常重要的國際會議，每年吸引近1 000篇投稿和近1 000人參會。

多智能體系統在共享經濟中的應用

共享經濟是將閑置資源再分配、再利用的經濟活動，其形式包括：P2P的共享，如順風車、拼車等；B2C的共享，如摩拜單車、Car2go等；以及B2B的共享，如淘工廠、Globechain等。共享經濟是一個非常復雜的多智能體系統，其中每一個共享參與者都是一個智能體。每一個智能體都有一個局部的私有目標，如最大化個人利益，同時全局系統又會有一些綜合目標，如全局資源的充分利用。私有目標和全局目標之間可能存在矛盾，如何同時滿足各個智能體的私有目標和系統的全局目標是我們首先要面對的挑戰。例如，在拼車應用中，司機希望高價共享座位，而乘客希望低價獲得共享座位，但從全局考慮是希望所有的空位都能夠成功共享，從而節約總體出行開銷。解決這個多目標問題的核心就是博弈。最終，司機的收入和乘客所付的錢將由供需雙方博弈決定。例如，滴滴的快車服務高峰期動態調價就是基于供需不平衡的博弈而來（高峰時段供小于求，價格因此提高）。

多智能體系統的應用領域

在共享經濟這樣的多智能體系統中，各個智能體會不斷地學習，尋找對各個智能體而言最優的策略。譬如，通過滴滴提供服務的司機，利用長期的服務數據可以總結出什么時段提供服務能最大化收益；滴滴的乘客也會發現什么情況下使用滴滴的服務最合算。因此，整個共享系統需要設計一種機制，既要保障用戶愿意參與共享，又不能過度激勵形成資源浪費。滴滴早期通過各種補貼來吸引用戶，這種補貼讓用戶看到了巨大的利潤空間，因此不僅把原本閑置的車利用起來，而且還吸引了一批用戶特意購買新車加入滴滴服務。這不是共享經濟，而是資源浪費，是不可持續的。而摩拜的紅包車機制，激勵了很多用戶幫摩拜去激活和發現低頻率使用的單車，節省了企業派專人去搜索這些車的成本，這就是較為合理的激勵機制。激勵共享機制的設計涉及博弈論、多智能體學習、分布式求解等多智能體系統中的核心研究。

共享經濟自美國次貸危機以來在全球迅速發展，2016年我國共享經濟市場交易額約為34 520億元人民幣，比上年增長103%。但是，全球目前共享經濟的主要組成部分還是B2C模式的。B2C模式的共享經濟實際上是傳統租賃行業向O2O的轉變，使傳統線下租賃服務通過線上平臺讓租賃更靈活、更便捷。然而，大部分的社會閑置資源（包括知識、金錢、勞動力等）還是個人或家庭擁有，如何讓這部分閑置資源充分利用起來才是共享經濟可持續發展的關鍵，這將涉及一個非常復雜的多智能體系統搭建。這個共享系統需要很好地把所有個人或者家庭聯系起來，讓他們手中的資源得到合理的再分配。系統搭建涉及的主要技術包括用戶行為建模、人機交互（用戶偏好表示）、多智能體學習、博弈、分布式求解、智能體之間的溝通和談判等。

多智能體系統在公共安全領域的應用

保護關鍵公共基礎設施和目標，如機場、港口、歷史名勝、發電設施，甚至珍稀動物和自然資源等，是各國安全機構面對的一項極具挑戰性的任務。有限的安全資源使得安全機構不可能在任何時候都提供全面的安全保護。此外，安全部門的對手（如恐怖分子、犯罪嫌疑人）可以通過觀察找出安全機構的保護策略的固定模式和弱點，并據此選擇最優的攻擊策略。降低對手反偵查能力的方式是隨機調度安全部門的保護行為，如警察巡邏、行李檢測、車輛檢查以及其他安全程序等。

然而，安全部門在進行有效的隨機安全策略調度時面臨許多困難。安全領域資源分配的關鍵問題是如何找出有限的安全資源最優配置方案，以獲取最佳的安全保護方案。博弈論提供了一個恰當的數學模型來研究有限的安全資源部署，以最大限度地提高資源分配的有效性。安全博弈模型是基于20世紀30年代的Stackelberg博弈模型發展起來的，安全博弈論的研究已經成為當前人工智能研究的熱點之一。過去幾年，基于Stackelberg模型的安全博弈論已經被不同領域的安全機構所應用，包括機場、港口、空中警察、地鐵系統，甚至被用于保護野生動物。這些研究成果可望與現有的安全系統進一步融合，提高安全系統的性能。

多智能體系統在金融預測中的應用

在現代金融市場中，計算機輔助交易已經超過了交易總數的70%。輔助交易系統幫助用戶做實時交易決策，這些交易系統通過各大交易市場聯系在一起構成了一個龐大的多智能體系統。各輔助交易系統是一個具備不同學習能力和決策能力的智能體，其目標是幫助個人或企業做最優的交易決策。

輔助交易系統一般都有根據歷史數據去預測金融市場未來走勢的模塊，目前最復雜的預測模塊之一是利用深度學習進行的。然而，深度學習通過歷史數據訓練出來的預測模型未必能夠適應新的經濟環境，其主要原因是整個金融市場的走勢是所有交易者行為的綜合體現，但歷史數據只是告訴了我們市場表象，并沒有告訴我們背后的用戶決策模型。如果要準確地預測金融市場走勢，就需要知道所有參與者背后使用的決策模型，這是傳統學習方法做不到的。因此在金融系統中，傳統的多智能體系統需要結合博弈論才能做更好的預測和決策。微軟亞洲研究院在博弈機器學習方面做了很好的工作并已應用于bing拍賣機制優化上。

多智能體系統在智能制造中的應用

智能制造利用前沿的信息和技術，讓制造更好地適應動態的市場需求，其中最主要的組成部分就是具備了學習能力的智能生產機器。智能機器不再是簡單地重復機械操作，它具備與周邊環境交互和學習的能力。一條生產線上所有的智能機器組成了一個多智能體系統，各智能機器有各自的局部目標，同時整個生產線有一些共同的全局目標，整個生產線的效率將會由所有智能機器的合作決定。如何讓這些機器自主地學習出最優的生產效率，涉及多智能體系統研究中的各個方面。

智能制造的另外一個特點，就是對市場需求的快速反應。從產品的原材料訂購到工廠加工再到最后輸送給消費者經過了一個非常復雜的供應鏈網絡。企業要想快速適應市場需求，就必須快速地將用戶需求通過供應鏈傳遞給工廠。這個過程涉及很多參與者，而且各個參與者都帶著私有的目標。產品生產方如何調動這些相對獨立的參與者，快速適應動態市場需求是目前智能制造的一個瓶頸。這里涉及參與者之間的信息如何共享、利益如何保護等問題。例如，最底層經銷商掌握了一些局部的市場需求信息，他們是否愿意將這些信息共享給供應鏈中其他的參與者？對這些問題的深入研究將會推動供應鏈的數字化和智能制造的快速發展。

多智能體系統在智慧城市中的應用

智慧城市的基礎是將城市中所有物和人通過各種網絡聯系在一起，構成一個城市級的多智能體系統。每個家庭中的各種電器將會相互連接協作，構建一個舒適的家庭環境。未來的無人汽車相互連接構成一個智能出行網，用戶只需要告知這個智能出行網自己的日程安排，剩下所有出行安排都由智能出行網自動完成。交通擁堵是目前大城市生活的痛點，在未來的智慧城市中，所有的出行工具連接在一起，它們會根據各自的目標，協同制定出最優的出行方案，防止不必要的交通擁堵。城市的發展需要消耗資源，資源的合理分配是保障城市健康發展的關鍵。將有限的資源分配到城市中最需要的地方是一個非常復雜的博弈問題。節能環保是未來智慧城市的一個重要衡量指標，我們需要利用多智能體系統的分布式學習方法找到最佳的能耗方案。

在智慧城市這樣一個龐大的多智能體系統中，我們所面臨的挑戰包括物物之間（智能體之間）如何溝通、如何全局優化（可計算問題），智能體之間如何協作確保城市健康發展等。目前，多智能體系統研究的方法和成果能否滿足智慧城市發展的需要還有待深入探討。