智能體技術在城市交通信號控制系統中應用綜述＊

楊文臣 張 輪 施弈騁 張 孟

（同濟大學道路與交通工程教育部重點實驗室 上海 201804）

0 引 言

智能體計算技術（agent－based computing）允許將系統分解成多個相互關聯的智能體，協作實現期望的全局目標，是分布式復雜巨雜系統的內涵式解決方法之一，是自面向對象設計以來最為重要的軟件開發方法［1］．智能體計算技術對滿足以下3個條件的問題具有強大的設計和分析能力［2］：（1）該問題在邏輯上或物理上是分散的；（2）子系統處于一個動態及不確定性環境；（3）各子系統之間需要信息交互．目前，智能體技術已在生產制造、電子商務、網絡管理、交通運輸、信息管理、科學計算及醫療衛生等領域取得了大量應用．

近年來，智能體技術已被廣泛應用于交通運輸系統，包括智能交通控制與管理、系統建模和仿真、動態路徑和擁堵管理以及決策支持等［3］．城市交通信號控制系統具有典型的分布式特征，且在時變的復雜交通網絡環境下，僅憑局部路口的優化不能表征整體網絡的性能，在交換關聯路口信息的基礎上，仍需要設計路口間精細的協調機制，采用聯合的配時策略提升整體交通網絡的控制效益．智能體技術的自治性、協作性和交互性符合分布式交通信號自適應控制的內在需求［4］．這體現在：智能體（路口信號控制器）可以感知周圍環境并及時響應環境變化，且在沒有人或其他因素的直接干預下，智能體能夠自發的根據目標和環境的要求主動做出規劃，實現交通控制的自動化；同時，通過各分布式路口智能體的相互協作，構建多智能體控制系統（multiagent system，MAS），以實現全局路網的控制目標．

本文從3方面綜述智能體技術在城市交通信號控制系統及其關聯領域中的應用，包括：基于智能體的交通控制系統架構、基于智能體的交通信號控制方法和基于智能體的交通控制建模與仿真，并從多智能體系統通用架構設計及其學習推理算法等方面，探討智能體技術在城市大規模路網交通信號控制中應用的關鍵問題．

1 基于智能體的交通控制系統構架及平臺

傳統的城市交通控制模型多采用集中式架構－SCATS系統、TUC系統及SCOOT系統（子區內部分集中），當路口規模擴大時，集中式的控制系統不能滿足大量交通數據的通信傳輸和控制策略的實時優化，且系統維護難度大［5］．PRODYN系統、OPAC系統和RHODES系統采用分散式架構，有效均衡了集中式交通控制模型的通信需求和計算荷載，但這類系統采用交通模型預測路口環境演化，且不具備自學習能力，在高飽和度等復雜交通條件下控制效果差．多智能體系統（又稱分布式軟件平臺）支持和管理智能體的運行．智能體可分為靜態智能體和移動智能體，相應地，多智能體系統分為靜態智能體系統和移動智能體系統．各個智能體模塊作用于智能體網絡系統的每個節點，為使智能體和智能體系統可在異構的管理平臺上相互操作，智能體的設計應當符合智能體的通用標準．近年來，應用智能體技術實現全息交通數據環境下交通運輸系統的優化成為研究和應用的熱點之一，但是，只是少數學者研究基于智能體的交通控制與管理系統架構，代表性的系統級架構及平臺見表1．

表1 基于智能體的交通控制與管理系統架構

采用智能體技術開發的控制系統構架可分為分層式、網絡式和混合式3種．分層式結構將整個系統分解成若干個子系統，各子系統彼此之間的交互較弱．網絡式結構是一種完全分散的智能體系統，各智能體之間相互通信且獨立進行決策；因而，各分布式的智能體僅考慮局部效益，不能從全局的角度預測整個網絡狀態．混合式結構正是結合了分層式和網絡式的特征進行設計．Hernandez［6］比較了城市智能交通管理系統的兩種結構－集中分層式和分散網絡式，分別提出了InTRYS和TRYSA2兩個系統，并應用于相同城市交通網絡的管理．InTRYS通過分層式結構對智能體進行協調管理，而TRYSA2則采用網絡分散式協調．分析結果表明，網絡式結構具有高同步、可重用及可拓展性好等特性，但對具有高復雜度的協調任務，分層式結構則優于網絡式，這是因為分層式結構搜索關聯智能體進行計算的速度更快．

多數基于智能體技術開發的應用系統只關注由靜態智能體組成的分布式多智能體系統．為了驗證移動智能體技術在智能交通系統中應用的潛力，Chen［7］在提出的多智能體系統中集成了移動智能體，用以提高既有系統大范圍交通控制與管理的靈活性及自適應性，并開發了一個符合IEEE的FIPA標準的移動智能體系統Mobile－C，將其應用于交通的管理和檢檢［8］．與靜態智能體相比，移動智能體具有從網絡中一個系統轉移到另一個系統的能力，具有減小網絡負載，支持斷開控制、支持異構環境、動態生成組件等功能．因而，系統可在運行過程中實時地動態更新任務的代碼及算法，并采用移動智能體技術將其發送到目標子系統中執行．研究表明智能體的快速移動特性為解決大范圍交通控制與管理的挑戰帶來了新的機遇，為實時遠程交互、卸載數據荷載、跨平臺操作以及定制化服務等帶來了新的解決方案．

文獻［3］提出的一個基于智能體的網絡級交通管理系統aDAPTS．該系統將一個復雜的網絡控制算法分解成多個以任務為導向的控制智能體，實現網絡級的自適應交通信號控制．aDAPTS采用了3級的分層式結構，最高層負責規劃和推理控制智能體的任務序列，中間層負責協調和分派控制智能體，最底層則實現各控制智能體的運行．系統采用移動智能體技術實現各個控制智能體，實現控制智能體在遠程交通控制中心至現場交通控制器以及現場控制器之間的靈活轉移，以響應不同交通交件下交通需求變化，有效提升了智能交能控制系統的靈活性．

Katwijk［9］開發了一個面向道路交通管理的多智能體系統測試平臺TBMCS，其支持在不同策略及條件下對多智能體系統系統性能進行測試和檢驗，從而加快基于多智能體應用系統的原型設計與開發．TBMCS由智能體模型、環境模型以及通信模型組成，且通信模塊符合FIPA標準，分別模擬智能體的智能決策、環境狀態表達和協同交互．

2 基于智能體的交通信號控制方法

城市化和機動化進程的加快，交通擁堵、交通安全和污染惡化等問題已成為世界各大城市共同面對的挑戰．傳統集中式交通控制系統依懶于預測模型的精度，且無法處理時變交通流的不確定性．國內外許多學者開始應用智能體技術探尋大范圍交通控制的智能解決方案，包括城市交通控制（urban traffic control，UTC）模型［10］、交叉口信號控制［11］、路徑誘導與UTC的集成系統以及分布式交通數據管理［12］等．表2列出了智能體技術在道路交通信號控制中的代表性應用．

表2 智能體技術在道路交通信號控制系統中應用

2．1 交叉口信號控制

交叉口是城市交通系統高效運行的瓶頸，傳統的自適應交通控制方法遵循前饋的控制理論，不具備在線自學習能力，且對交通模型精度依懶嚴重．眾多學者開始采用分布式及自治的智能體研究交通信號自適應協調控制方法．文獻［10］提出了一種基于智能體的城市交叉口控制系統IDTMIS，并根據路口主動控制和實時控制的需求開發了精細的控制模型和算法．該系統由交通信號智能體（ITSAs）、路段智能體（RSA）以及管理智能體組成，根據RSA提供的路段交通數據，ITSAs采用實時的規則推理制定控制方案，以響應路口交通環境的變化，而管理智能體通過協調轄區內的ITSAs，以提升系統全網運行效益．文獻［11］自行設計并開發了一個基于知識和推理的多級分布式交通網絡控制系統KIDTC．KIDTC系統采用兩級分布式控制結構，由中心控制子系統、通訊模塊和多個子區控制子系統組成．文獻［12］研究了基于多智能體的區域交通信號控制系統框架，設計了二級控制模式，采用Q學習算法在線學習控制規則．

文獻［14］提出了一個三層分布式的多智能體交通信號控制架構，包括交叉口控制器智能體（ICA）、子區控制智能體（ZCA）和區域控制智能體（RCA）．ICA根據交叉口狀態決定路口控制方案的修正（周期、綠信比、相位差），ZCA控制所轄子區內的ICAs，制定各子區內的控制策略及協調機制，RCA控制所轄區域內的全部ZCAs，宏觀制定區域的劃分、調整及邊界過渡方法，智能體的學習推理均采用基于神經網絡的模糊邏輯并以控制效果的實時回饋為準則，采用強化學習在線學習控制規則，以響應動態變化的交通環境．為降低系統復雜度，文獻［18］提出一個單層分布式的多智能體交通信號控制系統，每一智能體負責網絡中每一路口的交通信號，且分屬于各自的協調子區，協調子區可根據路網交通條件進行動態更新和劃分，協調子區內的智能體采用集體協同決策的方式優化關聯路口的控制方案．文獻［19］提出了一種分散的交通信號協調控制結構，各個交叉口均以自身最優控制為目標，同時考慮相鄰交叉口影響的二次優化協調，在保障路網控制狀態穩定有序的同時，避免陷入單點局部最優．

Samah等［23－24］提出了一個基于多智能體強化學習的網絡交通信號集成控制方法，該方法采用單層分布式的多智能體控制結構，每個智能體負責單路口交通燈的信號控制．為實現全局協調所有智能體的控制動作，每個智能體與其物理鄰近的路口智能體進行協調，并采用Markov對策建立路口多智能體的精細協調模型，旨在系統環境狀態下選擇最優的聯合動作．為避免系統狀態空間的維度災難及保障計算效率，遵循一般矩陣博弈和最佳響應策略的思想，提出一種基于minmax的多智能體強化學習算法，在智能體與環境的不斷交互過程中，根據實時回饋的獎懲值在線自主學習系統環境狀態－聯合動作對的最佳映射，生成系統最優控制規則．以59個路口的大規模路口進行仿真實驗，結果表明該方法能降低整體網絡延誤達39%以上．目前，該方法正在加拿大伯靈頓的兩個路口進行實證的應用研究．

基于智能體技術的城市交通信號控制的應用研究還有：文獻［21］提出了一個用于分散自適應交通信號控制的協作式智能體模型．Gregoire等［25］設計了一種采用學習智能體的交通信號燈控制器．文獻［22］提出了一種基于在線仿真的多智能體交通信號控制系統，但其需要實時檢測的交通數據模擬路網交通狀態．高海軍等［26］考慮非機動車輛對路口信號控制的影響，提出了一種面向交通路口混合交通流的分布式模糊控制方法．Goldman等［27］提出采用增量相互學習方法來協調交叉路口的兩個控制器；Ferreira等［28］提出了一種城市交通信號的分散控制方法，每一個智能體根據本地交通狀態、傳感器數據以及鄰近智能體的“意見”優化交通信號方案．Deng等［29］采用集中式的服務器／客戶端智能體結構設計了一種基于視覺的自適應交通信號控制系統．Yang［30］和France［31］等提出了分層的多智能體UTC模型，其根據即時回饋的控制效果，采用強化學習算法在線優化本地控制，并采用遺傳算法學習強化學習參數；于德新等［32］研究了智能體技術在交通控制系統應用的可行性，采用遺傳算法和博弈論進行交通信號協調優化控制，提出了一種基于多智能體博弈的城市道路交通控制系統．Bakker［33］等對比了3類擴展的多智能體交通信號協調控制，包括相鄰路口擁堵信息，局部可測交通狀態和精細協調機制．

2．2 交通集成控制與管理

文獻［19］首次將移動智能體技術引入交通信號控制，采用移動智能體更新路口控制智能體的控制算法，以虛擬 “程序需求”響應真實“交通需求模式”變化．通過重組系統運行環境要素，Wang開發了基于智能體的分布式控制系統（aDCS）的架構和運行機制，將其成功應用于網絡化的智能家居系統和機器人控制系統［34］，進而開發了面向交通運輸系統的分布式自適應管理平臺（aDAPTS），這是最早應用于城市交通信號控制的多智能體系統之一．

文獻［20］研究了高速公路走廊交通擁堵的集成管理，提出的CARTESIUS系統采用兩個相互協同并提供決策支持的智能體組成－高速公路智能體和鄰街干線智能體，兩個智能體實時采集連續的交通數據、事件檢測數據以及控制設備狀態參數，通過子區交通控制中心（TOC）的融合分析及邏輯推理，決策生成適合各智能體的優化控制方案，以降低子區內交通擁堵的影響．同時依托該系統的分布式用戶終端，其支持不同子區的TOC控制人員采用對話窗口機制進行協調，以生成響應全局路網的控制策略．

Burmeister［35］詳細綜述多智能體在智能交通系統領域的應用，并提出了汽車多agent聯運系統．Dresner等［36］采用多智能體技術具體研究了交叉口自組織管理的方法，并采用開發的仿真平臺進行驗證，結果表明：采用智能體實現交通流的自組織管理能顯著改善既有交叉口控制技術（交通燈和停車讓行標志）．在保障其他社會車輛效益的同時，該方法可被拓展應用于人工／無人駕駛車輛以及緊急優先車輛的管理［37］．

智能體技術在信號控制中的延伸應用主要包括分布交通數據處理和誘控一體化．在分布式決策支持系統（distributed decision support system，DDS）中［38］，每一個分布式的實體均采用一個智能體負責決策支持，其負責收集決策支持的關聯數據，并進行推理分析．Ossowski等提出了一種基于多智能體的DDS抽象框架，為這類系統的設計提供指導［39］，并應用于面向信號控制的分布式決策支持系統．仿真結果表明采用分散協調的DDS控制模型在保證控制效益的同時可大幅提升系統的可拓展性．在路徑誘導方面，Li等［40］采用多智能體技術研究了交通管理和路徑誘導一體化的集成管理控制方法．Weyns等［41］提出了一種基于智能體的行駛路徑預測方法，出行車輛可分派下級的智能體搜索路徑并將出行意愿告知路側設施（信號燈），通過多智能體間協調以避免交通擁堵．管青［42］將區域交通信號控制與交通誘導協同理論相結合，從兩者協同運作的角度出發，提出一種交通誘控集成一體化的管理系統架構，旨在根據實時路網交通狀態，主動去調控及引導交通．Rothkrantz［43］提出了一個基于多智能體的智能出行輔助系統，該系統采用了JADE（Java agent development framework，JADE）開發，每個智能體（出行者）與駕駛員及系統進行交互，采用分布式路徑選擇模型提供最優的出行建議，并更新系統的出行交通信息，為交通信號系統的優化提供數據支持．

3 基于多智能體的交通控制建模與仿真

交通運輸系統包含大量的自治智能實體－車輛、信號燈、路段、交叉口、管理中心等，這些實體分布在大范圍的區域，且為了實現特定的系統目標而相互交互．多智能體系統可采用直觀的方法從個體層面描述各個自治實體，是交通系統建模與仿真的理想方法．在多智能體交通仿真系統中，每一個智能的交通實體均被建模成一個智能體對象，且智能體之間相互地協同工作．多智能體技術已被廣泛應用于城市交通信號控制相關問題的建模及仿真，包括交通集成管理［44］、信號控制［45］、移動性仿真［46］、交叉口安全［47］和行人流量預測［48］等，代表性的應用研究如表3所示．

表3 智能體技術在交通控制建模及仿真中應用

3．1 多智能體的交通建模

Zhang等［55］提出了一個多智能體交通仿真的框架，其主要交通實體采用智能體技術建模，包括人－車智能體、路段智能體、信號燈智能體以及車輛生成智能體，而人－車智能體采用三層結構：戰略層、戰術層和控制層．文獻［44］設計了一種基于三層智能體模型的交通協同調度及控制系統（COTSCS）：最高層的“城市交通全局智能體”負責監督和控制所有城市區域內的交通智能體；中間層“控制智能體”負責底層智能體的通信和協同；“底層智能體”用于模擬個體交通實體的運行．Liu等［56］提出了一種用于公交系統需求評估的多智能體仿真框架，該構架將計算模型分解成設計模型和領域模型．設計模型由計算機專家創建，其定義了系統結構、通信協議及平臺相關信息；領域模型則由業內專家、利益相關者和用戶創建，其從專業領域的視角解析研究問題．這種特殊的設計模式使領域專家和系統用戶均能參與系統設計．因而，開發的系統可更好反映交通現實．Doniec等［57］提出一種用于交叉口交通流仿真的多智能體行為模型，每一仿真車輛（智能體）根據路口已存在的或正駛向路口的智能車輛狀態，協調自己的行為．該模型通過感知路網交通狀態，設計智能體精細的協調機制，并提供預測功能，使車輛智能體能夠自身推理以避免交通網絡死鎖［58］．Vasirani等［59］提出一種市場啟發式的城市道路管理方法，每一車輛智能體允許預留其在交叉口的空間和時間，并在接近交叉口時，主動向交叉口管理智能體發送預留請求，“市場”正是用于模擬交叉口采用系列的規則來優化預留方案的建立、執行和取消的過程，而所有規則采用智能體購買交互協議進行實現．

通過在基于智能體的交通運輸系統中集成多種交通運輸模型，Wang提出了人工交通運輸系統（ATSs）的概念，以支持綜合交通運輸系統的分析和決策支持，并定義了發展ATSs的基本理論和關鍵研究內容，從交通運輸、物流和生態交通系統3方面，闡述了ATSs的主要組成部分．文獻［51］提出了一個用于評估智能交通解決方案的ATSs框架，其包括基于JADE開發的現實交通運輸系統、基于智能體微觀交通仿真的虛擬子系統，以及控制策略生成器，控制策略生成器用于協調2個子系統的行為并優化調節系統要素，以提高系統整體性能．文獻［49］等提出了一個面向交通管理和路徑誘導一體化的集成管理系統，其通過增加一個中間層（包括智能體和智能體協商協議），拓展了美國國家ITS框架下的ATIS6．該系統包括3類智能體，分別表征出行者（Agent－IRANS）、信息服務提供商（Agent－ISP），以及系統 運 營 商 （Agent－TMC）．Agent－IRANS 和Agent－ISP采用規則協商機制，全局優化出行者路徑選擇和網絡通行能力分布，以期同時滿足出行者的目標和管理者的效益．

3．2 多智能體的仿真工具

文獻［52］開發了一種多智通體仿真工具AGENDA，分析了多智能體應用系統開發的關鍵技術－任務分解、任務分配、以及協同規劃等，并將其應用于交通運輸系統．Meignan等［60］提出了一種用于評估公交網絡的多智能體仿真工具，實現了公交網絡的可視化靜態評估和公交運行控制仿真，該仿真工具主要包括三個組成部分：公共汽車、出行乘客和常規道路交通，其在給定的環境約束下，實現公共汽車和出行乘客的智能體模型的移動與交互．文獻［46］開發了一個基于微觀仿真模型的多智能體交通仿真工具．該仿真系統可實現離線仿真和在線仿真，并可用于評估一些交通仿真場景，如駕駛行為、交通信號協同控制以及交通擁堵預測等．

隨著多智能體技術在理論和應用研究方面的深入，涌現了許多開源的多智能體交通仿真軟件，代表性的有德國宇航中心于2000年開發的城市移動性仿真器（simulation of urban mobility，SUMO）和蘇黎世聯邦理工大學與德國柏林工業大學于2006年聯合開發的多智能體交通仿真工具 （multiAgent transport simulation toolkit，MATSIM）．SUMO是一種便攜微觀道路交通仿真器，可實現大規模路網的交通仿真．SUMO采用智能體技術建立交通系統的要素模型，能考慮出行個體的微觀特性，具有高移植性和高拓展性等優點，但移動性仿真仍采用時間驅動機制，且仿真路網精度較高，網絡規模可拓展的規模有限．MATSIM是一款面向大規模路網的多智能體交通仿真工具［61］，其以出行個體24h的活動鏈為基本行為單元，采用智能體技術建立基于活動出行個體模型，采用事件驅動機制實現個體機動交通和公共交通的移動性仿真，并提供可視化的結果分析，與SUMO相比，其最大特點是采用活動鏈的出行個體建模及簡化的仿真路網，可更好地模擬個體出行的系列選擇過程和實現更大規模的交通路網仿真．MATSIM已被應用于多個城市交通需求及交通政策評價，如瑞士、蘇黎世、柏林、多倫多、京都、新加坡和上海［62］．

4 討 論

1）系統互用性 互用性是指不同的計算機系統、網絡和應用程序等同時工作并相互操作的能力．在給定系統組織、管轄邊界及應用場景下，系統的互用性是智能體融合多源系統信息制定決策或執行任務的關鍵．國際IEEE－FIPA（foundation for intelligent physical agents，FIPA）致力于異構軟件標準、智能體互動以及異構智能體系統的開發［63］，FIPA標準通過協調智能體系統的不同模塊－系統架構、通信、管理以及信息傳輸－來保證智能體間的互用性，并定義了智能體信息交換的通信語言規范、語法以及通信平臺架構．目前，FIPA已是國際上兩個主要的智能體標準之一（IEEE的FIFA標準和OMG的移動智能體系統互操作規范（mobile agent system interoperability facility）．FIPA標準已被智能體技術研究領域廣泛接受，并作為關鍵指標用以評估智能體的系統互用性．目前已開發的多數智能體交通控制與管理系統只從特定的研究問題出發，沒用面向信號控制的通用系統架構或平臺．結合未來智能交通控制系統集成應用的趨勢，為提高系統互操作性及通用性，基于多智能體的交通信號控制系統的設計與開發應符合FIPA標準．

2）系統不確定性的響應能力 既有的多智能體的應用系統多數采用功能固定的靜態智能體，而智能體之間通過協議進行相互協同．智能體系統結構可劃分為3類：鄰近簡單交互結構、集中分層式結構和分散網絡式結構．靜態智能體只有在系統運行時才會執行系統功能，且靜態編碼的控制算法及服務不能在執行過程中更新．與傳統的控制系統相比，多智能體系統具有高度的自適應能力和協作能力，但在動態變化的復雜環境中，這類系統對不確定性問題的處理能力有限．有學者提出可采用移動智能體來增加系統對可靠性及不確定性問題的快速響應處理能力，其根據系統全局實時交通條件，制定新的控制算法或更新服務，并采用移動智能體運動至目的終端執行［64］．為降低系統復雜度，有學者提出在智能體間精細協調機制的保障下，具有自學習和推理能力的智能體可有效響應系統的不確定性［65］．在復雜的隨機系統環境中，多智能體強化學習算法為多智能體系統進行多階段博弈及系統優化提供了一種很好的框架［66］，通過與環境交互和試錯，利用評價性反饋信號，在序列決策過程中實現系統決策的優化，并在決策過程采用對策論建立智能體間相互協同的機制，從而增加智能體的全局協作能力，可滿足動態及隨機交通系統要素建模的內在要求．

3）系統可拓展性 在智能體技術的未來發展中，應更多的關注系統設計的開放性和可拓展性，以支持大規模分布式動態系統的應用．典型的多智能體系統采用系統狀態－動作空間來表達行為策略，因而，將不可避免地出現系統學習參數隨準狀態變量維數呈指數級增長的現象，即維度災難問題，且這些方法假設智能體可觀測系統的全局狀態，即智能體具備完美的交通信息，這嚴重限制了多智體系統的拓展及實時性．目前，解決維數災難和完美信息的主要思路是系統狀態空間離散化，且智能體只考慮其物理鄰近智能體進行協同交互［67］．

5 結束語

智能體技術及其在交通運輸系統中的應用研究已開展了10多年，并且取得了大量應用成果．本文主要總結了智能體技術在交通信號控制系統及其關聯領域的應用．研究成果清晰地表明人工智能、機器學習及信息技術的交叉綜合直接促進了多智體交通信號控制系統的產生和發展，眾多研究已將多智能體框架應用于解決區域交通控制問題，建立基于MAS的交通控制系統架構，并在分布式架構、在線推理決策、建模與仿真、均衡計算負荷等方面取得了應用，主要結論如下．

1）智能體具有自身的屬性集和決策推理功能，采用多智能體技術建立交通運輸系統的實體模型，可有效鏈接交通實體的微觀特性和交通系統的宏觀特性，從而實現對交通控制系統結構、功能和行為的模擬，是大范圍交通網絡交通信號協調控制的有效建模工具．

2）大多數智能體技術的應用研究都致力于控制算法和建模及仿真，用于實際交通控制系統應用和部署的研究很少．總體來看，在交通控制乃至交通運輸領域，多智能體系統的方法設計、開發和應用仍不夠成熟．

3）未來智能交通系統的發展，管理者更期望智能交通控制系統等關鍵子系統的集成應用，這就要求多智體交通控制系統在系統互用性、系統不確定性和系統可拓展性等方面具備更好的性能．多智能體強化學習是實現具有自適應及自學習能力的自治智能體的重要途徑，可為解決復雜、不確定環境下交通網絡的集成優化控制提供一個可行之法．

［1］ZAMBONELLI F，PARUNAK H V D．Signs of a revolution in computer science and software engineering［M］∥Engineering Societies in the Agents World III．Berlin Heidelberg：Springer，2003．

［2］LUCK M．Challenges for agent－based computing［J］．Autonomous Agents and Multi－Agent Systems，2004，9（3）：199－201．

［3］WANG F Y．Toward a revolution in transportation operations：AI for complex systems［J］．IEEE Intelligent Systems，2008，23（6）：8－13．

［4］CHEN B，CHENG H H．A review of the applications of agent technology in traffic and transportation systems［J］．EEE Transactions on Intelligent Transportation Systems，2010，11（2）：485－497．

［5］BAZZAN A L C．A distributed approach for coordination of traffic signal agents［J］．Autonomous A－gents and Multi－Agent Systems，2005，10（1）：131－164．

［6］Hernández J Z，OSSOWSKI S，GARCIA－SERRANO A．Multiagent architectures for intelligent traffic management systems［J］．Transportation Research Part C：Emerging Technologies，2002，10（5）：473－506．

［7］CHEN B，CHENG H H，PALEN J．Integrating mobile agent technology with multi－agent systems for distributed traffic detection and management systems［J］．Transportation Research Part C：Emerging Technologies，2009，17（1）：1－10．

［8］Mobile－C［EB／OL］．www．mobilec．org，2014－01－20．

［9］van KATWIJK R T，van KONINGSBRUGGEN P，SCHUTTER B，et al．A test bed for multi－agent control systems in road traffic management［M］．Applications of Agent Technology in Traffic and Transportation，Birkh?user Basel，2005．

［10］ROOZEMOND D A．Using intelligent agents for pro－active，real－time urban intersection control［J］．European Journal of Operational Research，2001，131（2）：293－301．

［11］張松懋．基于知識和推理的分布式交通控制系統［J］．計算機研究與發展，1992，29（9）：35－41．

［12］馬躍峰．基于multi－agent的區域交通信號控制系統的研究［D］．濟南：山東師范大學，2006．

［13］GUO D，LI Z，SONG J，et al．A study on the framework of urban traffic control system［C］∥Intelligent Transportation Systems，2003，Proceedings 2003IEEE，IEEE，2003，1：842－846．

［14］CHOY M C，SRINIVASAN D，CHEU R L．Cooperative，hybrid agent architecture for real－time traffic signal control［J］．Systems，Man and Cybernetics，Part A：Systems and Humans，IEEE Transactions on，2003，33（5）：597－607．

［15］ZHANG H S，ZHANG Y，LI Z H，et al．Spatialtemporal traffic data analysis based on global data management using MAS［J］．Intelligent Transportation Systems，IEEE Transactions on，2004，5（4）：267－275．

［16］OSSOWSKI S，CUENA J，GARCíA－SERRANO A．A case of multiagent decision support：Using autonomous agents for urban traffic control，Progress in Artificial Intelligence ［M］．Berlin Heidelberg，Springer，1998．

［17］張靜靜，嚴 凌，高強飛，等．多智能體技術在交通控制中的機理研究［J］．交通與運輸，2009（S1）：60－62．

［18］SRINIVASAN D，CHOY M C．Cooperative multi－agent system for coordinated traffic signal control［C］∥IEE Proceedings－Intelligent Transport Systems，IET Digital Library，2006，153（1）：41－50．

［19］WANG F Y．aDCS：agent－based distributed control systems［R］．PARCS Technical Report，University of Arizona，Tucson，1999．

［20］LOGI F，RITCHIE S G．A multi－agent architecture for cooperative inter－jurisdictional traffic congestion management［J］．Transportation Research Part C：Emerging Technologies，2002，10（5）：507－527．

［21］CHEN R S，CHEN D K，LIN S Y．ACTAM：Cooperative multi－agent system architecture for urban traffic signal control［J］．IEICE transactions on Information and Systems，2005，88（1）：119－126．

［22］KOSONEN I．Multi－agent fuzzy signal control based on real－time simulation［J］．Transportation Research Part C：Emerging Technologies，2003，11（5）：389－403．

［23］EL－TANTAWY S，ABDULHAI B，ABDELGAWAD H．Multiagent reinforcement learning for integrated network of adaptive traffic signal controllers（MARLIN－ATSC）：Methodology and large－scale application on downtown toronto［J］．Intelligent Transportation Systems，2013，14（3）：1140－1150．

［24］XU L H，XIA X H，LUO Q．The study of reinforcement learning for traffic self－adaptive control under multiagent markov game environment［J］．Mathematical Problems in Engineering，2013，13：1－10．

［25］GREGOIRE P L，DESJARDINS C，LAUM?NIER J，et al．Urban traffic control based on learning agents［C］∥Intelligent Transportation Systems Conference，2007．ITSC 2007IEEE，IEEE，2007：916－921．

［26］高海軍，陳 龍，石松泉．交通路口混合交通流的分布式模糊控制［J］．中國公路學報，2003，16（4）：67－71．

［27］GOLDMAN C V，ROSENSCHEIN J S．Mutually supervised learning in multiagent systems［M］∥A－daption and Learning in Multi－Agent Systems，Berlin Heidelberg，Springer，1996．

［28］FERREIRA E D，SUBRAHMANIAN E，MANSTETTEN D．Intelligent agents in decentralized traffic control［C］∥Intelligent Transportation Systems，2001Proceedings，2001IEEE．IEEE，2001：705－709．

［29］DENG L Y，LIANG H C，WANG C T，et al．The development of the adaptive traffic signal control system［C］∥Parallel and Distributed Systems，2005 Proceedings，11th International Conference on，IEEE，2005，2：634－638．

［30］YANG Z，CHEN X，TANG Y，et al．Intelligent cooperation control of urban traffic networks［C］∥Machine Learning and Cybernetics，2005Proceedings of 2005International Conference on，IEEE，2005，3：1482－1486．

［31］FRANCE J，GHORBANI A A．A multiagent system for optimizing urban traffic［C］∥Intelligent Agent Technology，2003．IAT 2003IEEE／WIC International Conference on IEEE，2003：411－414．

［32］于德新，楊兆升，王媛，等．基于多智能體的城市道路交通控制系統及其協調優化［J］．吉林大學學報：工學版，2006，36（1）：113－8．

［33］BAKKER B，WHITESON S，KESTER L，et al．Traffic light control by multiagent reinforcement learning systems［C］∥Interactive Collaborative Information Systems，Berlin Heidelberg，Springer，2010．

［34］WANG F Y，WANG C H．Agent－based control systems for operation and management of intelligent network－enabled devices［C］∥Systems，Man and Cybernetics，2003IEEE International Conference on IEEE，2003，5：5028－5033．

［35］BURMEISTER B，HADDADI A，MATYLIS G．Application of multi－agent systems in traffic and transportation［C］∥Software Engineering，IEE Proceedings，IET，1997，144（1）：51－60．

［36］DRESNER K M，STONE P．A multiagent approach to autonomous intersection management［J］．J．Artif．Intell．Res．（JAIR），2008，31：591－656．

［37］DARPA，The DARPA urban challenge［EB／OL］．［2014－01－20］，http：∥www．darpa．mil／grandchallenge．

［38］CHEN H，BELL M．Instrumented city database analysts using multi－agents［J］．Transportation Research Part C：Emerging Technologies，2002，10（5）：419－432．

［39］OSSOWSKI S，Hernández J Z，BELMONTE M V，et al．Decision support for traffic management based on organisational and communicative multiagent abstractions［J］．Transportation Research part C：emerging technologies，2005，13（4）：272－298．

［40］LI R，SHI Q．Study on integration of urban traffic control and route guidance based on multi－agent technology［C］∥Intelligent Transportation Systems，2003Proceedings IEEE，2003，2：1740－1744．

［41］WEYNS D，HOLVOET T，HELLEBOOGH A．Anticipatory vehicle routing using delegate multi－agent systems［C］∥Intelligent Transportation Systems Conference，2007ITSC IEEE，2007：87－93．

［42］管 青．區域交通信號控制與交通誘導協同理論與關鍵技術研究［D］．長春：吉林大學，2009．

［43］ROTHKRANTZ L J M．Dynamic routing using the network of car drivers［C］∥Proceedings of the 2009Euro American Conference on Telematics and Information Systems：New Opportunities to increase Digital Citizenship，ACM，2009：11－20．

［44］LI M，HALLAM J，PRYOR L，et al．A cooperative intelligent system for urban traffic problems［C］∥Intelligent Control，1996Proceedings of the 1996 IEEE International Symposium on IEEE，1996：162－167．

［45］WANG F Y，TANG S．A framework for artificial transportation systems：From computer simulations to computational experiments［C］∥Intelligent Transportation Systems，2005Proceedings IEEE，2005：1130－1134．

［46］Da SILVA B C，BAZZAN A L C，ANDRIOTTI G K，et al．ITSUMO：an intelligent transportation system for urban mobility，Innovative internet community systems ［M］．Berlin Heidelberg，Springer，2006．

［47］SALIM F D，KRISHNASWAMY S，LOKE S W，et al．Context－aware ubiquitous data mining based agent model for intersection safety［C］∥Embedded and Ubiquitous Computing－EUC 2005Workshops，Springer Berlin Heidelberg，2005：61－70．

［48］KUKLA R，KERRIDGE J，WILLIS A，et al．PEDFLOW：Development of an autonomous agent model of pedestrian flow［J］．Transportation Research Record：Journal of the Transportation Research Board，2001，1774（1）：11－17．

［49］ADLER J L，SATAPATHY G，MANIKONDA V，et al．A multi－agent approach to cooperative traffic management and route guidance［J］．Transportation Research Part B：Methodological，2005，39（4）：297－318．

［50］ HALLE S，Chaib－Draa B．A collaborative driving system based on multiagent modelling and simulations［J］．Transportation Research Part C：Emerging Technologies，2005，13（4）：320－345．

［51］ROSSETTI R J F，FERREIRA P A F，BRAGA R A M，et al．Towards an artificial traffic control system［C］∥Intelligent Transportation Systems，2008 ITSC 2008，11th International IEEE Conference on IEEE，2008：14－19．

［52］FISCHER K，CHAIB－DRAA B，MULLER J P，et al．A simulation approach based on negotiation and cooperation between agents：a case study［J］．Systems，Man，and Cybernetics，Part C：Applications and Reviews，IEEE Transactions on，1999，29（4）：531－545．

［53］SUMO［EB／OL］．http：∥sumo．sourceforge．net／，2014－01－20．

［54］MATSim［EB／OL］．http：∥matsim．org／，2014－01－20．

［55］ZHANG F，LI J，ZHAO Q．Single－lane traffic simulation with multi－agent system ［C］∥Intelligent Transportation Systems，2005Proceedings IEEE，2005：56－60．

［56］LIU Z I SHIDA T，SHENG H．Multiagent－based demand bus simulation for Shanghai，Massively Multi－Agent Systems I ［M］．Berlin Heidelberg：Springer，2005．

［57］DONIEC A，MANDIAU R，PIECHOWIAK S，et al．A behavioral multi－agent model for road traffic simulation［J］．Engineering Applications of Artificial Intelligence，2008，21（8）：1443－1454．

［58］MANDIAU R，CHAMPION A，AUBERLET J M，et al．Behaviour based on decision matrices for a coordination between agents in a urban traffic simula－tion［J］．Applied Intelligence，2008，28（2）：121－138．

［59］VASIRANI M，OSSOWSKI S．A market－inspired approach to reservation－based urban road traffic management［C］∥Proceedings of The 8th International Conference on Autonomous Agents and Multiagent Systems1，2009，1：617－624．

［60］MEIGNAN D，SIMONIN O，KOUKAM A．Simulation and evaluation of urban bus－networks using a multiagent approach ［J］．Simulation Modelling Practice and Theory，2007，15（6）：659－671．

［61］BALMER M，MEISTER K，RIESER M，et al．A－gent－based simulation of travel demand：Structure and computational performance of MATSim－T［C］∥the 2nd TRB Conference on Innovation in Travel Modeling，Portland，ME，USA，2008．

［62］ZHANG L，YANG W C，WANG J M，et al．A large scale agent－based transport simulation in Shanghai［C］∥The Transportation Research Board 92nd Annual Meeting，Washington，D．C．，2013．

［63］FIPA．The foundation of intelligent physical agents．［EB／OL］．http：∥www．fipa．org／，2014－01－16．

［64］GRAY R S．Mobile Agents：Motivations and Stateof－the－Art Systems［R］．Dart－mouth College：Department of Computer Science，2000．

［65］BUSONIU L，BABUSKA R，SCHUTTER B．A comprehensive survey of multiagent reinforcement learning［J］．IEEE Transactions on Systems，Man，and Cybernetics，Part C：Applications and Reviews，2008，38（2）：156－172．

［66］BAZZAN A L C．Opportunities for multiagent systems and multiagent reinforcement learning in traffic control［J］Autonomous Agents and Multi－Agent Systems，2009，18（3）：342－375．

［67］ MEDINA J C，BENEKOHAL R F．Agent－based Traffic Management and Reinforcement Learning in Congested Intersection Network［R］．USDOT Nextrans Project Report，No．072IY03，2012．