基于多智能體的城市交通區域協調控制方法*

黃艷國 羅 強 許倫輝

(江西理工大學機電工程學院1) 贛州 341000) (華南理工大學土木與交通學院2) 廣州 510640)

城市交通是由大量道路及交叉口組成的道路交通網,交叉口是道路網中連接各支路的節點,是不同方向車流進入和駛出的匯接地,成為整個道路網中的“瓶頸”.如何在保證每個交叉口暢通的前提下提高城市交通運輸效率,使整個區域處于最佳運行狀態是交通信號區域協調控制的關鍵[1-3].許多學者將現代控制理論和人工智能技術應用到交通控制領域[4-5],并且取得了一定的成果.本文將智能體技術和加強學習算法應用到城市交通信號控制中,為城市交通協調控制作一些探索和研究.

1 基于多智能體的城市交通信號控制系統

1.1 系統結構

智能體(Agent)理論和技術是計算機和分布式人工智能領域的新一代研究成果,是面向對象技術的新發展,具有處理模糊不確定復雜問題的能力.多智能體系統(multi-agent-system,MAS)[6]以智能體為結構單元,對于解決分布式復雜系統問題是具有廣闊前景的方法體系[7].而交通問題是典型的時變不確定系統,通過智能體之間的通信和協調機制,為解決現代交通問題提供了新的思路.

本文以多智能體為基礎的分層遞階的城市道路控制系統結構如圖1所示.當局部交通狀況發生變化時,交叉口Agent之間根據相互關聯程度通過通信模塊和協調機制進行協調,實時調整信號配時方案.當路口之間的協調無法達到理想的控制效果時,路口Agent向子區域Agent發出協調請求,子區域Agent根據一定的策略和優化目標在子區域內部各交叉口Agent之間進行協商,以求達到滿意的控制效果.當子區域Agent無法有效的解決交通問題時,可以通過信息發布模塊向區域Agent發布交通狀況信息和協調請求,以求在更大的區域之間解決.這種方式不僅在局部小范圍能自主決策,達到實時自適應控制,更能從宏觀上調整區域的交通狀況,使整個區域交通保持較理想的運行狀態.

1.2 智能體模型

控制系統以智能體為控制單元,每個交叉口Agent是一個可獨立運行的實體,通過智能體之間的協調達到整個優化控制的目的,結構模型如圖2所示[8].

圖1 多Agent交通信號控制系統結構圖

圖2 交叉口Agent結構模型

圖2 中知識庫存儲交通信號控制常識、交通規則、本路口和相鄰路口相關信息(如路段長度、車道數、車道類型和飽和流量等),為學習器提供基本的數據資料,并為決策模塊提供決策的依據.記憶庫則存儲采集的交通流信息、控制方案以及學習器在學習過程中的中間數據和反饋信息.通信模塊負責Agent模型內部模塊的數據交互,知識庫數據的更新,同時可與相鄰路口的Agent以及子區域Agent進行通信.

2 城市區域交通信號的優化與協調

2.1 基于Q-學習的交叉口控制Agent

在多路口的交通協調MAS中,每個Agent負責對一個路口進行控制.感知系統通過車輛檢測器將檢測到的交通流量和路況信息發送給Q-學習器,學習器根據接收到的信息和知識庫中的經驗知識以及記憶庫中歷史數據進行再勵學習,并將學習結果發送到決策模塊,決策模塊根據一定的原則產生控制策略,并交執行模塊執行.控制策略包括2種行為{(1)結束當前綠燈相位,轉為紅燈相位;(2)保持綠燈相位,并延長當前綠燈時間Δt s}.

單步Q-學習算法的Q值更新公式可描述為:

式中:α∈[0,1]為學習速率;γ∈[0,1]為折扣因子為環境的后續狀態;r(s,a)為獎懲函數,即為Agent在狀態s采用a動作使環境狀態轉移到s′獲得的瞬時獎賞值;A為可供選擇的行為的集合.

傳統的感應式控制只能根據交通流調節信號周期和綠信比,對車流信息處理過于簡單,無法知道控制行為的效果,基于Q-學習的信號控制,根據車流量狀況,通過加強學習,調整配時方案,并將控制行為的實際效果作為下次學習的參考,從而實現實時自適應控制.

2.2 智能體間的協調與全局優化

如圖3所示的路網圖,交叉口Agent實體間的協調可以在兩個關聯性非常強的相鄰交叉口A1與交叉口A2之間進行,也可以在有關聯的多個交叉口組成的子區域內部進行,如在子區域E1內部全面協調交叉口A1,A2,A3之間的控制策略,以期最大限度地實現各自目標,提高整體運輸效率.

2.績效審計的目的。績效審計的目的是從第三者的角度，向有關利害關系人提供經濟責任履行情況的信息，促使資源的管理者或經營者改進工作，更好地履行經濟責任。同其他審計種類一樣，績效審計產生和發展的理論基礎是受托經濟責任關系。績效審計起源于這樣一種經濟責任關系：在油田企業中，管理層作為受托方對企業資源進行管理和經營，在資源越來越少的情況下，對股權所有者負有不斷提高公共資源的使用效率和效果的責任。

圖3 區域路網結構圖

本文選擇的協調控制目標為:區域內各路口的平均車輛延誤最小.

設qpn為P相位在第n s時到達的車輛數,在第i-1個周期P相位綠燈信號末該方向車輛滯留數為Qi-1p,則在第i周期該相位綠燈方向的車輛總延誤為[9]

式中:O f f_c為綠燈信號時路口通過率;Ti為第i個周期時長,Gp為P相位的綠燈信號時長,則紅燈方向車輛總延誤為

式中:K為總相位數,對4相位交叉口,K=4,分別表示東西、南北直行和左轉,交叉口 A1在P相位的總延誤為D 1p=DGP+DRP

N個交叉口車輛平均延誤為

式中:Q為參與協調的N個交叉口所有方向到達車輛總數

以主干道關聯性較強的相鄰兩交叉口為例,如圖3所示的交叉口A1與A2.

協調算法的步驟如下.

步驟1 按預設的相位差,兩路口從初始相位i開始,并執行各自路口該相位綠燈時間tig1,tig2.

步驟2 路口 A1在t時刻檢測到車流量變化較大,通過加強學習和決策模塊按一定的原則決策以后,形成決策1,對當前相位的綠燈信號時長進行調整,調整時間為Δt s.

步驟3 路口 A1向A2發出請求,并等待 A2的協調結果.

步驟4 路口A2根據當前自身的交通狀態和學習結果,對A1的請求進行綜合評價,并向A1發出協調結果.

步驟5 路口 A1接收A2的協商結果,若協調成功,則A1執行決策1,A2執行自己的決策,本次局部路口間的協調結束.

步驟6 若A1與A2不能協調,則 A1向所在子區域Agent發送協調請求.

步驟7 區域Agent根據請求信息以及區域內整體交通狀況,在區域內部或區域之間權衡利弊,進行整體優化,并計算出新的協調方案.

步驟8 區域Agent協調方案可行,則將新的協調方案傳輸給各路口Agent執行,結束區域內部之間的協調;若區域 Agent協調方案不可行,則向其他區域Agent發送協調請求,在區域之間進行協調,直至在區域內找到最佳的調整方案為止.

3 仿真實驗

基于以上的模型和算法,采用VC++編寫交叉口仿真程序,以圖3所示的交通網絡中主干道相鄰兩交叉口A1,A2所組成的簡單交通網絡進行仿真實驗,如圖4所示,設交叉口環境為:4相位,且左轉設專用車道,左轉車流占進口車輛的20%,綠燈期間路口通過率為0.4 pcu/s,2交叉口間距為500 m,飽和流量為3 600 pcu/h,分別在不同車流大小情況下進行控制,并與兩交叉口定時控制和感應控制相比較,通過對比試驗,表1為在不同車流量的情況下車輛的平均延誤時間,圖5為車輛到達率為1 650 pcu/h的仿真效果圖.

圖4 相鄰交叉口相位運行圖

圖5 控制效果對比圖1-定時控制;2-感應控制;3-Agent協調控制

表1 相鄰交叉路口不同控制方式比較

從仿真結果可以看出,在交通流較小的情況下,2路口排隊的車輛較少,車輛的平均延誤較小,協調控制的作用效果不是很明顯;當車流量繼續增大但不超過飽和流量時,路口排隊等候的車輛逐漸增加,整體的性能指標明顯增加,即平均延誤增加,而通過協調控制算法與定時控制和感應控制相比,不僅單路口Agent可以根據不同方向車輛的到達情況實時調整不同相位的綠燈時間和信號周期,而且系統通過多路口 Agent進行協調,優化信號配時,因此數據明顯下降,控制效果明顯;當流量增加到飽和流量甚至超過飽和流量時,協調算法作用也不明顯,在這種情況下,在局部子區域內進行協調已經失敗,子區域必須向上級區域發送交通擁堵信息,請求在其他子區域的控制來調整該子區域的交通流量,或通過其他道路管理和控制手段,從宏觀上解決.

4 結束語

城市道路交通系統是一個復雜的時變系統,本文提出基于多智能體技術的交通區域控制系統結構,單路口Agent實體通過加強學習,對信號配時進行在線調整,實現局部優化,并通過Agent間的相互協調,以平均延誤最小為優化目標實現區域交通的整體優化,并以兩相關聯的交叉口進行仿真,驗證該方法的有效性和可能性.本文在將多智能體應用于交通控制領域方面進行了初步的嘗試,在此基礎上,進一步完善模型結構和協調算法,擴大區域協調控制的范圍是進一步研究的方向.

[1]劉燦齊.城市道路網路交通信號協調控制的優化[J].同濟大學學報,2003,32(8):1000-1004.

[2]承向軍,杜 鵬,楊肇夏.基于多智能體的分布式交通信號協調控制方法[J].系統工程理論與實踐,2005(8):130-135.

[3]王繼峰,陸化普.公路網布局的多目標優化模型[J].武漢理工大學:交通科學與工程版,2009,33(3):888-891.

[4]Jeffrey L,V ictor J.A cooperative multi-agent transportation managementand route guidance system[J].Transportation Reseach Part C,2002,10:433-454.

[5] 馬壽峰,李 英,劉 豹.一種基于Agent協調的兩路口交通控制方法[J].系統工程學報,2003,18(3):272-278.

[6]楊煜普,李曉萌,許曉鳴.多智能體協作技術綜述[J].信息與控制,2001,30(4):337-342.

[7]O liveira E.Multi-agent system:w hich research for which app lications[J].Robotics and Autonomous Systems,1999,27:91-106.

[8]黃艷國,許倫輝,鄺先驗.基于M u lti-agent協調的區域交通信號優化控制[J].江西理工大學學報,2009,30(1):49-52.

[9]黃艷國,許倫輝,劉文亮.基于GA的多相位交通信號模糊控制器優化方法[J].南昌大學學報:工科版,2006,28(1):38-41.