張宏 于海亮 鄭贊 袁勝東 熊國強



關鍵詞:智能交通;交通管理系統;數字孿生;道路交叉口;以虛控實;機器視覺
數字孿生(digitaltwin)是以數字化虛擬空間的方式建立物理空間的多維度動態實時仿真模型來模擬現實環境中的要素、規則等。數字孿生最早應用于航空航天領域。在相關武器生產過程管控環節中,極大提高了工藝效率和品質。由于數字孿生具有以虛控實和實時迭代交互的特點,對于中國制造2025戰略的實現和智慧交通的發展也將起到至關重要的作用。
當前,隨著行業具體應用的拓展與應用需求的升級,數字孿生呈現出需求的升級。陶飛、劉蔚然等提出數字孿生在工業、醫療、數字孿生城市等行業應用的框架[1]。其后,陸續有數字孿生應用概念被提出,但大多圍繞數字化工業生產及實時調度,在數字孿生交通行業應用方面更加傾向于理論研究,對于具體應用相對缺乏。如能促成該項技術的具體應用,可為智慧交通的實現“添磚加瓦”,也可促成部分交通問題的解決。該項技術在交通行業的具體應用也可與自動駕駛技術所需的環境識別數據進行共享,二者互相促進所識別交通數據精確度的進一步提高。
另外,當前針對物理空間的數字化建模缺少能體現具體物理空間對象的多維動態模型構建、多時空尺度模型。已有的集成度或融合度較低的模型難以真實刻畫物理空間,應用相關仿真結果從而也不夠精確,設法構建精確度較高的模型是當前發展的新趨勢,研究可為道路交叉口微觀仿真和多維多時空的仿真模型結合交通行業具體應用提供支持。
本文將從多維度、多時空尺度模型著手,對交通關鍵節點之道路交叉口的數字孿生建模的要素、構建理論體系進行探討;對基于數字孿生的道路交叉口模型運行機制與構建關鍵技術進行分析;基于機器視覺進行交叉口要素識別;分析“以虛控實”的數字孿生道路交叉口構建關鍵技術。
1模型要素及建構理論體系
1.1數字孿生模型要素
數字孿生道路交叉口(roadintersection,RI)模型包括物理空間(physicalspace,PS)、虛擬空間(virtualspace,VS)、服務(transportationservicesystem,TSS)、孿生數據(digitaldata,DD)和連接(connection,CN)[2]。現若令PS表示現實道路交叉口,VS表示數字化交叉口,TSS表示交通服務系統,DD表示道路交叉口孿生數據,CN表示各部分間的連接,則道路交叉口(RI)數字孿生模型表示為:
該模型能滿足數字化道路交叉口的相關需求[3-4],其結構能與全新的信息技術(informationtechnology,IT)集成交融。物理空間(PS)是數字孿生道路交叉口模型的構成基礎。首先建立各交通要素的數字映射,從而實現單獨個體數據化描繪和交通行為預測;虛擬空間(VS)是從物理、行為、幾何和規則等幾個方面,運用多維度、多時空尺度刻畫物理空間,可使用虛擬現實(virtualreality,VR)、增強現實(augmentedreality,AR)等技術實現虛實數據交互;交通服務系統TSS是對數字孿生應用過程中模型、數據、算法進行封裝,向用戶提供各項業務。其中面向用戶提供的公眾號等便捷式使用方式需“傻瓜式”操作,如此可降低使用門檻,滿足大眾需求;孿生數據(DD)包含物理空間中各交通要素的幾何參數、屬性、內部運行機制和基于歷史關聯數據的規律規則,通過信息物理系統實現各交通要素間多源異構信息的實時交互[5-6];連接(CN)實現各部分的連接暢通,即:
式中:PD實現PS和DD的連通;PV實現PS和VS的連通;PT實現PS和TSS的連通;VD實現VS和DD的連通;VT實現VS和TSS的連通;TD實現TSS和DD的連通。
數字化道路交叉口模型結構如圖1所示。
1.2數字孿生模型構建理論體系
基于上述對數字孿生道路交叉口模型要素的闡述,本節進一步分析數字孿生模型構建理論體系[7]。模型構建是模型“以虛映實”、“以虛控實”實現的基礎。模型構建理論體系如圖2所示。
模型構建階段是對道路交叉口物理空間的各交通要素構建多維度基本單元模型,構建的模型精確度較高,可實現對物理對象的完整刻畫;模型組裝階段即以空間維度為基礎,明確各單元模型所屬級別及組裝排序,同時還需側重考慮各部分間的空間約束關系,最后基于空間約束按順序組裝模型;模型融合是針對模型組裝無法有效解決復雜系統模型構建的問題提出的。針對交通道路交叉口而言,需設計數控系統、用戶端或公眾號等不同領域的交叉融合。
模型驗證階段是繼模型融合后的一個階段,這個階段是通過驗證模型以確保精確性。單元級模型優先進行驗證,以保證基礎構建的準確性。若模型驗證結果無法滿足要求,則需進一步校正模型,如圖3所示。模型校正作用于模型驗證后的結果偏差較大,導致實用度或精確度不高。就道路交叉口而言,模型驗證的結果若出現物理環境與虛擬環境偏差較大,無法滿足使用,此時就需進行校正。具體校正參數需通過算法反復迭代優化,直至確定此時刻最優參數。
模型管理是模型構建的最后一個階段,此階段可通過管理模型及通過算法篩選有用信息從而為用戶提供服務。模型管理階段可開發便捷的移動端或微信內嵌公眾號,以方便普通用戶實時了解道路交叉口交通狀況及預測下段時間變化程度。為方便后臺人員進行后續模型構建和修正,模型管理階段還需對模型驗證、校正參數進行分類儲存。
2模型運行機制
本節從交通要素管理、交通狀況控制2個方面闡述數字孿生道路交叉口的運行機制,如圖4所示。
交通要素管理或輸入(如交通指令)階段反映了物理空間(PS)與交通服務系統(TSS)的交互過程。當數字孿生系統接收到一個輸入(如交通指令)時,TSS在孿生數據中的交通要素管理歷史數據驅動下,對各要素進行管控,得到滿足要求的初始管控方案。TSS通過PS傳送的實時數據,對初始調控方案進行評估和修正,將方案最終輸出為物理空間道路交叉口的初始信號燈變化運行指令。各交通要素在信號燈管控下調整到合適狀態,在此過程中持續將實時數據反饋至TSS,豐富TSS的歷史數據庫。
圖4中運行指令輸入階段或輸出(如信號燈變化)階段,展現了交通狀況管控的實時優化過程,也反映了物理空間與虛擬空間的交互過程。物理空間接受運行指令,按照指令管控信號燈。在實際交通狀況調控過程中,虛擬空間接受物理空間的實時數據,同時根據現有實時狀態進行更新,并對調控結果與預定結果仿真對比,進而設法減小干擾因素的影響。該階段實時仿真數據輸入孿生數據庫,可完善初始數據。
通過以上兩個階段,數字孿生模型生成預期管控指令,并通過迭代優化調整道路交叉口交通狀態至最優,相關信息備份至TSS,并準備完成后續指令。經過孿生數據的不斷交互,TSS可利用每次的管控數據進行深度學習,不斷提高智能化程度。
3模型構建關鍵技術
道路交叉口運行是交通要素之“人、車、路、環境”相互協同、相互關聯的一個動態實時過程。圖5為從各交通要素角度出發的數字孿生道路交叉口數據交互設計理念圖。
在對單元級要素建模之外,需考慮不同要素間的相互影響并進行實時修正[8]。針對我國城市交通大流量道路交叉口的實際運行狀況,需綜合考慮各交通要素相互影響。首先研究基礎環境、路網建模,其次由于不同車道的固有屬性和借道許可不同,還需研究交通信號配時相位,并在虛擬場景中模擬真實配時并對交通狀況實時修正。
對車輛行為進行數學建模,優化車輛行駛模型,對汽車跟隨模型、直走與轉彎模型進行優化。若令M為數字孿生模型,車輛行為(vehiclebehavior,VB)模型為式中:MVF為車輛跟隨(vehiclefollowing,VF)模型,MVS為車輛直走(vehiclestraight-through,VS)模型,MVF為車輛轉彎(vehicleturning,VT)模型,可通過實時數據庫對各模型進行修正。
道路交叉口交通運行數據包括實時氣候數據、信號燈配時、視頻監控等多源傳感器數據,分析物理場景中獲取的數據特征與構建虛擬場景之間的關聯[9],實現傳感器數據在虛擬場景中實時交互。數字孿生道路交叉口建模關鍵技術如圖6所示。
道路交叉口交通場景中,各交通要素之間都存在一定的交互作用,在具體建模時,需考慮各要素之間的影響作用,如此可對參與者交通行為精確定位和預測。還需考慮環境因素對參與者交通行為的影響,環境影響因素如式(4)所示:
式中:各部分分別代表道路交叉口運行時期的環境影響因子,其中Eif為環境總的影響因子,Et為溫度因子,Ew為風速因子,Er為降雨量因子,El為光照強度因子,其余各項對應權重ω可根據當地氣候條件適度修改。比如在東南沿海地區,降雨量權重應相對較高一些。各項參數可通過布置在道路交叉口的傳感器獲得。
基于Wdp4.0、Unity3D、UE5等數字場景建模軟件,可將數字化道路交叉口各部分環境一一映射,如圖7和圖8所示。具體應用落地時,對于影響交通狀態中的環境因素部分需相應進行更改。
基于新一代YOLOv5機器視覺技術、VISSIM等交通仿真軟件[10-12],可實現數字孿生道路交叉口管理系統的交通要素識別與運行狀態仿真預測功能。
本文基于新一代的YOLOv5視覺目標識別技術,對呼和浩特市某道路交叉口進行計算機識別,如圖9所示。YOLOv5的AP精度較高,含有多種網絡結構,使用更加靈活,但對于GPU的推理時間消耗較多。測試時使用的機器視覺技術為YOLOv5,相關參數如表1所示。其中,NMS為“非極大值抑制(non-maximumsuppression)”的縮寫。
基于攝像頭、激光雷達、毫米波雷達等道路交叉口傳感器[13-14],對多個傳感器數據進行融合交互,可在各種天氣和光照環境下,聚焦車輛和行人。各傳感器融合數據可按式(5)執行:
式中:Drec為數據接收設備rec的數據,Dcam和Dsens分別是來自于道路交叉口攝像頭或球機cam和雷達傳感器sens的實時數據,各權重可依靠光照和能見度條件進行判別,如毫米波雷達傳感器適合應用于諸如塵霧等惡劣天氣環境,使用該傳感器可以讓系統輸入數據更加精確。
激光雷達通過測定發射器與待測定物體之間的相對距離,分析待測定物體表面的反射能量大小、反射波譜的幅度、頻率和相位等數據,從而對信號配時相位訓練,測試不同相位對道路交叉口交通狀態影響,呈現出待測目標精確的3D數據,如圖10所示。
圖11是數字孿生道路交叉口管理系統架構,由球機、路口監控和激光雷達等交通監測設備將物理空間及其所屬的交通要素、交通信號和車道線等物理空間屬性,與光照、天氣等環境因素寫入邊緣計算單元,同時將自動駕駛地圖(高精度地圖)一并寫入,邊緣計算單元將數據整合后輸入Wdp4.0等數字孿生環境建模軟件進行實時建模,此類軟件可高度模擬自然環境,并能處理多源異構數據。
經YOLOv5等目標識別算法解析交通要素后,由VISSIM等交通仿真軟件實時仿真預測交通狀態,并將最佳相位配時輸入至決策命令輸出模塊,由決策命令輸出模塊輸出控制信號,實時控制交通信號燈、交通標志工作。注意此環節需由人工進行最終確認驗證方可執行,以避免算法可能出現的錯誤。
4結論
針對道路交叉口進行數字孿生建模,可以全方位實時管控交通狀況,同時可以為即將到來的自動駕駛時代提供基礎識別數據。
對數字孿生道路交叉口模型要素及構建理論進行了分析;通過道路交叉口交通運行的特征,從人、車、路、環境4個交通要素入手,對數字孿生道路交叉口模型需要解決的核心技術進行了分析;針對交通4要素的數字化建模,可完整模擬道路交叉口實時交通運行狀態。
利用YOLOv5對道路交叉口交通狀態進行了實時機器識別;運用交通仿真軟件VISSIM、數字孿生場景建模軟件Wdp4.0等、機器視覺技術和雷達成像技術對數字孿生道路交叉口管理系統進行了初步構建。該數字孿生交叉口模型構建技術符合實際需要,能對實際環境進行高清建模,可為交通規劃部門創建數字孿生調控窗口,通過控制實時交通信號燈相位來高效調節路網交通狀態。