無人地面車輛測評體系研究

孫揚，陳慧巖

(1.河北工程大學 機電工程學院，河北 邯鄲056038;2.北京理工大學 機械與車輛學院，北京100081)

0 引言

預先制定好的測評體系可以很好地調動研究團隊對無人地面車輛某些關鍵技術及智能行為的研究熱情，明確相關技術的指標，從而引導無人地面車輛技術的快速發展。

20 世紀90年代無人地面車輛的測試和評價得到了美國軍方的推動。美國國防部先進研究項目局(DARPA)在PerceptOR 項目中進行了無人地面車輛環境感知能力的評價實驗［1］。此實驗選擇了美國6 個具有代表意義的環境展開測試，對無人地面車輛在樹林、沙漠、草地、山區等多種地形下的工作性能進行評價。此后DARPA 組織了3 屆無人地面車輛比賽，分別是2004年［2］、2005年的越野挑戰賽［1］和2007年的城市挑戰賽［3-4］，均受到了這個項目測試評價的影響，測試完全是第三方的測試，測試環境和測試內容對于參賽車隊是完全未知的，比賽以完成所有規定項目所消耗時間的長短作為評價指標。2005年9月，澳大利亞在智能交通系統(ITS)領域開展了名為SmartDemo 的賽事［5］，側重于試驗近10年來涌現出來的全球在車輛主動安全領域的技術進展。2006年5月，歐洲也舉辦了第1 屆類似于DARPA 越野挑戰賽、以軍方為背景的地面機器人試驗(ELROB)［6］，與美國的挑戰賽不同，歐洲的比賽更加強調自主性。2007年8月，歐洲又舉辦了面向城市環境C-ELROB 的比賽，測試環境中設計了針對城市環境的多種場景，考察無人地面車輛在未知環境中感知、導航和控制的能力，要求參賽車輛能夠在指定的未知環境中自主駕駛和采集相關指定信息。此后，ELROB 比賽環境根據任務分民用和軍用而不同，并每年交替進行。2011年荷蘭舉辦車輛協同競賽，利用車間距離等指標來評價無人地面車輛縱向控制和協作的性能［7］。比賽的目的是無人地面車輛在自主行駛的基礎上加快實現無線通信的互操作性，提高合作駕駛，并著眼于實時應用，以改善交通流量，減少交通擁堵。

為了推動和促進視聽覺信息認知計算模型、關鍵技術與驗證平臺研究的創新與發展，國家自然科學基金委員會相關學部與重大研究計劃指導專家組舉辦了以階段科研成果檢查為目的的競技比賽“中國智能車未來挑戰賽”，這也是重大項目階段性研究成果的集中體現。第1 屆“中國智能車未來挑戰賽”(FC2009)在中國無人地面車輛發展史上具有里程碑的意義。它是中國對于無人地面車輛首次第三方測試賽，推動了中國無人地面車輛駛出實驗室、駛向實際環境。同時，它也打破了過去那種自行研發、自行測試的無人地面車輛研制模式［8］。此后連續舉辦了4 屆“中國智能車未來挑戰賽”［9］。

本課題組圓滿完成了2010年、2011年、2012年、2013年“中國智能車未來挑戰賽”的比賽設計及測評任務，參與了測試環境、測試內容、測試方法、評價方法、評分標準等的設計和實施工作。無人地面車輛的測評體系包括:測試內容、測試環境、測試方法、評價方法。本文從以上4 個方面介紹無人地面車輛測評體系的研究，并以2013“中國智能車未來挑戰賽”為例，介紹其測評體系的設計。

1 分層次的測試內容設計

無人地面車輛的智能水平是逐步發展的，其認知能力也是分層次的，這就要求無人地面車輛的測試內容也對應有分階段、分層次的變化，體現出從簡單到復雜、由易到難的發展過程。對于無人地面車輛的基本能力測試，可設計簡單的測試內容;針對無人地面車輛高級、復雜的認知能力測試，則可以設計復雜的測試內容。

基于智能行為的要求，同時考慮到測試安全，并根據自然環境感知和智能行為決策的復雜度，分5 個層次進行考核。分別為:基本車輛控制行為，基本行車行為，基本交通行為，高級行車行為，高級交通行為，如圖1所示。

圖1 分層次的測試內容Fig.1 Hierarchical test content

2 測試環境設計

無人地面車輛在復雜、未知環境下的智能行為測試是無人地面車輛開發過程中的一項重要任務，是實現對無人地面車輛環境感知、行為決策等關鍵技術研究水平進行科學公正評價的重要手段。為保證智能行為測試的科學性、可重復性、安全性，必須基于無人地面車輛智能行為測試內容研究測試環境的設計。

通過分析測試環境與無人地面車輛智能行為的相互關系，研究測試環境要素定義及分類，建立測試環境模型。結合無人地面車輛的發展趨勢、測試目標和內容，分析測試環境的設計要求，設計分階段的測試環境。測試環境設計的方法如圖2所示。

2.1 建立測試環境模型

通過分析環境要素與無人地面車輛關鍵技術、智能行為能力之間的關系，對環境的影響因素進行分類，定義各類基本環境要素及其組成。基本環境要素可分為道路環境要素、與交通規則相關環境要素、障礙物環境要素、聽覺環境要素、光照環境要素、工作條件環境要素等類型，通過組合各類環境要素，研究各種真實道路環境的建立，形成測試環境理論模型，以實現對復雜真實環境的準確模擬。測試環境理論模型構建的研究方案如圖3所示。

圖2 測試環境設計Fig.2 Design of test environment

2.2 分層次測試環境設計

圖3 測試環境模型的構建Fig.3 Test environment model

根據無人地面車輛測試內容的層次性要求，研究測試環境的多層次(復雜度)設計方法。對于無人地面車輛的基本能力測試，設計簡單的測試環境。針對無人地面車輛高級、復雜的認知能力測試，通過組合不同類型的環境要素及環境先驗知識設計復雜的測試環境。針對某項測試模塊設計不同層次的測試環境，逐步提高測試的難度。

如車道保持是無人地面車輛的基本能力，對應的測試環境設計只需包括單一車道線要素，為提高車道保持能力的測試難度，通過增加標線污損要素、雨天環境要素可進一步考核無人地面車輛車道保持能力的魯棒性。

針對無人地面車輛復雜的超車能力測試，通過組合多車道線環境要素、動態車輛環境要素等設計測試環境，其中動態車輛的行駛速度應根據被測車輛的速度而確定。

針對無人地面車輛遵守交通標志通過路口的測試，通過組合交通標志詳細位置、具體類型等不同先驗知識設計多層次的測試環境。在測試環境中提供交通標志設置位置信息，可降低檢測交通標志能力的測試要求，提供交通標志類型信息，可降低識別交通標志能力的測試要求。改變測試環境的已知先驗知識，使測試環境的復雜度產生變化，逐步降低無人地面車輛遵守交通標志通過路口測試的難度，而在環境設計中增加通過路口的其他動態車輛環境要素，又可對無人地面車輛的環境感知和控制決策能力提出更高的要求。

3 測試方法

無人地面車輛的智能測試是無人地面車輛開發過程中的一項重要任務，是實現對無人地面車輛環境感知、行為決策等關鍵技術研究水平進行科學公正評價的重要手段。測試數據的采集需要在不限制被測試無人地面車輛的開發手段、不干擾被測試無人地面車輛行駛及其任務執行的原則下進行。

3.1 多平臺多傳感器融合測試技術

采用靜態平臺與移動平臺相結合的多平臺多傳感器融合測試技術，如圖4所示。針對無人地面車輛的考核要求，在各種道路測試環境中相應地點設置靜態測試設備，各靜態測試設備包括無線或有線通信裝置，可將測試信息實時傳輸至比賽裁判區。在移動平臺上安裝有攝像頭、激光雷達、無線通信裝置等，跟隨在被測無人地面車輛的后方。移動平臺上的GPS/慣性導航組合定位裝置用于采集移動平臺的行駛軌跡，軌跡的測量精度應達到厘米級。激光雷達用于測量移動平臺和前方無人地面車輛的間距及速度差，綜合移動平臺的行駛軌跡及移動平臺和無人地面車輛的相互位置關系，推算無人地面車輛的行駛軌跡。移動車輛上的攝像頭對無人地面車輛的行駛過程進行全程拍攝。無線通信裝置將拍攝圖像、推算的無人地面車輛行駛狀態信息發送至比賽裁判區。

圖4 多平臺多傳感器測試Fig.4 Test technology based on multiplatform and multisensor

3.2 無線圖像傳輸系統

為了給“中國智能車未來挑戰賽”比賽結果評價提供數據支持，并用于最終的比賽結果認定，以保證比賽的公正性，建立了移動的圖像監控系統，對無人地面車輛測試比賽全部過程和測試點、測試路段進行實時監控，采集比賽視頻圖像。根據無線圖像實時傳輸系統的建設目標和要求，需要在車與臨時監控中心之間實現圖像實時傳輸。在傳輸的過程中需要建立一套高效、穩定的無線移動監控圖像傳輸網絡，其中移動圖像傳輸技術是系統建設成敗的關鍵。

采用編碼正交頻分復用(COFDM)圖像傳輸設備將現場圖像通過無線信道傳輸到臨時監控中心。利用視頻網絡服務器將無線圖像傳輸設備傳輸的無人地面車輛的實時圖像通過Internet 網絡傳送到客戶端，客戶端便可在任何地方通過上網來瀏覽圖像。采用SV04 四路視頻網絡服務器，通過以太網將實時的圖像進行傳輸。無線圖像傳輸系統如圖5所示。

3.3 應答式交互測試系統

研究車載數據采集系統，采集被測試無人地面車輛在比賽過程中與導航、環境感知、控制與決策能力有關的所有過程數據和中間輸出結果。以停車線停車為例，無人地面車輛在一定距離外檢測到停車線后，開始減速，然后在停車線1 m 內停住。在這一過程中，無人地面車輛檢測到停車線時距停車線的距離、當時的車速、檢測到的停止線圖像、減速指令、車停住時距停車線的距離等關鍵數據及中間結果必須輸出到車載數據采集系統。

圖5 無線圖像傳輸系統Fig.5 Real-time image monitoring and display system

建立統一的通信協議(如USB 接口、串口通信、TCP/IP 通信)和握手機制，保證測試的公平、公正、可操作性。當然，為了避免被測試無人地面車輛本身輸出的數據有誤，對于一些重要數據，需要在外部測試地點采取相配合的測試手段。如停車線停車，在無人地面車輛停止后，可由人工進行測量它與停車線的實際距離，此時，車載采集數據僅作為參考數據。

通過采用這種應答式的交互測試方法，使對無人地面車輛認知能力的測試不僅僅局限于其外在行為(如是否停車)，還可以探尋到無人地面車輛的內部(即整個停車的過程是如何實現的)，從而為科學準確的評價提供了重要依據。

4 評價方法

本課題組在無人地面車輛定量評價方面作出了一些嘗試，起初采用數學方法對無人地面車輛的U 型轉彎、自動泊車這兩項測試內容進行了定量的評價［10］，后來提出了基于指標成本導向的無人地面車輛定量評價方法［11］和基于模糊層次分析法的無人地面車輛行為定量評價［12］。這些方法雖然實現了無人地面車輛的定量評價，但是采用的層次分析法在確定各個指標權重時還存在需要模糊判斷矩陣明確化和需要一致性檢驗等缺點。針對上述問題，課題組提出了模糊可拓展層次分析法。各個指標權重的確定考慮了人們判斷的模糊性和決策者的實踐經驗，而且不需要進行一致性檢驗。這種評價方法不僅考慮了完成任務的時間，也考慮了各級指標的完成質量。評價結果不僅考慮了所有因素的影響，而且保留了各級評價的全部信息。這就引導參賽車輛朝著高技術的方向發展。

4.1 指標評價體系建立

無人地面車輛智能行為的評價是一類多級綜合評價的問題，應根據無人地面車輛自然環境感知和智能行為決策的復雜度劃分成不同的評價層次。無人地面車輛智能行為的評價指標較為繁雜，根據全面性原則，初選指標允許難以操作或不可操作的指標存在，只求全而不求優，再逐步篩選優化。對于無人地面車輛的綜合評價，以核心指標作為網絡輸出，其他指標作為網絡輸入，建立前向神經網絡模型，通過網絡來刻畫出輸入和輸出之間的相關性。進而合理選擇需要的指標變量，排除不合理的指標變量。由于無人地面車輛技術在不斷發展，對于無人地面車輛智能行為的評價按照分層次的評價思路，確定一個能科學、客觀且盡可能全面反映對象目標特性的評價層次，包括:評價目標、評價方面、評價因素。在車輛控制行為、基本行車行為、基本交通行為、高級行車行為、高級交通行為等5 大指標和18 個次級指標的基礎上建立無人地面車輛智能行為評價指標體系和遞階層次關系。這樣通過對各級指標和次級指標量化，可以直觀地得出無人地面車輛哪幾項指標存在不足，指出以后改進的方向。層次分析結構如圖6所示。

圖6 無人地面車輛智能行為評價指標Fig.6 Evaluation index system of unmanned ground vehicles

4.2 可拓層次分析法

可拓展層次分析法引入可拓展理論，用區間數代替點值數構造可拓展判斷矩陣，克服了層次分析法在解決專家經驗判斷的模糊性問題，不需要判斷矩陣的一致性，有效避免了層次分析法中的大量試算工作，更加合理地確定無人地面車輛智能行為各個評價指標權重。

4.2.1 構造可拓判斷矩陣

采用美國運籌學家T. L. Saaty 提出的互反性1 ～9 標度法作為可拓區間層次分析法的標量化方法。構建可拓區間判斷矩陣其中是一個可拓區間數分別為判斷矩陣第i 行、第j 列可拓區間元素的下、上端點。

4.2.2 計算綜合可拓判斷矩陣和權重矢量

對可拓區間數判斷矩陣A = (A-，A+)，其中A-為區間下端點構成的矩陣，A+為區間上端點構成的矩陣，求其滿足一致性條件權重矢量的步驟如下。

步驟1 求A-、A+的最大特征值所對應的具有正分量的歸一化特征矢量x-、x+.

式中:q、m 分別為滿足0 ＜qx-≤mx+的全體正實數。

步驟3 判斷矩陣的一致性。若0≤q≤1≤m，則說明可拓區間判斷矩陣的一致性較好。

步驟4 求出

4.2.3 層次單層排序

式中:Pi表示某層上第i 個因素對上一層次上的某個因素的單排序，經歸一化后得到的P = (P1，P2，…，Pn)T，表示某層上各因素對上一層次上的某個因素的單排序權重矢量;表示兩個單層權重矢量可拓區間數的下、上端點。

4.2.4 層次總排序

如果k-1 層對總目標的排序權重矢量為W(k-1)=那么第k 層上全體元素對總目標的合成排序Wk由(5)式給出:

并且一般地有W(k)=P(k)P(k-1)…P(3)W(2)，這里W(2)實際上就是單項排序矢量。

4.3 模糊綜合評價法

4.3.1 單因素模糊綜合評價

進行單因素模糊綜合評價的基本步驟如下。

步驟1 確定因素集U = {u1，u2，…，ui，…，un}.

步驟2 確定評價集V={v1，v2，…，vj，…，vl}.

步驟3 給出單因素的評判矩陣:即對單個因素ui，i=1，2，…，n，的評判，得到V 上的模糊集(ri1，ri2，…，ril)，其中ri1表示ui對v1的隸屬度，則評判矩陣為

步驟4 確定權重和單因素模糊綜合評價模型。

4.3.2 模糊綜合評判

二級模糊綜合評判模型為

式中:Wi為第i 個因素的等級權重集，Wi=(wi1，wi2，…win)，Bi為第i 個因素的二級模糊評判結果，M 為各因素之間的模糊綜合評判結果。

4.3.3 計算綜合評價分數

若用總分數表示綜合評價結果，則根據越大越好的原則，可取評價標準的隸屬度集為μ = (高，較高，一般，較低，低)并附相應分值，如μ = (1.0，0.8，0.6，0.4，0.2)，則各級指標的綜合評價得分為

5 “中國智能車未來挑戰賽”設計

本課題組完成了4 屆“中國智能車未來挑戰賽”比賽設計及評測任務，歷屆測試內容見表1. 交通標志的數量是逐年遞增的。由識別靜態交通標志到行駛中識別交通標志，由避讓靜態障礙物到超車、合流，難度也是逐年遞增的。“中國智能車未來挑戰賽”測試環境由前兩屆比賽的模擬交通場景到后來的真實的城區道路環境;由城區道路環境到鄉村道路環境。由此可以看出“中國智能車未來挑戰賽”的測試內容和測試環境的設計是結合中國無人地面車輛技術的發展水平設計的，體現出從簡單到復雜、由易到難的分層次變化。

表1 “中國智能車未來挑戰賽”測試內容Tab.1 The test content of FC

2013年11月2 ～4日，由國家自然科學基金委主辦，常熟市人民政府承辦的第5 屆“中國智能車未來挑戰賽”在江蘇常熟市進行。課題組根據無人地面車輛測評體系的研究對比賽進行了測試內容、測試環境、測試方法和評價方法與標準的設計。比賽包括城郊道路測試(約為18 km)和城區道路測試(約為5 km)兩部分，均是真實的城郊道路和城區道路。城郊道路測試包括動態干擾車、信號燈識別、施工繞行、靜態障礙物識別等自主駕駛行為測試，如圖7所示。城區道路測試包括躲避過街行人、U 型轉彎、交通標志識別等自主駕駛行為測試，如圖8所示。本課題組研制的移動測試平臺-測試裁判車平臺(如圖9所示)搭載了視頻圖像信息采集系統、高精度GPS 導航系統和無線圖像傳輸系統等，完成了參賽車輛比賽過程的實時、全方位的監測任務，客觀、詳細地記錄了參賽車輛的自主行駛、違反交通標志標線及交通信號燈、人工干預等情況，保障了裁判工作的專業性和公正性，方便裁判記錄與核定參賽車隊各項成績。

圖7 城郊路段測試內容Fig.7 Test content on suburban road

圖8 城市道路測試內容Fig.8 Test content on urban road

圖9 移動測試平臺Fig.9 Moving test platform

2013年“中國智能車未來挑戰賽”的比賽測試場景見圖10 ～圖12，分別為:施工繞行、避讓靜態障礙物和動態干擾合流。無人地面車輛的評價方法按照4S(即安全性(Safety)、智能(Smartness)、平穩性(Smoothness)和速度(Speed))標準評價無人地面車輛完成測試任務情況。每輛參賽車的得分以完成任務總時間、考點得分、人工干預次數3 項成績分別排序，按照各項排序確定單項成績排名，最終按照3 項排序序號之和的平均值確定綜合排名。綜合測試了無人地面車輛的智能水平。表2是按照“中國智能車未來挑戰賽”的評價規則得到的評價結果。雖然實現了無人地面車輛的定量評價，但是并未指出其中哪項指標的不足和以后需要改進的方向，不利于無人地面車輛關鍵技術的發展。表3是基于模糊可拓展層次分析法的無人地面車輛評價，不僅可以對無人地面車輛各級指標進行評價，并且能夠對無人地面車輛進行綜合評價。

圖10 施工繞行Fig.10 Bypassing the road construction

圖11 避讓靜態車輛Fig.11 Avoiding the static vehicle

現以2013年“中國智能車未來挑戰賽”某車隊所統計的數據為例，介紹基于模糊可拓展層次分析法評價的過程。

無人地面車輛智能水平的評價過程從末級開始逐級向更高一級進行評價。首先從“基本行車行為”評價方面車道直道保持要素開始。

車道直道保持:G21=100B21μ =92.

依次評價“限速”、“避讓靜態障礙”、“U 型轉彎”評價因素，得到G22、G23、G24，進而對評價方面“基本行車行為”量化評價。

基本行車行為:G2=100B2μ =74.28.

各個評價方面完成評價后，得到G1、G3、G4、G5，最終實現無人地面車輛的定量評價。

綜合評價:G=100Bμ =58.382.

完備的測評體系實現了對無人地面車輛的評價，找出了其中的不足，引導了無人地面車輛關鍵技術的快速發展。

圖12 交叉路口合流Fig.12 Intersection merging

表2 FC2013 比賽結果Tab.2 The competition results of FC2013

6 總結

本文從測試內容設計、測試環境設計、測試方法和評價方法4 個方面闡述了無人地面車輛測評體系的研究。在未來比賽中需要充分考慮我國無人地面車輛技術現狀，設計具有可行性的測試內容、測試環境、研究相應的測試技術及評價方法，還需要面向未來無人地面車輛技術的發展，建立相對完備的測評體系。通過在規范的測試環境中對無人地面車輛運行的安全性、可靠性、穩定性和智能性進行評測，可以科學準確地考核無人地面車輛智能水平，又可以規范無人地面車輛技術的研究，進一步調動研究人員的研究熱情，促進無人地面車輛技術的快速發展，為無人地面車輛盡早跨入實用階段創造條件。

表3 基于模糊可拓展層次分析法的無人地面車輛評價Tab.3 The evaluation of unmanned ground vehicle based on Fuzzy-EAHP method

References)

［1］Krotkov E，Fish S，Jackel L，et al. The DARPA PerceptOR evaluation experiments［J］. Auton Robot，2007，22(1):19 -35.

［2］Behringer R，Sundareswaran S，Gregory B，et al. The DARPA grand challenge-development of anautonomous vehicle［C］∥2004 IEEE Intelligent Vehicles Symposium. Parma，Italy:IEEE，2004:226 -231.

［3］Miller I，Lupashin S，Zych N. Cornell University＇s 2005 DARPA grand challenge entry ［J］. Journal of Field Robotics，2006，23(8):625 -652.

［4］Urmson C，Anhalt J，Bagnell D. Autonomous driving in urban environments:Boss and the urban challenge［J］. Journal of Field Robotics，2008，25(8):425 -466.

［5］Anon Smartdemo［EB/OL］.［2010-09-01］. http:∥www. sapro.com.au/smartdemo/smartdemo2005.htm.

［6］Wildermuth D，Wolf H. Professional ground robotic competitions from an educational perspective:a consideration using the example of the European land robot trial (ELROB)［C］∥2012 6th IEEE International Conference Intelligent Systems. Varna，Bulgaria:IEEE，2012:399 -405.

［7］Lauer M，Gerrits A. Next steps for the grand cooperative driving challenge:ITS Events［J］. IEEE Intelligent Transportation Systems Magazine，2009，1(4):24 -32.

［8］Xiong Guang-ming，Zhou Pei-yun，Zhou Sheng-yan. Autonomous driving of intelligent vehicle BIT in 2009 future challenge of China［C］∥2010 IEEE Intelligent Vehicles Symposium. San Diego，CA:IEEE，2010:1049 -1053.

［9］Gong Jian-wei，Jin Xiao-long，Jiang Yan，et al. BIT:an autonomously driving vehicle for urban environment［J］. Communications of CAA，2010，32(2):43 -51.

［10］Xiong Guang-ming，Zhao Xi-jun，Liu Hai-ou . Research on the quantitative evaluation system for unmanned ground vehicles［C］∥2010 IEEE Intelligent Vehicles Symposium (IV). San Diego，CA:IEEE，2010:523 -527.

［11］Sun Yang，Xiong Guang-ming，Chen Hui-yan. A cost functionoriented quantitative evaluation method for unmanned ground vehicles［C］∥2011 International Conference on Advanced Measurement and Test. Nanchang，China:The Intelligent Information Technology Application Research Association，2011:701 -706.

［12］Sun Yang，Tao Gang，Xiong Guang-ming，et al. The fuzzy-AHP evaluation method for unmanned ground vehicles［J］. Applied Mathematics ＆ Information Sciences，2013. 7(2):653 -658.