面向自動駕駛的駕駛環境視覺感知復雜度量化評估方法

余榮杰，趙歲陽，董浩然

(1. 同濟大學 道路與交通工程教育部重點實驗室，上海 201804；2. 新加坡國立大學 土木工程系，新加坡 117576)

自動駕駛汽車作為具有環境感知、規劃決策、控制執行等功能的自動化物理信息系統，目前正處于規模化開放道路測試與示范運行服務階段。然而，美國加州的自動駕駛汽車開放道路測試安全報告表明，在自動駕駛脫離事件中，系統故障是最常見的脫離原因，而系統故障中，感知系統故障占據主要原因[1]。自動駕駛汽車通過攝像頭、雷達等多源傳感器進行環境感知，其中基于攝像頭的視覺感知作為圖像信息密度最高的傳感器，是自動駕駛汽車中不可或缺的核心模塊[2]，而自動駕駛汽車與人類駕駛者的視覺感知機理、視覺認知局限等存在明顯差異[3]。因此，自動駕駛汽車的規模化推廣應用，需從自動駕駛汽車視覺感知視角開展道路優選、場景評估等相關研究。

目前，國內外已經開展面向自動駕駛汽車的道路分級方法、駕駛要素場景評估等研究。2014年Nitsche等[4]通過文獻調研與網絡問卷對自動駕駛汽車駕駛環境中的道路標線、交通標志、天氣狀況等多要素展開安全性評估研究。2018年北京市發布的《北京市自動駕駛車輛測試路段道路要求(試行)》[5]根據駕駛場景特征指標對自動駕駛測試路段道路進行評估分級。2018年深圳市制定的《深圳市智能網聯汽車道路測試開放道路技術要求(試行)》[6]將人、車、路、環境等4類因素納入到道路交通復雜度評價中。2018年Roxas等[7]從計算機視覺感知角度出發，對駕駛環境中交通標志的認知效果進行評估，以維持道路中交通標志系統的標準化。2019年Lu等[8]通過開展自動駕駛汽車駕駛場景評估，對道路標線、交通標志、交通信號燈等感知要素提出標準化的要求。然而，上述道路分級方法是從駕駛場景特征進行定性分級，尚未形成系統化、標準化的評價方法，而場景要素評估側重于靜態駕駛環境，忽略動態駕駛環境的影響。因此，本研究從自動駕駛視覺感知的角度出發，開展道路駕駛環境視覺感知復雜度評估，根據視覺感知結果實現道路視覺感知復雜度分級。

考慮到現階段自動駕駛道路測試受到交通管制、樣本量、成本等條件限制，本文以計算機視覺模擬自動駕駛汽車環境感知，從視覺感知結果出發，針對城市路網展開駕駛環境視覺感知復雜度研究。主要內容包括構建自動化街景圖像數據提取平臺，獲取上海市典型城市道路街景圖像樣本數據；針對感知關鍵要素構建駕駛環境要素感知平臺，并以感知準確率作為感知精度評估指標，采用熵權法對感知關鍵要素進行賦權計算綜合感知準確率；基于K-means++聚類算法對綜合感知準確率進行分級，建立城市路網駕駛環境視覺感知復雜度分級標準。

1 數據獲取

1.1 街景圖像數據獲取

自動駕駛汽車環境視覺感知的測試數據源是以城市道路為單元、街景圖像為單位，要求圖像清晰連續，能表征道路的整體特性。為此，以百度街景地圖作為車載視角的駕駛環境圖像數據源，搭建自動化街景圖像數據提取平臺，在腳本文件與截圖工具PicPick的基礎下，采用連續截取、自動保存的方式獲取指定道路街景圖像數據集，實現圖像高效獲取以及數據連續性，技術路線如圖1所示。在自動化提取平臺下，圖像獲取速度可達到20～25 張/min，圖片為PNG格式，分辨率為851×610。

圖1 自動化提取平臺技術路線Fig.1 Technical route of automated extraction platform

以上海市路網為例，選取50條典型道路，在自動化提取平臺中得到8 919張駕駛環境數據，圖像平均截取距離在10 m左右。由于街景圖像具有景深，延伸范圍遠超過10 m，因此，10 m左右的平均截取距離能表征道路駕駛場景的完整信息。

1.2 感知關鍵要素測試數據獲取

1.2.1 駕駛環境要素感知平臺

駕駛環境作為自動駕駛汽車規劃決策的信息依據，包括靜態駕駛環境、動態駕駛環境兩大類[9]。靜態駕駛環境主要有交通標志、標線，動態駕駛環境主要有紅綠燈、車輛、行人、天氣。2018年北京市出臺的《北京市自動駕駛車輛道路測試能力評估內容與方法(試行)》與上海市出臺的《上海市智能網聯汽車道路測試管理辦法(試行)》在自動駕駛汽車測試內容、評估項目上雖有所區別[10]，但在感知層面集中在交通標志、交通標線、紅綠燈、車輛、行人5方面。因此，針對這5類感知關鍵要素，參照現有典型識別技術及算法構建駕駛環境要素感知平臺。行人方面，方向梯度直方圖+支持向量機(HOG+SVM)的方法被認為是行人檢測的標準方法[11]。車輛方面，2016年Fan等[12]采用快速卷積神經網絡進行車輛識別，在kitti數據集下不同車輛檢測難度的準確率依次為95.14%、83.73%和71.22%。紅綠燈方面，2016年Moizumi等[13]基于RGB色彩空間分割實現信號燈識別，該識別流程簡單，漏檢較少，擁有較高的識別效果。交通標線方面，2017年郭笙聽等[14]基于Hough變換和卡爾曼濾波進行車道線識別，車道線檢測準確率可達94%，對不同路況、光照條件下的車道線均具有較好的適應性。交通標志方面，2019年Rajendran等[15]采用YOLO v3物體檢測算法對德國交通標志檢測識別數據集進行檢測，平均精度均值mAP達到92.2%，具體算法及原理如表1所示。并對街景圖像進行感知測試，測試樣例如圖2所示。

表1 感知關鍵要素識別算法及原理Table 1 Recognition algorithms and principles of perception key elements

圖2 感知關鍵要素測試樣例Fig.2 Test samples of perception key elements

1.2.2 交通要素感知評估方法

視覺感知復雜度評估需要通過量化要素感知精度實現。對于行人、車輛、紅綠燈、交通標志，感知檢測方法是確定要素輪廓，常采用精確率、召回率、準確率、F1分數等作為算法識別度量指標。在上述評價指標中，準確率是被正確預測為正例數與全部樣例的比值，能反映算法識別的真實水平。一般機器學習性能評估時，數據集通常包括正負樣本，預測結果以圖像數為單位。而實際道路感知準確率計算時，并不存在正負樣本的分組對照，無需考慮將負例正確預測為負例(nTN)的情況，并且單張圖像中可能包含多個同一要素，因此，行人、紅綠燈、交通標志以及車輛的感知精度是以要素個數為單位，感知準確率(perception accuracy)P計算公式如下：

(1)

式中，nTP為將正例正確預測為正例的要素個數，nFN為將負例錯誤預測為正例的要素個數，nFP為將正例錯誤預測為負例的要素個數。

交通標線的檢測方法是擬合車道標線，識別評判方法有橫向偏差、角度偏差、重疊道路區域等，但缺乏統一的判斷標準[20]。根據《公路項目安全性評價規范》[21]，車道保持是車輛行駛尤其是在平曲線段行駛的主要目的，而橫向偏移常被用來表征橫向位置的穩定性[22]，但對于偏離大小的標準，實際上沒有明確的規定。為此，借鑒自動駕駛橫向控制下車道保持的安全距離175 mm作為偏移閾值[23]，從自動駕駛感知的視角判斷識別結果能否支持汽車的橫向控制。而自動駕駛車輛橫向偏差是由感知偏差和控制誤差等諸多誤差疊加，目前自動駕駛橫向控制誤差最大在100 mm左右[24]，同時車道標線寬度為150 mm。因此，從車道標線中心線出發，車道識別值與真值之間相對位置的容許橫向偏移范圍為(-150,150)mm，當視覺偏差在該范圍內即可實現車道保持的目的。基于逆透視變換生成車道標線鳥瞰圖，如圖3所示。判斷單邊車道標線完全處于橫向偏移容許范圍內以及虛實線判斷是否正確，單邊車道標線感知準確率結果為0/1分布，以左右側準確率平均值作為車道標線感知準確率：

(2)

圖3 車道識別鳥瞰圖Fig.3 Bird′s eye view image of lane detection

基于駕駛環境要素感知平臺以及單要素感知準確率計算方法，對上海市50條典型道路8 919張街景圖像數據進行單要素感知精度量化，感知準確率結果如圖4所示。

圖4 感知關鍵要素感知準確率Fig.4 Perception accuracy of perception key elements

2 駕駛環境視覺感知復雜度量化模型

2.1 熵權法加權

在各類要素感知精度的基礎上，為構建綜合性視覺感知復雜度指標，需探索多要素融合和綜合等級劃分等方法。鑒于自動駕駛汽車運行算法的黑箱特征，目前暫無法得知自動駕駛汽車視角下駕駛環境中各要素相對重要程度。考慮準確率及其波動性是復雜度評估的兩個重要維度，而熵權法是根據各指標差異程度確定權重的客觀賦權方法[25]，可以將各要素感知準確率波動性納入評估中。因此，本文采用熵值法建立了波動性數據驅動下的客觀權重賦值技術方法。熵值法要素賦權步驟如下。

意識形態的認同對于國家統合具有重要的影響。國民黨執政時期，對于國民黨思想和組織的統合，對于知識界認同的爭取、民眾情感與信仰的凝聚均不算成功。王世杰在1943年2月18日的日記中寫道:“今晚為新生活運動九周年紀念之前夕，蔣先生在紀念會上作甚長之演說。聽眾雖俱為中央委員或新生活運動會干部分子，但予總覺彼等內心對于此一運動仍缺乏篤行與身體力行之誠意。總干事以黃仁霖充任，似只能作若干表面的工作，不能使一般知識界對于此一運動增加其注意與敬重”?。可見，無論是黨內，還是黨外，國民黨的意識形態宣導都不能發揮其作用。

(1)構建要素數據矩陣。根據m條道路n類要素感知準確率數據，組成初始要素數據矩陣A。

(3)

式中，Pij為道路i要素j的感知準確率，m為道路數，n為要素個數。

(2)計算要素j下道路i的感知準確率占所有道路的比例rij。

(4)

(3)計算要素j的信息熵值ej。

(5)

式中，k為常數，k=1/lnm。

(4)計算信息效用值。信息效用值dj又稱信息熵冗余度，取決于信息熵值ej與1之間的差值。

dj=1-ej。

(6)

(5)根據各要素的信息效用值計算權重wj。

(7)

在上海市50條典型道路5類感知關鍵要素的感知準確率數據下，根據熵權法的基本步驟，計算各感知關鍵要素權重，結果如表2所示，綜合感知準確率(integrated perception accuracy)I計算公式如下：

I=0.18Proad marking+0.27Ptraffic light+0.16Ptraffic sign+0.20Ppedestrain+0.19Pvehicle，

(8)

表2 感知關鍵要素權重Table 2 Weight of perception key elements

從權重結果可以看出，各要素權重均分布在0.20左右，由此可見各要素感知結果的一致性較為接近，從圖4中也可以看出，各要素的波動范圍較為集中，重疊區域較多。各要素橫向對比可知，紅綠燈識別的一致性較差，感知準確率分布范圍在[0.25,1]，相應的權重最大，為0.27。

2.2 輪廓系數法分組

由于視覺感知復雜度是由多因素構造而成的新指標，難以通過人工標注進行等級劃分。因此，采用非監督學習方法進行分級，該方法常用于分級問題的類別自動劃分[26]，其中，K-means聚類因其原理簡單、收斂速度快在分級評估中應用廣泛，但存在聚類簇數K需提前給定、初始聚類中心選取存在隨機性等問題。為此，采用輪廓系數法和K-means++聚類作為視覺感知復雜度分級方法。

輪廓系數法是根據數據對象間的相似性或距離評估聚類質量的度量指標，包括聚類簇內的凝聚度ai與簇間的分離度bi。其中，凝聚度ai是道路i的綜合感知準確率Ii與同屬簇其他樣本的平均距離，分離度bi是道路i的綜合感知準確率Ii到最近簇中所有樣本的平均距離，則道路i的輪廓系數si為：

(9)

所有樣本道路輪廓系數平均即為平均輪廓系數SK：

(10)

式中，K為聚類簇數，m為樣本道路數。

基于輪廓系數計算步驟以及綜合感知準確率數據，得到不同聚類簇數K下平均聚類輪廓系數SK，如表3所示。結果表明，最佳聚類簇數為K=3，S3=0.577 4，對應的輪廓系數圖如圖5所示，圖中每個藍條代表一條道路。

表3 不同聚類簇數K下輪廓系數Table 3 Silhouette coefficient under different clustering numbers K

圖5 輪廓系數K=3的輪廓圖Fig.5 Silhouette graph with silhouette coefficient K=3

2.3 K-means++聚類分級

K-means++聚類算法主要是優化了K-means聚類的初始聚類中心選取方式，以保證聚類中心之間的距離盡可能遠為原則[27]，避免因初始聚類中心的隨機性變動出現局部最優解，后續聚類迭代方式與K-means聚類一致，具體步驟如下：

(1)從樣本道路綜合感知準確率數據I=(I1,I2,…,Ii,…,Im)中隨機選取某一數據作為初始聚類中心c1。

(2)計算綜合感知準確率Ii與已有聚類中心ca之間的距離D(Ii)以及被選為下一個聚類中心的概率Pi，并用輪盤法產生隨機數確定下一聚類中心。

D(Ii)=Ii-ca，

(11)

(12)

(3)重復步驟(2)直到選出K個初始聚類中心C=(c1,c2,…,ca,…,cK)。

(4)根據與初始聚類中心的距離D(Ii)，劃分綜合感知準確率Ii至最近聚類中心類簇中，得到類簇為(y1,y2,…,ya,…,yK)，樣本數為(d1,d2,…,da,…,dK)。

(5)重新計算各類簇ya的聚類中心c′a，迭代計算直至聚類中心C′不再變動，即為最終聚類類簇。

(13)

根據聚類簇數K=3以及上述K-means++聚類步驟，對樣本道路綜合感知準確率數據進行聚類分級，結果如圖6所示。采用綜合感知準確率分級區間表征視覺感知復雜度等級(visual perception complexity level)L，如表4所示。

圖6 視覺感知復雜度分級道路編號Fig.6 Classification of visual perception complexity

表4 視覺感知復雜度分級標準

3 結果分析

從結果可以看出，上海市道路駕駛環境視覺感知復雜度分為三級，其中大部分樣本道路的視覺感知復雜度等級位于2級，占到44%，視覺感知復雜度等級為1級與3級的道路數量接近。由此可見，在自動駕駛汽車視覺感知層面上，樣本道路整體處于中等水平。為了分析不同的設計建造標準是否會導致自動駕駛汽車視覺感知復雜度的差異，在不同等級道路間進行感知準確率與視覺感知復雜度對比，繪制感知準確率箱線圖與視覺感知復雜度直方圖，如圖7所示，并進行方差分析，結果如表5所示。

圖7 不同等級道路綜合感知準確率箱線圖和視覺感知復雜度等級直方圖Fig.7 Integrated perception accuracy box plot and visual perception complexity histogram for roads of different grades

表5 不同等級道路綜合感知準確率和視覺感知復雜度方差分析

從箱線圖與直方圖結果可以看出，主干路支路之間的綜合感知準確率、視覺感知復雜度差異較為明顯，而次干路與支路間的差異不大，其中支路與次干路的綜合感知準確率整體高于主干路，支路視覺感知復雜度整體低于主干路。而方差分析結果顯示，主干路與支路間的綜合感知準確率與視覺感知復雜度均存在極顯著差異，而主干路與次干路間的綜合感知準確率存在邊緣顯著差異，可能是由駕駛環境的差異性所致，支路的駕駛環境組成同主干路相比相對簡單，環境因素對自動駕駛汽車感知功能的干擾較小，因此支路的視覺感知復雜度整體水平比主干路低。而主干路與次干路在交通功能存在部分重疊，駕駛場景的差異區分度不夠，因此主干路與次干路在綜合感知準確率上存在邊緣顯著差異。而進行不同等級道路下各要素感知準確率方差分析時發現，除支路與主干路、次干路在紅綠燈感知準確率上存在顯著差異外，其余要素感知準確率在不同等級道路間并不存在顯著差異，由此可以確定，道路等級不是造成視覺感知復雜度分級的主要因素。

4 結語

本文從自動駕駛汽車感知角度出發，建立了普適性的城市路網駕駛環境視覺感知復雜度量化評估方法。通過搭建自動化街景圖像數據提取平臺，實現了圖像數據連續性以及高效獲取，得到了上海市道路街景圖像數據。選取駕駛環境中行人、交通標志、交通標線、紅綠燈、車輛作為感知關鍵要素構建駕駛環境要素感知平臺。在各要素感知準確率結果的基礎上，建立駕駛環境視覺感知復雜度量化模型。模型結果顯示，上海市50條典型道路駕駛環境視覺感知復雜度可分為三級，視覺感知復雜度整體處于中等水平，并且支路與次干路的綜合感知準確率整體高于主干路，支路視覺感知復雜度整體低于主干路，并確定道路等級不是造成視覺感知復雜度分級的主要因素。

本文研究成果可為自動駕駛汽車開放測試以及運營提供城市道路優選指導，同時也可以作為城市道路駕駛環境優化的參考依據。但由于目前沒有按駕駛環境分類的數據集，而實車試驗驗證感知復雜度分級的方法存在諸多限制條件，因此，目前暫時無法對視覺感知復雜度分級結果進行驗證。同時，本研究是從自動駕駛汽車視覺感知角度開展駕駛環境視覺感知復雜度研究，而實際上自動駕駛汽車環境感知系統中集成了攝像頭、毫米波雷達、激光雷達、超聲波雷達等多樣化的感知單元，在未來可以結合雷達數據開展更為全面的感知復雜度研究。