俯視鄰近行人風(fēng)險量化分析方法

黃俊達(dá)，楊大偉，毛 琳

(大連民族大學(xué) 機(jī)電工程學(xué)院，遼寧 大連 116605)

在人-車混行道路，分析街道中的風(fēng)險行人對智能車載自主巡航系統(tǒng)尤為重要。本文提出一種行人風(fēng)險量化分析方法，旨在為規(guī)避危險行人提供更充分的風(fēng)險分析判決數(shù)據(jù)。

行人風(fēng)險分析方法由多種算法模塊組成，具體包括目標(biāo)檢測[1-2]、圖像分割[3-4]、目標(biāo)跟蹤[5-6]和路徑檢測[7-8]等算法模塊。目前，單目視覺行人風(fēng)險方法直接從單目平視視角進(jìn)行風(fēng)險判別，判定左右運(yùn)動朝向與車行區(qū)域存在交集的行人為危險行人。此類算法具有實(shí)時性，但受到單目平視視角透視扭曲限制，難以預(yù)測行人運(yùn)動軌跡，判據(jù)有失客觀性。Keller和Gavrila提出一種單目圖像行人姿態(tài)識別方法[9]，以高斯動態(tài)模型和稀疏光流處理為核心，能夠有效識別行人運(yùn)動朝向；文獻(xiàn)[10]為單目視覺行人運(yùn)動姿態(tài)識別方法研究，作者對圖像進(jìn)行稀疏光流分析獲取行人輪廓，通過計(jì)算行人運(yùn)動姿態(tài)比獲得行人姿態(tài)和左右運(yùn)動朝向判別結(jié)果。文獻(xiàn)[9-10]均未考慮人-車相對運(yùn)動軌跡預(yù)測情況，存在判決方式簡易且缺乏客觀性問題。為使行人風(fēng)險判據(jù)更加充分，針對單目圖像透視扭曲效應(yīng)限制問題，Joko Hariyono等[11]在行人風(fēng)險分析方法中引入了圖像逆透視映射。通過將圖像中行人坐標(biāo)映射到世界坐標(biāo)系，在世界坐標(biāo)系中結(jié)合人-車距離、運(yùn)動朝向和行人速度，分析行人預(yù)測軌跡并以此識別危險目標(biāo)行人。但該方法僅實(shí)現(xiàn)對行人危險與否的二分類判決，沒有對不同行人的風(fēng)險程度進(jìn)行準(zhǔn)確量化，判決數(shù)據(jù)不足以支撐自主巡航系統(tǒng)實(shí)現(xiàn)對行人的精確規(guī)避。王建強(qiáng)等[12]基于人工勢能場概念，提出了一種行人風(fēng)險量化方法[13]，該方法結(jié)合人-車-路三要素，在風(fēng)險勢能場中使用斥力模型，獲得目標(biāo)風(fēng)險程度量化結(jié)果，該方法的缺陷在于風(fēng)險程度量化因素主要為車輛與目標(biāo)之間的相對距離，沒有考慮車輛與目標(biāo)之間的預(yù)測運(yùn)動情況。

為實(shí)現(xiàn)單目視覺人-車碰撞風(fēng)險量化分析，本文提出俯視鄰近行人風(fēng)險量化分析方法(Top view Risk Quantification analysis method for approach pedestrian，TRQ)。該方法引入圖像逆透視映射，將行人坐標(biāo)從圖像坐標(biāo)系映射至俯視二維世界坐標(biāo)系，實(shí)現(xiàn)從圖像視角到車輛前方路面俯視視角的轉(zhuǎn)變。通過在俯視二維世界坐標(biāo)系中構(gòu)建車行風(fēng)險場，計(jì)算行人預(yù)測軌跡坐標(biāo)風(fēng)險權(quán)重，量化獲得行人風(fēng)險系數(shù)，并根據(jù)系數(shù)大小將行人目標(biāo)判定為安全、警告和危險三種等級。該方法經(jīng)實(shí)測視頻仿真驗(yàn)證，能夠準(zhǔn)確量化行人碰撞風(fēng)險程度，并且行人目標(biāo)風(fēng)險等級的判定有助于改善無人車自主巡航能力，提高先進(jìn)輔助駕駛系統(tǒng)危險預(yù)警性能。

1 TRQ方法

TRQ方法邏輯圖如圖1。

圖1 TRQ方法邏輯圖

1.1 行人預(yù)測軌跡

將車載攝像機(jī)固定裝配在汽車擋風(fēng)玻璃處，鏡頭朝向與車行方向平行。平視行人軌跡如圖2(a)。OI為圖像坐標(biāo)系原點(diǎn)，位于圖像左上角頂點(diǎn)；U代表圖像坐標(biāo)系水平坐標(biāo)軸，其正方向?yàn)樗较蛴遥籚是圖像坐標(biāo)系豎直坐標(biāo)軸，其正方向豎直向下。俯視二維世界坐標(biāo)系即忽略高度軸的世界坐標(biāo)系如圖2(b)。OW為世界坐標(biāo)系原點(diǎn)，位于車載攝像機(jī)對地質(zhì)心投影點(diǎn)處；YW為豎直方向坐標(biāo)軸，其正方向?yàn)檐囆蟹较颍籜W為水平方向坐標(biāo)軸，它與YW相互垂直以描述道路表面，其正方向?yàn)樗较蛴遥凰倪呅蜛BCD包圍區(qū)域?yàn)閳D像可視范圍。

圖2 行人軌跡映射示意圖

(1)邏輯函數(shù)fC先后使用目標(biāo)檢測算法[14]和目標(biāo)分割算法[15]，提取目標(biāo)行人腳底坐標(biāo)，得到平視行人軌跡坐標(biāo)向量

(1)

式中，pF,i(ui,vi)為輸入視頻第i幀圖像中行人軌跡坐標(biāo)；t表示輸入視頻實(shí)時幀且滿足t∈Ν+，即t可為輸入視頻中任意一幀圖像；k1為設(shè)定常數(shù)表示為預(yù)測行人軌跡所需歷史行人運(yùn)動信息幀數(shù)。

(2)

式中：fFT為一種圖像逆透視映射方法[16]；pT,i(xi,yi)為視頻第i幀在俯視二維世界坐標(biāo)系中行人軌跡映射坐標(biāo)點(diǎn)，i取值范圍與(1)中相同。

(3)使用最小二乘擬合方法計(jì)算俯視二維世界坐標(biāo)系的線性回歸擬合直線，求取行人合速度v，并據(jù)此利用卡爾曼預(yù)報器遞推行人預(yù)測軌跡，計(jì)算俯視行人預(yù)測軌跡坐標(biāo)為

(3)

式中，pP,c(xc,yc)為輸入視頻第c幀俯視行人預(yù)測軌跡坐標(biāo)；k2為設(shè)定常數(shù)表示行人運(yùn)動軌跡的預(yù)測幀數(shù)。

1.2 車行風(fēng)險場

以俯視二維世界坐標(biāo)系為參照坐標(biāo)系，假定車輛相對靜止，車輛運(yùn)動狀態(tài)將轉(zhuǎn)移給行人，則行人在原有速度基礎(chǔ)上疊加反向車速，產(chǎn)生對于XW軸反方向快速運(yùn)動趨勢。當(dāng)行人合速度方向趨近車輛防撞鋼梁位置時，人-車碰撞風(fēng)險將快速上升。據(jù)此，將車行風(fēng)險場R定義為車輛行駛在俯視二維世界坐標(biāo)系中產(chǎn)生的碰撞風(fēng)險影響，描述了俯視二維世界坐標(biāo)系中行人相對車輛坐標(biāo)位置的風(fēng)險權(quán)重。車行風(fēng)險場中風(fēng)險權(quán)重關(guān)于YW軸對稱且沿YW軸正方向遞減，且當(dāng)XW軸趨向±∞時，風(fēng)險權(quán)重呈現(xiàn)遞減趨勢。

圖3 車行風(fēng)險場示意圖

本文使用二階擬合函數(shù)描述俯視場中風(fēng)險權(quán)重，等勢線分布如圖3(a)。四邊形ABCD所成區(qū)域?yàn)閳D像可視范圍；線段EF為車頭位置。

俯視場風(fēng)險權(quán)重等勢線表達(dá)式為

y=α1x2+α2x+α3。

(4)

式中：(x,y)為俯視二維世界坐標(biāo)系中坐標(biāo)；α1、α2和α3為擬合系數(shù)向量。在式(4)基礎(chǔ)上，以正態(tài)分布累積分布函數(shù)描述隨車前豎直方向距離相關(guān)的風(fēng)險權(quán)重分布情況，得到Y(jié)W-wr曲線如圖3(b)，其式為

(5)

式中：wr為坐標(biāo)對應(yīng)風(fēng)險權(quán)重；期望值μ和標(biāo)準(zhǔn)差σ受車速和車輛制動能力影響；C1和C2為風(fēng)險權(quán)重歸一化系數(shù)。結(jié)合式(4)和式(5)，計(jì)算俯視場中各坐標(biāo)風(fēng)險權(quán)重，以此構(gòu)成風(fēng)險俯視場R。

1.3 行人風(fēng)險量化分析方法

(n,m)=fWM(x,y)

(6)

生成車行風(fēng)險矩陣MV和行人軌跡矩陣MP，計(jì)算行人位置坐標(biāo)對應(yīng)風(fēng)險權(quán)重，獲取歸一化行人風(fēng)險系數(shù)CR。

矩陣MP可稀疏化表示為行人軌跡系數(shù)向量

(7)

式中，wp,i代表行人預(yù)測軌跡系數(shù)，且隨預(yù)測時序增加而逐漸遞減。利用矩陣內(nèi)積篩選出MV矩陣中的計(jì)算向量

(8)

(9)

圖4 行人風(fēng)險系數(shù)計(jì)算示意圖

(10)

行人風(fēng)險系數(shù)實(shí)際上是風(fēng)險系數(shù)向量累加的均值，且滿足CR∈[0,1]。

對歸一化行人風(fēng)險系數(shù)進(jìn)一步閾值劃分，實(shí)現(xiàn)行人目標(biāo)危險等級判定。行人風(fēng)險狀態(tài)閾值表達(dá)式為

{Cth,1,Cth,2|Cth,1≤Cth,2,Cth,1∈[0,1],

Cth,2∈[0,1]}。

(11)

式中，Cth,1和Cth,2代表“警告”閾值和“危險”閾值。使用式(12)可將行人目標(biāo)判定為安全、警告或危險行人，并在圖像中給予相應(yīng)S、W和D符號標(biāo)識。

(12)

2 仿真分析

本文所提出TRQ方法在Windows 7操作系統(tǒng)下經(jīng)Matlab R2014a軟件仿真驗(yàn)證。車載單目相機(jī)裝配于距地面高度1.5 m；相機(jī)幀率設(shè)定為30幀·s-1；行車速度保持為15 km·h-1；參考?xì)v史行人軌跡幀數(shù)k1為15幀，行人運(yùn)動軌跡預(yù)測幀數(shù)k2為120幀；行人風(fēng)險系數(shù)閾值參數(shù)設(shè)定Cth,1=0.20，Cth,2=0.55。

實(shí)驗(yàn)數(shù)據(jù)包括3組實(shí)例場景行車視頻圖像數(shù)據(jù)組圖和行人運(yùn)動狀態(tài)表。場景1行人風(fēng)險量化分析結(jié)果如圖5，其中：圖(a)為視頻平視圖像的第54幀，包括行人1和行人2，二者初始位置相近，行人2速度快于行人1，忽略初始位置差距，看作兩人從相同位置出發(fā)，以不同速度橫穿馬路；圖(b)為行人運(yùn)動狀態(tài)俯視示意圖，四邊形ABCD區(qū)域內(nèi)為圖像成像區(qū)域，線段EF為車輛車頭部分，行人以空心點(diǎn)表示，箭頭方向即行人預(yù)測軌跡方向；圖(c)為行人風(fēng)險系數(shù)預(yù)測曲線，其中橫坐標(biāo)表示預(yù)測幀數(shù)，縱坐標(biāo)則為量化風(fēng)險系數(shù)。可以看出，行人2初始風(fēng)險系數(shù)和整體風(fēng)險曲線比行人1低。行人1風(fēng)險系數(shù)持續(xù)上升至峰值為1，預(yù)測判定結(jié)果多為“危險”行人；行人2在上升至風(fēng)險峰值0.40后下降為0，預(yù)測判定結(jié)果多為“警告”行人。曲線結(jié)果表明，行人1和行人2早期存在碰撞規(guī)避可能性；行人2后期成功規(guī)避行車可能性很高，行人1規(guī)避行車難度越來越高，直至無法規(guī)避行車。顯然，速度較慢而無法規(guī)避行車的行人1應(yīng)該列為駕駛員或自主巡航系統(tǒng)的首要避碰對象。

圖5 仿真場景1行人風(fēng)險量化分析結(jié)果

場景2行人風(fēng)險量化分析結(jié)果如圖6，其中：圖(a)為視頻第61幀圖像，包括行人3和4，二者以相同速度橫穿馬路；圖(b)預(yù)測結(jié)果顯示，兩人均成功規(guī)避車輛；圖(c)顯示行人3和4兩者風(fēng)險系數(shù)變化趨勢相同，行人3整體風(fēng)險系數(shù)高于行人4。行人3風(fēng)險峰值為0.69，預(yù)測判定結(jié)果多為“危險”或“警告”行人；行人4風(fēng)險峰值為0.33，預(yù)測判定結(jié)果多為“警告”行人。曲線結(jié)果表明，行人3和4能夠在很大程度上規(guī)避行車危險。可見，距離車輛較近的行人3比行人4更值得駕駛員或自主巡航系統(tǒng)警惕。

圖6 仿真場景2行人風(fēng)險量化分析結(jié)果

場景3行人風(fēng)險量化分析結(jié)果如圖7，其中：圖(a)為視頻第37幀圖像，行人5和6初始位置相近，視為初始位置相同行人；行人5早期速度與行人6相同，后期行人5開始加速；圖(b)顯示行人5加速后成功規(guī)避行車，而行人6則與車輛發(fā)生碰撞；由圖(c)中曲線可知，行人5風(fēng)險峰值在早期與行人6相同為1，皆判定為“危險”行人；行人5加速后，其風(fēng)險峰值變?yōu)?.63并下降至0，判定結(jié)果由“危險”行人轉(zhuǎn)為“安全”行人。曲線結(jié)果表明，在行人5改變運(yùn)動狀態(tài)前，兩者因?yàn)闊o法規(guī)避行車而同樣值得關(guān)注；在行人5加速且能規(guī)避行車后，行人6變?yōu)樾熊囀滓苷夏繕?biāo)。

圖7 仿真場景3行人風(fēng)險量化分析結(jié)果

三組實(shí)例場景中行人目標(biāo)運(yùn)動初始位置、速度、碰撞預(yù)測結(jié)果、風(fēng)險系數(shù)峰值見表1。

表1 行人風(fēng)險系數(shù)變化表

以上三組對照仿真實(shí)驗(yàn)表明，對于速度、距離和運(yùn)動狀態(tài)所產(chǎn)生不同預(yù)測軌跡的行人目標(biāo)，TRQ方法所得實(shí)時行人風(fēng)險系數(shù)、預(yù)測風(fēng)險系數(shù)和行人預(yù)測風(fēng)險系數(shù)曲線均符合實(shí)際情況，以此驗(yàn)證TRQ方法的有效性。

3 結(jié) 語

針對車載單目視覺人-車碰撞風(fēng)險量化問題，提出俯視鄰近行人風(fēng)險量化分析方法。該方法利用圖像逆透視映射，將人-車相對運(yùn)動分析平臺轉(zhuǎn)移至俯視二維世界坐標(biāo)系，以此預(yù)測行人軌跡并構(gòu)建車行風(fēng)險場。通過進(jìn)一步計(jì)算行人預(yù)測軌跡，量化行人風(fēng)險系數(shù)并根據(jù)系數(shù)大小判定行人危險等級。經(jīng)仿真驗(yàn)證，TRQ方法針對任意運(yùn)動狀態(tài)行人，能夠輸出合理行人風(fēng)險系數(shù)，準(zhǔn)確判定危險行人目標(biāo)，且系數(shù)變化趨勢符合人-車相對運(yùn)動情況。TRQ方法具有良好的工程價值，能夠?yàn)轳{駛員以及自主汽車行車控制模塊提供數(shù)據(jù)基礎(chǔ)和決策，以此改善先進(jìn)輔助駕駛系統(tǒng)數(shù)據(jù)可視化輔助性能，提高智能車載自主巡航能力。