999精品在线视频,手机成人午夜在线视频,久久不卡国产精品无码,中日无码在线观看,成人av手机在线观看,日韩精品亚洲一区中文字幕,亚洲av无码人妻,四虎国产在线观看 ?

基于視野域機制的行人軌跡預測

2023-01-01 00:00:00李文禮張祎楠王夢昕
計算機應用研究 2023年1期

摘要:為提高行人在復雜交通場景中交互的安全性,提出一種基于social-GAN(social-generative adversarial network)的行人軌跡預測算法SAN-GAN(social angle norm-GAN)。該算法首先以行人歷史位置信息與頭部信息為輸入,通過軌跡生成器LSTM網絡(long short term memory networks)獲取行人隱藏特征信息,并基于行人視野域模塊捕捉行人視野域動態變化,對所有行人建立扇形視野域并篩選有效信息,從而驅動神經網絡模型預測行人未來軌跡變化。將SAN-GAN與LSTM、social-LSTM(social-long short term memory networks)、social-GAN等軌跡預測算法進行對比實驗,結果表明SAN-GAN算法相較于其他算法,在預測3.2 s的行人軌跡時,ADE分別平均降低65.8%、51.2%、10.7%,FDE分別平均降低73.6%、60.9%、10.4%。SAN-GAN能夠有效地預測行人在復雜交通環境中進行交互的未來軌跡。

關鍵詞:軌跡預測;深度學習;行人視野域;生成對抗網絡

中圖分類號:TP183;TP391.41文獻標志碼:A

文章編號:1001-3695(2023)01-013-0080-06

doi:10.19734/j.issn.1001-3695.2022.06.0289

Pedestrian trajectory prediction based on field of view mechanism

Li Wenli1,2,Zhang Yi’nan1,Wang Mengxin1

(1.Key Laboratory of Advanced Manufacturing Technology for Automobile Parts,Ministry of Education,Chongqing University of Technology,Chongqing 400054,China;2.Chongqing Chang’an Automobile Co.,Ltd.,Chongqing 400020,China)

Abstract:In order to improve the safety of pedestrian interaction in complex traffic scenes,this paper proposed a pedestrian trajectory prediction algorithm SAN-GAN based on social-GAN.The algorithm firstly took the pedestrian’s historical location information and head information as input,obtained the hidden feature information of the pedestrian through the trajectory generator LSTM network,captured the dynamic changes of the pedestrian’s visual field based on the pedestrian visual field module,built a fan-shaped visual field for all pedestrians and filtered the valid information,thus driving the neural network model to predict future trajectory changes of pedestrians.By comparing SAN-GAN with LSTM,social-LSTM,social-GAN and other trajectory prediction algorithms,the results show that the SAN-GAN algorithm reduces the ADE by an average of 65.8%,51.2% and 10.7%,and the FDE by an average of 73.6%,60.9% and 10.4%,respectively,in predicting the pedestrian trajectory for 3.2 s.The SAN-GAN is effective in predicting the future trajectory of pedestrians interacting in complex traffic environments compared to other algorithms.

Key words:trajectory prediction;deep learning;pedestrian vision domain;generative adversarial network(GAN)

0引言

交通安全是當今社會所關注的一個焦點,據統計2020年中國交通事故發生數量達到244 674件,死亡人數61 703人[1]。在所有交通事故中,行人、自行車駕駛者、摩托車駕駛者等弱勢交通參與者占比超過50%,因此弱勢交通參與者的行駛安全更需要重點關注。在弱勢交通參與者中,行人在道路交互過程中存在突變性、靈活性、復雜性等特性。僅靠駕駛者進行判斷與決策無法消除人車交互的潛在風險。綜上所述,研究行人交互問題,對行人軌跡進行預測并提高其預測精度是提高行人交互安全性的必要措施。

目前軌跡預測[2~5]方法主要分為基于模型驅動預測和基于歷史數據驅動的深度學習預測兩種。基于模型驅動的軌跡預測包括社會力模型預測、馬爾可夫模型預測、卡爾曼濾波模型預測等。其中:Trautman等人[6]提出了交互式高斯過程的社會力模型對行人軌跡進行預測;Morris 等人[7]使用基于馬爾可夫模型對行人軌跡進行建模學習;喬少杰等人[8]基于卡爾曼濾波進行了動態軌跡預測。然而對于行人軌跡預測,基于模型驅動的預測方法對于行人軌跡歷史隱藏軌跡數據存在注意力不足、預測精度較低等問題。

目前隨著深度學習的迅速發展,基于歷史數據驅動的深度學習預測方向逐漸成為主流,其可以較好地解決基于模型驅動預測的不足。目前較為主流的是基于循環神經網絡(recurrent neural network,RNN)[9]、長短時記憶網絡(LSTM)[10]以及生成對抗網絡(GAN)[11]對行人軌跡進行預測。而RNN存在梯度消失、梯度爆炸等問題,作為RNN的變種LSTM,其擁有遺忘門、輸入門、輸出門,可以較好地處理這些問題。Alahi等人[12]提出了一種社會長短時記憶網絡(social-LSTM)模型,對每一個行人軌跡使用一個LSTM,達到以多位行人軌跡來預測場景中其他行人軌跡,通過共享行人隱藏狀態從而提高軌跡預測精度的目的。連靜等人[13]提出了一種基于人—車交互的行人軌跡預測模型(VP-LSTM),同時考慮了人人交互、人車交互,建立扇形人人交互鄰域、圓形人車交互鄰域,通過注意力模塊對交互信息進行篩選,最后與行人歷史信息共同輸入進行計算。Gupta等人[14]提出了一種社會對抗網絡(social-GAN)模型,提出將相互臨近行人之間的社交狀態進行捕捉的池化方式,利用生成器與鑒別器相互博弈以預測行人軌跡。李琳輝等人[15]提出了一種基于社會注意力機制的GAN(SA-GAN)模型,定義了一種新型社會關系并對社會關系進行注意力建模,通過不同池化機制結果對不同場景選擇相應池化模型。孫亞圣等人[16]提出了一種基于注意力機制的行人軌跡生成模型(AttenGAN),通過注意力機制來獲取其他行人的狀態。歐陽俊等人[17]提出了一種基于GAN和注意力機制的行人軌跡預測模型,集合行人自身運動特征和群體交互信息在不同交通環境下進行計算。

目前針對行人軌跡預測算法,其中大多注重于觀察行人之間的交互或其他環境所產生的影響,往往忽略了行人參與交互時的前置需求,例如行人會由于其他因素從而產生頭部姿態變化,其視野也會相應變化以觀察周圍環境,并獲取其他行人信息與環境信息,通過已得信息來規劃自身行為路徑。在行人視野范圍內的其他行人或車輛會對行人產生一定影響,且距離越近則影響越大,而未在行人視野范圍內的環境信息則不會對行人軌跡產生影響。

綜上所述,本文基于social-GAN并結合行人視野域的動態變化,提出了一種基于行人視野域機制的軌跡預測算法(SAN-GAN),該算法將隨時間變化采集行人不同時刻頭部轉角,并基于頭部轉角變化為不同時刻、不同行人建立扇形行人視野域,計算行人之間相對距離并建立柵格劃分,根據行人相對距離以及是否處于扇形視野域內來評估影響因子。通過影響因子從而對不同行人之間相對距離關系進行權重計算,根據影響大小來施加不同權重于視野域模塊中。彌補了主流預測模型未考慮行人自身視野變化的不足,更加真實準確地體現了復雜環境中行人間的相互關系,提高了行人軌跡預測精確性與可解釋性。

1基于頭部偏角的行人軌跡預測

1.1軌跡預測定義

當行人在復雜環境中進行交互時,當交互場景中未出現障礙物時,行人往往會按照自身既定規劃路線前進。而在復雜交通道路上,往往會受到行人和環境因素的影響。行人會將總體因素參與至自身路徑規劃中,根據周圍環境、其他行人及車輛的行駛方向及速度來修改原始期望路徑。行人軌跡預測可以表示為根據當前行人歷史路徑及歷史信息對未來路徑進行預測。

本文提出了一種基于social-GAN,結合行人視野域機制的行人軌跡預測算法(SAN-GAN)。SAN-GAN對行人軌跡定義為在時間序列下的二維坐標位置變化。在給定時間t中,定義第i個行人的二維坐標(xit,yit)及其頭部偏角θit。將行人軌跡時間序列分為觀測幀{t,t+1,…,t+tobs}與預測幀{t+tobs+1,t+tobs+2,…,t+tobs+tpred}。t~t+tobs為觀測幀,t+tobs+1~t+tobs+tpred為預測幀,tobs為觀測幀長度,tpred為預測幀長度。對第i個行人軌跡坐標(xit,yit)及頭部轉角θit在t~t+tobs內進行觀測,獲得交互序列{Yit,Yit+1,…,Yit+obs},Yit={(xit,yit),θit}。將序列信息進行編碼后輸入至LSTM神經網絡層得到行人的歷史特征向量Hit,并建立行人視野域函數fθ計算觀測幀中行人之間相互影響力大小,并依據影響力大小對其他行人進行視野權重因子分配。再輸入至視野域模塊中,根據行人自身歷史特征向量及其他行人在視野域作用下所產生的交互影響從而得到行人的視野域隱藏特征向量Hi,θt。接著將T=tobs時刻的行人相對位置編碼特征向量Hi,RPt視野域隱藏特征向量Hi,θt進行融合。經過多層感知機(multilayer perceptron,MLP)處理得到Vtobs。視野域池化向量Vtobs與隨機高斯噪聲相融合,通過解碼器解碼則可預測t+tobs+1~t+tobs+tpred內行人軌跡信息并獲得行人預測序列{Y^it+obs+1,Y^it+obs+2,…,Y^it+obs+pred},Y^it={(it,it)},(it,it)為行人預測二維坐標,算法框架如圖1所示。

1.2軌跡生成器

軌跡生成器(generator)是基于預處理后的行人行駛參數數據進行編碼解碼,從而生成預測行人軌跡。其包含軌跡編碼器(G-encoder)、行人視野域池化模塊、軌跡解碼器(G-decoder)。

軌跡編碼器模塊將t時刻行人i的行駛參數序列經過含有ReLU非線性激活函數的全連接神經網絡層中編碼得到行人i的特征向量τit,經過LSTM神經網絡編碼獲得行人歷史軌跡特征向量Hit。

τit=FC(xit,yit;ωf)(1)

Hit=LSTM(Hit-1,τit;ωl)t∈(1,2,…,tobs)(2)

其中:xit、yit為行人i在t時刻的行駛坐標參數;FC為含有ReLU非線性激活函數的全連接神經網絡層(fully connected layers,FC);τit為行人i的特征向量;Hit為行人歷史軌跡特征向量;ωf為FC中權重參數;ωl為LSTM神經網絡層中權重參數。

行人視野域模塊基于行人在交互過程中的視野域機制,由于在進行交互時,行人往往會偏轉頭部從而獲取目標視野范圍內的有效信息。獲取常規行人位置信息并不能很好地描述行人之間復雜的交互特性,并不能充分挖掘行人間的交互信息。本文提出了一種新型的行人交互關系,在原有行人位置關系的基礎上考慮了行人頭部轉角θ的因素,為行人交互關系建立行人視野域,建立扇形視野面積并使用柵格劃分,對行人視野范圍及相對行人信息這種復雜的交互信息進行描述,將t=tobs時刻行人i受到視野范圍內其他行人位置信息影響集合iobs經過sigmoid函數后,賦予其他行人對于行人i的權重因子σi/Ntobs,將行人歷史軌跡特征向量Hit與σi/Ntobs一同輸入至行人視野域模塊,獲得行人視野域隱藏特征向量Hi,θt,對行人視野有效區域的有效信息得以編碼,補充了現有方法較少考慮到行人頭部轉角變化對行人視野及行人交互所產生的影響,很難真實準確反映現實復雜交通場景下行人之間交互特性的缺點。

視野域模塊將基于N個行人歷史軌跡特征向量Hit,Hit= {H1t,H2t,…,HNtobs},i∈{1,2,…,N},t∈{1,2,…,tobs},計算行人i在其視野角度θ范圍內受到其他行人位置信息的影響集合it=fθ{Ait,xit,yit,(xt,yt)i/N,α},其中Ait表示行人i在t時刻的視野范圍,i∈(1,2,…,N),t∈(1,2,…,tobs),i/N表示N個行人中除i以外的所有行人,α為fθ中的判斷參數。itobs通過計算得到σi/Ntobs,將σi/Ntobs與Hit輸入至行人視野域模塊,輸出行人視野域隱藏特征向量Hi/N,θtobs,將t=tobs時刻行人i與其他行人之間的相對距離Δx、Δy通過全連接層輸出得到的特征向量Hi,RPtobs與行人視野域隱藏特征向量Hi/N,θtobs進行融合,再經過多層感知機,從而得到視野域池化向量Vi/Ntobs。

σi/Ntobs=ζ(itobs;ωζ)(3)

Hi/N,θtobs=σi/Ntobs*Hitobs(4)

Hi,RPtobs=FC(Δx,Δy;ωRP)(5)

Ci/Ntobs=Cat(Hi/N,θtobs,Hi,RPtobs)(6)

Vi/Ntobs=M(Citobs;ωmlp)(7)

其中:σi/Ntobs為行人權重因子;ζ為sigmoid函數;iobs為行人影響集合;ωζ為sigmoid函數的權重參數;Hi/N,θtobs為行人視野域隱藏特征向量;Hi,RPt為行人相對位置編碼特征向量;Δx、Δy為橫縱坐標變化量;Cat函數用于連接特征向量;Ci/Ntobs代表連接后的特征向量;M為多層感知機網絡層;Vtobs為視野域池化向量;ωRP和ωmlp為對應網絡層的權重參數。

解碼器模塊含有LSTM神經網絡層,其初始隱藏狀態輸入為含有隨機高斯噪聲K的特征向量Qitobs,初始化細胞狀態Ci-1為全零向量。將Qitobs與Ci-1及經過全連接層編碼后的行人位置特征向量Bit一并輸入至LSTM神經網絡層中得到向量Iit。將Iitobs經過多層感知機后得到行人的軌跡預測點(it,it)。

Qitobs=Cat[M(Cat(Vi/Ntobs,Hitobs);ωmlpa),K](8)

Bit=FC(xit-1,yit-1;ωfa)(9)

Iit=LSTM(Qitobs,Bit,Ci-1;ωla)(10)

(it,it)=M(Iit;ωmlpb)(11)

其中:Qitobs為含有隨機高斯噪聲K的特征向量;Bit為全連接層編碼后的行人位置特征向量;Iit為最終輸出向量;ωmlpa、ωma、ωla、ωmlpb為相應的網絡層權重參數。解碼器循環執行此流程即可獲取相應時間的行人軌跡預測點(it,it),i∈(1,2,…,N),t∈(1,2,…,tobs) 。

1.3軌跡鑒別器

軌跡鑒別器(decoder)作用于鑒別軌跡的真假。將軌跡生成器生成的預測軌跡(i,i)與行人真實軌跡(xi,yi)一同輸入至軌跡鑒別器中,通過全連接神經網絡層后輸出高維度特征向量。再通過LSTM網絡以及多層感知機,最后輸出輸入軌跡為真實軌跡的概率。

Si=FC((i,i),(xi,yi);ωfb)(12)

Dit=LSTM(Si,Dit-1;ωlb)t∈(1,2,…,tobs+tpred)(13)

P= M(Dit;ωmlpc)(14)

其中:Si為高維特征向量輸出;Dit為LSTM輸出向量;ωfb、ωlb、ωmlpc為各自對應網絡層權重參數;P是鑒別為真實軌跡的概率。

1.4損失函數

本文損失函數LSAN-GAN包含生成器和鑒別器的交叉熵損失函數LGAN(G,D)與真實軌跡與預測軌跡的最小差值損失函數LL2(G)。

LSAN-GAN=LGAN(G,D)+LL2(G)(15)

LGAN(G,D)=minGmaxDEr~D(log D(r))+Ek~G(log(1-D(G(K))))(16)

LL2(G)=minS‖(xi,yi)-(xi,yi)(s)‖2(17)

其中:E為所得期望值;r為輸入的真實軌跡數據;S為基于模型生成結果的采樣個數;K為輸入的高斯噪聲分布。

2行人交互視野域建模

2.1行人視野域機制分析

行人在復雜交通環境中進行交互時通常會衡量周圍鄰居們的行駛速度及方向以及其相對歐氏距離,通過自身判斷來改變未來行進軌跡。而其他行人也會受到周圍環境因素以及鄰居們的軌跡變化的影響。此時,行人的行進軌跡即隨著時間推移不斷被影響并不斷作出變化。在交互過程中,行人往往會注意自身前方的行人并通過調整視野方向從而獲得不同視野范圍內的有效信息。在行人視野范圍內的鄰居們則會重點關注,并產生一定排斥力。不在其視野范圍內的鄰居軌跡則不會對其產生影響。SAN-GAN算法提出了一種基于行人視野域機制建立行人視野域的方法,通過對被預測行人建立扇形視野面積,利用柵格劃分周圍行人對被預測行人的重要性,以此衡量行人范圍內的不同影響。

為在行人交互過程中模擬行人視野域的實際變化狀態,此算法建立行人視野域W:

Wit={(ρ,δ)|ρ∈(0,l],δit∈[θit-η2,θit+η2]}(18)

θi,jt=π-tan-1yjt-yitxjt-xitxitlt;xjt

tan-1yjt-yitxjt-xitxit≥xjt(19)

Ri,jt=(yjt-yit)2+(xjt-xit)2(20)

其中:Wit為在t時刻下第i個行人的視野域;ρ為Wit的極徑;l為平分視野域面積的角平分線長度;δit為此時刻行人的極角;θit為行人此時刻的頭部偏角,即l與水平軸線夾角,定義逆時針為正方向;η為行人實際視野范圍角,根據文獻[18]設定為120°;Ri,jt為行人i與j的相對距離。

如圖2所示,假設行人只在乎自身前方視野,在初始時刻t,被預測行人i頭部轉動θit°獲得視野域Wit。其中,行人j與被預測行人i的相對角度為θi,jt,相對距離為Ri,jt。通過計算可知在被預測行人i的視野域中,而行人m則不在行人i的視野域中。可知,被預測行人僅會提取視野域中的有效信息,Ri,jt為有效距離,Ri,mt為無效距離。

同樣在真實情況下,行人往往會自主偏轉頭部視角,當行人頭部偏轉角度隨著時間變化,行人的視野域范圍也在不斷變化,周圍行人對被預測行人的影響力隨之波動。本文將針對在一定時間內的行人頭部轉角變化進行分析。從俯視角度觀察,以行人從下向上前進時,行人頭部轉角順時針為正(若前進方向為由上向下,則逆時針為正),周邊行人在被預測行人前方為例,采樣時刻為T。

在T=t+1時刻對行人i進行觀察,此時被預測行人i與j方位分別為(xit+1,yit+1)和(xjt+1,yjt+1),相對距離為Ri,jt+1。如圖3(a)所示,行人i頭部轉動θit+1呈45°偏轉,行人i的視野域總體偏左,行人j相對于行人i的角度為θi,jt+1,并未在其視野域W中,則行人i將不會受相對距離Ri,jt+1的影響改變自己的運動軌跡。圖3(b)中,在T=t+2時刻,行人i頭部轉動|θit+2-θit+1|呈90°偏轉,此時行人i的視野域基于正前方向兩側各輻射60°。恰好捕捉到行人j,行人j在視野域W中,行人i受到行人j的共同影響。圖3(c)中,T=t+3時刻行人i頭部轉動|θit+3-θit+2|呈135°偏轉,行人i的視野域總體偏右,此時行人j依然在視野域W中,對行人i的運動軌跡產生影響。在行人交互過程中,以上時刻的視野域變化為普遍情況,下面將分析特殊情況。如圖3(d)所示,T=t+4時刻,行人i突然向后轉向觀察情況,頭部隨身體轉動|θit+4-θit+3|。此時行人i的視野域總體向后,而行人前進方向為正方向。鑒于假設行人只關注前進方向視野,此時行人i的視野域W失效。而行人j并不在視野域W中,行人j并未產生影響。動態變化過程如式(21)所示。

{Ri,jt,θi,jt}={Ri,jT∈(0,l],θi,jT(0,δiT]}T∈[Tit+1,Tit+2)

{Ri,jT∈(0,l],θi,jT∈(0,δiT]}T=Tit+2

{Ri,jT∈(0,l],θi,jT∈(0,δiT]}T∈(Tit+2,Tit+3]

{Ri,jT∈(0,l],θi,jT(0,δiT]}T=Tit+4(21)

其中:Ri,jt為行人j與行人i的相對距離;θi,jt為行人j相對于行人i的角度;T為行人運動時間,T∈[Tit+1,…,Tit+4]。

2.2行人視野域影響分析

在真實交互過程中,即使多位行人同時被預測在行人視野域中,其對于被預測行人所產生的影響大小也不盡相同,以被預測行人為影響源,視野域中的鄰居們距離影響源越近,則其產生的排斥力越大,而距離越遠則產生的排斥力越小,直至為零。且這種排斥力與距離并不是一種簡單的線性關系,而是呈指數關系。所以在建立行人視野域的基礎上,將視野域劃分為圖4所示,共劃分為16個網格,構成柵格地圖,將柵格地圖形成4×4的柵格矩陣,如圖5所示。其中行人之間的排斥力以被預測行人為圓心,呈輻射性向外展開,在圖中以顏色深度來表示排斥力大小,數字代表此網格區域中的行人數量。

為了更加逼近真實交互狀態,本文根據參考文獻[19],建立行人視野域函數fθ,得到不同行人所產生的行人位置信息影響i,jt,并基于柵格地圖獲取行人影響信息集合iobs,如下式所示。

fθ=β exp(rit-Ri,jt)(22)

i,jt=fθ[Ait,(xit,yit),(xjt,yjt),α](23)

其中:β為行人間的排斥幅度參數;r為行人最小免碰撞距離;Ait表示行人i在t時刻的視野范圍;fθ為行人視野域函數;α為fθ中的判斷參數。

在柵格矩陣中,行人集合輸入矩陣為

iobs=∑t∈tobs∑i∈N(ZAB(Ri,jt,θit),i,jt)(24)

其中:ZAB為判定行人是否在柵格(A,B)中的判別函數;N為在被預測行人視野域中的行人總數。

3數據采集與實驗分析

本文使用無人機采集行人交互視頻數據,通過逐幀標定行人軌跡與行人頭部偏角,以獲得行人軌跡坐標(x,y)與行人頭部偏轉角度θ信息,最終得到行人軌跡數據集,格式為(frame,id,x,y,θ),再將行人軌跡數據集作為SAN-GAN模型輸入,對比兩種預測時域(3.2 s、4.8 s)下的軌跡預測指標平均誤差指標(average displacement error,ADE)與最終誤差指標(final displacement error,FDE),并對軌跡預測結果進行可視化分析。數據處理流程如圖6所示。

3.1數據集預處理

本文選取了一段復雜交通環境下的路段進行采集。此路段行人與車輛來往密切且無交通信號燈,可以更加真實地體現行人交互時的頭部特征變化,采集場景如圖7所示。

數據采集設備為DJI-MINI2無人機,單次最長飛行時間為30 min,有效像素為1 200萬,影像傳感器為CMOS,錄像分辨率3 840×2 160,幀率24 fps。拍攝場景是長為20 m、寬12 m的矩形區域,無人機飛行高度為25 m。視頻數據包含32段行人交互場景,共39 520幀。每隔10幀對行人軌跡和行人頭部偏轉角度進行標定,整理342段有效行人軌跡和頭部偏轉角度。選取80%作為訓練集和驗證集,20%為測試集,數據格式為(frame,id,x,y,θ)。圖8為部分行人行駛軌跡標定結果,圖9為行人頭部角度標定結果。其中編號為16的行人標定軌跡及頭部角度數據如表1所示。

3.2實驗分析

本文SAN-GAN算法基于Windows 10操作系統,深度學習框架配置為PyTorch 1.8.1,CUDA 10.2,cuDNN 7.6.5,CPU為Intel i7-10700K,GPU為NVIDIA Quadro RTX 5000。使用Adam算法優化器,軌跡生成器學習率為0.000 5,軌跡鑒別器學習率為0.001,訓練批量大小為64,迭代訓練次數為300。

本文誤差評價指標設定為ADE與FDE。ADE表示為所有被測行人在每時刻的預測軌跡與歷史真實軌跡之間的平均距離。FDE表示所有被測行人在最后時刻的預測軌跡與歷史真實軌跡之間的最終位移距離,如下所示。

ADE=1n∑ni=11tpred∑tobs+tpredt=tobs+1(xit-it)2+(yit-it)2(25)

FDE=1n∑ni=1(xitpred-itpred)2+(yitpred-itpred)2(26)

其中:(xit,yit)為行人i在t時刻的真實位置;(it,it)為行人i在t時刻的預測位置。

為具體突出SAN-GAN對于行人軌跡預測的有效性,采用LSTM、S-LSTM、S-GAN與SAN-GAN進行相同實驗對比,其中:LSTM為基于長短期記憶模型循環神經網絡的行人軌跡預測算法;S-LSTM為考慮行人間社交狀態的行人軌跡預測算法;S-GAN為考慮行人之間相對距離的行人軌跡預測算法。本文將基于以上算法,輸入觀察時長tobs為8幀(3.2 s),分別進行輸出預測時長tpred為8幀(3.2 s)與12幀(4.8 s)的對比實驗,并基于誤差評價指標來對不同算法進行對比分析。

圖10(a)(b)分別為在預測時間為3.2 s時的S-GAN與SAN-GAN的ADE誤差和FDE誤差對比分析。由圖可知兩種算法在100個epoch之前呈現迅速的損失下降趨勢,隨著訓練迭代次數的增加,損失下降趨勢都逐漸減緩。但SAN-GAN誤差一直穩定低于S-GAN。圖10(c)(d)分別為在預測時間為4.8 s時的S-GAN與SAN-GAN的ADE誤差和FDE誤差對比分析。可以看出從訓練開始,SAN-GAN的誤差值明顯小于S-GAN,在后續迭代過程中也一直低于S-GAN。在200個epoch后,兩種算法誤差都接近收斂,但SAN-GAN在最后得到的誤差明顯低于S-GAN。

可知由于SAN-GAN通過行人視野域的動態變化,對周邊信息進行篩選,更加注重有效信息,擯棄無用信息。使得SAN-GAN在整個訓練過程中在ADE和FDE評價指標的收斂速度都明顯高于S-GAN,且SAN-GAN的誤差損失值都明顯小于S-GAN。

表2將本文所提軌跡算法與其他三種不同軌跡預測算法在預測時間分別為3.2 s和4.8 s情況下的ADE與FDE進行對比分析。對于LSTM軌跡預測算法,其只考慮了行人自身的歷史軌跡,并沒有對行人之間的社交狀態進行捕捉,所以該算法的誤差最大。而S-LSTM與S-GAN都考慮了行人之間的社交狀態,S-LSTM通過共享固定范圍內行人的隱藏狀態進行社交狀態捕捉,而S-GAN則是考慮行人之間的相對空間距離狀態。但S-GAN相較于S-LSTM,其并交互范圍更加廣泛,故誤差更低。本文SAN-GAN相對于其他算法,通過目標行人的視野域變化對周圍行人的社交信息進行篩選,更加真實地反映了行人交互時的確切反映。在ADE、FDE指標上,預測3.2 s時平均降低了69.7%、57.35%、8.9%,預測4.8 s時平均降低了69.6%、54.65%、12.2%。

為更直觀地對不同算法預測軌跡進行分析,本文將不同算法的預測結果進行了可視化處理。圖11為部分預測結果,其中對行人交互劃人群分為密集交互人群與稀疏交互人群。從圖11可以看出,本文算法預測軌跡與真實軌跡最為接近,可以準確地對行人進行軌跡預測。從圖11(a)(b)可以看出在密集人群中,SAN-GAN可以成功預測未來路徑,當行人視野域內中行人之間距離過近時,會更加注重周圍行人的空間信息。行人會主動避開人群選擇其他路徑,當行人迎面行人相遇時,S-LSTM僅考慮共享周圍行人信息,S-GAN則單一提取行人相對距離,導致誤差稍大。SAN-GAN由于基于行人視野范圍對行人相對距離進行重要性評估,相較于其他算法考慮更加全面,可以更加貼合真實軌跡,避免與行人相撞。從圖11(c)(d)可以看出,當在稀疏交互人群環境中,LSTM算法預測基本失效,預測精度較差。而由于周圍行人較少,被預測行人視野范圍內其他行人所產生影響程度降低,導致SAN-GAN的優越性并未完全體現,但整體預測軌跡稍優于其他算法。

綜上所述,SAN-GAN在密集交互人群中能夠基于視野域機制,對周圍行人信息進行篩選,拾取高價值信息;在稀疏交互人群中,視野域機制體現稍弱,但依然能準確完成行人軌跡預測。可知SAN-GAN能夠滿足交互狀態下行人的真實反映,提高預測行人軌跡的精準度及可解釋性。

4結束語

針對常規行人軌跡預測算法在考慮行人交互狀態時很少在意行人視野角度的不斷變化的問題,本文提出了一種基于視野域變化的行人軌跡預測算法(SAN-GAN)。SAN-GAN考慮了行人在復雜交通場景中其頭部的動態變化,建立行人視野域并記錄歷史視野范圍變化。相對于其他算法,在ADE及FDE評價指標上誤差更小,提高了對于行人軌跡預測的可解釋性及準確性。在真實交通場景中,尤其針對于無信號燈下的人車交互場景。駕駛員主觀判斷行人軌跡未來變化存在一定的誤差,本文算法可以為車輛行駛提供可靠的路徑規劃依據,起到降低交通事故發生率、提高交通效率的作用。

由于時間因素限制,本文算法仍存在數據集不夠充足、在不同復雜交互環境中考慮因素不充分等問題。基于不足之處,在后續研究工作中計劃進一步擴充數據集數量及種類,捕捉其他環境因素所產生影響,分析不同環境因素對行人軌跡變化的影響權重,并捕捉左轉向、右轉向等不同場景下的行人軌跡進行聚類分析,進一步提高算法的預測精度及可解釋性。

參考文獻:

[1]中華人民共和國國家統計局.中國統計年鑒2021[M].北京:中國統計出版社,2021:24-25.(National Bureau of Statistics of China.China statistical yearbook 2021[M].Beijing:China Statistics Press,2021:24-25.)

[2]張志遠,倪國新,徐艷國.軌跡預測技術的現狀及發展綜述[J].電子測量技術,2020,43(13):111-116.(Zhang Zhiyuan,Ni Guoxin,Xu Yanguo.Current status and development of trajectory prediction techniques are reviewed[J].Electronic Measurement Technology,2020,43(13):111-116.)

[3]李琳輝,周彬,任威威,等.行人軌跡預測方法綜述[J].智能科學與技術學報,2021,3(4):399-411.(Li Linhui,Zhou Bin,Ren Weiwei,et al.A review of pedestrian trajectory prediction methods[J].Journal of Intelligent Science and Technology,2021,3(4):399-411.)

[4]彭子灃,葛萬成.基于深度神經網絡的軌跡預測算法綜述[J].電視技術,2022,46(2):21-28.(Peng Zifeng,Ge Wancheng.A review of trajectory prediction algorithms based on deep neural networks[J].Television Technology,2022,46(2):21-28.)

[5]劉文,胡琨林,李巖,等.移動目標軌跡預測方法研究綜述[J].智能科學與技術學報,2021,3(2):149-160.(Liu Wen,Hu Kunlin,Li Yan,et al.A review of moving target trajectory prediction methods[J].Journal of Intelligent Science and Technology,2021,3(2):149-160.)

[6]Trautman P,Krause A.Unfreezing the robot:navigation in dense,interacting crowds[C]//Proc of IEEE/RSJ International Conference on Intelligent Robots and Systems.2010:797-803.

[7]Morris B T,Trivedi M M.Trajectory learning for activity understan-ding:unsupervised,multilevel,and long-term adaptive approach[J].IEEE Trans on Pattern Analysis and Machine Intelligence,2011,33(11):2287-2301.

[8]喬少杰,韓楠,朱新文,等.基于卡爾曼濾波的動態軌跡預測算法[J].電子學報,2018,46(2):418-423.(Qiao Shaojie,Han Nan,Zhu Xinwen,et al.Dynamic trajectory prediction algorithm based on Kalman filter[J].Chinese Journal of Electronics,2018,46(2):418-423.)

[9]Cho K,Van Merrinboer B,Gulcehre C,et al.Learning phrase representations using RNN encoder-decoder for statistical machine translation[C]//Proc of Conference on Empirical Methods in Natural Language Processing.2014:1724-1734.

[10]Staudemeyer R C,Morris E R.Understanding LSTM-a tutorial into long short-term memory recurrent neural networks[EB/OL].(2019-09-12).https://arxiv.org/abs/1909.09586.

[11]Goodfellow I J,Pouget-Abadie J,Mirza M,et al.Generative adversarial nets[C]//Proc of the 27th International Conference on Neural Information Processing Systems.Cambridge,MA:MIT Press,2014:2672-2680.

[12]Alahi A,Goel K,Ramanathan V,et al.Social-LSTM:human trajectory prediction in crowded spaces[C]//Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.2016:961-971.

[13]連靜,王欣然,李琳輝,等.基于人—車交互的行人軌跡預測[J].中國公路學報,2021,34(5):215-223.(Lian Jing,Wang Xinran,Li Linhui,et al.Pedestrian trajectory prediction based on human-vehicle interaction[J].China Journal of Highway and Transport,2021,34(5):215-223.)

[14]Gupta A,Johnson J,Li Feifei,et al.Social-GAN:socially acceptable tra-jectories with generative adversarial networks[C]//Proc of IEEE Con-ference on Computer Vision and Pattern Recognition.2018:2255-2264.

[15]李琳輝,周彬,連靜,等.基于社會注意力機制的行人軌跡預測方法研究[J].通信學報,2020,41(6):175-183.(Li Linhui,Zhou Bin,Lian Jing,et al.Research on pedestrian trajectory prediction method based on social attention mechanism[J].Journal on Communications,2020,41(6):175-183.)

[16]孫亞圣,姜奇,胡潔,等.基于注意力機制的行人軌跡預測生成模型[J].計算機應用,2019,39(3):668-674.(Sun Yasheng,Jiang Qi,Hu Jie,et al.Pedestrian trajectory prediction generation model based on attention mechanism[J].Journal of Computer Applications,2019,39(3):668-674.)

[17]歐陽俊,史慶偉,王馨心,等.基于GAN和注意力機制的人軌跡預測[J].激光與光電子學進展,2020,57(14):161-172.(Ouyang Jun,Shi Qingwei,Wang Xinxin,et al.Human trajectory prediction based on GAN and attention mechanism[J].Laser amp; Opto-electronics Progress,2020,57(14):161-172.)

[18]Strasburger H.Seven myths on crowding and peripheral vision[J/OL].I-Perception.(2020).https://doi.org/10.1177/2041669520913052.

[19]Xu Kaiping,Qin Zheng,Wang Guolong,et al.Collision-free LSTM for human trajectory prediction[M]//Proc of International Conference on Multimedia Modeling.Cham:Springer,2018:106-111.

收稿日期:2022-06-14;修回日期:2022-08-01基金項目:重慶市研究生科研創新項目(gzlcx20222128);重慶市巴南區科技成果轉化及產業化專項(2020TJZ022);重慶市自然科學基金面上項目(cstc2021jcyj-msxmX0183);重慶市留學人員回國創業創新支持計劃資助項目(cx2021070)

作者簡介:李文禮(1983-),男(通信作者),河南駐馬店人,副教授,碩導,博士,主要研究方向為智能網聯汽車(liwenli@cqut.edu.cn);張祎楠(1999-),男,湖北襄陽人,碩士研究生,主要研究方向為自動駕駛車輛軌跡規劃;王夢昕(1999-),女,河北張家口人,碩士研究生,主要研究方向為智能網聯汽車.

主站蜘蛛池模板: 国产精品视频导航| 伊人色天堂| 91精品啪在线观看国产60岁| 亚洲精品天堂在线观看| 国产麻豆91网在线看| 一本大道东京热无码av| 中文一区二区视频| 国产三级国产精品国产普男人| 国产va在线观看免费| 国产chinese男男gay视频网| 国产精品视频免费网站| 亚洲一区二区三区香蕉| 亚洲成人一区在线| 国产精品久久久久久久久久久久| 亚洲人妖在线| 亚洲va精品中文字幕| 亚洲综合婷婷激情| 手机看片1024久久精品你懂的| 激情无码字幕综合| 国产亚洲精品91| 欧美国产在线精品17p| 欧美一区中文字幕| 亚洲欧美日韩中文字幕在线一区| 亚洲日本中文综合在线| 中美日韩在线网免费毛片视频 | 久久天天躁夜夜躁狠狠| 不卡无码h在线观看| 九色视频一区| 久久亚洲欧美综合| 日本中文字幕久久网站| 婷婷亚洲视频| 成AV人片一区二区三区久久| 亚洲综合色婷婷中文字幕| 免费一级毛片在线播放傲雪网| 2019国产在线| 国产无码高清视频不卡| 日本日韩欧美| 国产午夜一级毛片| 黄片在线永久| 无码日韩人妻精品久久蜜桃| 日韩免费毛片| 午夜毛片免费观看视频 | 69国产精品视频免费| 久草中文网| 国产香蕉97碰碰视频VA碰碰看| 综合色区亚洲熟妇在线| 91外围女在线观看| 欧美不卡视频在线观看| 亚洲欧美成人综合| 久久中文电影| 国产乱人伦AV在线A| AV无码无在线观看免费| 国产成人亚洲欧美激情| 欧美午夜性视频| 黄色国产在线| 中文字幕乱码二三区免费| 日韩中文无码av超清| 高潮毛片无遮挡高清视频播放| 亚洲成a人片| 国产性爱网站| 日韩av手机在线| 国产哺乳奶水91在线播放| 亚洲精品成人福利在线电影| 在线观看免费人成视频色快速| 国产 日韩 欧美 第二页| 亚洲欧美h| 亚洲啪啪网| 麻豆精品在线视频| 欧美成人综合在线| 欧美性精品| 99久久精彩视频| 国产精品亚洲一区二区三区z| AV老司机AV天堂| 亚洲人成网站在线观看播放不卡| 国产精品19p| 中文字幕首页系列人妻| 久久99久久无码毛片一区二区| 女人18毛片水真多国产| 99热这里只有成人精品国产| 国产精品大白天新婚身材| 午夜激情福利视频| 国产迷奸在线看|