






























摘 要:為了提高自動駕駛汽車在人車混行交叉口場景下的行車安全性,提出了一種面向自動駕駛汽車的信號交叉口行人多模態(tài)軌跡預(yù)測方法??紤]社會生成對抗網(wǎng)絡(luò)模型(SGAN)的社會屬性,將行人歷史軌跡作為輸入,通過生成器與判別器交替訓(xùn)練,采用交叉熵?fù)p失函數(shù)進(jìn)行模型優(yōu)化,提出基于SGAN的行人軌跡預(yù)測模型;建立行人自驅(qū)力、行人間交互力、斑馬線邊界力和信號燈作用力的4種約束力模型,提出基于社會力模型(SFM)的行人軌跡預(yù)測模型,采用粒子群算法對SFM的不可測量參數(shù)進(jìn)行標(biāo)定;基于AdaBoost算法對SGAN和SFM的預(yù)測結(jié)果進(jìn)行融合,通過多個弱學(xué)習(xí)器迭代訓(xùn)練并動態(tài)優(yōu)化各模型權(quán)重,以提高模型預(yù)測準(zhǔn)確性;實(shí)驗(yàn)基于西安市某交叉口行人數(shù)據(jù)進(jìn)行對比驗(yàn)證。結(jié)果表明:相比于單一SFM模型和單一SGAN模型,該文方法的平均位移誤差(ADE)和最終位移誤差(FDE)分別提高了約21.7%和10.5%,尤其在繞行超越、結(jié)伴等復(fù)雜行為場景中,該方法能夠?qū)崿F(xiàn)更精準(zhǔn)的行人軌跡預(yù)測。
關(guān)鍵詞:自動駕駛;城市交叉口;行人;軌跡預(yù)測;融合模型
A multimodal trajectory prediction method of pedestrians at signalized intersections for autonomous vehicles
Abstract: A multi-modal trajectory prediction method of pedestrians at signalized intersections for autonomous vehicles was proposed to improve the driving safety of autonomous vehicles in the mixed traffic with pedestrian and vehicles. Firstly, considering the social attributes of the Social Generative Adversarial Network (SGAN) model, the pedestrian history trajectory was taken as the model input, the generator and discriminator were trained alternately, and the cross-entropy loss function was used to optimize the model, and then a pedestrian trajectory prediction model based on SGAN was proposed. Secondly, four binding force models based on pedestrian self-drive, pedestrian interaction, zebra crossing boundary force and traffic light force were established, and then a pedestrian trajectory prediction model based on Social Force Model (SFM) was proposed. The particle swarm optimization algorithm was used to calibrate the non-measurable parameters of SFM. Finally, based on the AdaBoost algorithm, the prediction results of SGAN and SFM were fused, and the weights of each model were iteratively trained and optimized dynamically by multiple weak learners to improve the prediction accuracy of the model. Based on the pedestrian data of an intersection in Xi'an city, the experimental analysis and verification were carried out. The results show that the average displacement error (ADE) and final displacement error (FDE) of the proposed method are increased by about 21.7% and 10.5%, respectively, compared with the single SFM model and the single SGAN model. The proposed model can realize more accurate pedestrian trajectory prediction.
Key words: autonomous driving; urban intersections; pedestrian; trajectory prediction; integration model
弱勢交通參與者 (vulnerable road users,VRU) [1] 作為交通系統(tǒng)的核心組成部分,其運(yùn)動軌跡的精確推理與預(yù)測對于自動駕駛技術(shù)安全落地具有重要意義。根據(jù)世界衛(wèi)生組織《全球道路安全現(xiàn)狀報告》,每年全球道路死亡人數(shù)達(dá)到 135 萬人。其中,超過一半的事故受害者是弱勢交通參與者 [2]。其中,行人獨(dú)特的運(yùn)動特性與過街行為模式高度復(fù)雜且多變,尤其在人車混行的信號交叉口,行人可能依據(jù)車輛接近速度、信號燈狀態(tài)等因素,采取加速穿越、暫停避讓、闖紅燈甚至反向退避等多種隨機(jī)行為策略,極大地加劇了自動駕駛系統(tǒng)決策控制過程中的不確定性。因此,提升自動駕駛系統(tǒng)對行人運(yùn)動軌跡的預(yù)測能力,構(gòu)建更為精確且靈活的自動駕駛決策控制框架,成為推動自動駕駛技術(shù)安全發(fā)展亟需攻克的核心挑戰(zhàn)之一。
為了準(zhǔn)確地預(yù)測行人的運(yùn)動軌跡,近年來國內(nèi)外研究者提出了諸多理論與方法。按照預(yù)測模型劃分,現(xiàn)有的方法主要可以分為2大類:物理模型和數(shù)據(jù)驅(qū)動模型。其中,物理模型包括切換線性動力學(xué)系統(tǒng)(switch- ing linear dynamical system,SLDS) [3]、動態(tài)Bayes網(wǎng)絡(luò) (dynamic Bayesian network,DBN) [4]和社會力模型(social force model,SFM) [5]等。數(shù)據(jù)驅(qū)動模型主要包括卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN) [6]、長期短期記憶網(wǎng)絡(luò)(long short-term memory network,LSTM) [7]和社會生成對抗網(wǎng)絡(luò)模型(social generative adversarial network,SGAN) [8]等。如S. Eiffert等[9]提出了利用圖注意力網(wǎng)絡(luò)建模車輛與行人間社會互動的方法;QUAN Ruijie等[10]整合多種信息源以提升軌跡預(yù)測精度,提出了全局長短期記憶網(wǎng)絡(luò)(holistic long short-term memory network,Holistic LSTM);XU Yi等[11]利用圖神經(jīng)網(wǎng)絡(luò)的可遷移性來提升模型在各種場景下的預(yù)測能力,提出了可遷移圖神經(jīng)網(wǎng)絡(luò)(transferable graph neural network,T-GNN)框架;P. Dendorfer 等[12]通過引入多個生成器來捕捉不同的軌跡模式,提高模型對不同軌跡分布的適應(yīng)能力,提出了多生成器模型(multiple generator generative adversarial network,MG-GAN);K. E. Kexin等[13]通過將預(yù)測任務(wù)視為運(yùn)動不確定性擴(kuò)散的逆過程來建模未來運(yùn)動狀態(tài)的多模態(tài)性,能夠有效處理復(fù)雜多變的運(yùn)動狀態(tài)。物理模型和數(shù)據(jù)驅(qū)動模型各有優(yōu)勢和局限性。對于物理模型,SLDS和DBN在處理非線性軌跡以及捕捉交通環(huán)境影響方面能力有限。SFM雖然依賴一些規(guī)則和特征能夠預(yù)測行人的即時反應(yīng),但無法處理信息的長期依賴性。對于數(shù)據(jù)驅(qū)動方法,盡管依賴時間序列在軌跡預(yù)測方面表現(xiàn)出較高的精度,但仍有改進(jìn)空間,如數(shù)據(jù)驅(qū)動方法無法像物理方法那樣微觀描述行人的社會行為。為彌補(bǔ)數(shù)據(jù)驅(qū)動方法和物理方法的不足,提升行人軌跡預(yù)測的效果,需要一種融合兩者優(yōu)勢的軌跡預(yù)測方法。如CHEN Hao等[14]提出了一種基于門控循環(huán)單元 (gated recurrent unit,GRU)和SFM融合的VRU軌跡預(yù)測方法,并取得了較好的預(yù)測效果。但是,GRU在捕捉復(fù)雜的社會交互行為方面能力有限,且在面對極其復(fù)雜的非線性動態(tài)變化時表現(xiàn)較差。相比之下,SGAN能夠更好地模擬行人之間的互動,并且更擅長捕捉軌跡數(shù)據(jù)中的非線性動態(tài)特征,通過對抗訓(xùn)練機(jī)制,能夠?qū)W習(xí)到數(shù)據(jù)中更復(fù)雜的模式。
目前,現(xiàn)有的行人軌跡預(yù)測方法在應(yīng)對復(fù)雜行為模式時,往往難以同時考慮環(huán)境、社會關(guān)系等多種因素,導(dǎo)致預(yù)測精度和適用性受限。因此,如何結(jié)合行人個體和群體行為,特別是結(jié)伴和避碰行為等特征構(gòu)建更精確的預(yù)測模型,成為當(dāng)前研究的重要挑戰(zhàn)之一?;谏鲜鲅芯炕A(chǔ),本文提出了一種面向自動駕駛汽車的信號交叉口行人多模態(tài)軌跡預(yù)測方法,融合 SFM 和SGAN 模型的優(yōu)勢特征,提高模型對行人非線性軌跡預(yù)測的精度和適應(yīng)性。
1"" 信號交叉口行人軌跡特征分析與建模
在城市交通場景中,行人通過信號交叉口時,其行為表現(xiàn)出高度的動態(tài)性和不確定性,不僅受交通信號燈的影響,還會與其他行人和道路邊界等環(huán)境因素產(chǎn)生交互,增加了預(yù)測軌跡的復(fù)雜性和關(guān)鍵性。通過研究結(jié)果 [15-16] 和數(shù)據(jù)分析可知,行人通行信號交叉口時的行為特征主要體現(xiàn)在:
行人對交通規(guī)則的遵守程度不同,多數(shù)行人軌跡集中在斑馬線內(nèi)部,少數(shù)行人選擇在非斑馬線區(qū)域穿行。
行人的運(yùn)動狀態(tài)受信號燈狀態(tài)影響較為明顯。如當(dāng)行人信號燈綠燈開始閃爍時,行人會提高行進(jìn)速度以盡快通過交叉口,而斑馬線外的行人停止通行并等候。
行人結(jié)伴行為在行人通過信號交叉口場景較為普遍,他們在一段時間內(nèi)將保持相似的運(yùn)動狀態(tài)。
行人軌跡可能與同向或?qū)ο蛐腥水a(chǎn)生沖突。為了避免碰撞,行人會采取繞行或超越等方式,導(dǎo)致其軌跡產(chǎn)生波動。
為此,如圖1 所示,本文提出了信號交叉口行人多模態(tài)軌跡預(yù)測方法。首先,將SGAN 作為一個基本模型,用生成器和判別器交替訓(xùn)練,并采用交叉熵?fù)p失函數(shù)來優(yōu)化生成器和判別器的性能,對行人軌跡進(jìn)行預(yù)測;其次,將 SFM 作為另一個基本模型對行人軌跡進(jìn)行預(yù)測,建立的 SFM 模型包括自驅(qū)力、行人之間交互力、斑馬線邊界力和信號燈作用力,并用粒子群算法對模型中的不可測量參數(shù)進(jìn)行多目標(biāo)尋優(yōu);最后,基于這些多模態(tài)預(yù)測軌跡數(shù)據(jù),利用 AdaBoost 算法將 SGAN 和 SFM 進(jìn)行融合,輸出行人的預(yù)測軌跡。在此過程中,基本模型的預(yù)測軌跡被劃分為新的訓(xùn)練集和測試集,用于融合模型的訓(xùn)練和測試。
本文使用 AdaBoost 集成 SFM 和 SGAN 模型輸出的行人預(yù)測軌跡,可以充分發(fā)揮 2 種模型的優(yōu)勢特征,以達(dá)到提高精度的效果。首先,SFM 側(cè)重于行人的運(yùn)動狀態(tài) ( 包括歷史位置、速度和加速度等 ),有助于模擬行人與環(huán)境及其他行人之間的相互作用;其次, SGAN 模型通過深度學(xué)習(xí)自動提取復(fù)雜的行為模式 ( 包括歷史軌跡、鄰域軌跡和時序特征等 )。歷史軌跡捕捉行人過去的運(yùn)動信息,鄰域軌跡考慮周圍行人的行為,增強(qiáng)群體行為的預(yù)測能力,時序特征則有助于捕捉軌跡中的時間序列依賴性,能夠?qū)ξ磥磉\(yùn)動趨勢的預(yù)測精度。在 AdaBoost 集成模型中,將 SFM 和 SGAN 的預(yù)測輸出作為輸入特征,通過結(jié)合兩者的結(jié)果,動態(tài)優(yōu)化特征權(quán)重,從而改善最終輸出軌跡的預(yù)測效果。集成模型通過將基本模型的預(yù)測結(jié)果與真實(shí)軌跡進(jìn)行誤差估計(jì),根據(jù)誤差調(diào)整模型的權(quán)重分配,通過迭代優(yōu)化,提高模型的預(yù)測精度。
2"" 基于 SGAN 的行人軌跡預(yù)測方法
社會生成對抗網(wǎng)絡(luò) (SGAN) 是由生成對抗網(wǎng)絡(luò) (generative adversarial network,GAN) 改進(jìn)得到的一種考慮行人簡單社會行為的模型。SGAN 結(jié)合了GAN的框架,并加入社會池化層以捕捉行人之間的互動和依賴關(guān)系。SGAN 由生成器 (generator) 和判別器 (dis- criminator) 2 個主要部分組成。生成器采用長短期記憶網(wǎng)絡(luò) (LSTM) 層結(jié)構(gòu),輸入歷史軌跡數(shù)據(jù),生成未來軌跡;判別器使用卷積層結(jié)構(gòu),評估生成行人軌跡的真實(shí)性。
生成器的網(wǎng)絡(luò)結(jié)構(gòu)包括兩層LSTM,每層包含128個隱藏單元。具體說,給定行人i的歷史軌跡,其中T為歷史時間步數(shù),這里取T = 20。生成器通過兩層LSTM將其映射到未來軌跡,其中T '為預(yù)測時間步數(shù),取值為30。即用歷史20個時間步行人軌跡來預(yù)測未來30個時間步行人軌跡。生成器的輸出表示為
其中:G表示生成器,θG為生成器的參數(shù)。
判別器的輸入為生成軌跡和真實(shí)軌跡,經(jīng)過 3 層卷積層后輸出真實(shí)性評分。設(shè) D 為判別器,θD 為判別器的參數(shù),判別器的輸出為
其中:Conv1、Conv2、Conv3分別表示3層卷積層的操作。訓(xùn)練過程中,生成器和判別器交替訓(xùn)練,生成器試圖生成逼真的未來軌跡,而判別器則試圖區(qū)分生成的軌跡和真實(shí)軌跡。本文采用交叉熵?fù)p失函數(shù)來優(yōu)化生成器和判別器的性能。生成器的損失函數(shù)定義為
判別器的損失函數(shù)定義為
其中:pdata(x)表示真實(shí)數(shù)據(jù)的分布,pz(z)表示噪聲數(shù)據(jù)的分布。
本文基于西安開元路-正則路交叉口歷史軌跡數(shù)據(jù),并將其分割成訓(xùn)練集和驗(yàn)證集。訓(xùn)練SGAN模型時,讓生成器和判別器交替訓(xùn)練。首先,生成器訓(xùn)練,固定判別器的參數(shù)θD,最小化生成器的損失函數(shù)LG,更新生成器的參θG;其次,判別器訓(xùn)練,固定前面更新的生成器的參數(shù)θG,最小化判別器的損失函數(shù)LD,更新判別器的參數(shù)θD;依次類推,交替進(jìn)行。SGAN被用作多模態(tài)中的一種,通過生成未來軌跡,為后續(xù)的AdaBoost融合提供一種模態(tài)的訓(xùn)練數(shù)據(jù)。
3"" 基于 SFM 的行人預(yù)測方法
自社會力模型提出以來,許多研究者根據(jù)不同的應(yīng)用場景提出了一系列變體 [17-18]。本文 SFM 模型考慮了行人在通行時受到的 4 種力:自驅(qū)力、斑馬線邊界作用力、行人之間交互力以及信號燈作用力。
3.1"" 自驅(qū)力
自驅(qū)力是指行人向目標(biāo)位置移動的自發(fā)驅(qū)動力,如圖2。在沒有外界干擾時,行人會沿直線路徑向目標(biāo)前進(jìn)。然而,當(dāng)受到其它環(huán)境因素的影響時,行人的行走方向可能會發(fā)生改變,此時行人會在自驅(qū)動力作用下重新調(diào)整回到理想方向直線路徑。對此,自驅(qū)力可建模為
其中:vd為理想速度矢量,其大小為理想速率,方向是行人的前20幀的起點(diǎn)和終點(diǎn)連線方向;va為實(shí)際速度矢量;τa為松弛時間,衡量行人反應(yīng)時間。
3.2"" 斑馬線邊界作用力
行人在過馬路時通常會選擇在斑馬線內(nèi)行走,這是一種心理的作用力在約束行人。本文的斑馬線邊界力據(jù)此建立。當(dāng)行人因避讓等原因走出斑馬線時,斑馬線邊緣會有吸引力,促使行人回到斑馬線內(nèi);當(dāng)行人在斑馬線內(nèi)行走,但受周圍環(huán)境影響有可能向邊緣偏離時,斑馬線邊緣會施加排斥力,使行人保持在斑馬線內(nèi),如圖 3 所示。這種斑馬線約束力建模為
其中:Ab、Bb、Abr、Bbr分別為斑馬線外約束力強(qiáng)度、斑馬線距離影響系數(shù)、斑馬線內(nèi)約束力強(qiáng)度、斑馬線距離影響系數(shù),這4個系數(shù)為不可測量參數(shù);Bx 、Bx 為斑馬線邊界的橫坐標(biāo)(圖3中假設(shè)斑馬線在二維平面上是上下走向,左右走向的斑馬線同理);x 和v 分別為行人α的橫坐標(biāo)及其對應(yīng)速度的x方向分量;n1 = [?1,0] ,n2 = [1,0]為垂直于斑馬線邊界的2個單位向量。
3.3"" 行人之間交互力
當(dāng)一個行人視野范圍內(nèi)出現(xiàn)其他行人時,會產(chǎn)生避讓意圖。這個趨勢同樣也可以通過建立行人之間的相互作用力來體現(xiàn),如圖 4 所示。
本文中,視野范圍設(shè)定為一個以速度方向?yàn)榻瞧椒志€,半徑 R = 8 m,圓心角Angel = 170° 的扇形區(qū)域 [19]。行人的力場被建模為一個橢圓 [20],橢圓的 2 個焦點(diǎn)分別是行人的當(dāng)前位置以及當(dāng)前狀態(tài)保持不變下一個時間步到達(dá)的位置。行人之間的相互作用力建模為:
其中:Ap和Bp分別為行人作用強(qiáng)度系數(shù)、行人距離影響系數(shù),這2個系數(shù)為不可測量參數(shù);Pα和Pβ為行人α和行人β的位置向量;vβ為行人β的速度向量;Δt為時間步長;n 為力場橢圓上行人α所在點(diǎn)的法線方向;b 為橢圓的半短軸。
3.4"" 信號燈作用力
行人的心理狀態(tài)在信號燈變?yōu)榫G閃或紅燈時會發(fā)生顯著變化,從而導(dǎo)致其速度、加速度產(chǎn)生變化。因此,信號燈的狀態(tài)可以被視為一種作用于行人的外力[21]。當(dāng)信號燈為綠燈時,對行人沒有影響;當(dāng)信號燈從綠燈變?yōu)榫G閃時,行人為了在綠閃結(jié)束之前通過人行橫道,會選擇加速行走;當(dāng)信號燈從綠閃變?yōu)榧t燈時,車輛獲得路權(quán),行人為了自身安全需要盡快通過人行橫道,同樣會選擇加速行走。具體場景如圖 5 所示。
信號燈作用力如下:
其中:As、Bs分別為信號燈作用強(qiáng)度系數(shù)、信號燈距離影響系數(shù),這2個系數(shù)為不可測量參數(shù);Pα(t)是t時刻行人α的位置;P" 是沿當(dāng)前理想速度方向與斑馬線邊界的交點(diǎn);nα是指向邊界交點(diǎn)的單位向量。
上述 4 種因素共同組成的合力作用于行人,得到行人下一個時間步的速度更新和位置更新:
其中:F 為行人α所受合力,包括:目標(biāo)點(diǎn)對行人的作用力Fd,斑馬線對行人的約束力Fb,行人之間相互作用力F ,信號燈對行人影響力F 。上述力均已考慮行人質(zhì)量,可視為加速度。P 和P" 分別為t時刻和t + 1時刻行人α所在的位置,v 和v 分別為t時刻和t + 1時刻行人α的速度,F為t時刻行人合力的大小,Δt = 0.1 s為時間步長。
參數(shù)標(biāo)定
模型中Ap、Bp、Ab、Bb、Abr、Bbr、As、Bs 等 8 個參數(shù)不可直接測得,本文基于粒子群算法[22] 對參數(shù)進(jìn)行多目標(biāo)尋優(yōu),從而使 SFM 輸出軌跡預(yù)測的最優(yōu)解。標(biāo)定過程如下:
首先對粒子群進(jìn)行初始化。每個粒子的位置代表 8 個需要尋優(yōu)的參數(shù),分布記作 p1,p2,...,p8,初試速度也由每個粒子隨機(jī)生成。每個粒子的位置和速度都會在后續(xù)步驟中不斷調(diào)整。
初始化完成后,計(jì)算每個粒子在當(dāng)前參數(shù)位置上的適應(yīng)度值,適應(yīng)度函數(shù)用于評估這 8 個參數(shù)對SFM 模型預(yù)測的效果。
根據(jù)當(dāng)前適應(yīng)度值,利用式 (14) 和式 (15) 更新每個粒子的速度和位置。新的速度使得粒子向更優(yōu)解方向移動,8 個參數(shù)隨著位置的變化而更新。
其中:vi(t)是粒子i在時間t的速度向量;w是慣性權(quán)重,控制粒子當(dāng)前速度對下一步速度更新的影響程度;c1和c2是加速常數(shù),通常取值為正值;r1和r2是在區(qū)間[0,1]內(nèi)的隨機(jī)數(shù),用于增加隨機(jī)性;pi是粒子i的個體最優(yōu)位置;g是全局最優(yōu)位置;xi(t)是粒子i在時間t的位置向量。
對每個粒子,比較其當(dāng)前適應(yīng)度與歷史最優(yōu)適應(yīng)度值,如果當(dāng)前值更優(yōu),則更新粒子的個體最優(yōu)參數(shù)組合。通過比較所有粒子的個體最優(yōu)解,找到 8 個參數(shù)的全局最優(yōu)解 g。
重復(fù)步驟2)— 步驟4),直到達(dá)到最大迭代次數(shù)。通過不斷迭代優(yōu)化,8 個參數(shù)逐漸逼近最優(yōu)值;輸出 8 個不可測量參數(shù)的全局最優(yōu)解,SFM 最終生成全局最優(yōu)的預(yù)測軌跡。
4"" 基于AdaBoost 的行人軌跡融合預(yù)測方法
AdaBoost 算法 [23] 通過增加誤差較小模態(tài)的權(quán)重,減少誤差較大模態(tài)的權(quán)重,從而調(diào)整多模態(tài)預(yù)測結(jié)果中每一種的權(quán)重。本文使用 AdaBoost 作為融合 SFM和SGAN 的元模型。
在開始訓(xùn)練前,每個訓(xùn)練樣本i的權(quán)重w 被初始化為相等的值。若有N個樣本,則每個樣本的初始權(quán)重為
決策樹回歸器易于實(shí)現(xiàn),且能處理復(fù)雜的數(shù)據(jù)結(jié)構(gòu),因此本文使用決策樹回歸器[24] 作為弱學(xué)習(xí)器對 2種方法進(jìn)行融合[25]。對于 SFM 和 SGAN 輸出的所有樣本,通過AdaBoost 算法,從第 2 個樹模型開始,每個連續(xù)的樹模型都更關(guān)注所有樣本中前一個樹模型預(yù)測誤差較大的樣本。每個樹模型的訓(xùn)練過程中,SFM和 SGAN 輸出的各樣本所占的權(quán)重會根據(jù)前一個模型預(yù)測的不同精度進(jìn)行調(diào)整,預(yù)測誤差大的樣本在下一個模型的訓(xùn)練中會占有更高的權(quán)重,從而使模型對這些困難點(diǎn)針對性地處理,進(jìn)而使得這些簡單的決策樹模型可以持續(xù)得到改進(jìn)。
其中,誤差大小用錯誤率表示,錯誤率是指被錯誤分類樣本權(quán)重之和,權(quán)重根據(jù)樣本是否被正確分類來調(diào)整,被錯誤分類的樣本權(quán)重增加,而被正確分類的樣本權(quán)重減少。由于預(yù)測軌跡幾乎不可能與實(shí)際軌跡完全一致,本文通過計(jì)算真實(shí)軌跡與預(yù)測軌跡的偏離程度來衡量錯誤率。錯誤率 ε 和更新權(quán)重w 分別為:
其中:p" 、p分別是SFM和SGAN輸出樣本中第t輪第i個樣本的實(shí)際位置、第t輪第i個樣本的預(yù)測位置;αt是訓(xùn)練到第t輪弱學(xué)習(xí)器的權(quán)重,反映了該弱學(xué)習(xí)器在最終學(xué)習(xí)器中的重要程度;αt通常是根據(jù)整體的錯誤率εt來調(diào)整,并使錯誤率高的樣本在下一輪中的權(quán)重增大,αt的計(jì)算式為
在權(quán)重更新迭代過程結(jié)束后,需要將所有弱學(xué)習(xí)器通過它們的 αt 值加權(quán)結(jié)合起來,形成最終的一個強(qiáng)學(xué)習(xí)器模型。這個組合弱學(xué)習(xí)器的過程用這樣一個決策式表示:
其中:ht(x)是第t個弱學(xué)習(xí)器的預(yù)測函數(shù),αt是對應(yīng)的權(quán)重,T是弱學(xué)習(xí)器個數(shù)。
通過上述過程,可以將 SFM 和 SGAN 模型進(jìn)行融合,得到行人的預(yù)測軌跡。
基于 AdaBoost 的行人軌跡融合預(yù)測方法的偽代碼如算法 4-1 所示。
5"" 實(shí)驗(yàn)驗(yàn)證與分析
實(shí)驗(yàn)基于SIND數(shù)據(jù)集[26]中西安交叉口的行人數(shù)據(jù)進(jìn)行驗(yàn)證。圖6a和圖6b所示為西安尚林路-草灘四路交叉口和開元路-正則路交叉口的100 m高空俯瞰圖,兩交叉口斑馬線寬度均為6 m,長度見圖6a和圖6b中標(biāo)注,相互平行的斑馬線處信號燈同時放行。本文的融合模型包含2個基本模型:SFM和SGAN模型。西安市開元路?正則路交叉口數(shù)據(jù)集被分為訓(xùn)練集和驗(yàn)證集用于SGAN模型,西安市尚林路-草灘四路交叉口數(shù)據(jù)集用作SFM和SGAN模型的測試集,進(jìn)而得到多模態(tài)預(yù)測軌跡數(shù)據(jù)集。其中,SFM使用MATLAB 2020a搭建,SGAN使用 Python 3.7搭建。系統(tǒng)版本為Windows 11,CUDA 11.2, Pytorch 1.10,硬件配置為NVIDIA GeForce GTX 3090工作站。
本文對行人軌跡數(shù)據(jù)進(jìn)行了一系列預(yù)處理,去除了數(shù)據(jù)集中靜止行人的軌跡以及距離斑馬線較遠(yuǎn)行人的軌跡。將基本模型預(yù)測得到的多模態(tài)預(yù)測軌跡及其對應(yīng)的真實(shí)軌跡數(shù)據(jù)對齊,作為 AdaBoost 融合模型的輸入。將多模態(tài)數(shù)據(jù)集 (1 052 條對齊軌跡) 按以 8∶2的比例劃分為訓(xùn)練集和測試集。圖 7 是行人軌跡分布圖和軌跡分布熱力圖。
如圖 7b 所示,不同區(qū)域的行人密度存在顯著差異,顏色從淺藍(lán)色到深藍(lán)色表示行人密度從低到高。表明行人主要集中在斑馬線區(qū)域,其行人密度最高?;跓崃D的形狀可以推斷出行人在這些高密度區(qū)域之間的流動路徑,尤其是在左右兩側(cè)的高密度區(qū)域之間存在明顯的通道連接。
實(shí)驗(yàn)采用粒子群算法對 SFM 中的 Ap、Bp、Ab、Bb、 Abr、Bbr、As、Bs 等 8 個參數(shù)進(jìn)行多目標(biāo)尋優(yōu)。粒子數(shù)量設(shè)定為 50,給 ADE 和 FDE[27] 平均分配權(quán)重,尋找最優(yōu)解使得行人預(yù)測軌跡與實(shí)際軌跡相比綜合誤差最小。具體參數(shù)標(biāo)定見表 1。
如圖 8 所示,平均信息熵值隨著幀數(shù)的增加不斷增加。當(dāng)總幀數(shù)小于 20 幀時,曲線曲率逐漸由高變低且變化較快;當(dāng)總幀數(shù)大于 20 幀時,曲線曲率的變化速度保持在一個較低狀態(tài)。在前期的數(shù)據(jù)中包含了行人軌跡的主要信息,因此熵值增速較快,而后期的數(shù)據(jù)中包含過多重復(fù)信息,但仍存在微小的噪聲或細(xì)微的變化,這些微小變化對熵值貢獻(xiàn)較小,因此上升幅度緩慢。本文 2 個基本模型的時間步長均為 0.1 s,均使用歷史 20 幀(2 s) 來預(yù)測未來 30 幀(3 s) 軌跡情況。若采用過多的歷史數(shù)據(jù),噪聲會不斷累積,而有效信息卻沒有增加,模型需要處理大量不必要信息,進(jìn)而干擾模型運(yùn)算,會降低預(yù)測準(zhǔn)確性。
基于式 (21) 和式 (22),平均信息熵需要計(jì)算每一幀的運(yùn)動變化,基于式 (23) 根據(jù)運(yùn)動變化進(jìn)行分箱聯(lián)合計(jì)算概率分布,最終基于式 (24) 計(jì)算得到信息熵值。
其中,(xi,yi)是位置信息,Δ xi和Δyi是每一幀之間的變化量,f (xi,yi)是每個分箱組合的頻數(shù),N是總的數(shù)據(jù)點(diǎn)數(shù)。
5.1"" 模型對比分析
5.1.1 預(yù)測精度
本文使用 ADE 和 FDE 這 2 個量化指標(biāo)評估模型的預(yù)測精度,其計(jì)算方法如式 (25) 和式 (26) 所示:
其中:P 是行人第i個軌跡點(diǎn)的真實(shí)位置,P 是行人第i個軌跡點(diǎn)的預(yù)測位置;P是行人最后一個軌跡點(diǎn)的真實(shí)位置,Ppre 是行人最后一個軌跡點(diǎn)的預(yù)測位置。
為了評估融合模型在精度上的優(yōu)越性,本文對比了單一 SFM、單一 SGAN 模型以及融合模型在尚林路數(shù)據(jù)集上的行人軌跡預(yù)測精度。ADE 和 FDE 值如表 2 所示,融合模型的 ADE 和 FDE 分布情況見圖 9。
從表2可以看出,融合模型在ADE和FDE上的表現(xiàn)優(yōu)于單一模型。與單一SFM相比,融合模型的ADE和 FDE分別降低了23.8%和19.6%;與單一SGAN相比,融合模型的ADE和FDE分別降低了11.1%和9.8%。從圖9看出融合模型的ADE和FDE分布較為集中,驗(yàn)證了融合模型的有效性。
5.1.2 不同場景下的行人軌跡預(yù)測
實(shí)驗(yàn)通過簡單軌跡預(yù)測逐漸過渡到較為復(fù)雜的軌跡預(yù)測,分別對比了本文模型對平穩(wěn)軌跡、明顯波動軌跡、結(jié)伴行為軌跡、避碰行為軌跡的預(yù)測效果圖。在證明了融合模型預(yù)測平穩(wěn)軌跡的有效性 ( 如圖 10) 以及明顯波動軌跡的優(yōu)越性 ( 如圖 11) 之后,實(shí)驗(yàn)進(jìn)一步驗(yàn)證了融合模型對行人的結(jié)伴、避碰這 2 種交互行為意圖預(yù)測的有效性 ( 如圖 12 和圖 13),并針對上述場景中對行人意圖的捕獲成功率,對比了SFM、SGAN 模型和融合模型 ( 如圖 14)。
圖10對比了單一SFM、單一SGAN模型以及融合模型在平穩(wěn)場景下的預(yù)測效果(圖中紅色箭頭表示行人的行走方向)。如圖10可知,對平穩(wěn)軌跡進(jìn)行軌跡預(yù)測時,3種模型對真實(shí)軌跡的總體趨勢都能較好的預(yù)測,但是融合模型的輸出結(jié)果為非線性軌跡,更加貼合實(shí)際情況。證明了在平穩(wěn)場景下融合模型相較基本模型的優(yōu)越性。圖 11 對比了3 種模型對明顯波動軌跡的軌跡預(yù)測效果。圖11a 和圖 11b 中軌跡相對其他 2 個場景波動較小,3 個模型預(yù)測軌跡均沿相似方向,表明它們都能一定程度上模擬行人移動。SFM 和SGAN 模型軌跡在后期明顯偏離真實(shí)軌跡,盡管 SFM 在描述行人運(yùn)動行為方面有優(yōu)勢,但在處理非線性軌跡和時間上相對靠后的區(qū)域時精度不足。而 SGAN 則依賴時間序列學(xué)習(xí)軌跡模式,生成相對逼真的軌跡,但誤差隨著時間的推移逐漸增大。而融合模型的軌跡誤差最小,證明了其在精度方面的優(yōu)勢。圖 11c 和圖 11d 展示了行人意圖變化幅度相對較大的軌跡。SFM 和SGAN 在對這種變化幅度較大的軌跡做預(yù)測時,往往輸出線性軌跡,并且易偏離正確方向。而融合模型不僅可以預(yù)測出真實(shí)軌跡的意圖方向,還能較好地擬合曲線細(xì)節(jié),精度較高,證明了其對明顯波動軌跡預(yù)測的優(yōu)越性。可見相比單一 SFM 和單一 SGAN 模型,融合模型結(jié)合了兩者的優(yōu)勢,在捕捉復(fù)雜軌跡模式方面具有優(yōu)越性。
圖 12a 中,2 個行人一直保持結(jié)伴狀態(tài),模型能夠準(zhǔn)確捕捉到這一狀態(tài)。預(yù)測軌跡與真實(shí)軌跡總體趨勢一致,說明了融合模型在捕捉個體間相互影響和同步移動方面表現(xiàn)較好。圖 12b、圖 12c 和圖 12d 展示了另外 3 組結(jié)伴行為的軌跡對比。真實(shí)軌跡與預(yù)測軌跡的重合度較高,表明融合模型能夠有效模擬結(jié)伴行為,并且預(yù)測精度較高,對結(jié)伴行為的適應(yīng)性較好。
圖 13a 中,行人之間互相超越,為避免碰撞,在產(chǎn)生足夠間距后開始改變行走方向。預(yù)測軌跡與實(shí)際軌跡擬合較好,表明模型能夠準(zhǔn)確捕捉到行人避碰超越意圖。圖 13b 中,2 個不同方向行走的行人在區(qū)域內(nèi)產(chǎn)生沖突,在到達(dá)沖突區(qū)域之前需要采取避碰措施。預(yù)測軌跡能較好體現(xiàn)兩者間的讓行避碰關(guān)系,表明模型能夠準(zhǔn)確捕捉到行人避碰讓行意圖。圖 13c 中,2 個相向行走的行人即將發(fā)生沖突,其中一個行人繞行避碰。預(yù)測軌跡在整體趨勢上,尤其在關(guān)鍵避碰繞行時刻,與實(shí)際軌跡趨勢一致,表明模型能準(zhǔn)確捕捉到行人避碰繞行意圖。圖 13d 中,上方行人緩慢改變方向以避免碰撞,逐漸向下方匯入。預(yù)測軌跡的方向變化在整體趨勢上與實(shí)際軌跡較為重合,融合模型在不同避碰行為場景中表現(xiàn)良好,表明模型能夠準(zhǔn)確捕捉行人避碰意圖。
基于 SFM 進(jìn)行軌跡預(yù)測時,預(yù)測的軌跡總體方向一直是與理想速度的方向一致,因此對行人的隨機(jī)行為難以做出準(zhǔn)確預(yù)測。由于 SFM 中構(gòu)建有行人之間的交互排斥力,因此對于避碰行為軌跡預(yù)測成功率相對較高;SGAN 模型依賴時間序列學(xué)習(xí)大量數(shù)據(jù),并可以一定程度地描述社會行為,對行人社會意圖的識別更加充分,因此相比 SFM 對非線性軌跡有更高的適用性;而集成模型結(jié)合 SFM 對社會行為的具體細(xì)節(jié)描述以及 SGAN 模型對非線性軌跡的較高適用性優(yōu)勢,對明顯波動、結(jié)伴、避碰這 3 種復(fù)雜場景預(yù)測成功率優(yōu)于單一 SFM 和 SGAN 模型。如圖 14 所示,對于 3 種類型軌跡:明顯波動軌跡、結(jié)伴軌跡、避碰軌跡,通過統(tǒng)計(jì)測試樣本中的這 3 種類型軌跡的預(yù)測結(jié)果,得到融合模型的預(yù)測成功率分別是 73.6%、86.7%、91.3%,略高于SGAN 模型的預(yù)測成功率,遠(yuǎn)高于 SFM 模型的預(yù)測成功率,再次驗(yàn)證了集成模型在非線性軌跡意圖預(yù)測方面的優(yōu)越性。
6"" 結(jié)論與展望
本文結(jié)合社會生成對抗網(wǎng)絡(luò)模型(SGAN) 的時間序列依賴、非線性特征捕捉能力和社會力模型(SFM)對行人運(yùn)動行為的微觀描述特性,基于AdaBoost 算法提出了信號交叉口行人多模態(tài)軌跡的融合預(yù)測方法,并在西安某交叉口公開數(shù)據(jù)集進(jìn)行驗(yàn)證。結(jié)果表明:本文模型在累積誤差方面有顯著改善,在平均位移誤差 (ADE) 和最終位移誤差 (FDE) 這 2 種指標(biāo)上與 SFM 和 SGAN 模型相比,分別提升了約 21.7%、10.5%。尤其對于明顯波動的非線性軌跡擬合效果較好,能夠更準(zhǔn)確地預(yù)測明顯波動的行人軌跡,在細(xì)節(jié)處擬合較好。對于行人的結(jié)伴、避碰等行為意圖可以較好捕獲,能夠更準(zhǔn)確地預(yù)測行人交互的真實(shí)動態(tài)意圖。
本研究的對象主要針對城市信號交叉口斑馬線區(qū)域,主要考慮行人之間交互以及周圍環(huán)境等因素對行人軌跡的影響,然而影響行人軌跡的因素可能還包括天氣、車輛、其他弱勢交通參與者(VRU)、道路大小及線性情況等多種因素。因此,下一步研究將考慮車輛和其他 VRU( 如兩輪車、三輪車等 ) 或其他相關(guān)因素對行人的影響,進(jìn)一步完善行人軌跡預(yù)測方法,提高預(yù)測精度。