科學(xué)家研發(fā)自動(dòng)駕駛新模塊讓自動(dòng)駕駛場(chǎng)景理解更接近人類認(rèn)知

近日，清華大學(xué)研究生徐冬陽和所在團(tuán)隊(duì)，為了助力自動(dòng)駕駛技術(shù)的進(jìn)一步發(fā)展而提出一款名為L(zhǎng)VAFusion的模塊，旨在更高效、更準(zhǔn)確地融合多模態(tài)信息。

自動(dòng)駕駛在路上應(yīng)該具備學(xué)習(xí)優(yōu)秀人類駕駛員的能力，因?yàn)槿祟愒诿鎸?duì)多數(shù)場(chǎng)景的時(shí)候，可以迅速地定位在關(guān)鍵區(qū)域。

為了提高端到端自動(dòng)駕駛模型的可解釋性，該團(tuán)隊(duì)首次引入人類駕駛員的注意力機(jī)制。

通過預(yù)測(cè)當(dāng)前交通環(huán)境前后的駕駛員注意區(qū)域，他們將其作為一個(gè)掩碼來調(diào)整原始圖像的權(quán)重，從而使自動(dòng)駕駛車輛能夠像經(jīng)驗(yàn)豐富的人類駕駛員一樣，具備有效定位和預(yù)測(cè)潛在風(fēng)險(xiǎn)因素的能力。

預(yù)測(cè)駕駛員視覺注視區(qū)域的引入，不僅為下游決策任務(wù)提供更具細(xì)粒度的感知特征，從而可以更大程度地保證安全。而且，也讓場(chǎng)景理解過程更加接近人類認(rèn)知，從而能夠提高可解釋性。

就潛在應(yīng)用來說：

其一，本次開發(fā)的LVAfusion模塊能被用于配有激光雷達(dá)的車上，有望提高多模態(tài)大模型的感知融合能力。

其二，本次模型可以和現(xiàn)有多模態(tài)大模型結(jié)合。

比如，駕駛員注意力機(jī)制可以實(shí)時(shí)輸出，讓乘客實(shí)時(shí)觀察當(dāng)前大模型所認(rèn)為權(quán)重較大的板塊。

如果乘客認(rèn)為不合理，可以語音告訴端到端模型，從而實(shí)現(xiàn)自動(dòng)調(diào)節(jié)，進(jìn)而實(shí)現(xiàn)持續(xù)學(xué)習(xí)和不斷優(yōu)化。

端到端自動(dòng)駕駛好在哪里？

據(jù)介紹， 自動(dòng)駕駛包括環(huán)境感知、定位、預(yù)測(cè)、決策、規(guī)劃及車輛控制等關(guān)鍵環(huán)節(jié)，通過協(xié)調(diào)這些模塊可以對(duì)周圍環(huán)境進(jìn)行實(shí)時(shí)感知和安全導(dǎo)航。

然而，這種系統(tǒng)架構(gòu)不但代碼量巨大、后處理邏輯復(fù)雜、后期維護(hù)成本高，而且在實(shí)際應(yīng)用過程中容易出現(xiàn)誤差累積的現(xiàn)象，比如前方突然出現(xiàn)行人，由于感知模塊的漏檢，下游的預(yù)測(cè)決策模塊沒有行人的信息輸入，可能導(dǎo)致危險(xiǎn)的發(fā)生。

而端到端自動(dòng)駕駛則有望解決這個(gè)問題。端到端自動(dòng)駕駛，是指使用深度學(xué)習(xí)模型直接從原始輸入數(shù)據(jù)（如攝像頭圖像，激光雷達(dá)點(diǎn)云），到控制命令（如方向盤轉(zhuǎn)角、油門和剎車）的轉(zhuǎn)換過程。

該方法試圖簡(jiǎn)化傳統(tǒng)的多模塊自動(dòng)駕駛系統(tǒng)，將整個(gè)駕駛?cè)蝿?wù)看作是一個(gè)從感知到行為的映射問題。

端到端學(xué)習(xí)的關(guān)鍵優(yōu)勢(shì)在于它可以降低系統(tǒng)的復(fù)雜性，并有潛力提高泛化能力，因?yàn)槟Ｐ涂梢员挥?xùn)練來直接處理多種不同的駕駛情況。

并且，多模態(tài)端到端自動(dòng)駕駛通過整合來自攝像頭、激光雷達(dá)和雷達(dá)等多種傳感器的數(shù)據(jù)，有望提高系統(tǒng)對(duì)復(fù)雜環(huán)境的理解和反應(yīng)能力，增強(qiáng)決策的準(zhǔn)確性和魯棒性（系統(tǒng)在一定參數(shù)攝動(dòng)下維持某些性能的特性），從而提升自動(dòng)駕駛車輛的安全性和可靠性。

然而，端到端自動(dòng)駕駛基于黑盒化的深度學(xué)習(xí)模型，因此如何提高模型的駕駛性能以及提高模型的可解釋性，是一個(gè)急需解決的問題和痛點(diǎn)。

現(xiàn)有的多數(shù)方法都是端到端自動(dòng)駕駛，徐冬陽和所在團(tuán)隊(duì)詳細(xì)分析模型結(jié)構(gòu)之后發(fā)現(xiàn)，此前人們并沒有很好地利用多模態(tài)信息。

攝像頭具有豐富的語義信息，但是缺乏深度信息。激光雷達(dá)可以提供很好的距離信息。因此，二者具有很好的互補(bǔ)特性。

但是，現(xiàn)有端到端學(xué)習(xí)方法大部分采用骨干網(wǎng)絡(luò)分別提取模態(tài)信息之后，在高維空間里面進(jìn)行拼接，或采用“變形”針對(duì)多模態(tài)信息進(jìn)行融合。

其中， 查詢過程是隨機(jī)初始化的，這個(gè)過程可能導(dǎo)致在采用注意力機(jī)制進(jìn)行融合的過程中，無法利用埋藏在多模態(tài)特征中的先驗(yàn)知識(shí)，進(jìn)而可能會(huì)導(dǎo)致跨多種模態(tài)的同一個(gè)關(guān)鍵對(duì)象的錯(cuò)位，最終導(dǎo)致模型學(xué)習(xí)的收斂速度變慢和次優(yōu)。

中關(guān)村的雪天冬夜里，敲著代碼做實(shí)驗(yàn)

在徐冬陽的研究中，隨著專業(yè)技能的積累以及端到端自動(dòng)駕駛的發(fā)展，在閱讀文獻(xiàn)時(shí)他發(fā)現(xiàn)了端到端領(lǐng)域仍然存在一些不足。

比如，沒有充分探究是否融合了多模態(tài)信息，如何在保證精度的前提下提高模型的可解釋性。一番研究之后，徐冬陽選擇了端到端自動(dòng)駕駛作為研究課題。

端到端自動(dòng)駕駛是一個(gè)很大的系統(tǒng)，包括感知、跟蹤、預(yù)測(cè)、決策、規(guī)劃、控制等多個(gè)模塊。因此，要設(shè)計(jì)一個(gè)可以有效串通上述模塊的方法。

確定好方法之后，則需要采集大量的數(shù)據(jù)。因?yàn)槎说蕉四Ｐ投际腔谏疃葘W(xué)習(xí)，因此需要大量數(shù)據(jù)進(jìn)行訓(xùn)練。

還得確定模型需要什么輸入和輸出，以及在自動(dòng)駕駛仿真平臺(tái)Carla采集多種天氣、多種工況之下的數(shù)據(jù)，同時(shí)還要檢查數(shù)據(jù)的完整性。

完成數(shù)據(jù)采集之后，則要分析模型在結(jié)構(gòu)設(shè)計(jì)上，能否對(duì)本次任務(wù)起到幫助。

實(shí)驗(yàn)中，在導(dǎo)入預(yù)訓(xùn)練權(quán)重的時(shí)候，徐冬陽把權(quán)重導(dǎo)錯(cuò)了一個(gè)。但是，由于經(jīng)過了權(quán)重匹配，因此系統(tǒng)并沒有報(bào)錯(cuò)，然而跑出來的實(shí)驗(yàn)結(jié)果總是不盡人意。

進(jìn)行大量的模型調(diào)試之后，也依舊沒有找到問題所在。一天晚上徐冬陽在中關(guān)村散步的時(shí)候，天上飄著大雪，他忽然想到自己還沒有查看訓(xùn)練代碼，會(huì)不會(huì)是訓(xùn)練過程的問題呢？

于是，他立馬跑回電腦旁，看了一下訓(xùn)練過程，最終確定問題出在預(yù)訓(xùn)練權(quán)重導(dǎo)入上。

調(diào)整之后，實(shí)驗(yàn)結(jié)果非常符合預(yù)期?！斑@種發(fā)現(xiàn)帶來的不僅是對(duì)于問題的理解，更有一種深刻的滿足感和成就感?！毙於栒f。

而由于訓(xùn)練時(shí)間比較長(zhǎng)，徐冬陽每天晚上都會(huì)將多個(gè)任務(wù)提交到訓(xùn)練集群上。有一天晚上由于交的實(shí)驗(yàn)較多，有些任務(wù)由于優(yōu)先級(jí)的原因被停了。

第二天來看的時(shí)候，他發(fā)現(xiàn)少了一些實(shí)驗(yàn)結(jié)果，于是只得再次仔細(xì)分析結(jié)果，并將缺失的實(shí)驗(yàn)重新提交。

就在這樣繁復(fù)的過程之中，他終于完成了研究。最終，相關(guān)論文以《M2DA：融合駕駛員注意力的多模式融合傳感器》為題發(fā)在雜志上。

后續(xù)，課題組會(huì)圍繞進(jìn)一步優(yōu)化模型、拓展應(yīng)用場(chǎng)景、提高系統(tǒng)魯棒性和安全性開展。

具體來說：

首先，要深化多模態(tài)融合技術(shù)。繼續(xù)探索和開發(fā)更加高效的算法，借此改進(jìn)不同傳感器數(shù)據(jù)之間的融合方式。比如， 采用圖網(wǎng)絡(luò)針對(duì)不同模態(tài)進(jìn)行匹配， 而且尤其要關(guān)注在處理高動(dòng)態(tài)和復(fù)雜環(huán)境下的交通場(chǎng)景。

其次， 要增強(qiáng)駕駛員的注意力模型。即進(jìn)一步地研究駕駛員注意力的模擬機(jī)制， 探索如何更加精確地預(yù)測(cè)和模擬人類駕駛員的注意焦點(diǎn)， 以及探究這些焦點(diǎn)對(duì)于駕駛決策的影響。

再次，要開展安全性和魯棒性的驗(yàn)證。即將現(xiàn)有模型部署到現(xiàn)實(shí)世界的小車中，通過更多的物理實(shí)驗(yàn)，驗(yàn)證模型在真實(shí)世界條件下的性能，從而將研究擴(kuò)展到惡劣天氣、夜間駕駛等更廣泛、更多樣的駕駛場(chǎng)景和環(huán)境條件之中，借此驗(yàn)證和提高系統(tǒng)的通用性和適應(yīng)性。

最后，要開展人機(jī)交互的研究。即探索如何將這一技術(shù)與人機(jī)交互更緊密地結(jié)合，例如通過提供給駕駛員更直觀的風(fēng)險(xiǎn)警告和輔助決策支持，增強(qiáng)自動(dòng)駕駛車輛與人類駕駛員之間的互動(dòng)。

通過這些后續(xù)研究計(jì)劃， 徐冬陽希望不僅可以提升自動(dòng)駕駛技術(shù)的性能， 也能確保其更加貼近人類駕駛行為的理解， 為實(shí)現(xiàn)更安全、更智能的自動(dòng)駕駛技術(shù)打下基礎(chǔ)。