基于單目攝像頭的某車型駕駛輔助系統(tǒng)應(yīng)用開發(fā)

鄧元 陶建梅 張玉珠

摘 ?要：為解決某車型駕駛輔助系統(tǒng)開發(fā)過程中出現(xiàn)的芯片供應(yīng)風(fēng)險(xiǎn)問題，綜合對比和評估了當(dāng)前毫米波雷達(dá)加攝像頭方案和近年新出現(xiàn)的單目攝像頭深度學(xué)習(xí)解決方案的優(yōu)勢和劣勢，決定采用單目攝像頭作為該車型的芯片供應(yīng)解決方案。針對單目視覺方案測距測速準(zhǔn)確性不高，實(shí)時(shí)性偏差影響性能體驗(yàn)的不足，通過感知端優(yōu)化算法精度和加大數(shù)據(jù)訓(xùn)練量，功能端進(jìn)行功能決策優(yōu)化加以優(yōu)化和解決，最后通過了高里程的實(shí)車路試性能驗(yàn)證和整車性能驗(yàn)收，單目攝像頭方案整體性能達(dá)到量產(chǎn)水平。結(jié)果表明單目視覺解決方案通過深度學(xué)習(xí)算法，能夠不斷提升感知端的識別能力和識別精度，進(jìn)而提升整車性能表現(xiàn)，可以替代毫米波雷達(dá)加攝像頭方案，提升產(chǎn)品競爭力。

關(guān)鍵詞：駕駛輔助;單目;攝像頭;深度學(xué)習(xí)

1 引言

現(xiàn)代社會(huì)汽車雖然給我們帶來了許多便利，但卻大幅增加了人們的出行風(fēng)險(xiǎn)，全球的交通事故慘劇每天都在上演。根據(jù)官方數(shù)據(jù)統(tǒng)計(jì)，80%的交通事故是由于汽車駕駛員在駕駛過程中不專心引起的，由此汽車駕駛輔助系統(tǒng)應(yīng)運(yùn)而生[1]。駕駛輔助系統(tǒng)關(guān)鍵技術(shù)在車輛行駛前方的目標(biāo)識別和預(yù)警方面，目前大多數(shù)的車企主要以攝像頭、毫米波雷達(dá)和激光雷達(dá)等傳感器對前方目標(biāo)識別和預(yù)警，在這些駕駛輔助系統(tǒng)傳感器中，機(jī)器視覺又以其在價(jià)格、設(shè)備大小、系統(tǒng)難易程度上的特有優(yōu)勢，在此方向占據(jù)了重要地位。隨著汽車駕駛輔助系統(tǒng)研究的不斷深入，采用單目車載攝像頭作為駕駛輔助系統(tǒng)解決方案搭載開發(fā)的車型越來越多。

本文針對某車型開發(fā)過程中駕駛輔助系統(tǒng)零件出現(xiàn)的芯片供應(yīng)風(fēng)險(xiǎn)，綜合對比和評估了當(dāng)前毫米波雷達(dá)加攝像頭方案和近年新出現(xiàn)的單目攝像頭解決方案的優(yōu)勢和劣勢，決定采用單目攝像頭作為該車型的芯片供應(yīng)解決方案，最終替代掉毫米波雷達(dá)加攝像頭方案，通過該車型單目攝像頭解決方案的成功應(yīng)用開發(fā)，提升了產(chǎn)品競爭力，同時(shí)為后續(xù)其他車型的匹配開發(fā)積累了寶貴經(jīng)驗(yàn)。

2技術(shù)方案

駕駛輔助階段有兩大技術(shù)流派：

一種以純視覺算法為主。目前單目攝像頭解決方案已經(jīng)相對成熟，并且成本低，通過“單目攝像頭+強(qiáng)大算法芯片”進(jìn)行目標(biāo)物體識別。通過計(jì)算機(jī)視覺與人工智能算法對攝像頭獲取的信息進(jìn)行分析，獲取有用的信息并做出相應(yīng)的判斷。大量采用CNN等深度學(xué)習(xí)算法[2]，在對行人、兩輪車、道路結(jié)構(gòu)信息，以及交通標(biāo)識的識別上，能夠大幅度提升識別能力和識別精度。但同時(shí)單目攝像頭也存在一定的劣勢，由于單個(gè)攝像頭無法獲取景深，在測量目標(biāo)物體之間的距離時(shí)，需要根據(jù)算法在圖像中識別匹配目標(biāo)物體之后，通過其在圖像中的像素大小去估算目標(biāo)距離，存在一定的誤差。這一測量方式對算法精度和實(shí)時(shí)性水平要求很高，同時(shí)需要大量的數(shù)據(jù)訓(xùn)練保證準(zhǔn)確率。

另一種以“ 毫米波雷達(dá)加攝像頭”為主，是目前前裝 ADAS的主流解決方案，大部分Tire1供應(yīng)商和大多數(shù)的車企車型均使用此方式[3]。系統(tǒng)框架如圖1所示，毫米波雷達(dá)用來測量距離、速度及補(bǔ)充攝像頭的功能盲區(qū)（例如凹凸路面的檢測、惡劣天氣的物體探測、道路和護(hù)欄的交界區(qū)域探測等），攝像頭用來識別物體的形狀和類型。兩相對比，前者成本較低，算法數(shù)據(jù)是核心價(jià)值，后者多傳感器形式精度得到保障，但成本較高，且雷達(dá)模塊體積較大，需要與整車廠同步進(jìn)行嵌入式開發(fā)。隨著視覺能力急速提高，大多數(shù)功能都可以用單目攝像頭視覺方案替代原先毫米波雷達(dá)加攝像頭方案，提升產(chǎn)品競爭力。

3關(guān)鍵問題

隨著視覺傳感器的制造水平和車載嵌入式設(shè)備芯片的處理能力不斷上升，基于機(jī)器視覺、數(shù)字圖像處理技術(shù)的目標(biāo)檢測算法成為駕駛輔助系統(tǒng)中的研究熱點(diǎn)[4-5]。由于車輛主動(dòng)安全系統(tǒng)需要具有嚴(yán)苛的實(shí)時(shí)性與準(zhǔn)確率，要求目標(biāo)識別、輸出和跟蹤算法必須具有準(zhǔn)確、穩(wěn)定、連續(xù)和實(shí)時(shí)的特性，這些也為后續(xù)距離預(yù)測和碰撞預(yù)警的有效性提供了保障。由于需要為駕駛員的反應(yīng)預(yù)留充足時(shí)間，要求上述算法的處理時(shí)間達(dá)到接近實(shí)時(shí)處理的效果。感知端輸出的目標(biāo)類型、位置、速度及加速度等結(jié)果，直接影響到功能端的性能表現(xiàn)。

單目視覺方案測距測速準(zhǔn)確性不高，實(shí)時(shí)性偏差是限制其替代距離傳感器的主要原因，需要在開發(fā)過程中重點(diǎn)關(guān)注，優(yōu)化和解決感知端存在的問題，主要存在的問題如下。

感知目標(biāo)識別錯(cuò)誤和不穩(wěn)定問題：近距離行駛的異型車、跟停距離近的靜止大車或者特殊小車、載人的卡車或者三輪車、跟隨前方的重疊大小車、對向來車識別為同向行駛車等，出現(xiàn)感知目標(biāo)檢測錯(cuò)誤，如出現(xiàn)感知誤檢車尾為車頭、異型大車模型誤檢分裂為兩輛車、載人車的人車物理關(guān)系未關(guān)聯(lián)出現(xiàn)分離誤檢為兩個(gè)目標(biāo)，導(dǎo)致功能端出現(xiàn)AEB/FCW誤觸發(fā)問題。感知需要采集相關(guān)數(shù)據(jù)，補(bǔ)充數(shù)據(jù)模型，提高特殊目標(biāo)識別準(zhǔn)確度和穩(wěn)定性，解決AEB/FCW誤觸發(fā)問題。

感知目標(biāo)速度和距離突變問題：在雨天或者出入隧道口光線明暗變化的場景等，前方目標(biāo)感知端輸出的速度和距離存在突變的問題，導(dǎo)致功能端出現(xiàn)ACC誤制動(dòng)問題，直接影響到性能體驗(yàn)。感知采集數(shù)據(jù)分析后，原因?yàn)閳D像質(zhì)量差，感知檢測不穩(wěn)定，目標(biāo)框抖動(dòng)造成距離和速度波動(dòng)。這類場景受制于單目視覺感知的固有缺陷，需要感知端和功能端同步優(yōu)化，作為重點(diǎn)優(yōu)化問題，解決ACC誤制動(dòng)問題。

感知目標(biāo)速度收斂慢問題：在路口有靜止大小車的場景等，靜止目標(biāo)測速輸出的速度收斂過慢，導(dǎo)致ACC減速時(shí)機(jī)偏晚，駕駛員出現(xiàn)信心不足接管車輛或者出現(xiàn)AEB正觸發(fā)問題。采集數(shù)據(jù)分析后，原因?yàn)殪o止目標(biāo)檢測距離近，感知端后處理目標(biāo)速度收斂慢，造成功能端ACC減速晚。市區(qū)路口靜止目標(biāo)ACC減速跟停屬于很常見的場景，體驗(yàn)效果直接影響到用戶對駕駛輔助系統(tǒng)的評價(jià)，ACC減速晚需要重點(diǎn)加以優(yōu)化解決。感知端優(yōu)化算法，加快目標(biāo)速度收斂，同時(shí)功能端針對優(yōu)化后速度曲線做適應(yīng)性標(biāo)定。

感知限速牌識別問題：對于某些數(shù)字或者存在遮擋的限速牌存在誤識別問題，采集相關(guān)數(shù)據(jù)，補(bǔ)充數(shù)據(jù)模型，提高識別準(zhǔn)確度。

4問題驗(yàn)證

4.1數(shù)據(jù)采集和閉環(huán)驗(yàn)證

因感知系統(tǒng)錯(cuò)誤識別（如井蓋、限速桿、減速帶、隧道等物體的錯(cuò)誤識別或錯(cuò)誤關(guān)聯(lián)）或功能決策算法錯(cuò)誤判斷造成的功能觸發(fā)，觸發(fā)時(shí)駕駛員完全不理解是什么導(dǎo)致了報(bào)警或制動(dòng)，稱為誤觸發(fā)（AEB和FCW）。誤觸發(fā)道路數(shù)據(jù)采集和回灌分析的目的，主要是發(fā)現(xiàn)和解決不同駕駛場景下，因感知系統(tǒng)錯(cuò)誤識別或功能決策算法錯(cuò)誤判斷造成的誤觸發(fā)。

誤觸發(fā)數(shù)據(jù)采集和回灌分析一般在項(xiàng)目開發(fā)階段完成，和功能場景正觸發(fā)同步開展驗(yàn)證。考慮到誤觸發(fā)道路數(shù)采的安全性，在誤觸發(fā)數(shù)據(jù)采集的過程中不對制動(dòng)系統(tǒng)進(jìn)行外部制動(dòng)請求，數(shù)據(jù)采集系統(tǒng)可以記錄數(shù)據(jù)采集過程中的觸發(fā)點(diǎn)。針對誤觸發(fā)道路數(shù)據(jù)采集到的數(shù)據(jù)進(jìn)行回灌分析，對回灌過程中出現(xiàn)的誤觸發(fā)問題進(jìn)行剖析，從感知融合和功能決策兩個(gè)方面進(jìn)行深入分析，根據(jù)找到的根本原因來優(yōu)化算法，修復(fù)誤觸發(fā)問題。然后再次回灌采集數(shù)據(jù)和正觸發(fā)場景數(shù)據(jù)，直到回灌滿足誤觸發(fā)指標(biāo)要求和正觸發(fā)場景要求，誤觸發(fā)分析流程如圖5所示。

經(jīng)過前期的10萬公里誤觸發(fā)數(shù)據(jù)采集和后期的20萬公里實(shí)車功能閉環(huán)數(shù)據(jù)驗(yàn)證，結(jié)果表明該系統(tǒng)AEB和FCW誤觸發(fā)性能達(dá)到設(shè)計(jì)指標(biāo)要求。

4.2性能匹配調(diào)試和驗(yàn)收

隨著項(xiàng)目開發(fā)階段的推進(jìn)，對所開發(fā)功能進(jìn)行測試和驗(yàn)證變得越來越重要。根據(jù)系統(tǒng)和功能需求，進(jìn)行整車級功能邏輯測試、性能標(biāo)定調(diào)試、場地測試、臺架測試和路試等，建立相應(yīng)的問題清單，通過采集的問題數(shù)據(jù)進(jìn)行分析，感知端和功能端軟件不斷的迭代優(yōu)化，快速推進(jìn)問題解決關(guān)閉，特別是感知的問題。

在測試開發(fā)后期，為了加大測試驗(yàn)證的力度，確保盡可能多的暴露并解決功能和性能方面的問題，引入獨(dú)立的第三方進(jìn)行功能和性能測試。按照提供的功能規(guī)范分析道路測試方案及用例，為每個(gè)功能模塊分配測試輪次和測試?yán)锍蹋吩嚾瘫O(jiān)控各功能模塊狀態(tài)。動(dòng)態(tài)路試方案涵蓋各種道路類型、天氣、光線等測試環(huán)境，并在測試中統(tǒng)計(jì)每個(gè)功能模塊在各個(gè)測試環(huán)境中的成功率、誤報(bào)率、漏報(bào)率等性能表現(xiàn)。

經(jīng)過感知端和功能端的問題不斷優(yōu)化解決，順利通過了各項(xiàng)驗(yàn)收測試評審，基于單目攝像頭方案的駕駛輔助系統(tǒng)整體性能達(dá)到量產(chǎn)狀態(tài)。

5結(jié)論

本文基于某車型駕駛輔助系統(tǒng)開發(fā)過程中出現(xiàn)的芯片供應(yīng)風(fēng)險(xiǎn)，通過對比當(dāng)前毫米波雷達(dá)加攝像頭方案和單目攝像頭方案的優(yōu)缺點(diǎn)，決定采用基于深度學(xué)習(xí)算法的單目攝像頭方案，該解決方案在對行人、二輪車、道路結(jié)構(gòu)信息、交通標(biāo)識等識別上大幅度提升識別能力和識別精度。針對視覺測距測速準(zhǔn)確性不高、實(shí)時(shí)性偏差造成性能體驗(yàn)上的問題，感知端優(yōu)化算法精度和加大數(shù)據(jù)訓(xùn)練量，功能端進(jìn)行功能決策優(yōu)化，通過整車性能匹配調(diào)試及驗(yàn)收和高里程的路試實(shí)車性能驗(yàn)證，單目攝像頭方案整體性能達(dá)到量產(chǎn)水平。通過該車型單目攝像頭解決方案的成功應(yīng)用開發(fā)，證明可以替代毫米波雷達(dá)加攝像頭方案，提升產(chǎn)品競爭力，同時(shí)為后續(xù)其他的車型匹配開發(fā)積累了寶貴經(jīng)驗(yàn)。

參考文獻(xiàn)

[1]馬娟麗.汽車防撞控制系統(tǒng)的研究[D].西北工業(yè)大學(xué)，2007.

[2]段萌，王功鵬，牛常勇.基于卷積神經(jīng)網(wǎng)絡(luò)的小樣本圖像識別方法[J].計(jì)算機(jī)工程與設(shè)計(jì)， 2018， 39（1）：224-228.

[3]孟凡江，尹遜政.一種基于多傳感器融合的冗余測速測距系統(tǒng)設(shè)計(jì)[J].鐵路計(jì)算機(jī)應(yīng)用，2018，27（01）：46-50.

[4]蘇欣欣，郭元術(shù)，李妮妮.基于深度學(xué)習(xí)的車輛檢測算法研究[J].信息技術(shù)與網(wǎng)絡(luò)安全.2021，40（06）：28-32.

[5]黃生鵬，范平清.基于深度學(xué)習(xí)的實(shí)時(shí)車輛檢測研究[J].軟件工程.2021，24（01）：13-16+5.

作者簡介：

鄧元（1985-），男，碩士研究生，工程師，研究方向：汽車駕駛輔助系統(tǒng)集成開發(fā)。

3732500589225