基于視覺與雷達(dá)感知融合的環(huán)衛(wèi)車控制系統(tǒng)設(shè)計(jì)

孫正宜 王秦越 陳禮群

關(guān)鍵詞：環(huán)衛(wèi)車；行人辨識；激光雷達(dá)測距；控制方案設(shè)計(jì)

1 引言

環(huán)衛(wèi)車作為城市綠色建設(shè)中的一環(huán)，對城市整潔面貌的保持具有重要意義。常見的環(huán)衛(wèi)車包括灑水車、綠化噴水車、清掃車、壓縮垃圾車等。隨著科技的發(fā)展，智能導(dǎo)航系統(tǒng)和定位系統(tǒng)等遠(yuǎn)程終端服務(wù)的技術(shù)水平大大推進(jìn)，在一些工程車輛上陸續(xù)開展了智能控制技術(shù)的應(yīng)用研究。目前主流的研究方向是在工程車輛上加裝GPS定位系統(tǒng)與視覺感知系統(tǒng)，應(yīng)用物聯(lián)網(wǎng)理論知識，解決環(huán)衛(wèi)車遠(yuǎn)程監(jiān)控、科學(xué)調(diào)度和集中化管理的問題[1]。

由于受到多種因素的限制，無人駕駛與智能控制現(xiàn)階段主要被應(yīng)用于小型低速無人車領(lǐng)域，應(yīng)用場景也多為諸如機(jī)場、高校、隧道、大型商場等安全考慮指數(shù)較低的環(huán)境。考慮到無人駕駛技術(shù)在大規(guī)模應(yīng)用前還需進(jìn)行進(jìn)一步的安全性能測試，環(huán)衛(wèi)車輛作為大型車輛仍然少不了專門駕駛員進(jìn)行路況的把控和車輛操縱[2]，將智能控制引入環(huán)衛(wèi)車輛系統(tǒng)，尤其是工作中可能對行人造成影響的灑水車、綠化噴水車、大型路面清掃車等，以實(shí)現(xiàn)行人檢測與自動啟停，對于環(huán)衛(wèi)車輛的駕駛?cè)藛T工作輔助與減負(fù)還是相當(dāng)有意義的。例如城市灑水車與綠化車，在遇到作業(yè)范圍內(nèi)存在行人的情況下，只能由車輛控制人員主動關(guān)閉水閥，關(guān)閉不及時(shí)或控制人員未注意到行人存在時(shí)往往會造成行人被噴濺的結(jié)果，有時(shí)行人為了躲避作業(yè)中的環(huán)衛(wèi)車輛而慌不擇路，甚至?xí)l(fā)嚴(yán)重的交通事故。因此，有必要研究更加智能的環(huán)衛(wèi)車控制系統(tǒng)。

本文按照環(huán)衛(wèi)車輛自動區(qū)別障礙物與行人，作業(yè)時(shí)不影響行人的要求，設(shè)計(jì)了一種基于視覺與激光雷達(dá)感知融合的智能環(huán)衛(wèi)車控制方案。通過攝像頭獲取圖像信息進(jìn)行行人檢測，與激光雷達(dá)獲取的激光點(diǎn)云測距信息相結(jié)合，有效地檢測環(huán)衛(wèi)車作業(yè)范圍內(nèi)行人的存在，通過智能控制算法實(shí)現(xiàn)自動關(guān)停或減小車輛作業(yè)核心裝置的控制效果，在避免影響到行人或非機(jī)動車輛的前提下，保證車輛作業(yè)面積和范圍。

2 系統(tǒng)設(shè)計(jì)

2.1 方案設(shè)計(jì)

通常情況下，環(huán)衛(wèi)車輛的核心作業(yè)裝置應(yīng)只對工作范圍內(nèi)出現(xiàn)的行人進(jìn)行避讓，而無須對工作范圍外的人員做出反應(yīng)。因此本方案關(guān)注的兩個(gè)問題為視野中是否檢測到行人以及行人是否在工作范圍內(nèi)。對于第一個(gè)問題，可采用行人檢測算法進(jìn)行可視范圍內(nèi)的行人檢測，考慮到基于單目的視覺方案雖能完成行人目標(biāo)辨識，但無法獲得行人的距離信息，而雙目方案雖能同時(shí)獲取距離信息但計(jì)算量過大，對算法平臺要求高且實(shí)時(shí)性較差[3]，因此本方案采用激光雷達(dá)結(jié)合基于單目視覺的行人檢測模塊進(jìn)行協(xié)同工作，為系統(tǒng)提供行人的實(shí)際距離信息。

在實(shí)際實(shí)施中，車輛兩側(cè)各配備一組16線激光雷達(dá)與相機(jī)，相機(jī)獲取環(huán)衛(wèi)車周圍路面圖像，并傳送至控制器進(jìn)行行人檢測。激光雷達(dá)則在工作過程中向外發(fā)射激光，并接收目標(biāo)反射信號構(gòu)成激光點(diǎn)云，經(jīng)信號處理后快速準(zhǔn)確地獲取汽車車身周圍的物理環(huán)境信息，以判斷環(huán)衛(wèi)車作業(yè)范圍內(nèi)是否有障礙物的存在，并將障礙物的測距信息傳送至控制器內(nèi)進(jìn)行處理。當(dāng)行人檢測算法識別出視野中的行人目標(biāo)存在，且激光測距的結(jié)果判斷該目標(biāo)處于車輛工作范圍內(nèi)，即關(guān)斷或減小核心作業(yè)裝置的相應(yīng)側(cè)閥門，上述協(xié)同工作的流程如圖1所示。

2.2 行人檢測、

在本方案中，行人檢測模塊由攝像頭模組結(jié)合運(yùn)算平臺搭載的行人檢測算法完成，攝像頭獲取路面圖像信息后，通過行人檢測算法完成對行人的識別。本方案采取方向梯度直方圖（Histogram of Oriented Gradi? cehnitn， eH，OSVGM） 特） 分征類結(jié)器合進(jìn)支行持行人向檢量測機(jī)[4（-S5]，u能pp有ort效V檢ec測tor出M步a?行行人及駕駛非機(jī)動車的行人。算法的整體工作流程以及所獲得的城市街道行人檢測效果分別如圖2（a） 、（b） 所示。從實(shí)驗(yàn)效果來看，受限于采樣圖片的分辨率等因素，該行人檢測算法對于遠(yuǎn)處、有遮擋的行人識別效果不佳，但對于近處無遮擋的步行行人以及非機(jī)動車駕駛行人具有較高的識別率，滿足整體方案的要求。

2.3 激光雷達(dá)測距

采用上述行人檢測算法識別出視野內(nèi)的行人目標(biāo)后，輸出目標(biāo)的檢測框。為了獲取行人目標(biāo)的真實(shí)位置信息，需要將雷達(dá)獲得的點(diǎn)云數(shù)據(jù)與圖像數(shù)據(jù)預(yù)先進(jìn)行關(guān)聯(lián)，以便對檢測框內(nèi)的點(diǎn)云深度信息進(jìn)行提取。為了完成上述關(guān)聯(lián)，需要將雷達(dá)數(shù)據(jù)和圖像數(shù)據(jù)進(jìn)行時(shí)間與空間上的雙重匹配[6]。

時(shí)間匹配指的是不同傳感器的每次有效協(xié)同采樣應(yīng)該為同一時(shí)刻所獲取，通常可將不同傳感器的數(shù)據(jù)統(tǒng)一至掃描周期較長的傳感器上，同時(shí)采集一幀雷達(dá)數(shù)據(jù)與一幀圖像數(shù)據(jù)。由于環(huán)衛(wèi)車在城市街道進(jìn)行作業(yè)時(shí)的行駛速度一般不高，最高時(shí)速限制在20至30km/h左右，相機(jī)的采集幀率可以選取為30fps，激光雷達(dá)的掃描幀率為10Hz，為了保持時(shí)間匹配，協(xié)同采樣的幀率選取可以統(tǒng)一至雷達(dá)掃描幀率，如圖3所示。

空間匹配則是按照標(biāo)定法則，對雷達(dá)坐標(biāo)系和相機(jī)獲取的圖像坐標(biāo)系進(jìn)行匹配，并將激光雷達(dá)獲取的三維點(diǎn)云投影至二維圖像平面上。圖像數(shù)據(jù)中的一個(gè)像素點(diǎn)p（u，v） 與其相對應(yīng)的雷達(dá)數(shù)據(jù)掃描點(diǎn)P （x，y，z ）可通過下述轉(zhuǎn)換關(guān)系，進(jìn)行轉(zhuǎn)換求取[7-8]。

其中ZC 為相機(jī)光軸，M 為相機(jī)內(nèi)參矩陣，由相機(jī)橫縱焦距、光學(xué)中心位置等確定;R 和T 分別為兩坐標(biāo)系轉(zhuǎn)換的旋轉(zhuǎn)矩陣和平移向量，可使用自動駕駛軟件平臺Autoware的標(biāo)定工具Calibration Tool Kit進(jìn)行確定。在像素點(diǎn)原有維度上添加雷達(dá)的y 分量，表示與障礙物的距離，擴(kuò)展為p′（u，v，y ）。

當(dāng)獲取行人目標(biāo)的檢測框后，選取檢測框中心點(diǎn)、檢測框中心點(diǎn)與檢測框四角連線的中間點(diǎn)共5個(gè)像素點(diǎn)，如圖4中O、A′、B′、C′、D′所示，對其y 分量求均（值 作 為 該 行 人 目 標(biāo)） 的 實(shí) 際 距 離 yˉ，即 yˉ = yO + yA′ + yB′ + yC′ + yD′ 5。

2.4 控制算法設(shè)計(jì)

當(dāng)視野內(nèi)檢測到多個(gè)行人目標(biāo)時(shí)，總以距離最近的行人作為參照調(diào)節(jié)環(huán)衛(wèi)車作業(yè)機(jī)構(gòu)的閥門開度。在應(yīng)用中，可以根據(jù)實(shí)際工作的不同的需求設(shè)置以下兩種工作模式：即停式與調(diào)節(jié)式。

即停式為在工作范圍內(nèi)一旦檢測到行人存在，即yˉmin ≤ yTH 時(shí)，立即關(guān)閉相應(yīng)側(cè)執(zhí)行機(jī)構(gòu)，其中yˉmin 為最近的行人距離，yTH 為由環(huán)衛(wèi)車工作影響范圍大小所確定的閾值，當(dāng)行人處于環(huán)衛(wèi)車作業(yè)范圍外時(shí)再進(jìn)行相應(yīng)側(cè)執(zhí)行機(jī)構(gòu)的開啟。即停工作模式受攝像頭角度范圍制約，可能造成執(zhí)行機(jī)構(gòu)的提前開啟而影響行人。

調(diào)節(jié)式為當(dāng)工作范圍內(nèi)出現(xiàn)行人時(shí)，利用行人的距離信息進(jìn)行執(zhí)行機(jī)構(gòu)工作閥門開度的調(diào)節(jié)，在行人距環(huán)衛(wèi)車的距離由大變小時(shí)調(diào)小閥門開度，距離變大時(shí)調(diào)大閥門開度，至行人離開環(huán)衛(wèi)車作業(yè)范圍外時(shí)閥門開度恢復(fù)至設(shè)定的初始最大值。本文引入神經(jīng)網(wǎng)絡(luò)中常見的激活函數(shù)Sigmoid函數(shù)，對其進(jìn)行修改優(yōu)化后控制作業(yè)機(jī)構(gòu)閥門開度，具體閥門開度與行人距離的對應(yīng)關(guān)系為：

其中參數(shù)N 根據(jù)yTH 的值進(jìn)行確定，N 值越大，S型函數(shù)的整體向右偏移越大，通過設(shè)置合適的N 值，可以在距離較小時(shí)獲得適當(dāng)?shù)摹八绤^(qū)”，以達(dá)到當(dāng)行人處于較近距離內(nèi)時(shí)閥門無法開啟的效果。如圖5所示，當(dāng)設(shè)置N 值為12，從相應(yīng)的閥門開度曲線可以看出，行人距離小于3米時(shí)閥門基本處于關(guān)閉狀態(tài)，當(dāng)行人距離為9米時(shí)，閥門基本完全打開。

3 結(jié)論

本文設(shè)計(jì)了一種基于視覺圖像與激光雷達(dá)感知融合的智能環(huán)衛(wèi)車系統(tǒng)方案。通過基于HOG+SVM的行人檢測算法檢測視野范圍內(nèi)是否存在行人，檢測到行人目標(biāo)存在后，通過提取行人目標(biāo)檢測框內(nèi)的激光雷達(dá)深度信息，獲取行人距離并判斷其是否處于環(huán)衛(wèi)車作業(yè)范圍內(nèi)。若在環(huán)衛(wèi)車輛行駛作業(yè)過程中檢測到作業(yè)范圍內(nèi)行人存在，則根據(jù)行人距離自動調(diào)整車輛作業(yè)核心裝置的閥門開度。該方案提升了環(huán)衛(wèi)車的智能化水平，節(jié)約了人力物力，能夠有效降低環(huán)衛(wèi)車輛作業(yè)期間對行人產(chǎn)生的干擾。