基于毫米波雷達和攝像頭的農用車輛障礙物檢測

宋正根 彭竟德 肖璨

摘 ?要：本文針對單個傳感器僅能獲得局部環境特征信息，為進一步提高障礙物檢測的準確性，提出一種融合毫米波雷達和視覺傳感器的障礙物檢測方法。通過毫米波雷達得到障礙物的數量與坐標點，同時對攝像頭采集到的場景圖像進行預處理，得到待分割圖像。然后以毫米波雷達得到的坐標相對應的像素坐標為種子點，采用區域生長法進行圖像分割。至此，即可檢測到障礙物的位置和輪廓信息。

關鍵詞：障礙物檢測;信息融合;毫米波雷達;區域生長法;種子點選取

中圖分類號：TP391.41;TN959.5 ? ? 文獻標識碼：A 文章編號：2096-4706（2019）14-0046-03

Obstacle Detection of Agricultural Vehicles Based on

Millimeter Wave Radar and Camera

SONG Zhenggen，PENG Jingde，XIAO Can

（Nanjing Agriculture University，Nanjing ?210095，China）

Abstract：For a single sensor，only local environment feature information can be obtained，in order to further improve the accuracy of obstacle detection，an obstacle detection method combining millimeter wave radar and vision sensor is proposed. Obtain the number of obstacles and coordinate points through the millimeter wave radar，and preprocess the scene image collected by the camera to obtain the image to be segmented. Then the pixel coordinates corresponding to the coordinates obtained by millimeter waveradar are taken as seed points and the image is segmented by region growing method. So far，the position and contour information of the obstacle can be detected.

Keywords：obstacle detection;information fusion;millimeter wave radar;regional growth method;seed point selection

0 ?引 ?言

實現農用車輛在未知環境中的自主導航，必須先實現實時檢測、識別環境中的障礙物，再根據當前信息規劃路徑。農用車輛障礙物的檢測一般通過傳感器進行感知，障礙物檢測方法主要有：基于視覺檢測、雷達檢測、超聲波檢測、紅外檢測、多傳感器融合檢測[1]。由于單一傳感器難以全面、準確地檢測出障礙物，且適用于特定場合，不適用于農業環境工況。而多傳感器信息融合的障礙物檢測方法能彌補單個傳感器的缺陷[2]，進一步提高檢測的準確性。張俊杰[3]等結合激光雷達和視覺顯著性應用分水嶺算法分割障礙物，饒陽[4]等結合毫米波雷達和深度學習算法識別前方車輛，徐進[5]等人提出結合Hough算法提取障礙物和激光雷達再次檢測障礙物。

毫米波雷達穿透霧、煙、灰塵的能力強，具有全天候、全天時工作的特點[6]，適用于煙、灰塵多的農用車輛作業環境。毫米波分辨率略低，且無法得到障礙物輪廓信息，與視覺傳感器融合使用可彌補這一缺點。針對此，本文主要研究了基于毫米波雷達與攝像頭融合的障礙物檢測方法。

1 ?毫米波雷達測障

毫米波雷達測距基于Time Of Flight原理，即利用反射波與發射波的時間差，根據電磁波在空氣中的傳播速度（接近光速）計算得到距離。S=c·△t/2，其中c為光速，△t為時間差。測距方式有脈沖雷達測距和連續波雷達測距，技術上脈沖雷達測距存在一定難度[7]，故主要采用調頻連續波的（Frequency Modulated Continuous Wave）測距方式。雷達發射調頻連續波，通過檢測回波與發射波的時間差，可計算得到雷達與障礙物的距離。

毫米波雷達對目標的速度測量有兩種方式，一種應用多普勒頻移公式，即當目標物運動時，回波的頻率相對于發射波有改變，這種改變與目標物的速度成正比，基于此可測得目標物的移動速度。另一種為基于位置（角度）跟蹤，通過對其進行微分進而求得目標物的速度。

2 ?圖像分割

圖像分割指的是將圖像分為若干個區域，并將感興趣的區域從圖像中提取出來的技術。應用圖像分割技術，可簡化數字圖像的信息量，直觀地檢測出障礙物的輪廓信息。圖像分割分為以下五類：基于邊緣的圖像檢測法、基于閾值的圖像分割法、基于區域生長的圖像分割法、其他復合分割法[8]。在障礙物檢測應用中，常用的是區域分割算法，區域生長法計算簡單，分割效果良好，邊界信息清晰。因此，本文所提出的障礙物檢測算法中采用區域生長分割算法。

區域生長法對噪聲比較敏感，在噪點比較多的圖像的分割結果中會出現很多不連續的小區域[9]。由于噪聲的干擾可能會出現空洞以及過度分割的現象，故在分割前可針對圖片進行預處理。對輸入圖像進行卡爾曼濾波，消除圖像中的噪聲，增強檢測的可靠性，縮短分割時長。

區域生長法的基本思路為：確定種子點，根據特定的生長準則，將種子點周圍符合相似條件的像素劃入種子區域。以新劃入的像素為種子點繼續生長，直至種子點與周圍像素的灰度差超過生長準則。以集合R代表整個圖像區域，對R的分割可理解為將R分成N個滿足下列條件的非空子集（子區域）R1，R2，…，RN[10]。

3 ?融合檢測

區域生長法最終的分割效果與種子點的選擇位置有密切關系，由種子點確定分割相似區域的起始位置，故此算法中選取毫米波雷達檢測到的障礙物坐標點投影到像素坐標點為種子點，確保有效地分割出障礙物輪廓。此算法的框架圖如圖1所示，具體實施步驟如下：

（1）由單目相機獲取場景圖像;

（2）對場景圖像進行濾波、灰度化處理，得到待分割圖;

（3）通過毫米波雷達掃描得到障礙物數據;

（4）獲取障礙物位置坐標;

（5）將障礙物坐標點進行轉化，得到在待分割圖上的像素坐標。

根據攝像頭內外部參數和雷達與攝像頭的位置關系獲得二者坐標系空間轉換關系[11]，設空間內某點A在攝像頭坐標系中的坐標為AS=[Xs，Ys，Zs]T，在雷達坐標系中的坐標為AR=[XR，YR，ZR]T，XR，YR，ZR分別表示目標物體在雷達坐標系中的橫坐標、縱坐標和垂直高度。As和AR的坐標存在轉換關系：

4 ?實驗結果與分析

實驗平臺為智能小車，攝像頭采集圖像分辨率為1920× 1080，焦距6.0mm。毫米波雷達為德國Continental公司生產的ARS408-21，目標更新頻率為17Hz。在模擬環境中選取背景較為復雜的場景進行實驗驗證，實驗結果如圖2所示。

圖2中a、b為根據毫米波雷達反饋的障礙物信息選取種子點進行分割得到的效果圖，從效果圖中看出障礙物的輪廓被較為完整地分割出。圖2中c、d為隨機選取種子點進行分割得到的效果圖。從圖中可明顯看出，此時分割效果差，無法完整分割出障礙物輪廓。

在農田作業環境下，背景雜亂，易出現過度分割和分割不足的情況，影響分割效果。張小祥[12]提出的顯著性檢測方法MAX算法，可突出整體一致性和局部差異性的顯著性信息應用到圖像分割上，從而可避免出現分割不足和過度分割的情況。

5 ?結 ?論

基于毫米波雷達和攝像頭的障礙物檢測方法，充分發揮視覺傳感器可檢測障礙物輪廓形狀和毫米波雷達檢測障礙物位置信息的特點，結合區域生長法可有效地檢測出障礙物的信息，排除環境因素的干擾。試驗表明，此方法有效。由于本次試驗為模擬場景，對于實際農田作業環境下應用需結合顯著性檢測等算法，以排除背景的干擾。

參考文獻：

[1] 何勇，蔣浩，方慧，等.車輛智能障礙物檢測方法及其農業應用研究進展 [J].農業工程學報，2018，34（9）：21-32.

[2] 丁幼春，王書茂，陳紅.農用車輛作業環境障礙物檢測方法 [J].農業機械學報，2009，40（S1）：23-27+17.

[3] 張俊杰，丁淑艷，李倫波，等.基于視覺顯著性的無人車圖像檢測及分割方法 [J].計算機工程與應用，2017，53（22）：176-179+242.

[4] 饒陽.基于毫米波雷達與機器視覺的前車識別研究 [D].武漢：武漢理工大學，2017.

[5] 徐進，帥立國.激光傳感器和視覺傳感器的機器人障礙物檢測 [J].激光雜志，2016，37（5）：56-59.

[6] 袁帥.毫米波雷達在智能網聯汽車中的應用 [J].信息技術與標準化，2018（Z1）：62-64.

[7] 卞清，王迪，黃智.基于毫米波雷達汽車測距報警系統設計 [J].科技風，2013（24）：87+91.

[8] 王小丫.圖像分割算法研究與展望 [J].科技傳播，2019，11（8）：165-166.

[9] 孟祥峰.圖像分割技術在遙感影像地物信息自動提取中的應用研究 [D].哈爾濱：哈爾濱工程大學，2015.

[10] 陳方昕.基于區域生長法的圖像分割技術 [J].科技信息（科學教研），2008（15）：58-59.

[11] 王寶鋒，齊志權，馬國成，等.一種基于雷達和機器視覺信息融合的車輛識別方法 [J].汽車工程，2015，37（6）：674-678+736.

[12] 張小祥.圖像目標顯著性檢測的研究與應用 [D].南京：南京航空航天大學，2016.

作者簡介：宋正根（1997.01-），男，漢族，江西宜春人，本科，研究方向：車輛工程;彭竟德（1998.10-），女，漢族，湖南婁底人，本科，研究方向：車輛工程;肖璨（1998.05-），男，漢族，湖南衡陽人，本科，研究方向：車輛工程。