基于雙目視覺的泊車機器人障礙物檢測系統

王帥 楊建璽

摘 要：針對泊車機器人和智能停車庫研究領域中對視覺系統的需求，設計了一種基于雙目視覺的泊車機器人障礙物檢測系統。 借鑒物理學中的控制變量法完成雙目相機標定，采用Bouguet算法進行立體校正，引入YOLO卷積神經網絡對障礙物進行快速檢測，利用改進立體匹配算法完成對弱光照下光滑邊緣障礙物的檢測，搭建雙目視覺系統并進行實驗驗證。 實驗結果表明，該系統檢測平均耗時為0.463 s，在1 400 mm至2 100 mm范圍內檢測誤差在50 mm內，具有良好的實時性和較高精度，為經濟型泊車機器人的研制奠定基礎。

關鍵詞：泊車機器人;機器視覺;相機標定;立體匹配;YOLO卷積神經網絡

文章編號：2095-2163（2019）04-0079-04 中圖分類號：TP317.4 文獻標志碼：A

0 引 言

隨著人們生活質量的日益提高和經濟水平的不斷發展，汽車保有量呈現井噴式增長，停車成了日常出行的難題[1]。 因此，智能停車庫應運而生，作為其核心運載工具的泊車機器人日趨受人們關注，成為移動機器人領域的全新重點應用。 文獻[2]中提到的泊車機器人采用激光導航方式，可完成較高精度的導航，但遇到障礙物就會自動停止，需人工干預，不能獲取障礙物三維信息而進行自主避障。 文獻[3]中由德國Serva公司研制的新型泊車機器人Ray雖已應用到德國杜塞爾機場，但由于其采用激光導航方式，運行速度不高，技術難度大，很難得到推廣。 文獻[4]中的國產最新泊車機器人的導航方式為“激光導引+磁釘導航”，雖能完成泊車導航，但前期需對停車場進行較大改造，鋪設磁釘，使得機器人運行路徑固定，使用不方便，成本較大，不能實時檢測行進路徑上可能出現的障礙物。

以上文獻中的泊車機器人雖能完成泊車導航功能，但均采用了成本較高的激光導航技術，不利于推廣，且缺少對泊車路徑上出現的障礙物（人為誤進，車輛附屬物脫落等）進行實時檢測的功能，易發生泊車事故[5]。 故本文采用雙目視覺技術，設計一套泊車機器人障礙物視覺檢測系統，完成對泊車路徑上障礙物的類別和距離檢測，彌補了國內泊車機器人缺少障礙物視覺檢測功能的缺陷，為泊車機器人視覺避障奠定基礎，且有助于經濟型泊車機器人的研制與推廣。

1 系統設計

障礙物視覺檢測系統作為泊車機器人的“眼睛”，需對泊車路徑上的障礙物進行種類和距離檢測。 搭建雙目視覺檢測系統以實時獲得豐富的環境信息。 系統由軟、硬件2部分組成。 其中，硬件系統包括2臺MV-E800M/C相機、LP-03微調長型云臺板、Inter i7、GTX980和8G內存。軟件系統包括VS2015、Matlab2016a、OpenCV 3.3.0和Ubuntu16.04，將具有可移植性和擴展性的Python語言作為編程語言。

系統的工作流程為：通過雙目相機捕捉前方障礙物的目標圖像，采集的圖像經過立體校正、YOLO障礙物類別檢測、立體匹配和深度計算，實現泊車機器人障礙物視覺檢測功能。 系統結構流程如圖1所示。

2 基于控制變量法的雙目相機標定

由于相機的焦距會對障礙物的深度、距離、精度產生影響，故引入物理學中的控制變量法設置2組實驗，研究棋盤格標定板規格和標定距離對標定誤差的影響，以得到精度較高的焦距。

實驗a：設標定距離為1 600 mm，繪制規格分別為8 mm*8 mm、12 mm*12 mm、14 mm*14 mm、16 mm*16 mm、18 mm*18 mm、20 mm*20 mm、22 mm*22 mm、24 mm*24 mm、26 mm*26 mm、28 mm*28 mm、30 mm*30 mm、40 mm*40 mm的棋盤格標定板。

實驗b：設置棋盤格標定板規格為26 mm*26 mm，設置12組不同的標定距離，從800 mm至1 900 mm依次增加100 mm，其它條件與實驗a保持一致。 實驗結果表明在標定板規格為26 mm*26 mm，標定距離為1 300 mm時，標定誤差最小。 標定流程如圖2所示。

3 基于OpenCV的Bouguet立體校正

通過雙目視差求解距離公式是在雙目視覺系統處于理想狀態下推導出來的[6]，而在實際操作中，由于相機畸變、相機裝配等原因，使得完全共面行對準的兩個相機成像平面是不存在的。 因此，必須對其進行校正，以減少實際誤差。 校正步驟：

（1）共面：校正過程中2個圖像平面均按照相機旋轉矩陣R旋轉一半，使重投影畸變最小[7]，此時2個相機圖像平面共面（畸變校正后光軸也平行），但是行不對準。

（2）行對準：極點是2個相機坐標系原點的連線和圖像平面的交點，2個相機的圖像平面和2個相機坐標系原點的連線平行，則極點處于無窮遠處（即行對準）。

4 障礙物類別檢測與深度計算

4.1 基于YOLO卷積神經網絡的障礙物快速檢測

YOLO（You Only Look Once[8]）是一個十分容易構造的目標檢測算法。 其將目標區域預測和目標類別預測整合于單個神經網絡模型中，可在準確率較高的情況下實現快速目標檢測[9]，適合泊車機器人的應用環境。 YOLO卷積網絡模型共有24個卷積層和2個全連接層。 其中，卷積層用來提取圖像特征，全連接層用來預測圖像位置和類別概率值。 YOLO卷積神經網絡采用PASCAL VOC數據訓練卷積層[10-11]，然后利用卷積層和全連接構成RPN（Region Proposal Network）實現目標類別和物體位置預測[12]。

YOLO目標檢測算法：首先把輸入圖像劃分成S×S的格子，然后對每個格子預測B個檢測框（bounding boxes），每個檢測框包含5個預測值：x，y，w，h和置信度（confidence）。 其中，x和y是檢測框的中心坐標;w和h是檢測框的寬與高，每個格子預測C個假定類別的概率，最后輸出特征圖，其大小為S×S×（B×5+C）。

4.2 立體匹配

由于泊車機器人在弱光照條件下工作，且需對誤進的具有邊緣光滑的障礙物，如人、貓和狗等進行檢測，故需要設計一種滿足泊車機器人要求的立體匹配算法。 在對比分析傳統的立體匹配算法與邊緣檢測算法的基礎上，選擇具有對噪聲不敏感，能夠完成對弱邊緣的檢測且精度較高的Canny算子，和簡化后的具有光照不變性的SURF算法相結合的方式，完成本文算法設計。 改進的立體匹配算法流程如圖3所示。

4.3 深度計算

通過視差圖和標定參數，將左右成像平面上的成像點轉化到3D空間，可求得障礙物目標點的真實距離。 重投影矩陣Q的表達式如下所示：

5 實驗結果與分析

為了驗證系統的實時性與準確性，以目標障礙物在同一車庫環境的不同距離情況下進行檢測。 首先把左相機圖像輸入YOLO卷積神經網絡，確定立體匹配區域，然后采用本文立體匹配算法完成立體匹配（如圖4所示），計算最大視差，最后利用雙目相機標定參數（見表1）和三角形相似原理，計算出目標區域中最小的實際距離。 系統輸出的障礙物類別檢測及深度信息如圖5所示。

通過8組實驗結果可知，該系統在1 400 mm～2 100 mm距離內測距誤差在50 mm內，系統平均耗時0.463 s，可滿足泊車機器人對障礙物檢測的實時性與精度要求，系統性能分析見表2。

6 結束語

針對目前搭載激光傳感器的泊車機器人成本高、技術難度大，本文搭建了基于雙目視覺的泊車機器人障礙物檢測系統，采用控制變量法完成雙目標定以得到較高精度的焦距，利用改進立體匹配算法完成立體匹配，引入YOLO卷積神經網絡完成障礙物類別檢測，最終輸出障礙物的類別和距離。 由于國內外相關研究較少，智能車庫環境下的檢測算法不成熟，硬件成本高，如何制造出低成本、高效率的經濟型泊車機器人將是未來研究的重點和難點。

參考文獻

[1] 徐欣， 周香琴， 江先志，等. 基于物聯網技術的小區停車位共享平臺的設計與開發[J]. 工業控制計算機， 2018， 31（1）：139-141.

[2]申愛萍. 揭開"最牛泊車機器人"的神秘面紗[J]. 駕駛園， 2017 （9）：42-43.

[3]劉爽. 基于二維碼識別的自動泊車機器人定位導航技術研究[D]. 武漢：華中科技大學， 2017.

[4]研華科技.怡豐機器人攜手研華：以技術力量， 擴展AGV市場應用[J]. 自動化博覽， 2018， 35（8）：76-77.

[5]魏言華. 基于視覺的車輛后方障礙物檢測算法研究與實現[D]. 沈陽：東北大學， 2008.

[6]謝若冰. 雙目立體成像和顯示的FPGA視頻處理技術研究[D]. 北京：北京理工大學， 2015.

[7]葉峰， 王敏， 陳劍東，等. 共面點的攝像機非線性畸變校正[J]. 光學精密工程， 2015， 23（10）：2962-2970.

[8]Shubham Shinde， Ashwin Kothari， Vikram Gupta. YOLO based Human Action Recognition and Localization[J]. Procedia Computer Science， 2018， 20（3）：133-134.

[9]王昊. 基于卷積神經網絡的目標檢測與識別方法研究[D]. 南京：南京財經大學， 2016.

[10]施澤浩， 趙啟軍. 基于全卷積網絡的目標檢測算法[J]. 計算機技術與發展， 2018， 28（5）：55-58.

[11]楊梓豪. 基于區域卷積神經網絡的物體識別算法研究[D]. 北京：北京郵電大學， 2017.

[12]李旭冬. 基于卷積神經網絡的目標檢測若干問題研究[D]. 成都：電子科技大學， 2017.