基于深度相機的障礙物識別

司徒仕忠 邱廣萍 王錦春

摘? 要：為實現機器視覺系統的障礙物信息進行探測和識別，文章提出利用深度相機識別障礙物的方法：以障礙物和平面的距離變化梯度不同為主要判別方式，搭配孔洞填充，中值濾波，漫水填充，數學形態學運算，幀間運算等噪聲抑制算法，實現對障礙物的探測。根據周圍環境信息提取具有一定形狀特征的典型目標物。實驗結果表明，此方法能有效分別障礙物和平面。

關鍵詞：障礙識別;深度相機;無人駕駛;機器視覺

中圖分類號：TP391 文獻標志碼：A 文章編號：2095-2945（2019）27-0037-04

Abstract： In order to detect and recognize obstacle information in machine vision system， this paper presents a method of using depth camera to identify obstacles： taking the difference of distance gradient between obstacle and plane as the main discriminant method， matching with hole filling， median filtering， flooding filling， mathematical morphology operation， inter-frame operation， etc. Noise suppression algorithm is used to detect obstacles. According to the surrounding environment， the typical objects with certain shape characteristics are extracted. The experimental results show that this method can effectively distinguish obstacles from planes.

Keywords： obstacle recognition; depth camera; unmanned driving; machine vision

引言

障礙物識別是移動式的機器人的基本能力，只有能識別障礙物，機器人才能在復雜的生產環境中移動和工作。目前識別障礙物的方法有激光雷達、超聲波測距、基于單目攝像頭的視覺識別和深度相機測距識別等[1]。

激光雷達具有精度高，采集速度快等優點，但激光雷達價格昂貴，讓小型經濟型的機器人開發難以承受[2]。超聲波測距的器材價格便宜，但單個超聲波測量范圍較小，要實現對單方向的不同高度的障礙物的識別都需要安裝多個超聲波傳感器，較占用機器人的空間。單攝像頭的視覺識別一般基于機器學習，對于障礙物識別需要準備大量的數據集，且對環境光照因素較為敏感。基于深度相機障礙物識別依靠障礙物和平面區域的距離梯度信息的不同，即可大致判斷是否存在障礙物，單個深度相機就能對單一方向即時處理，且具有單目攝像頭的功能，需要占用的空間少。

本文研究一種適合低速機器人的基于深度相機的障礙物識別算法，通過一款適合工作環境的深度相機，采集的深度圖和BGR圖，分析深度圖中各物品的距離關系，抑制各種圖像噪聲，分辨出圖中障礙物和道路。

1 機器視覺總體設計

本設計基本思路：首先通過標定好的深度相機對環境進行拍攝，獲取環境的深度圖，先對深度圖進行孔洞填充，為因干擾而無法獲得深度信息的區域填充距離信息，再進行深度圖的卷積計算，得出深度圖的數據的梯度變化數據，將梯度變化的數據與閾值比較，將障礙物設為1，平地設為0，形成掩模，對障礙物和道路進行大致的分辨，再通過數學形態學運算和兩幀之間進行運算來進行噪音的抑制[3]。算法流程圖如圖1所示。

2 關鍵算法

2.1 深度圖的孔洞填充

（1）深度圖孔洞噪聲分析

深度圖的噪聲主要來源于物體表面的光線反射，或近景的物品遮擋了遠景的物品。不同類型的深度相機的孔洞噪音的成因也是不同的。深度圖的孔洞噪聲表現為在無法探測的區域，是一個固定的值，一般為“0”。因為任何的一種深度圖攝像頭都無法探測距離攝像頭為0物品。因為是一些連續的區域包圍著一些數值為0的區域，故稱為孔洞噪聲[4]。

雙目攝像頭的孔洞噪音主要來自物品上的紋理太少，導致無法精確定位相應的區域，進行深度計算。或者是因光線問題而無法拍攝到物品上的紋理，或者是近景物品遮擋了遠景物品一部分，兩個攝像頭無法同時獲取遠景物品的某一部分的紋理信息。而無法獲取特征信息來計算兩者間的距離。

結構光攝像頭的孔洞噪聲主要來源于光線的照射。結構光攝像頭發送到物體上的結構光，當遇到強光或者物體發生鏡面反射時，會造成結構光的信息的丟失，而無法根據編碼光進行深度的計算[5]。

根據上述的分析，得出深度圖的孔洞噪聲主要來自三方面：物品表面紋理信息的丟失（鏡面反射），物品表面紋理信息的不足和近景物品的阻擋。

（2）深度圖孔洞噪聲消除方法

從深度圖的信息分析，如無物品的阻擋，深度圖同一行的深度信息是大致相同的，物品表面紋理信息的丟失和不足而導致的孔洞噪聲可以通過同一行的與孔洞最近的有效值來填補。

孔洞噪聲的某一行一般都會有兩個值，根據之前的對孔洞噪聲的分析，當它是近景物品遮擋遠景物品時，那應該拿較大（較遠）的數值去填充。而當孔洞噪聲是在水平平面時，因為深度圖同一行的距離信息一般都是大致相同的，仍可以用較大的數值去填充[6]。孔洞填充效果如圖2所示。

2.2 中值濾波

孔洞填充后的深度圖，在原本有孔洞噪音的邊界會出現一些明顯的細長的線型痕跡，這是原本孔洞噪音的邊界，這些邊界會對深度圖的梯度的計算造成一定的影響，應在計算梯度之前將這些線型的噪聲濾除。這些噪聲的特點是形狀細長，彎曲包圍著原本的孔洞。選用中值濾波的方法將這些噪聲濾除。

中值濾波使用一個滑動窗口來濾除噪聲，當窗口越大時，中值可選擇的范圍就越大，濾波的效果就越大，中值濾波法要先對窗口內的數據進行排序，是一個運算量隨著窗口增大而迅速增大的一個算法，當窗口太大時，處理速度會迅速下降，而窗口太小，濾波效果不太好。各個窗口的運行的平均速度如表1所示。

比較使用3×3，5×5，和7×7的滑動窗口濾波后發現，3×3的窗口對噪聲的抑制不太好，而7×7的窗口的運行速度降低得很明顯，故選用5×5的移動窗口。5×5窗口對噪聲的抑制與7×7的效果相仿，但運算速度比7×7明顯提高不少。各個窗口中值濾波效果圖如圖3所示。

中值濾波法可有效地濾除點線形狀的噪音。但同時，中值濾波法也可以破壞原圖像的點線細節，但深度圖的點線細節不是處理的關鍵，故用中值濾波法將深度圖所有的點線濾除[7]。

2.3 距離梯度計算

（1）卷積

卷積是圖像處理經常用到的一種運算方式。公式為：輸出=輸入*系統。輸入為圖像信號，經過一個特定的系統，即卷積核，會得到一個相應的輸出。

（2）卷積核

卷積核是指一組有權重的矩陣，它會應用在圖像的某一個區域，并由此生成目標矩陣的一個元素。卷積核可看作是一片毛玻璃，蓋在圖像的某個區域上時，原圖像透過毛玻璃的作用，我們的看到的圖像就會發生相應的變化[9]。

算法是通過深度圖找出圖像中的障礙物和平面，主要原理是通過對深度圖進行梯度的卷積運算，找出深度圖中梯度變化小的區域。

微分卷積核，也稱微分算子。Prewitt算子和Sobel算子，Laplacian算子，Marr算子是圖像處理常用的一些微分算子[10]。使用這些卷積核分別和深度圖進行卷積，得到卷積后的梯度數據，再得到這些數據的絕對值。找出梯度數據中所有在有參考價值范圍內的值，這個參考價值的范圍要根據每個梯度算子而定，一般算子的矩陣越大，或者算子的數值權重越大，這個范圍就越大。而大于這個范圍的可視為噪聲去除。可運用可視化的方式找出，可先從0～500開始尋找，將梯度數據在0～500內的數據找出，運用直方圖，0～500內的數值顯示出來，再根據直方圖的疏密程度進一步調整這個范圍。各算子卷積后的梯度直方圖如圖4所示。

其中Laplaction算子對中間數據和4鄰域的梯度，造成梯度過于集中，在本算法中對距離梯度的計算并不適用，Marr算子shape較大，對細小障礙物造成誤判，故在對障礙物識別有高要求的時候不適用。

（3）判斷閾值的設定

障礙物的閾值分布的范圍，就是平面分布的梯度的分布范圍[11]。將平面區域設為“0”。障礙物區域卷積后得到了深度圖的梯度數值，然后就是根據梯度數值判斷平面區域和障礙物區域。根據直方圖得出的數據，逐步選出障礙為“1”。閾值判斷后的場景圖如圖5所示。

通過閾值判斷的圖像存在眾多噪聲，但明顯，障礙物區域的黑色明顯少于平面區域的黑色。

2.4 漫水填充

因為硬件的限制，深度相機獲取的深度圖存在眾多的噪音，這些噪音會對圖像的處理存在嚴重的干擾，運算后的得出的掩模會存在眾多的錯誤的判斷的區域，如障礙物區域會有許多判斷為平地的小區域。比如， 平面的區域，通過卷積運算得出的判斷大部分是正確的，所以得出的掩模是眾多的“0”包圍了少數的“1”，要用漫水填充去消除這些“1”，反之亦然。

（1）漫水填充

漫水填充是一種用特定顏色填充連通區域，通過設置可聯通像素的上下限以及聯通的方式來達到不同的填充效果的方法。漫水填充經常被用來標記或分離圖像的一部分，以便對其進一步的處理和分析。簡單概括就是將選定的種子像素點聯通的區域替換為指定的顏色[12]。在OpenCV和MATLAB中都有相應的函數實現。

運用漫水填充處理平面區域（“0”區域）掩模，漫水填充后的平面區域如圖6所示。

（2）漫水填充的局限

漫水填充是用特定顏色填充連通區域，但當區域不連續的時候，可能將一些不同的區域漏填了，導致效果不夠完美[13]。這個可以通過從深度圖的多個地方尋找同一屬性的種子進行多次漫水填充。最后用或運算將不同的掩模合成到一張掩模上。這可以有效防止不連續的區域漏填。

2.5 數學形態學運算

數學形態學（Mathematical morphology）是一門建立在格論和拓撲學基礎之上的圖像分析學科，是數學形態學圖像處理的基本理論[14，15]。數學形態學的最基本操作有兩種，分別為腐蝕和膨脹：

二值腐蝕會把前景物體的邊緣腐蝕掉。原理是卷積核沿著圖像滑動，如果與卷積核對應的原圖像像素都是1，那么中心元素保持原值，否則為0。效果是靠近前景的像素被腐蝕為0，前景物體變小，圖像白色區域減少，對于去除白噪聲很有用，可以斷開兩個連接在一起的物體。

二值膨脹是與二值腐蝕相反的操作。當二值膨脹時，卷積核當中只要有一個值是1，中心元素值就是1。此操作會增加前景中的白色區域。

2.6 幀間對比消除噪音

因為光影和硬件本身的問題，每一幀的深度圖的數據都會有一定的波動，采用兩幀之間的掩模進行比較可以進一步抑制噪聲。因為障礙物的掩模標記為1，而平地的掩模標記為0，當兩幀掩模之間進行或運算時，可以有效抑制障礙物區域的噪聲，兩幀之間進行與運算時，可有效消除平地區域的噪聲[16]。利用幀間對比抑制噪音可有效抑制幀間的波動。

3 實驗驗證

3.1 實驗平臺

本文采用Intel公司的realsense D435深度攝像頭，具有雙目測距和紅外測距，兩種方式互補，可生成精度更高，噪聲更少的深度圖。通過Intel提供的SDK可對攝像頭進行快速配置開發。

3.2 實驗測試過程

采用本算法，將探測范圍設定為150厘米，并將掩膜上范圍外的區域置零。實驗開始時將障礙物置于攝像頭前方，緩慢推進攝像頭，當障礙物進入測距范圍時，障礙物被識別出來。但邊沿擬合效果不好，利用OpenCV內置函數將掩模的識別出的區域找出，并在BGR圖中標識出來。效果如圖7所示。

4 結束語

本文基于深度攝像頭，對障礙物識別的方法進行了研究，得到以下結論：

（1）通過一款優秀的深度相機，提取出準確的深度圖，再結合本文的算法，根據深度相機的參數和電腦的性能調節算法相應的參數，能較好地分辨出障礙物和平面。

（2）但算法依然存在缺陷，受深度相機的性能優劣和測量距離對算法的效果影響相當大，可能會為結果引入眾多的噪聲;而且不同類型的深度相機對光照，場景類型的魯棒性都是不同的，需要為特定的場景選用特定的攝像頭。對于反光的平面，深度相機無法有效分辨。

（3）深度相機識別障礙物雖然具有較好的識別效果，但面對復雜多變的道路情況，更好的方式是采用多傳感器融合，深度相機可搭配超聲波、激光雷達等，從而對環境有更加全面和準確的感知。

參考文獻：

[1]黃如林，梁華為，陳佳佳，等.基于激光雷達的無人駕駛汽車動態障礙物檢測，跟蹤與識別方法[J].機器人，2016，38（4）：437-443.

[2]劉志.基于多傳感器的導盲機器人同時定位與地圖構建[D].江蘇科技大學，2017.

[3]Chen C， Jafari R， Kehtarnavaz N. UTD-MHAD： A multimodal dataset for human action recognition utilizing a depth camera and a wearable inertial sensor[C]//2015 IEEE International conference on image processing（ICIP）. IEEE，2015：168-172.

[4]趙洋，劉國良，田國會，等.基于深度學習的視覺SLAM綜述[J].機器人，2017，39（6）：889-896.

[5]婁達平，王曉東，富顯祖，等.基于深度引導空洞填補的虛擬視點繪制方法[J].計算機應用與軟件，2017，34（6）：162-168.

[6]Raffle H S， Starner T E， Weaver J， et al. Method and system for input detection using structured light projection： U.S. Patent 8，955，973[P]. 2015-2-17.

[7]Bai M， Wu J. Efficient deblending using median filtering without correct normal moveout-with comparison on migrated images[J]. J. seism. Explor，2017，26：455-79.

[8]韓萍，韓賓賓.基于典型散射差異指數的PolSAR圖像Lee濾波[J].系統工程與電子技術，2018，40（2）：287-294

[9]常亮，鄧小明，周明全，等.圖像理解中的卷積神經網絡[J].自動化學報，2016，42（9）：1300-1312.

[10]王正來，黃敏，朱啟兵，等.基于深度卷積神經網絡的運動目標光流檢測方法[J].光電工程，2018，48（8）：43-52.

[11]陳存祺.汽車自主駕駛中基于單目視覺的障礙物檢測[D].吉林大學，2013.

[12]陳佳鑫，賈英民.一種基于漫水填充法的實時彩色目標識別方法[J].計算機仿真，2012，29（03）：4-9.

[13]羅云崗.特定目標的檢測與識別技術研究[D].上海交通大學，2014.

[14]Li H， Wang R， Cao S， et al. A method for low-frequency noise suppression based on mathematical morphology in microseismic monitoring[J]. Geophysics， 2016，81（3）：159-167.

[15]鄧仕超，黃寅.二值圖像膨脹腐蝕的快速算法[J].計算機工程與應用，2017，53（5）：207-211.

[16]辛浩，李玲玲.基于幀間差分與背景消減的視頻摘要算法研究[J].淮北師范大學學報（自然科學版），2017（2）：13.