基于多傳感器信息融合的機器人障礙物檢測

王中立，牛穎

（太原理工大學信息工程學院，山西太原030024）

基于多傳感器信息融合的機器人障礙物檢測

王中立，牛穎

（太原理工大學信息工程學院，山西太原030024）

針對單一傳感器在機器人避障過程中不能全面且準確定位障礙物的缺點，提出基于多傳感器信息融合的障礙物檢測方法。第一階段使用視覺傳感器檢測未知環境中的障礙物，通過Zernike矩邊緣檢測方法提取障礙物圖像邊緣，然后采用Hough變換原理提取障礙物的直線特征，獲得障礙物大概位置；第二階段使用超聲波傳感器和紅外傳感器對障礙物進行檢測，獲得障礙物準確位置；最后使用聯合卡爾曼濾波對3種傳感器獲得的信息進行融合，得出融合后的障礙物位置信息。實驗結果表明：該方法克服視覺傳感器、超聲波傳感器和紅外傳感器的局限性，可以精確感知機器人周圍的未知環境信息，并能夠檢測和定位機器人路徑上的障礙物，定位誤差〈6cm，滿足機器人避障的實時性和可靠性需求。

障礙物檢測；信息融合；聯合卡爾曼濾波；視覺傳感器；Zernike矩；Hough變換

0 引言

現如今，機器人在工業、軍事、醫療、空間等領域應用廣泛，具有重要的使用價值。移動機器人是集環境感知、動態規劃、行為控制與任務執行等多個功能于一體的綜合控制系統，具有定位導航和自主避障功能[1]。在未知環境下機器人進行自主導航的關鍵是必須得具有良好的避障能力，這也是當前機器人研究的熱點和難點。

對障礙物的檢測主要通過各種傳感器進行感知，傳感器主要分為兩類：被動傳感器和主動傳感器。其中，被動傳感器主要是各種攝像機，通過攝像機獲得圖像并對其進行處理，從而獲得障礙物的各種信息，但視覺傳感器易受環境影響，采集信息的可靠性差；主動傳感器包括激光傳感器、紅外傳感器、超聲波傳感器等，它們可以利用自身測量的信號對環境進行描述，受環境變化影響小，魯棒性強，感知的信息可靠，準確度高。當機器人處在復雜環境下時，采用單一傳感器來感知所處的環境，其感知障礙物能力差，且得到的障礙物信息誤差大。因此，很多學者提出采用多傳感器信息融合的方式對機器人障礙物進行檢測，在一定程度上提高了檢測準確度。

本文為了進一步提高移動機器人障礙物檢測準確度，提出了采用視覺傳感器、超聲波傳感器和紅外傳感器相互融合的障礙物檢測方法，并把3種傳感器得到的信息通過聯合卡爾曼濾波方法進行融合，將融合后的信息作為最后檢測結果。

1 機器人模型

機器人避障過程中不僅要考慮自身狀態，還要判斷障礙物的信息，所以機器人避障比較復雜。一般根據具體應用問題來構建機器人模型，從而估計機器人的運動軌跡和環境信息。本文構建了一個四足型機器人模型，如圖1所示。

由于該四足機器人每條腿結構都相同，因此對其中一條腿進行運動學分析，建立單腿D-H坐標系如圖2所示，參數如表1所示。

將每個連桿變換矩陣相乘則可以得到機器人軀體到足端的變換矩陣，即：

式中：

圖1 四足機器人結構示意圖

圖2 單腿D-H坐標系

表1 四足機器人單腿D-H參數表

ci=cosθi，si=sinθi，i=1，2，3。

因此，足端的變換矩陣04A以及機器人足端相對于基坐標系{0}的位姿可以根據θ1、θ2和θ3的值得出。

2 多傳感器信息融合技術

多傳感器信息融合技術是針對一個系統采用多種傳感器獲取信息而展開的有關數據處理的研究[2]。采用多個傳感器獲取信息可以使傳感器之間存在互補，以及得到冗余數據，增加系統可靠性和容錯性，克服單一傳感器的局限性以及獲取信息的不全面性[3]。

多傳感器信息進行融合的方法包括Bayes估計法、卡爾曼濾波法、D_S證據理論、BP神經網絡以及小波分析理論等[4]。現如今，多傳感器信息融合技術在機器人避障方面應用廣泛，不但增加了機器人系統避障的可靠性和容錯能力，還增加了數據的可信度并提高了檢測準確度。

3 聯合卡爾曼濾波方法

3.1 聯合卡爾曼濾波原理

聯合卡爾曼濾波器是通過分塊估計、兩步級聯的方法來進行數據處理的技術，其基本思想是先分散處理，再進行全局融合[5]。在聯合濾波中，假設系統含有多個外部傳感器，卡爾曼濾波器則會對應于不同的傳感器分別形成多個局部濾波器，并且每個局部濾波器并行工作，得到建立在局部測量基礎上的局部最優估計，再經過一個主濾波器對所有的局部最優估計進行信息融合，最終給出全局最佳狀態估計。

3.2 聯合卡爾曼濾波算法

假設研究對象是一個隨機線性離散系統，那么其卡爾曼濾波狀態方程可以表示為

式中：X（k）——研究對象的狀態向量；

Φ（k）——狀態轉移矩陣；

B（k）——輸入控制矩陣；

U（k）——控制向量；

W（k）——過程噪聲。

當對系統進行獨立觀測時，如果采用N個傳感器，那么根據聯合卡爾曼濾波原理可知，相應的局部濾波器就會有N個，并且都可以獨自完成對單個傳感器數據的濾波運算，設第i個局部濾波器的模型為

式中：Zi（k）——第i個傳感器的觀測量；

Hi（k）——第i個傳感器的觀測矩陣；

Vi（k）——第i個傳感器的觀測噪聲。

4 視覺傳感器障礙物檢測

4.1 基本理論

移動機器人在運動過程中，首先要感知環境中可能存在的障礙物信息，然后根據障礙物信息對其運動路徑進行自主規劃，最后根據規劃好的路徑進行運動，從而能夠規避路徑中的障礙物，安全到達目的地，完成指定任務[6]。視覺傳感器檢測障礙物位置信息時，先通過攝像機對障礙物可能所在的環境進行拍照，通過圖像處理后提取圖像中障礙物的特征，最后經過相應的計算得出障礙物的位置信息。本文為了簡化問題做出如下假設：環境中障礙物的高度不低于移動平面；障礙物特征明顯且與背景特征差別較大，邊緣特征比較突出；障礙物上的點處于同一距離上。

視覺傳感器通過單幀圖像或者多幀圖像進行圖像檢測，其中單幀圖像在檢測障礙物時，比多幀圖像檢測簡單且用時較短。根據機器人檢測障礙物的實時性，本文選擇單幀圖像來檢測障礙物位置信息。

4.2 提取障礙物邊緣特征

圖像邊緣特征提取方法有Sobel算子邊緣檢測、Canny邊緣檢測、Roberts算子邊緣檢測以及Zernike矩邊緣檢測等方法[7]。由于Zernike矩是一個積分算子，對噪聲不敏感且具有圖像旋轉不變性，因此本文利用Zernike矩進行邊緣檢測。

4.2.1 Zernike矩原理

Zernike提出了一組多項式{Vnm（x，y）}，此組多項式在單位圓{x2+y2≤1}內是正交的，其數學表達式[8]為

式中：n、m——Zernike矩多項式的階數；

ρ——圓心到像素點（x，y）的長度；

θ——ρ與坐標軸x之間的夾角。

Zernike多項式正交且滿足：

式中[Vnm（x，y）]*為Vnm（x，y）的共軛。

圖像的Zernike矩就是圖像在上述正交多項式{Vnm（x，y）}上的投影。

連續圖像函數f（x，y）在單位圓外趨近于0，并且它的重復率為m的n階Zernike矩定義為

由以上可知，計算圖像的Zernike矩時，不對單位圓外的點進行計算，使用Vnm*（ρ，θ）可以提取圖像特征。在圖像分析中，Zernike矩能夠使信息冗余達到最優，這是因為Zernike多項式具有正交性；而它具有的遞歸性質，則能夠進行快速計算。此外，Zernike矩還具有旋轉不變性，即當圖像旋轉一定角度φ后，得到圖像的Zernike矩A′nm和初始圖像的Zernike矩Anm具有以下關系：

從式（9）可以看出，當Zernike矩旋轉一定角度后，其幅值不變，僅僅是相位發生變化，此特性在模式識別和匹配中具有重要作用。

4.2.2邊緣檢測

建立階躍邊緣理想模型如圖3所示。圖中圓為單位圓，直線L在單位圓內的部分被看作理想邊緣，其兩側的灰度值分別表示為h和h+k，其灰度差則為k；原點到直線邊緣的垂直距離為l，l∈[-1，1]，l和x軸的夾角為φ，φ∈[-π/2，π/2]。

由圖3（b）可知，旋轉后的圖像f′（x，y）關于x軸對稱，其質心落在x軸上，因此其一階幾何矩A01滿足：

A11和A20分別對應的積分核函數為V11=x+jy，V20=2x2+2y2-1。根據旋轉不變性，使用A′11和A′20來表示圖像旋轉后的Zernike矩，則旋轉前后Zernike矩的關系可以表示為

因為A01是A′11的虛部，所以有：

經過推導有：

再經過進一步推導可得出：

聯立式（14）和式（15）得到邊緣參數l和k：

假設圖3（a）中原點坐標為（x，y），垂點坐標為（x′，y′），則得到：

通過式（18）來確定垂點是否作為最終的邊緣點，這取決于k與設定閾值間的大小關系，而l的取值范圍為[-1，1]，因此邊緣定位的準確度為亞像素級。而對于數字圖像，Zernike矩的計算則可以通過模板與圖像的卷積實現。設模板的大小為N×N，則在定位邊緣點應將l放大倍：

圖3 階躍邊緣理想模型

4.3 提取直線段特征

利用Zernike矩邊緣檢測方法提取出圖像的邊緣后，再通過Hough變換進行直線特征提取。Hough變換方法是利用拍攝圖像的全局特性進行直接檢測目標輪廓，可以在事先確定區域形狀的情況下獲得邊界曲線，將不連續的邊緣像素點連接起來，分割出某些已知形狀的目標[9]。

在參數空間中，曲線的形狀取決于表示曲線的原始函數。為了避免直線為垂直線時所帶來的問題，采用極坐標形式，其方程為

式（20）中，（x，y）被映射到空間（ρ，θ），如果直線上有n個點，則這些點對應參數空間（ρ，θ）上的n條正弦曲線，同時這些曲線過（ρ，θ）上的同一個點。Hough變換在表示離散參數值時，常把參數空間設計成一個累加器陣列，根據變換方程可以把圖像中的每一點表示成幾個參數，那么一條直線上的參數就是參數空間的峰值[10]。利用Hough變換檢測直線段其抗噪性能好，且可以連接同一直線方向上間距小于某一閾值的短直線為一條直線。

5 超聲波傳感器和紅外傳感器障礙物檢測

在未知環境中，單一傳感器檢測障礙物難以獲得理想結果，因此，將視覺傳感器檢測障礙物看作第一階段，然后再利用超聲波傳感器和紅外傳感器進行第二階段的障礙檢測。一般超聲波傳感器測距范圍為0.4～7 m，存在40 cm的測量盲區，而紅外傳感器測距范圍為10～80 cm，可以在一定程度上彌補超聲波傳感器測距存在的盲區，獲得障礙物準確的位置信息。

5.1 超聲波傳感器測距

超聲波傳感器具有發射端和接收端，當進行測距時，利用發射端向某一方向發射超聲波同時開始計時，如果超聲波遇到障礙物，則會立即返回，其接收端在接收到反射回來的超聲波時停止計時[11]。假設超聲波在空氣中的傳播速度為V，發射和接收的時間差為t，則可以計算出傳感器離障礙物的距離S，即：

超聲波是一種聲波，其聲速與溫度有關，當溫度為T時，超聲波傳播速度為5.2紅外傳感器測距

紅外傳感器是一種對入射光位置敏感的光電器件，利用光學三角測距原理可實現傳感器到障礙物的距離測量[12]。紅外傳感器檢測障礙物原理如圖4所示，從圖中可以看出，光源發出的光線經透鏡L1聚焦后向外發出，當光線碰到障礙物時，就會反射回來，到達接收端，反射光通過透鏡L2聚焦到光敏器件上，形成一個入射光點D。若透鏡L1和L2間的中心距離為b，透鏡到光敏器件的距離為f，聚焦在光敏器件上的光斑D與感光元件中心C之間的距離為x，則根據三角形相似原理，可得出待測距離h：式中b、f是傳感器的已知參數。

因此只要測出在光敏元件上的入射光點位置坐標就可以得出傳感器與障礙物之間的距離。

圖4 紅外傳感器測距示意圖

6 聯合卡爾曼濾波方法在多傳感器信息融合中的應用

本文使用了3種傳感器對障礙物進行檢測，因此需要3個局部濾波器，根據各自觀測量進行局部最優估計。在這一層進行并行處理的分散估計，利用傳統的集中式卡爾曼濾波器進局部狀態估計。時間更新方程和測量更新方程式為卡爾曼濾波器的2個部分[13]。

卡爾曼濾波器的時間更新方程：

式中：Si（k+1）=Hi（k+1）Pi（k+1|k）Hi（k+1）+Ri（k+1）為新息協方差陣；稱為新息；為一步預測狀態，Pi（k+1|k）為一步預測協方差，Ki（k+1）為濾波器增益，為更新狀態，Pi（k+1|k+1）為更新的誤差協方差。

7 仿真實驗及結果分析

在Matlab中進行實驗仿真，假設機器人做勻速直線運動，速度為0.4m/s，以周期T=1s進行采樣，同時假設過程噪聲和測量噪聲都是均值為0的高斯噪聲，并且兩者相互獨立。聯合卡爾曼濾波方法是一個迭代過程，需要給定初始值，根據以上假設條件令P（0|0）=04×4，X（0|0）=[6，-0.4]。

圖5 卡爾曼濾波后的視覺測距信號

圖6 卡爾曼濾波后的超聲波測距信號

圖7 卡爾曼濾波后的紅外測距信號

圖8 基于聯合卡爾曼濾波的多傳感器融合值

圖5～圖7分別是為視覺傳感器、超聲波傳感器以及紅外傳感器的測量信號經過卡爾曼濾波后得到的曲線圖，圖中的目標是指傳感器所檢測到的障礙物。從圖中可以看出，經過卡爾曼濾波后的值接近真實值，與未經過卡爾曼濾波后的值相比誤差有所減小。但仍不能滿足機器人障礙物檢測的要求，需進一步進行多傳感器信息融合。

圖8為該3種傳感器的測距信號經過聯合卡爾曼濾波融合后的信號，從圖中可知，融合后的信號更接近真實值，測量誤差在6 cm以內，滿足機器人避障要求。

8 結束語

機器人在未知環境中進行移動時，由于環境的復雜性以及未知環境的影響，導致單一傳感器獲取信息不全面、不可靠。為了提高移動機器人檢測障礙物的準確度和可靠性，提出了利用視覺傳感器、超聲波傳感器和紅外傳感器相融合的移動機器人障礙物檢測方法。該方法將視覺傳感器對障礙物的檢測看作是第一階段，得到障礙物的大概位置，第二階段利用超聲波傳感器和紅外傳感器對確定的障礙物進行精確檢測，最后通過聯合卡爾曼濾波方法對多傳感器獲得的信息進行融合。該方法能夠有效檢測和定位障礙物的位置信息，定位誤差〈6 cm，能夠使移動機器人適應復雜的環境。

[1]李燦.智能移動機器人導航策略研究與實現[D].杭州：浙江工業大學，2013.

[2]程虹霞，駱云志，朱松柏，等.多傳感器信息融合技術在無人平臺避障中的應用[J].兵工自動化，2010，29（6）：89-91.

[3]宋明月.基于多傳感器信息融合的關鍵技術的研究[D].哈爾濱：哈爾濱工程大學，2011.

[4]咸寶金.基于專家系統的數據融合技術及在機器人避障中的應用[D].北京：北方工業大學，2008.

[5]崔平遠，黃曉瑞.基于聯合卡爾曼濾波的多傳感器信息融合算法及其應用[J].電機與控制學報，2001，5（3）：204-207.

[6]唐建平，宋紅生，王東署.一種移動機器人動態環境下的路徑規劃[J].鄭州大學學報（理學版），2012，44（1）：75-78.

[7]龍清.圖像邊緣檢測中的微分算子法及其比較[J].信息技術，2011（6）：98-101.

[8]蔡小帥，張榮國，李富萍，等.基于Zernike矩的模糊與仿射混合不變量研究[J].計算機工程，2014，40（11）：215-219.

[9]李金泉，陳善本，吳林.一種基于Zernike矩的直線提取算法[J].光電子·激光，2003，14（8）：851-854.

[10]楊全銀.基于Hough變換的圖像形狀特征檢測[D].濟南：山東大學，2009.

[11]楊芳沛，李偉光，鄭少華，等.基于超聲波傳感器的AGV避障模塊設計與實現[J].電子設計工程，2015，23（22）：56-60.

[12]閆俊旭，侯超.基于紅外反射式光電傳感器的智能循跡小車[J].山西電子技術，2012（2）：34-35.

[13]劉國海，李沁雪，施維，等.動態卡爾曼濾波在導航試驗狀態估計中的應用[J].儀器儀表學報，2009，30（2）：396-400.

（編輯：商丹丹）

Obstacle detection of robot based on multi-sensor information fusion

WANG Zhongli，NIU Ying
（College of Information Engineering，Taiyuan University of Technology，Taiyuan 030024，China）

Aimingattheshortcomingthatthesinglesensorcouldnotlocatetheobstacle completely and accurately in the process of obstacle avoidance of the robot，an obstacle detection method based on multi-sensor information fusion was proposed.Firstly，vision sensor was used to detect the obstacle in unknown environment.The edge of the obstacle image was extracted by the Zernike moment edge detection method，then the Hough transform principle was used to extract the straight line feature of the obstacle，so as to obtain the approximate position of the obstacle.Secondly，ultrasonic sensor and infrared sensor were used to detect the obstacle to obtain the exact position of obstacles.Finally，the federated Kalman filter was used to fuse the information obtained by the three sensors to gain information of the obstacle position after fusion.The test result shows that this method can overcome the limitations of vision sensors，ultrasonic sensors and infrared sensors，and can accurately detect the unknown environmental information around the robot and detect and locate the obstacles on the path of robot with positioning error less than 6 cm，meeting the real-time and reliability of robot obstacle avoidance.

obstacle detection；information fusion；federated Kalman filter；vision sensor；Zernike moment；Hough transform

A

1674-5124（2017）08-0080-06

10.11857/j.issn.1674-5124.2017.08.017

2017-03-13；

2017-04-21

王中立（1989-），男，山東菏澤市人，碩士研究生，專業方向為檢測技術與智能儀表。