基于多特征融合的防爆自動導(dǎo)引車避障方法研究

萬偉　劉子龍　孫帥　張瑩

摘? 要：為解決在工廠環(huán)境中防爆自動導(dǎo)引車（Automated Guided Vehicle，AGV）難以在不同光照條件下實現(xiàn)行人檢測的問題，本文提出將“結(jié)構(gòu)光+雙目視覺相機”的圖像采集方案應(yīng)用于爆炸性危險環(huán)境。針對傳統(tǒng)的基于RGB（代表紅、綠、藍三個通道的顏色）圖像的HOG-LBP（Histogram of Oriented Gradient-Local Binary Pattern）方法受光照影響較大且對特征利用率低的情況，設(shè)計了基于RGB-D（RGB-Depth）圖像的HOG-CLBP（Histogram of Oriented Gradient-Completed Local Binary Pattern）框架，并提出了一種改進的多特征融合方法，通過支持向量機分類實現(xiàn)實時行人目標(biāo)檢測。實驗驗證該方法可以有效解決在不同光照條件下實現(xiàn)對行人目標(biāo)的檢測，從而實現(xiàn)避障功能。

關(guān)鍵詞：雙目視覺;行人檢測;避障;特征融合

中圖分類號：TP29? ? ?文獻標(biāo)識碼：A

Abstract： This paper proposes an approach to applying image acquisition with "structured light + binocular vision camera" to an explosively dangerous environment since it is difficult for explosion-proof Automatic Guided Vehicle （AGV） to detect pedestrians under different lighting conditions in factory environment. Traditional HOG-LBP （Histogram of Oriented Gradient-Local Binary Pattern） method based on RBG （red， blue， green） channels of images is greatly affected by illumination and has low utilization rate. Therefore， a HOG-CLBP （Histogram of Oriented Gradient-Completed Local Binary Pattern） framework based on RGB-D （RGB-Depth） images is designed， and an improved multi-feature fusion method is proposed to realize real-time pedestrian target detection through support vector machine classification. Experiments verify that this method can effectively solve the problems of pedestrian targets under different lighting conditions to achieve the obstacle avoidance function.

Keywords： binocular vision; pedestrian detection; obstacle avoidance; feature fusion

1? ?引言（Introduction）

防爆AGV是指依據(jù)GB3836系列國家標(biāo)準(zhǔn)[1]設(shè)計，經(jīng)相關(guān)防爆檢驗檢測機構(gòu)認(rèn)證，可以應(yīng)用于爆炸性危險環(huán)境的裝備有自動導(dǎo)引裝置的多功能移載運輸車。隨著2019年10月1日防爆電器正式被納入CCC（China Compulsory Certification）認(rèn)證管理范圍，自2020年10月1日起，未取得3C證書和認(rèn)證標(biāo)志的防爆產(chǎn)品被禁止出廠、銷售、進口，或在其他經(jīng)營活動中使用，因此防爆AGV具有極為廣闊的市場前景。

與通用型AGV結(jié)構(gòu)相同，防爆AGV主要通過隔爆型、增安型和本質(zhì)安全型等[2]防爆方式解決AGV小車的控制單元、驅(qū)動單元等部分的電氣防爆問題。由于應(yīng)用環(huán)境的特殊性，通用型AGV常用的激光雷達等避障方案在爆炸性危險環(huán)境中較難解決防爆安全問題。由于AGV運行軌跡通常較為固定，且在爆炸性環(huán)境中對于物料堆放有著嚴(yán)格的規(guī)定，因此本文中需要躲避的障礙對象主要為出現(xiàn)在小車前進路線上的行人。本文設(shè)計了“結(jié)構(gòu)光+雙目視覺相機”的圖像采集方案，通過HOD-CLBP框架實現(xiàn)行人檢測從而進行避障。

2? ?相關(guān)工作（Related work）

行人檢測就是通過圖像采集設(shè)備對工作環(huán)境進行視頻或圖片采集，對目標(biāo)圖像中的行人與其他內(nèi)容進行區(qū)分，簡單地說就是一種單一分類問題。本文的主要工作內(nèi)容是對訓(xùn)練集中的圖像分別提取HOG特征[3]和CLBP特征[4]，通過改進的特征融合算法對提取到的特征進行融合，再使用融合后的特征訓(xùn)練分類器獲得分類模型。應(yīng)用過程中，針對不同的光照條件，使用“結(jié)構(gòu)光+雙目視覺相機”[5]對目標(biāo)區(qū)域進行深度圖像采集，使用訓(xùn)練好的分類器對行人目標(biāo)進行檢測。

HOG特征假設(shè)一個對象可以根據(jù)其邊緣方向和大小來表征。此外，它考慮用圖像的小矩形區(qū)域來處理圖像，這使得算法不受光度或幾何變換的影響。但是單一HOG特征對圖像信息的描述不夠完整，對目標(biāo)檢測的精度較低[6]。傳統(tǒng)的LBP特征只計算了相鄰像素與中心像素間的差值信息，而不計算像素的幅值信息，導(dǎo)致圖像部分紋理信息的缺失。本文通過CLBP特征對圖像的符號、幅值及中心灰度特征分別進行提取和融合，對圖像的紋理信息進行全面描述，大幅提升了圖像紋理信息的準(zhǔn)確性。通過改進的特征融合算法融合提取到的特征值和特征向量，最后使用SVM（Support Vector Machines）分類器[7]對圖像進行分類。圖1為本文設(shè)計的方法實現(xiàn)流程。

3? ?算法與實現(xiàn)（Algorithm and implementation）

3.1? ?深度HOG特征

在特征提取步驟對數(shù)據(jù)集的深度圖像提取方向梯度直方圖特征即為HOG特征。

（1）圖像預(yù)處理與gamma歸一化。

（2）梯度計算。使用一維離散微分模板[-1，0，1]和[-1，0，1]T

計算水平方向和垂直方向的梯度值。通過式（1）和式（2）分別計算和方向的梯度、，對原始圖像進行卷積。

（3）梯度幅值和角度。使用上一步獲得的和，通過式（3）和式（4）計算梯度幅度和角度。

（4）直方圖計算。如圖2所示，輸入的圖像被分割為單元化的小矩形區(qū)域，其中每個單元由8×8個像素組成。然后計算每個單元的直方圖。直方圖通常定義為一個元素數(shù)組，其中每個元素表示數(shù)據(jù)集中一系列值的出現(xiàn)頻率。對于每個像素，計算九個區(qū)間的直方圖。將0°—180°的角度均分為20°的小區(qū)間。在單元格中，與每個像素對應(yīng)的梯度值被添加到對應(yīng)的區(qū)間中。

為了進一步提升精確度，通過雙線性插值將幅度離散化至每個區(qū)間。對于單元格中的每個像素，對其大小進行雙線性插值到其對應(yīng)的區(qū)間和其最近的鄰域中。對每一格中的所有像素執(zhí)行此操作，就得到一個單元格的直方圖。接下來再對圖片進行分塊，每一塊由2×2個單元格組成，每個塊與前一個塊重疊50%。因此，每個塊具有36維特征向量。

（5）歸一化。歸一化是影響檢測精度的關(guān)鍵步驟。本文中，使用L2-norm歸一化來進一步提高可靠性和精度。如式（5）所示，用表示歸一化特征向量;即為第k個塊的特征向量;?是一個常數(shù)，用來避免出現(xiàn)分母為零的情況。圖3為HOG算法提取的梯度特征。

3.2? ?CLBP特征

如圖4（a）和圖4（b）所示，將圖像中的某一像素記為，以其為中心的九宮格中的個相鄰像素記為，將與的差值記為，獲得的向量即表示像素處圖像的局部信息。

向量可以進一步表示為符號與幅值的乘積形式，將的符號與幅值分別記為、：

由前人實驗可以得知，圖像中像素的差值信息比幅值信息包含的有效數(shù)據(jù)更多，CLBP特征將幅值和差值信息進行了有效的融合，并且利用了中心像素的信息，進一步表述圖像的紋理特征。

將CLBP特征的符號信息、幅值信息及中心像素灰度三個算子分別設(shè)為CLBP_S、CLBP_M、CLBP_C。其中，CLBP_S與傳統(tǒng)的LBP特征一樣，可以表示為：

圖5為圖像的CLBP特征提取結(jié)果圖。在本文中，通過聯(lián)合的方式建立這三種算子的聯(lián)合直方圖，用以完整表述圖像的紋理信息，并在后續(xù)的特征融合階段與HOG特征融合后形成特征模型，用以訓(xùn)練分類器。

3.3? ?特征融合

通過對經(jīng)典的線性判別分析（Linear Discriminant Analysis）理論[8]的深入研究，采用特征權(quán)重組合的算法對提取到的特征進行融合，在實驗中對算法權(quán)重系數(shù)進行優(yōu)化以改進識別效果。

以、分別表示同類樣本相似性的均值和對應(yīng)的差平方;代表和樣本的特征相似度，其中和均來自容量為的行人樣本，即可得到如下公式：

同理，用、分別表示行人樣本和其他類型樣本相似性的均值和對應(yīng)的差平方，則權(quán)重系數(shù)可以表示為：

將前面提取到的HOG特征與CLBP特征匹配其對應(yīng)的權(quán)重系數(shù)，再對特征進行融合，用融合后的特征向量訓(xùn)練分類器實現(xiàn)行人的分類。

4? ?實驗與分析（Experiment and analysis）

實驗環(huán)境為Intel Core i7-8750H、GPU版本1050Ti、4GB內(nèi)存，實驗環(huán)境系統(tǒng)為Ubuntu16.04、Python3.7、Opencv3.3.1[9]。由于實際條件，文中使用CVC-02-Classification數(shù)據(jù)集對分類器進行訓(xùn)練和測試。該數(shù)據(jù)集主要為行人數(shù)據(jù)，訓(xùn)練集和測試集的正負(fù)樣本情況如表1所示，并且該數(shù)據(jù)集提供RGB圖像和對應(yīng)的深度圖。

本文中設(shè)計的算法實現(xiàn)過程如下：

（1）使用CVC-02-Classification數(shù)據(jù)集提供的訓(xùn)練圖片進行HOG特征和CLBP特征的提取。

（2）通過改進的特征融合算法對提取的特征進行融合，并對SVM分類器進行訓(xùn)練獲取模型。

（3）使用CVC-02-Classification數(shù)據(jù)集提供的測試圖片進行測試，并根據(jù)測試數(shù)據(jù)計算特征權(quán)重獲取新的特征向量。

（4）將新的特征向量輸入SVM分類器中獲得完整的行人檢測算法。

實驗中，為了驗證算法在深度圖目標(biāo)識別中的優(yōu)越性，我們在數(shù)據(jù)集提供的深度圖與RBG圖上分別進行實驗，并與傳統(tǒng)HOG-LBP算法進行對比[10]。我們在訓(xùn)練集上分別進行HOG和CLBP特征融合，將融合后的特征用于訓(xùn)練SVM分類器，以確定權(quán)重向量和偏差。實驗數(shù)據(jù)如表2所示。實驗結(jié)果表明，該方法識別準(zhǔn)確率達到92.29%。

由圖6（a）和圖6（b）對比實驗結(jié)果可以看出，在RGB圖中右側(cè)的兒童，由于距離過遠圖像提供的特征不足，且由于衣服和路面顏色接近、灰度值接近，導(dǎo)致漏檢。圖6（c）和圖6（d）中左下角穿白色衣服的行人由于姿態(tài)及在圖像中比例較小而被漏檢。在兩組對比實驗的深度圖實驗結(jié)果中均檢測到目標(biāo)。

通過分析漏檢的測試圖片發(fā)現(xiàn)，多數(shù)漏檢情況如圖7所示，圖片中行人軀干大部分被其他已檢測出的行人遮擋，或者前景已經(jīng)識別出行人，背景中的目標(biāo)被漏檢。根據(jù)本文的實際應(yīng)用背景，當(dāng)前景中識別出目標(biāo)，AGV小車即會采取制動措施躲避目標(biāo)，如圖7所示的情況不會對背景中的行人造成危險。而對比實驗結(jié)果也可以看出，用深度特征訓(xùn)練的分類器的漏檢情況明顯優(yōu)于在RGB圖上的實驗情況。

5? ?結(jié)論（Conclusion）

本文提出了用“結(jié)構(gòu)光+雙目視覺相機”來解決爆炸性危險環(huán)境中AGV小車避障過程中的行人檢測問題。在實際應(yīng)用中，可根據(jù)不同光照情況，分別通過結(jié)構(gòu)光或雙目相機系統(tǒng)采集目標(biāo)的深度圖。基于深度圖的改進HOG+CLBP特征融合的行人檢測方法在Intel Core i7-8750H、Python3.7、Opencv3.3.1實驗環(huán)境下取得較好的實驗效果。實驗證實，算法實時性與準(zhǔn)確性可以基本滿足爆炸性危險環(huán)境下AGV小車對于實時行人檢測的需求。本文中使用的CVC數(shù)據(jù)集均為站立狀態(tài)下的行人，與實際工作環(huán)境下可能存在不同工作姿態(tài)的工人有一定差異，后續(xù)將對不同姿態(tài)下行人目標(biāo)的檢測進行研究，進一步提升該方法的可靠性與實用性。

參考文獻（References）

[1] GB 3836.1—2010 爆炸性環(huán)境 第1部分：設(shè)備通用要求[S].北京：中國標(biāo)準(zhǔn)出版社，2011.

[2] Emil Pop， Gabriel-Ioan Ilcea， Ionut-Alin Popa. Distance Control and Positive Security for Intrinsic Equipment Working in Explosive Potential Atmospheres[J].Engineering， 2018，10（3）：75-84.

[3] Xiong Zhang， Shangguan， H.， Ning， A.， et al. Pedestrian Detection with EDGE Features of Color Image and HOG on Depth Images[J]. Automatic Control and Computer Sciences， 2020（54）：168-178.

[4] 滿忠昂，劉紀(jì)敏，孫宗錕.基于局部二值模式與深度置信網(wǎng)絡(luò)的人臉識別[J].軟件工程，2020，23（05）：13-16;12.

[5] Qian Zhang， Guoqin Gao， Mengru Liu. Pose detection of parallel robot based on improved Hough-K-means and SURF algorithms[J]. The Journal of Engineering， 2019（22）：24-29.

[6] 王志寬.改進的量子模型與灰色理論相結(jié)合圖像融合算法的研究[D].天津：天津工業(yè)大學(xué)，2018.

[7] Redouan Lahmyed， Mohamed El Ansari， Ayoub Ellahyani. A new thermal infrared and visible spectrum images-based pedestrian detection system[J]. Multimedia Tools and Applications， 2019， 78（12）：61-85.

[8] Hu Wei， Shen Weining， Zhou Hua. Matrix Linear Discriminant Analysis[J]. Technometrics， 2020， 62（2）：196-205.

[9] 孫思瑞，陶月松，陳彬，等.基于Opencv的雙目視覺智能防撞系統(tǒng)[J].自動化技術(shù)與應(yīng)用，2020，39（05）：11-14.

[10] 程海鷹，王鳳隨，朱樹明.基于HOG-LBP特征和SVM分類器的視頻摘要方法[J].四川理工學(xué)院學(xué)報（自然科學(xué)版），2018，31（04）：43-48.

作者簡介：

萬? 偉（1993-），男，碩士生.研究領(lǐng)域：機器視覺，機器人控制.

劉子龍（1972-），男，博士，副教授.研究領(lǐng)域：控制科學(xué)與控制理論，機器人控制.

孫? ?帥（1993-），男，碩士生.研究領(lǐng)域：非接觸型監(jiān)測，機器學(xué)習(xí).

張? ?瑩（1993-），女，碩士生.研究領(lǐng)域：機器人控制，神經(jīng)網(wǎng)絡(luò).