基于雙目視覺的目標識別與定位及機械臂的抓取研究

黃賢振，彭淑萍

（1.天津職業技術師范大學 機械工程學院，天津300222；2.江西冶金職業技術學院 制造工程學院，新余 338000）

機械臂抓取控制過程中，雖然在百年前已經建立了完善的多坐標系聯合控制算法，但相關控制至今仍停留在順序程序或基于反饋數據的半自動化控制模式，機械臂智能化相關研究仍有巨大提升空間。 智能化控制領域中，文獻[1]指出的實驗室研究已經可以使用模糊神經網絡實現基于機器人自主視覺的智能化控制， 即對被切削工件不同節理、結核的反饋數據，及時調整切削機器人機械臂的給進量和給進力度，實現基于機械手和機器人自主視覺的切削機器人控制。 文獻[2]認為機械手抓取機構的控制難度遠大于機械手切削機構，每年全國大學生機器人大賽（RoboMaster）的保留競賽項目為機械手撿雞蛋比賽，機械手抓取控制的難度和控制穩定性直接決定了選手的勝負。

文獻[3]使用120°夾角的三眼識別控制機械手，即在3 個相互交叉視野的支持下使用Smart3D 軟件生成三維模型，將該模型的定位信息反饋到機器人控制系統中。 但三眼視覺的硬件系統僅能用于傳統固定式機械臂， 難以應用到飛行機器人或行走機器人中。 近年來玉兔號月球車和祝融號火星車中使用的機器人雙眼自主視覺，使用2 個共軸的攝像頭仿生人眼定位功能實現機器人可移動自主視覺。

文獻[4]認為機器人雙眼視覺無法直接用于Smart3D 的三維建模解析，但可以形成不完備三維模型，利用元胞自動機和互搏神經網絡的結合算法，在智能化算法的基礎上實現高精度的基于雙眼視覺的三維建模。

1 雙眼視覺的元胞自動機互搏算法的模型

雙眼視覺與三眼視覺相比， 三眼視覺可以給Smart3D 提供全角度的原始視頻信息， 而雙眼視覺只能獲得被觀測物體面向機器人一面，無法獲得被觀測物體的背面信息。 文獻[5]認為需要使用元胞自動機完成背面三維結構的生成工作。 文獻[6]認為元胞自動機對三維結構背面的建模過程具有隨機性，需要在其后通過機器學習算法進行互搏判斷，當機器學習算法給出較高評分時， 才可以輸出三維模型，如果不能給出較高評分，則該模型被返回重生成。 上述數據邏輯如圖1 所示。

圖1 雙目視覺元胞自動機互搏算法示意圖Fig.1 Schematic diagram of binocular vision cellular automata beat algorithm

攝像頭：機械臂的視覺傳感器，為機械臂提供影像信息；流媒體數據：通過攝像頭拍攝所得數據；原子鐘：高精度計時裝置；單幀提取：將流媒體數據通過單幀方式進行提取；Smart3D： 全自動傾斜攝影測量三維實景建模軟件；不完備三維模型：基于雙目視覺的機器人通過Smart3D 生成的未經機器學習判斷模塊判斷的三維模型；隨機數生成器：生成隨機數的器件。

元胞自動機的統計學任務是在隨機數生成器的驅動下，在點陣式三維模型中計算自動生成被遮擋點的坐標位置，文獻[7]認為其中依賴雙眼視覺中的單眼視覺獲得參照數據，即雙眼視覺中支持元胞自動機運行的攝像頭被認為為主視覺眼，另一個攝像頭作為輔助視覺眼。 機器學習判斷模塊的統計學任務是根據雙眼視覺圖像和待比較三維模型的三維點陣數據提供二值化判斷， 當其輸出結果接近1.000 時，將待比較三維模型輸出為最終模型，當其數據結果接近0.000 時，駁回待比較三維模型，重新發出隨機數重新生成待比較三維模型。 該機器學習判斷模塊的內部結構如圖2 所示。

圖2 機器學習判斷模塊數據邏輯圖Fig.2 Data logic diagram of machine learning judgment module

二維圖像：左右攝像機經過單幀提取所輸出的二維圖像；空間卷積：為了加強邊界強化，二維圖像及三維模型需要經過空間卷積進行處理，以便用于模糊卷積；模糊卷積：神經網絡模塊，在此用于處理空間卷積的輸出，以生成雙精度數據進行二值化處理；二值化：提供二值化判斷，當其輸出結果接近1.000 時，將待比較三維模型輸出為最終模型，當其數據結果接近0.000 時，駁回待比較三維模型。

經過攝像機單幀提取的二維圖像及帶比較三維模型需要經過空間卷積進行邊界強化，適用空間卷積基函數為

式中：g（x）為原始圖像；j（a-x）為卷積核；x 為遍歷變量；a 為輔助定位變量；y 為神經網絡輸出值。

經上式處理后的數據需要神經網絡模塊處理成雙精度數據，神經網絡模塊均采用多項式深度迭代回歸節點函數，其基函數為

經過神經網絡模塊所輸出的雙精度數據需要進行二值化判斷，針對每套方案設計一個獨立的二值化神經網絡模塊， 形成二值化多列神經網絡，二值化神經網絡的節點基函數為

式中：e 為自然常數，此處取近似值e=2.718281828；其他數學符號含義同前文。

2 雙眼視覺機器人與三眼視覺機器人的算法效能比較

用于參照的三眼視覺機器人使用固定在機器人活動空間的不少于3 個中軸相互交叉的攝像頭獲得的多眼視覺，數據分析系統采用相關文獻中使用較廣的空間卷積神經網絡與模糊卷積神經網絡綜合的機器學習系統，受制于篇幅，此處不展開討論參照組的具體算法。 但近5年文獻中，機器人多眼視覺屬于較先進機器人自主視覺實現方案。

比較算法中使用SPSS 統計軟件的雙變量t 校驗獲得兩列數據的差異值。

t 檢驗，也叫做Student t 檢驗，是用t 分布理論來推論差異發生的概率，從而比較兩個平均數的差異是否顯著。主要適用于樣本量不大，總體標準差σ未知的正態分布。 t 值來自比較結果的Value 值，當t＜10.000 時認為兩列數據存在統計學差異， 且t 值越小，數據差異性越大；P 值來自比較結果的Log值，當P＜0.05 時認為比較結果擁有統計學信度，當P＜0.01時認為比較結果存在顯著的統計學意義。

2.1 機器人移動范圍及移動效率比較

通過比較基于雙眼視覺的機器人和基于三眼視覺的機器人的移動效率，可以掌握機器人在基于不同視覺模式下的行走靈活程度，詳細數據見表1。

表1 機器人移動范圍及移動效率比較結果表Tab.1 Comparison results of robot moving range and moving efficiency

表1 中，移動范圍指可接受控制精度要求下機器人自主行走或程控行走的最大直線距離；移動速度為相同行走機構的機器人行走的平均速度；避障精度使用行走路線與行走路線測點的線性回歸結果的R2值，R2值指均值法距累加值與回歸法距累加值的比值。

從表1 中可以看出，基于雙眼視覺的機器人在移動范圍方面要遠大于基于三眼視覺的機器人，同時比較此時t 值與P 值可知其差異巨大且存在顯著統計學意義，這是由于基于三眼視覺的機器人無法離開外部傳感器所提供視野區域所限制；在機械臂移動速度方面，基于雙眼視覺的機器人和基于三眼視覺的機器人相差無幾，此時t 值接近100 且P<0.05，說明結果可信；而對于避障精度方面，由表可知基于雙眼視覺的機器人的避障精度要優于基于三眼視覺的避障精度，此時t<10.000，且P<0.001，說明避障精度結果具有統計學差異且存在顯著的統計學意義。

2.2 機械手控制精度比較

通過比較基于雙眼視覺的機器人和基于三眼視覺的機器人的機械手控制精度，可以掌握機器人在基于不同視覺模式下對于目標識別的穩定程度及抓取力度的控制程度，詳細數據見表2。

表2 機械手控制精度比較結果表Tab.2 Comparison results of manipulator control accuracy

表2 中，抓取力度指機械臂抓取物品時對物品所施加的壓力；定位精度指機械臂基準坐標的空間實體位置信息與機械臂真實位置之間的接近程度；而行走精度指機械臂按預設程序行走時，機械臂與預設導軌基準面之間的平行度。

從表2 中可以看出，在抓取力度、定位精度、行走精度方面針對三眼視覺機器人和雙眼視覺機器人進行比較可知，基于雙眼視覺的機器人均要優于基于三眼視覺的機器人。 在抓取力度、定位精度以及行走精度方面，比較三者的t 值和P 值發現，此時t<10.000，且P<0.001，說明在抓取力度、定位精度以及行走精度方面的結果均具有統計學差異且存在顯著的統計學意義。 這也反映出基于雙眼視覺的機器人擁有更高的靈活度，這一點在定位精度及行走精度等方面上尤為明顯。 這是由于基于雙眼視覺的機械臂相比于三眼視覺的機械臂擁有更為靈活的視野，不用考慮三眼視覺機械臂的視野限制，從而在目標識別部分可以更加靈活的進行圖像預處理，獲得更好的識別穩定性和算法執行效率。

2.3 “撿雞蛋”任務模式下的機械手工作效率比較

通過比較基于雙眼視覺的機器人和基于三眼視覺的機器人在“撿雞蛋”任務模式下的機械手工作效率，可以掌握機器人在基于不同視覺模式下在具體任務中的執行任務能力及工作效率，詳細數據見表3。

表3 “撿雞蛋”任務模式下的機械手工作效率比較結果表Tab.3 Comparison results of manipulator’s work efficiency in “egg picking” task mode

表3 中，平鋪效率為每分鐘機械臂將雞蛋從一個平鋪狀態“撿入”至另一平鋪狀態的個數；籃中效率為每分鐘機械臂將雞蛋從一個籃中狀態 “撿入”至另一籃中狀態的個數；損傷率為“撿雞蛋”任務模式下，損傷雞蛋的個數與所抓取雞蛋個數的比值。

通過比較可知，基于雙眼視覺的機械臂“撿雞蛋”的平鋪效率及籃中效率均大于基于三眼視覺的機械臂的平鋪效率和籃中效率。 比較t 值和P 值可知，此時基于雙眼視覺的機器人和基于三眼視覺的機器人的工作效率差異巨大且具有顯著統計學意義，這點在平鋪效率上尤為明顯。 而對于損傷率的比較中，基于雙眼視覺的機械臂在“撿雞蛋”任務中的雞蛋損傷率要遠小于基于三眼視覺的機械臂的損傷率，此時P 值<0.01，認為損傷率結果也具有顯著統計學意義。

通過對于機器人移動范圍及移動效率的比較、機械手控制精度的比較、以及“撿雞蛋”任務模式下的機械手工作效率的比較，結果顯示基于雙眼視覺的機器人相比基于三眼視覺的機器人擁有更為靈活的移動精度、控制精度及工作效率。 分析造成這些結果的可能原因為基于雙眼系統的機械手由于避免了因攝像機視野范圍的限制，從而在目標識別部分可以更加靈活的進行圖像預處理，在算法上獲得更好的識別穩定性和算法執行效率，進一步影響對采集到的圖像的立體校正工作，以此獲得更為精確的目標物體的形心位置，得到更好的算法效能結果。

3 結語

本研究給出了元胞自動機互博算法的模型流程，解釋了元胞自動機對三維結構背面的建模過程，從而得到基于雙眼視覺的機器人的模型構建。 隨后進行了雙眼視覺機器人與三眼視覺機器人的算法效能比較，結果顯示基于雙眼視覺的機器人相比基于三眼視覺的機器人擁有更為靈活的移動精度、控制精度及工作效率。 本研究改善了在復雜工作環境及復雜工作任務下，機械臂的自主調整能力和交互能力，為未來機械臂自主作業的研究提供方向，對工業、醫療等領域自動化水平的提升有顯著意義。