基于OpenCV的遙操作工程機器人雙目視覺定位技術

張瑞鵬，尹燕芳

(山東科技大學 電子信息工程學院，濟南 250031)

0 引言

遙操作工程機器人隨著工業化的不斷發展進步而更加高端化，遙操作工程機器人可以在復雜或危險的工作環境下代替人力操作，不僅能夠高質量地完成高難度工作任務，還能夠保障人員的安全。為了進一步提升遙操作工程機器人的工作效率，國內外的科研人員對機器人的視覺定位系統進行研究設計，通過相應的攝像技術來獲取圖像信息。

文獻[1]中提出的SIFI算法的定位技術主要是應用攝像機來鎖定并獲取二維圖像，應用三維技術對二維圖像進行三維處理，將二維場景深度擴展為三維景物，分別應用二維空間數據計算理論、計算數據的圖形表達、相應的硬件設備試驗過程，能夠較簡單地處理算法與數據之間的反復性關系。文獻[2]中提出的SURF算法的定位技術，主要是通過攝像機采集圖像的數據整理分析，用于后期的機器人視覺導航，機器人根據攝像機所獲取的位置坐標點重新對二維圖像進行方向路徑規劃，此技術的實現過程主要是將圖像進行三維坐標提取，再根據三維坐標中的障礙物和機器人的路徑規劃走向確定視覺跟蹤系統中的光學參數與動力學參數。

本文將基于OpenCV對遙操作工程機器人雙目視覺定位技術進行研究與實現，盡可能地提升遙操作工程機器人的運行精準度與穩定性。

1 基于OpenCV的遙操作工程機器人雙目視覺目標特征提取

本文應用的OpenCV技術能夠為遙操作管理人員提供大量的視覺資源與圖像處理相關算法，涵蓋圖像空間中的優化代碼與實時圖像函數，為遙操作工程機器人雙目視覺目標特征提取提供穩定的函數基礎與視覺庫基礎。雙目視覺進行目標跟蹤的過程中需要劃分一個統一的特征分類標準，能夠更好地應用與運動目標的跟蹤與局部目標的特征識別[3-4]。

顏色特征是遙操作工程機器人雙目視覺目標特征提取最為常用的視覺特征，顏色特征與運動的速度、形態等參數無關，顏色特征包含目標與實時場景中的圖像精準數據，應用OpenCV技術首先需要建立一個適合工程機器人的顏色特征識別空間體系，空間體系中劃分為RGB空間與HSV空間,RGB空間中主要存在光譜色彩參數，空間中所有的顏色特征均與紅色、黃色、綠色建立關聯通道，為目標的特征跟蹤提供色彩通道。HSV空間中主要由亮度、色度以及飽和度組成，此空間中的特征數據主要反映色彩空間中的顏色本質與顏色特征參數，遙操作工程機器人需要隨時對彩色圖像分析時便依靠HSV空間中的本質特征進行效果比較，更加方便于目標顏色特征的提取[5-6]。HSV色彩空間的原理構成如圖1所示。

圖1 HSV色彩空間的原理構成圖

OpenCV圖像處理庫中具有不同層次的數據處理函數，根據不同的數據特征和目標圖像結構確定函數的運算模式，OpenCV技術中的特征提取主要運用目標小光源作為圖像特征，根據目標周圍的光源以及飽和度對小光源的影響程度進行固定形式的像素坐標區分，選取像素坐標中的圓形光點，再利用OpenCV圖像處理庫中的幾何算法選取圖像函數處理庫中的工程機器人抓手路徑特征，應用小光源作為特征的目標提取流程如圖2所示。

圖2 應用小光源作為特征的目標提取流程

在OpenCV的函數計算庫中有一套標準的數據算法包，由幾百個獨立算法構成，算法的運算過程中需要遙操作工程機器人雙目視覺提供目標的靶點，由于目標的運動速度不同、運動狀態不同等因素，會造成工程機器人提供的靶點目標不同，為此本文將靶點作為OpenCV技術識別的特征之一[7-8]。對于靶點的特征識別有3種匹配方法，分別為基于視覺元素的匹配、基于顏色特征的匹配及基于目標形態的匹配，匹配過程中需要在遙操作工程機器人視覺傳達系統中添加體征感知體系，再建立圖像識別模板，使整體靶點特征能夠完整地投入圖像模板中，便于工程機器人管理人員的復雜特征識別，在一塊圓形區域內識別出的靶點特征，需要立即在靶點周圍建立坐標體系，應用函數坐標系進行特征解析與數據分析，經過函數運算的模板能夠簡單對該坐標范圍內的靶點特征目標實現全面積識別定位，還能夠根據特征中的部分數據進行數學形態識別，提升遙操作工程機器人雙目識別精準度，實現了OpenCV技術的智能化處理[9-10]。

圖像邊緣一般是由像素的灰度值變化而產生，每種目標的圖像邊緣都是該目標的特征之一，圖像邊緣特征能夠描述目標的結構特征，為實現三維雙目視覺的定位提供良好的立體結構元素，本文基于OpenCV技術中圖像顏色數據庫中的顏色變化能夠區分圖像邊緣中的邊緣特征。

2 基于OpenCV的遙操作工程機器人雙目視覺目標檢測定位

遙操作工程機器人雙目視覺目標檢測定位能夠應用于OpenCV圖像庫中，將相關條件與目標進行關聯，在目標識別背景一定的情況下實現不同幀數的運動檢測[11-12]。

基于OpenCV技術的目標檢測最簡單及常見的方法為光流法，此方法主要應用遙操作工程機器人對光流的表達形式因目標運動速度與幅度的變化而改變原理，在工程機器人的雙目視覺目標定位過程中計算平面目標在幀數以及幅度方面的變化程度，應用光流法對運動目標檢測能夠突顯方法的光亮流動性特點，三維物體在二維空間中的表達更能表現遙操作工程機器人雙目視覺目標定位的信息測控能力，光流產生的目標亮度矢量因素信息可以根據目標與三維空間中的運動狀態直接對目標光流因素進行信息提取與跟蹤，梯度算法也屬于光流法中的計算方式之一，在基于雙目視覺能夠提取目標運動頻率以及精準幀數的前提下，分別計算圖像中的稀疏光流密度與密集光流密度的檢測運用值，稀疏光流的運算量遠遠小于密集光流運算量，因此梯度算法類的運算方法更適用于稀疏光流環境下[13-14]。

光流法進行目標跟蹤與檢測的過程中需要滿足充足的視覺亮度與持續時間的空間平衡，保障圖像檢測過程中的降噪操作穩定，由于自然環境中存在著一些不可避免的噪聲、光線變化、陰影偏移等情況，所以光流法在應用于較復雜環境下的目標檢測工作中不能滿足實際的圖像處理需求[15]。

為了能夠使本文的檢測技術能更加全面化，本文基于OpenCV技術在遙操作工程機器人的雙目視覺運行程序中添加背景減除法作為光流法的第二階段檢測方法。背景減除法能夠精準地處理復雜環境中的運動目標，將目標的背景模型與圖像的處理方式分割開來，提取背景與干擾因素的全部信息。首先確定機器人的檢測背景圖像，在檢測識別的過程中將目標的每幀動作，再將動作幀數與背景圖像進行融合尋找經過處理的差分圖像，差分圖像的二值化閾值處理運動目標的形態處理實現無干擾圖像顯示。背景圖像的差分處理公式如下：

高等職業院校辦學主要面向地方產業一線，以學生獲得職業技能作為主要培養目標。國務院印發的《關于深化體制機制改革 加快實施創新驅動發展戰略的若干意見》，明確了技術創新市場導向機制、成果轉化激勵政策等，推進了高職院校科研工作的發展。高職院校依托校企合作辦學，深化產教融合，推進科研成果轉化為社會生產力，對地方產業起到積極的推動作用[1]。然而，我國高職院校科研成果的轉化率很低，很多科研成果未得到推廣。本文對于高職院校科研成果推廣的現狀、限制因素進行分析，并研究對應策略，提升高職院校科研成果轉化率。

D(x,y)=F(x,y)-B(x,y)

(1)

式中，D、F、B、分別代表背景中運動目標圖像、背景圖像、預檢測圖像的位置坐標區域，在實際的背景減除法目標檢測中需要精準識別B值以及位置，計算B值的表達公式如下所示：

(2)

式中，T代表背景圖像的二值化閾值，將檢測目標圖像的灰度值假設為1，在獲取圖像明亮度前設目標的前景圖像為目標檢測區域，獲取圖像明亮度后設目標背景圖像為目標檢測區域。

為了補充運動目標檢測過程中的幀數識別不精準問題，本文在OpenCV圖像函數處理庫中引用幀間差分法，將遙操作工程機器人識別的運動目標相鄰幀數以圖像序列的方式獲取目標的初始輪廓，還可以應用三幀至五幀的差分來進行目標的幀數識別，幀間差分法在運動目標檢測過程中的實現流程如圖3所示。

圖3 幀間差分法在運動目標檢測過程中的實現流程

設2幀圖像與1幀圖像分別為K2、K1，經過數學形態分析與二值化閾值處理的圖像為R，則幀數的差分法運算公式為：

B(x,y)=|K2(x,y)-K1(x,y)|

(3)

(4)

幀間差分法主要是針對圖像的兩幀數之間的簡單運算，在運動目標檢測的過程中不受場景的光學因素影響，所以能夠顯著提升基于OpenCV技術的實現精準度。

綜上所述，通過對視頻圖像序列預處理，分別得到第一幀第二幀圖像，通過OpenCV技術在遙操作工程機器人雙目視覺運行程序中添加背景減除法，提取圖像背景與干擾因素信息，融合檢測識別過程中目標的每幀動作，通過二值化閾值處理運動目標形態，實現無干擾圖像顯示，通過幀間差分法檢測運動目標，實現目標定位。

3 實驗研究

遙操作工程機器人配置如表1所示。

本文通過基于OpenCV的遙操作工程機器人雙目視覺定位技術與SIFI算法的定位技術、與SURF算法的定位技術進行特征匹配，匹配結果如圖4所示。

根據圖4可知，本文研究的基于OpenCV的遙操作工程機器人雙目視覺定位技術的匹配精度較高，能夠確保匹配效果。而傳統方法在匹配過程中存在一定誤差。本文研究的匹配方法能夠適用于任何圖像特征，通過創建模板和尋找模板來建立模型，通過模板匹配來提高匹配的精度。

表1 遙操作工程機器人配置表

圖4 匹配結果實驗圖

根據圖5可知，本文研究的基于OpenCV的遙操作工程機器人雙目視覺定位技術匹配時間較低，在0.4～1.1 s之間波動，而SIFI算法的匹配時間在0.7～1.6 s之間波動，SURF算法的匹配時間在1.3～1.7 s之間波動，由此可見，基于OpenCV的遙操作工程機器人雙目視覺定位技術匹配時間較低，效率較好。

圖5 匹配精度實驗圖

為了進一步驗證定位結果的準確率，通過3次定位進行實驗分析，對同一矩形塊進行定位，算法性能概括如表2所示。

表2 基于SIFI算法的定位技術定位準確率算法概括表

表3 基于SURF算法的定位技術定位準確率算法概括表

表4 基于openCV的定位技術定位準確率算法概括表

根據表2～4可知，本文研究的基于openCV的定位技術定位準確率算法誤差率平均值為0.6%，遠遠低于傳統算法，定位能力更強。

4 結束語

為了增強遙操作工程機器人雙目視覺定位技術定位準確率，基于OpenCV提出了一種改進的遙操作工程機器人雙目視覺定位技術，該定位技術具有很強的定位能力，能夠有效提高匹配算法準確率。本文的研究對于遙操作工程機

器人定位系統設計有重要的參考意義，同時也可以為遠程醫療提供一定的參考。