基于機器視覺的自動目標跟隨系統設計與實現

趙恩銘，姚志強，楊 松，劉光宇，楊燕婷，王 辰，邢傳璽

（1.大理大學工程學院，云南大理 671003；2.云南民族大學電氣信息工程學院，昆明 650500）

科技的飛速發展使得人工智能技術在多個領域得到廣泛應用，基于機器視覺的目標追蹤技術近年來一直是軍事、工業等領域的研究重點，基于視覺檢測目標的關鍵在于區分目標與環境，在實時追蹤目標時由于目標形態和周圍環境始終在變化，難以精確區分，因此一直是追蹤領域的難點，同時隨著目標追蹤技術的應用場景不斷增加，單一的算法很難覆蓋所有應用場景，因此研究人員針對不同的應用場景開發出了多種算法，如背景差分法〔1〕、幀間差分法〔2〕、特征點檢測算法〔3〕、連續自適應均值漂移（Cam Shift）算法〔4〕、April Tag 算法〔5〕和光流法〔6〕等，它們的優缺點見表1。

表1 目標識別與跟蹤算法的優缺點

上述算法均存在某些方面不適合用于移動目標跟隨，無法滿足任務需求，因此本文針對目標跟隨的任務需求對April Tag 算法進行改進，實驗結果證明，改進后的April Tag 算法進一步提升了算法的準確性和檢測效率，能夠滿足目標跟隨的任務需求。

1 April Tag 算法原理

1.1 April Tag 視覺標簽的結構為保證標記識別的準確性與可靠性，April Tag 算法的標簽采用二進制編碼的方式。April Tag 視覺標簽由黑色邊框和編碼區兩部分組成，黑色邊框用于定位，便于算法在進行四邊檢測時發現標簽的位置，編碼區為一個6×6 的矩陣，其中不同的編碼矩陣代表不同的標簽ID〔7〕，為避免不同ID 的標簽在旋轉和遮擋時相互混淆，所有的標簽之間要有足夠的漢明距離〔8〕，任意兩個標簽之間至少要有11 位的信息編碼差，漢明距離越大，代表標簽之間的差別越大。見圖1。

圖1 視覺標簽ID1 與ID2 的編碼矩陣

1.2 改進的April Tag 檢測算法April Tag 算法檢測分為標記檢測和ID 識別兩部分。標記檢測首先根據梯度變化進行邊緣提取，獲取標簽的輪廓，然后對權值相似的像素進行聚類，再擬合畫面中的四邊形，從而得到畫面中標簽的位置。ID 識別通過分析四邊形內的黑白色塊組成編碼矩陣，將編碼矩陣與內部數據比較，從而判斷標簽的ID。

如表2〔9〕所示，April Tag 視覺標簽通過添加冗余的方式獲得一定的容錯性，當標簽被部分遮擋時依然能夠被識別。

表2 不同種類的April Tag 視覺標簽容錯性

April Tag 算法檢測流程見圖2，攝像頭采集到圖像后，將圖像二值化，根據灰度變化檢測畫面中存在的邊緣，對邊界權值相似的像素進行聚類，最后進行四邊檢測，確定April Tag 的ID 和位置并舍棄無法識別的標簽。檢測過程示意見圖3〔10〕。

圖2 April Tag 算法檢測流程圖

圖3 檢測過程示意圖

在邊緣提取時使用Canny 算法〔11〕對畫面進行輪廓檢測。首先將彩色圖像加權轉化為灰度圖，轉化公式為：

將灰度圖與高斯函數做卷積以提高算法的抗噪能力，當搜索到該圖像的邊緣時，對各像素點及其附近的像素點灰度值進行梯度強度和方向的計算，隨后沿梯度方向進行非極大值抑制，若計算得到的像素梯度值是沿著梯度方向的最大值時，說明該像素點是邊緣像素點，通過多個邊緣像素點提取具有邊界性質的區域，如圖3（b）所示。

在提取到圖像邊緣后，使用聚類算法〔12〕將圖像的邊緣聚集為多個簇，設數據集含有n 個數據對象，首先從這n 個數據對象中隨機選取k 個對象作為初始聚類中心，對于剩余的對象根據與聚類中心的相似程度將其分配到最相似的類中，然后對于每一個類，將類中的所有對象的平均值作為新的聚類中心，進行下次迭代。不斷重復該過程，當類中心不再發生變化，準則函數收斂時，聚類完成，準則函數如下所示：

其中：E 是數據集中所有對象與它所在的聚類中心的平方誤差的總和，E 的大小反映了聚類結果的好壞；xi是聚類Ci的聚類中心，k 是聚類個數，Ci是第i個聚類，聚類完成后的效果如圖3（c）所示。

使用四邊檢測算法〔13〕檢測圖像中的凸多邊形圖案，利用圖像中的邊緣線條來解析圖中的四邊形結構，達到分析圖像中各邊界關系的目的。任意選取邊緣線條上的一點作為起始點，檢測和起始點屬于同一類的邊緣點，不斷循環以上步驟，當再次檢測到起始點時，說明檢測路線形成閉環，即識別到一個多邊形。本次選取結束后，系統隨機選擇另一個點作為起始點并重復以上環節，最后保留其中的四邊形，被保留的四邊形即為候選視覺標簽，如圖3（d）所示。

對候選視覺標簽進行判斷，提取候選標簽中的黑白色塊形成編碼矩陣，并與內置編碼庫進行匹配，若匹配成功，則判定圖像含有April Tag 視覺標簽，并輸出該標記ID 編號；若匹配失敗，則認為該部分不含視覺標簽。

當畫面中標簽足夠大，并能夠準確識別時，為提升算法識別的實時性，在不影響識別準確率的前提下，應用動態降采樣算法〔14〕，提高算法實時性。見圖4。該算法會通過減少檢測像素數的方式提高算法的識別速度，降采樣效果如圖4（b）所示，與左側原圖相比，由于圖像像素減少，降采樣后的線條邊緣明顯模糊，但不會影響標簽生成的編碼矩陣。

圖4 降采樣效果圖

當畫面中標簽過小，無法準確識別時，采用升采樣〔15〕技術提高圖像質量，同時為保證識別速度，將畫面全局搜索標簽改變為局部搜索標簽，通過縮小檢測范圍的方式減少識別的像素數，提高識別速度。見圖5。

圖5 升采樣局部搜索示意圖

2 系統總體設計

2.1 整體結構設計本設計主要分為機器視覺與外設控制兩部分，機器視覺部分用于追蹤輸入圖像中標簽的位置，輸入圖像后機器視覺模塊使用April Tag 算法識別畫面中標簽的位置，通過計算得到標簽的偏移角度后通過USART 串口將該角度信息發送到STM32 中，為控制電機轉向提供數據〔16〕。外設與控制部分在接收到機器視覺模塊輸出的偏移角度后，改變兩側直流電機的占空比，同時電機會將轉速信息返回到STM32 中，超聲波模塊的作用是檢測前方有無障礙物，避免碰撞，液晶顯示部分用于顯示目標的偏移角度、電機的占空比與轉速等運行參數，便于觀察系統的運行狀態。見圖6。

圖6 系統總體設計圖

2.2 系統結構設計本文采用的機器視覺模塊為OpenMV，該模塊通過自帶的攝像頭采集圖像，采集到圖像后通過April Tag 算法鎖定標簽的位置，并根據識別目標在畫面中的位置確定偏移角度，將畫面中心點設為零點，當目標出現在畫面左側時水平偏移角度為負，目標在右側時水平偏移角度為正，偏移角度檢測公式為：

其中tag_x 表示標簽中心的水平像素坐標、wide 表示水平像素個數、HFOV 表示鏡頭的水平視角，偏移角度檢測結果見圖7。

圖7 偏移角度檢測圖

OpenMV 將偏移角度通過串口輸出到STM32后，STM32 通過改變兩側電機轉速實現差速轉向。若算法實時性過低，會降低偏移角度的發送頻率，導致轉向不及時，無法準確跟隨目標。

3 實驗結果與分析

實驗相關器件參數見表3。

表3 實驗器件參數

為保證實驗的準確性，使用tag36h11_1 在不同距離張貼無視角變換和不同視角變換的圖像，重復50 次測試本系統的性能，實驗過程如下所示：

如圖8 所示，分別將標簽放置在0.50、0.75、1.00、1.25、1.50、1.75、2.00、2.25、2.50、3.00 m 的 位置，與Tag 視角相差0°、15°、30°、45°、60°的情況下測試本系統的識別準確率。

圖8 實驗場景圖

圖9 為傳統算法與本文算法在不同視角、不同距離的準確率對比實驗結果，通過不同視角、不同距離下準確率的變化分析算法的性能，實驗結果如下所示。

圖9 準確率對比

實驗結果表明，標簽在距離1.5 m 以內，視角偏差為0°、15°時，由于視角變換產生的透視干擾較小，兩種算法的識別準確率較高；當偏移上升到30°、45°時，兩種算法的識別準確率皆略有下降；當視角偏移為60°時，由于偏移角度過大，使視覺標簽在畫面中變形嚴重，導致兩種算法識別準確率都發生較大的下降。

標簽在2.0 m 以外時，由于標簽極小，傳統April Tag 算法中的標簽圖片模糊，無法準確識別，識別準確率隨距離的提升下降嚴重，而改進后的April Tag 算法通過提升圖像質量的方法，提高了標簽圖片的清晰度，使得識別準確率與傳統算法相比有顯著提升。

不同改進算法的識別速度以及追蹤效果如表4所示，當標簽較大時，該算法可自動進行降采樣，提升圖像檢測的實時性，當標簽較小時，該算法可自動進行升采樣，同時縮小識別范圍，保證圖像檢測的實時性。

表4 算法識別速度與追蹤效果

以上結果表明，本文改進的視覺標簽識別算法能夠顯著提升標簽圖像較小時的識別準確率，能夠完成實時跟隨目標移動的任務，算法的處理速度快，識別準確率高，跟隨效果好。

4 結束語

本文為提高自動跟隨系統的實時性與準確性，對April Tag 算法進行了改進，當與目標距離較近，能夠準確識別目標時，采用降采樣算法提升識別的實時性，當視覺標簽過小導致識別準確性差時，采用升采樣算法結合局部搜索策略，提升圖像質量并縮小檢測范圍，達到了保證實時性的同時提高遠距離下的識別準確率。實驗結果表示，該運動目標跟隨系統準確率高、實時性強，能夠滿足自動跟隨系統的要求。