基于序列圖像特征識別實時反饋伺服跟蹤研究

孫建輝，劉　坤

(浙江工業大學 機械工程學院，浙江 杭州 310014)

基于序列圖像特征識別實時反饋伺服跟蹤研究

孫建輝，劉坤

(浙江工業大學 機械工程學院，浙江 杭州 310014)

摘要：通過與傳統位移傳感器反饋控制系統進行比較研究圖像處理反饋控制系統的可行性與可靠性.實驗結果顯示在圖像采集幀速率為25 fps，運動目標速度、加速度變化的情況下，圖像反饋控制實時響應較快，伺服控制電機跟蹤平穩，控制可實現.得到位移曲線對比圖，進一步在分辨率、峰峰值和周期等方面對兩種控制跟蹤位移曲線進行對比分析，數據表現出較好的吻合性，表明基于圖像反饋實時控制系統控制可靠，能夠達到傳統位移傳感器反饋控制系統的控制要求和控制效果，得出了基于圖像特征識別實時反饋控制，可以應用在一些工業實時反饋控制領域的結論。

關鍵詞：反饋控制；圖像處理；電機跟蹤；伺服；實時控制

Study for feature recognition of sequence images real-time

feedback servo tracking

SUN Jianhui, LIU Kun

(College of Mechanical Engineering, Zhejiang University of Technology, Hangzhou 310014, China)

Abstract:With the conventional displacement sensor feedback control system compares to study the feasibility and reliability of image processing feedback control system. The results showed that in the image acquisition frame rate of 25 fps, the moving target speed, acceleration changing circumstances, the image feedback control system has fast real-time response, servo motor tracked smoothly, control can be achieved. Got the curve comparison chart, and analyzed the two-cycle control tracking curve in further aspect of the resolution, peak to peak, and cycle. Data showed good agreement, indicated that the image feedback control system was reliable, which could achieve the control requirements and control effects of traditional displacement sensor feedback control system. The conclusion is drawn that image feature recognition based real-time control can be applied in industrial real-time feedback control field。

Keywords:feedback control; image processing; motor tracking; servo; real-time control

圖像處理技術在第三代計算機問世后得到迅速發展，運動目標圖像識別技術目前已成熟[1].圖像反饋控制國際上研究始于60年代，國內研究起步較晚[2-3]，國內圖像控制系統多數應用于安防監控和智能交通領域，對系統實時性要求不高[4].工業控制實時性要求，噪聲干擾等原因成為圖像反饋控制難題，基于圖像反饋控制成為圖像處理和控制交叉領域的研究熱點[5-6].文獻[7]探討了運動目標識別與跟蹤控制實現方案，理論證明了基于圖像反饋控制是可實現的，缺乏實驗驗證.文獻[8]研究了一種機器人的運動目標識別與跟蹤控制，在運動隨機性較小的情況下實現了圖像反饋伺服控制.相對這類機器人識別，由于控制距離較遠，反饋時間精度要求不如有實時反饋的工控領域中的控制。

以航天測試裝置恒張力跟蹤控制系統為載體，研究圖像處理反饋控制系統的可行性，并與現有傳感器控制系統進行比較，得到在攝像機簡單標定、存在背景干擾及圖像采集速率為25 fps等實驗條件下，能夠實現對運動目標的穩定識別；在目標速度可變的情況下圖像反饋控制伺服系統能夠實現平穩跟蹤。

1圖像反饋控制系統

控制系統包含三個模塊：圖像采集模塊、圖像處理模塊和伺服控制模塊.圖像采集攝像機型號為scA1390-17fc，分辨率為960×1 280 ppi，鏡頭型號為M1214-MP，焦距為12 mm，鏡頭直徑與焦距之比最大值為1∶1.4；圖像處理部分PC機內存不得低于2 GB，主頻在2 GHz以上，并自帶USB3.0接口；伺服控制器采用STM32F103RC為核心的微處理器控制器，該微處理器是一款低功耗處理器，具有門電路數目少，功能強大，中斷延遲短，調試成本低等特點.實驗平臺由氣浮組件和跟蹤導軌組成，氣浮組件包括氣浮托盤和氣浮盤，二者之間產生氣膜，物體懸浮抵消自身重力，跟蹤裝置控制氣浮托盤跟蹤氣浮盤運動變向延長氣膜面積，解決大范圍氣浮平面加工困難的問題。

圖1　圖像反饋控制實驗圖Fig.1　Image feedback control experiment picture

圖1為實驗過程拍照圖，系統整體結構圖如圖2所示.控制原理：攝像機實時采集氣浮盤圖像經USB3.0傳輸給PC機進行處理，計算出氣浮盤質心位置，主控制板卡根據氣浮盤質心位置計算出氣浮盤與氣浮拖盤位置差，并將位置差通過CAN總線傳遞給電機子板卡，電機子板卡將位置差通過DAC轉換為-10～+10 V模擬電壓，驅動速度模式下伺服電機改變電機轉速調節氣浮托盤位置，實現氣浮拖盤對氣浮盤位置的實時跟蹤，控制結構圖如圖3所示.根據本系統要求，應使氣浮盤在速度可變，加速度可變的條件下達到控制系統實時響應速度快，跟蹤控制可靠，跟蹤平穩，避免出現撞車飛車現象。

圖2　系統整體結構圖Fig.2　System block diagram

圖3　圖像反饋控制結構圖Fig.3　Image feedback control structure diagram

2圖像處理模塊

圖像處理識別過程分為真色彩AVI視頻拍攝、幀圖像處理和目標運動狀態識別三個部分，處理過程如圖4所示.攝像機拍攝真色彩AVI視頻被分割成圖像序列，對每幀圖像進行灰度化、二值化分割和目標特征邊緣檢測等圖像處理過程，利用多幀圖像相關性和運動目標連續性識別目標，計算出目標質心，獲得氣浮盤運動位置信息，控制器根據位置信息驅動伺服電機跟蹤運動。

圖4　運動目標識別原理圖Fig.4　Moving object recognition schematics

2.1圖像二值分割

為降低氣浮盤狀態識別難度，在氣浮盤上粘貼三個反光標志點(標志點呈圓形，直徑10 mm，三點對稱，距氣浮盤中心等距).實驗中某一幀原始彩色圖像如圖5(a)所示，三個標志點肉眼清晰可見.圖5(b)為該幀圖像的灰度圖，標志點和背景對比明顯為后續處理做好了基礎。

二值分割[9]是將一幅圖像的所有像素點按照256灰階分類，將高于灰階T像素全部顯示成白色，低于某一灰階的像素點顯示成黑色，其關鍵點為閾值的選取.筆者采用改進的OTSU閥值分割法[10]，該方法自適應能力強，具有分割效果穩定的特點.基本原理是以圖像直方圖的某一灰度值作為閥值，將圖像劃分為兩部分，計算被劃分部分的方差值，當計算出的方差值最大時，則以此灰度值作為閾值對圖像進行分割。

設閾值T將圖像分割成C0和C1(目標和背景)，C0和C1對應的灰度級集合分別為{0,1,…,T}和{T+1,T+2,…，L-1}，最大類間方差法[12]閾值選擇函數為

δ2(T)=ω0(μ0-μ)2+ω1(μ1-μ)2=

(1)

式中：T為最大差分法的閥值，即最佳二值分割閥值；ω0，ω1分別為C0，C1的概率；μ0，μ1分別為C0，C1的均值。

可得，從0到L-1改變T的值，當T的值使式(1)最大時，此時T就是分割的最佳閥值.它將整張圖像分割成目標和背景兩部分，經過二值化后的圖像如圖5(c)所示。

圖5　圖像處理算法效果圖Fig.5　Image processing algorithms renderings

2.2目標點質心獲取

二值化處理后三個標志點明顯為圓形，其余目標均為不規則形狀.根據圓形檢測算法判斷出每個目標是否為圓形，若為圓形目標，則此認為目標為標志物，反之，目標不是標志物。

設目標點周長為l，面積為s，若目標點為圓形，則其面積s與周長l應滿足公式[12]為

(2)

得出三個標志點的像素坐標(xa,ya)，(xb,yb)和(xc,yc)，為圖5(e)中三個圓形白點，并標出像素坐標值.由式(3)計算出氣浮盤像素質心坐標(x,y)為

(3)

已在圖5(f)中標出了其像素坐標值.實驗中氣浮盤行程在x方向運動，y方向微小波動，位移可忽略不計.通過每幀圖像中氣浮盤位置求得氣浮盤的在x方向像素位移S0，可求得氣浮盤實際運動位移S為

(4)

式中：L為拍攝的圖像的實際長度，實測為351.7mm；M為圖像長軸方向分辨率為1 280ppi。

本次測量的是絕對坐標系下的參數，再經處理，平滑一階微分和二階微分運算直接計算出目標運功物體的絕對速度和絕對加速度，這些參數對分析控制系統性能具有重要意義。

3傳統傳感器反饋控制系統

為了進一步研究圖像反饋控制系統與現有技術之間優缺點對比，在測試系統中，設置一套傳統位移傳感控制系統.與圖像反饋控制系統安置位置不同的是，傳統反饋控制將位移傳感器安裝于氣浮導軌位置，檢測氣浮盤位置。

控制原理：將預設位置差設定值傳入控制器，控制器將該值轉換成電機轉速，控制伺服電機使得氣浮托盤跟蹤氣浮盤保持的相對位置.當相對位置發生變化時，由位移傳感器檢測出氣浮盤實際位置，控制器計算相對位置，控制器將計算位置差和預設位置差通過控制算法計算出控制值，控制伺服電機轉速，調整氣浮盤和氣浮托盤間的相對位置.經過多次反饋，循環控制，從而達到跟蹤平穩的目的。

主控制器采用STM32F103RC處理器為主控制器，控制板卡分為：主控制板卡負責數據計算處理，監控板級間通訊和電機子板卡的運行；電機驅動板卡接收主控制板卡命令負責驅動伺服電機.位移傳感器采用SCIK公司生產的OD2系列激光位移傳感器。

4實驗數據對比分析

實驗中，通過運動模擬機構模擬簡諧運動(周期為30 s，行程為266 mm)帶動氣浮盤運動，同時先后采用圖像采集方式和位移傳感器采集方式，給出兩次曲線對比圖，并進一步對兩次曲線在分辨率、峰峰值誤差和周期等方面進行了對比分析，并給出分析圖。

圖6為傳感器方式和圖像方式采集的氣浮盤120 s內位移曲線.兩種采集方式相互獨立，各自參考基準點不同，傳感器方式的參考基準點為簡諧運動的平衡位置，圖像采集系統的參考基點為拍攝區域的左上方頂點，經計算兩種控制方式采集的曲線位移偏差為221 mm.消除參考基準點不同引起的偏移偏差后可見：兩運動曲線重合，表現出相同的周期和振幅，表明圖像采集系統和傳感器采集系統得出的物體運動狀態一致；其次兩條曲線相位相同，表明兩種采集系統響應時間相差無幾，均符合要求；最后傳感器采集曲線較光滑，而圖像采集曲線略有些小毛刺，這是由這兩套檢測系統安裝位置不同造成的，但均能實現跟蹤控制。

圖6　位移曲線對比圖Fig.6　Displacement curve comparison chart

實驗測試中，攝像機拍攝分辨率為960×1 280 ppi，攝像機拍攝的長軸方向實測范圍為351.7 mm.由于氣浮盤實際運動行程為266 mm，在攝像機視場的中心近軸區域內，其場曲、視差等像差較小，認為每一像素代表實際位移0.27 mm.本控制系統將氣浮盤和氣浮拖盤之間相對位置控制在2 mm以內，因此氣浮盤在攝像機視場中沿光軸軸向位移引起的像差可忽略不計.位移傳感器采用激光型傳感器，其分辨率可達到微米級別，實驗過程中軟件標定到1 mm.實驗證明圖像反饋控制方式可達到平穩跟蹤的效果。

4.1峰峰值、周期對比

圖7(a，b)分別給出了兩曲線峰峰值誤差圖和周期對比圖，數據分別提取前10個周期數據進行對比。

圖7　數據曲線分析圖Fig.7　Curve data analysis chart

圖7(a)為曲線峰峰值誤差變化曲線，可以看出：兩運動曲線波峰、波谷誤差在±1 mm內，經數據分析計算位移相對誤差小于1%，峰峰值變化趨勢表示出良好的一致性，位移曲線表現出良好的吻合性，實驗數據進一步證明圖像反饋控制具有和位移傳感器反饋控制一樣的控制效果。

圖7(b)為曲線周期對比圖，可以看出：曲線周期亦表現出良好的一致性，周期變化趨勢相同，周期相對誤差亦低于1%，可以忽略，控制效果穩定，表明基于圖像反饋控制的穩定性可以達到位移傳感器反饋控制要求。

4.2小結

通過兩種采集方式的運動曲線的對比分析，得出圖像反饋控制以下特點：

1) 基于圖像反饋控制系統具有可實現性.實驗證明方案是可行的，達到預設技術指標要求，為本航空航天測試裝置以及其他工業控制提供了一種新的簡便的控制方案。

2) 基于圖像反饋控制系統比位移傳感器控制系統具有優越性.首先在于圖像反饋控制系統攝像機比傳統高精度位移傳感器的成本低，攝像機安裝位置精度低，降低了現場安裝困難.其次其測量的是絕對坐標系下的參數，可用于直接計算目標物體的絕對速度，絕對加速度等有重要實際意義的參數，在測試系統中提供了重要的數據.再次圖像反饋控制系統能夠將試驗過程進行實時備份，對航空航天等試驗對象有重要意義。

3) 基于圖像反饋控制系統具有可靠性.實驗得到圖像反饋方式與位移傳感器反饋方式控制效果相同，達到本次控制指標，在規定技術要求內能夠控制平穩，機械噪聲低。

5結論

通過實驗對連續多幀序列圖像處理識別運動目標狀態并反饋控制跟蹤進行研究，通過對比圖像反饋控制系統數據和傳感器反饋控制系統試驗數據，得出基于圖像反饋控制系統是可靠的.實驗數據顯示，運動目標在做位移為266 mm，周期為30 s的簡諧運動情況下，圖像采集幀速率為25 fps的條件下，控制系統可以平穩跟蹤，達到本次控制要求，可以完全代替位移傳感器進行實驗控制.實驗表明通過圖像反饋控制的伺服系統可平穩運動可靠跟蹤.為本次航空航天恒張力測試裝置進一步改進提供了實驗依據。

參考文獻：

[1]黃金,梁彥,程詠梅,等.基于序列圖像的自動目標識別算法[J].航空學報,2007,27(1):87-93。

[2]李正周,董能力,金鋼.序列圖像運動點目標快速檢測與跟蹤算法[J].紅外與激光工程,2002,31(6):473-477。

[3]岳玉芳,安建祝,張玉雙.運動目標識別與跟蹤仿真系統的基本技術問題[J].計算機工程與設計,2012,33(8):3171-3175。

[4]楊東勇,馮形松.采用形態學算子的運動目標檢測跟蹤方法研究及實現[J].浙江工業大學學報，2010,38(2):149-154。

[5]董然,師衛.基于邊緣檢測和形態學處理的車牌定位[J].機械工程與自動化,2010(6)：45-47。

[6]邢海瀟,趙國軍,王飛,等.基于ARM的圖像處理技術在電梯門系統的設計[J].浙江工業大學學報，2010,38(5)：583-585。

[7]張艷玲,陳蕾.運動目標識別與跟蹤系統實現方案探討[J].科技信息,2007,36：374-375。

[8]朱參世,安利.運動目標識別方法與仿真研究[J].計算機與現代化,2010(5)：63-65。

[9]江明,劉輝,黃歡.圖像二值化技術的研究[J].軟件導刊,2009,8(4)：175-177。

[10]何志勇,孫立寧,陳立國.Otsu準則下分割閾值的快速計算[J].電子學報,2013(2)：266-271。

[11]馮捷,鄭河榮.基于灰度合成的圖像素描效果生成算法[J].浙江工業大學學報，2009,37(3)：316-319。

[12]曾晰,趙國軍,王淵平,等.一種基于圖像識別技術的電梯門控方法[J].信息與控制,2011,40(2)：243-247。

(責任編輯：陳石平)

中圖分類號：TP273

文獻標志碼：A

文章編號：1006-4303(2015)02-0185-05

作者簡介：孫建輝(1955—)，男，浙江杭州人，教授級高級工程師，研究方向為機電一體化及航天非標地面測試設備，E-mail：sjh195@zjut.edu.cn。

收稿日期：2014-11-06