基于Kinect的全向移動平臺視覺伺服控制研究

，，

(1.哈爾濱工業大學機電工程學院，黑龍江 哈爾濱 150001；2.蘇州大學機電工程學院，江蘇 蘇州 215006)

0 引言

全向移動平臺由于其完整約束的運動特性被廣泛應用于工業生產及特殊作業中[1]。近年將傳統機器人技術同其他類別的學科或理論進行融合和研究已經成為一種新興趨勢。如基于ROS并融合物聯網技術設計的全向移動機器人系統，用于解決工業上的實際問題[2]。特別對于人機交互方向，由于微軟研發的Kinect相機自身可方便同用戶交互及能夠依據具體需求進行算法開發等優勢，越來越多的國內外研究人員將Kinect相機應用于機器人對目標信息的獲取及動作模仿、行為跟蹤等新型的交互控制中[3-5]。

文獻[6]利用多個Kinect相機開發集成的無標記步態跟蹤系統，提出基于幾何原理的人體步態數據優化測量方法；文獻[7]通過對具體身體部位的分析和人體活動情況進行約束的策略，改進基于骨骼跟蹤的人體活動識別系統，提高識別的準確率；文獻[8]提出利用Kinect對中風患者的行走運動情況進行監測，用于評估病情情況，并總結兩者的相關性程度，可應用臨床及家用。

設計出平臺的構型并分析其運動學模型，考慮利用Kinect相機的交互特點獲得目標的特征信息，并將其用于平臺的視覺伺服控制中可實現人體跟蹤，相對于傳統雙目立體視覺伺服控制可減少視覺測量的運算量，同時避免運動過程中深度測量值受外界光照等因素影響而失真。給出伺服控制中雅可比矩陣深度值估計方法，通過討論彩色圖像及深度圖像設置的增益值組合對平臺運動的影響，以仿真形式驗證所提方法及控制系統的可行性。

1 平臺的運動學模型構建

1.1 全方向移動平臺的構型設計

設計的移動平臺底盤的3維結構圖如圖1a所示，全向輪選擇omni輪，并以四輪正交分布的方式進行配置，實現移動平臺整體的前后行進、左右移動及原地轉動3個自由度。對于Kinect相機與平臺的連接方式采用“eye in hand”方式，整體形式如圖1b所示。

圖1 移動平臺的構型設計

1.2 平臺運動學模型的構建

為方便分析討論，建立圖2所示坐標系，其中B為平臺的幾何中心，移動平臺的理想化坐標系為∑BXBYBZB，坐標系∑WXYZ為已知的參考坐標系，∠θ為兩X軸夾角，逆時針為正，∑BXBYBZB在參考系中的位姿可寫成A=[x,y,θ]T，則平臺坐標系相對于參考系的旋轉變換矩陣為：

(1)

圖2 平臺坐標系與參考系

(2)

已知四輪轉速，反向推導轉角θ及V=(vX,vY,ωZ)T，得到下式：

(3)

(4)

2 基于圖像的視覺伺服控制模型

(5)

對上述偏差設置比例增益，分別設為k1,k2，且為正數，令其產生的像素偏差速度為：

(6)

由文獻[9]對于得到上述特征點的像素變化速度與平臺運動速度的關系：

(7)

故由式(5)～(7)得到移動平臺在參考系∑WXYZ中的3個自由度的速度：

(8)

通過對以上過程的迭代運算，直至特征點的實際像素坐標同期望像素坐標重合，而實際的像素坐標不可能達到亞像素級，故設定由特征點在運動時的像素偏差值小于一個像素，即認為已到達期望的圖像像素坐標。

3 基于圖像的視覺伺服控制系統設計

以移動平臺為控制對象，對其進行基于圖像的視覺伺服控制，設計如圖3所示的控制系統方案，首先，由Kinect對場景中的圖像進行采集，目標通過移動平臺上方的Kinect攝像頭完成圖像采集，進行特征點的提取，移動平臺依據當前特征點與給定特征點的偏差進行位姿調整，并通過圖像的雅可比矩陣將調整信號轉換成速度控制信號；最終作用于平臺本體，在此過程中，通過視覺反饋繼續獲得輸出位姿，并不斷調整至期望值。

圖3 基于圖像的視覺伺服控制系統

3.1 特征點的選取與提取

視覺伺服控制中能代替目標的特征點信息對伺服控制的實現是至關重要的，即在攝像頭中特征點的像素信息及在攝像頭坐標系中的方向的深度信息，對特征點檢測效果的好壞將直接影響對移動平臺的運動控制，對于目標本身而言，其自身的運動及姿態變化也同樣會影響整個控制過程。同時，對于伺服控制本身，也需要實時的深度信息獲取，由式(8)可知，若輸入變量為特征點在像素平面內的運動速度，輸出量為平臺的移動速度，故需至少兩組特征點的信息；而對于單一特征點，Kinect可在深度相機及彩色相機獲取其對應像素值及深度信息，故可將兩組特征信息用于雅可比矩陣的求逆運算，從而控制平臺運動。

而人體在環境中產生位姿變化會導致上述關節點在空間中的位置變化，同時會帶來部分關節點在檢測時丟失或關節點在圖像空間中的位置重合，從而影響特征信息的獲取，而由于四肢靈活度較高，在人體位置確定時，其會產生各類姿態，故考慮以位于人體中央位置的脊柱中央關節點作為特征點，并調用Kinect深度相機的人體骨骼獲取函數來獲得其特征信息，將其在彩色相機及深度相機中的像素坐標及深度值作為控制信息的輸入。

3.2 雅可比矩陣中深度值的估計方法

由式(8)可知，圖像的雅可比矩陣中的參數分類可為同相機內參相關的參數(包括深度及彩色相機的等效焦距及主點像素坐標)，提取的特征點在攝像頭坐標系的深度值，以及特征點在兩相機中的對應像素坐標。

ΔM=R(YC1,-ωZ×Δt)×Trans(VX×Δt,0,VY×Δt)

(9)

由于點P在坐標系∑Ixy與∑CXCYCZC的坐標關系可表示為：

(10)

則攝像頭在初始位姿下的深度及圖像平面的像素坐標已知時，其對應的其余兩方向坐標可表示為：

(11)

(12)

4 不同增益值組合對平臺運動的影響

設特征點在彩色相機圖像平面的初始像素坐標為(568，257)，在深度相機圖像平面的對應初始像素坐標為(116.797，104.704)，彩色相機的期望像素坐標為(1 143，358)，深度相機圖像平面的對應期望像素坐標為(313.879，137.583)，初始深度值為1.59 m，設相機初始點的外參數矩陣為：

彩色相機和深度相機內參數矩陣分別為：

理想的控制結果是能夠在保證Kinect相機從特征點的初始像素坐標到達期望像素坐標的前提下，移動平臺及攝像頭的各自由度的運動速度最大值不超過設定速度，且能實現運動速度的收斂，而同時要考慮收斂至與期望像素坐標的偏差閾值附近的時間，以下分別對兩參數進行控制結果的影響分析，由此得出較為理想的參數組合，用于后期實驗。分析比例增益K對于平臺運動速度的影響，其中采樣時間ts取為15 ms，K取值如下，移動平臺在笛卡爾空間中的速度變化情況如圖4所示。

由以上結果可知，當K1=K2時，速度變化曲線更為平穩，隨著增益值的增大會導致平臺的初始運動速度加快，但同樣縮短了收斂至穩態值的時間，其中，在參考系中的X方向的速度增大變化最為明顯，而Y方向的速度變化、Z方向的轉動速度變化及兩者的初始速度值均較小；當K1>K2時，ωZ初始值變大，同時VY出現小范圍波動，但VX基本無明顯波動，但其會隨著增益變大而變大，收斂時間也會變短；當K1

圖4 ts=15 ms時不同增益值對移動平臺的速度變化仿真結果

5 伺服控制系統的仿真驗證

考慮平臺2個方向的初始移動速度值不宜過大(不超過1 m/s)，3個自由度的速度收斂至穩態時間不宜過長(<5 s)，故選擇增益值組合為K1=1,K2=1，其X方向的移動速度初始值最大為0.830 6 m/s，其收斂最慢，迭代循環至294次時，對應時刻為開始后的4.41 s，結果顯示減小至0.01 m/s以內，故可選此組增益值進行平臺視覺伺服控制效果的仿真，設平臺的初始位姿為(0.8 m，1 m，π)，采樣時間為ts=15 ms，采樣循環為1 000次，利用前述對于移動平臺運動學模型的構建，得到參考系下基于圖像的視覺伺服控制輸出的平臺位姿，其控制的仿真迭代結果如圖5所示，其中，設Xp1方向為Kinect相機彩色圖像平面的水平方向，Yp1方向則為對應豎直方向，Xp2方向為深度圖像平面的水平方向，Yp2方向為對應豎直方向。

仿真顯示，在平臺開始運動的5 s內，特征點在Kinect相機的初始像素坐標均運動至期望的像素坐標，其在圖像平面中的運動軌跡為直線，在期望像素坐標附近，移動平臺的速度及轉速減慢，且伴隨著收斂速度的減緩，移動平臺在參考系中的位姿由初始時的(0.8，1，π)運動至(-0.033 6，0.848 6，3.099 7)，其運動的收斂時間及在彩色及深度相機的像素坐標運動情況滿足控制要求。

圖5 移動平臺的視覺伺服控制仿真

6 結束語

給出了基于Kinect的全向移動平臺構型，并推導其正逆運動學模型，建立基于圖像的視覺伺服控制的理論模型，設計伺服控制系統，提出控制中特征點的選取及提取的方式。為避免測量值受到干擾，給出雅可比矩陣中深度值的估計方法，討論不同增益值組合對平臺運動的影響，選擇符合實際要求的一組增益值，對控制系統進行仿真，仿真結果表示其可行。