基于視/力覺反饋的復合定位方法研究

陳錫文

(莒南天楹環保能源有限公司， 山東, 臨沂 276000)

0 引言

機械臂是集機械制造、控制論、電機學、材料學等多學科于一體的現代化裝備，代表了機電一體化技術的最高水平，是智能制造領域最具代表性的產品[1]。隨著工業機器人產業的迅猛發展，以機械臂為核心的自動化裝配應運而生。相比較人工作業而言，自動裝配系統在結構化環境中具有更高的效率和更低的成本。因此，這一改變不僅有助于實現工廠的智慧化，而且降低了突發公共衛生事件對工業生產影響。目前裝配環節中機械臂通常有3種工作模式：示教-再現模式、視覺伺服模式和視覺引導模式。其中，示教-再現模式只適用于穩定的工作環境中，缺乏魯棒性[2]。視覺伺服模式過于復雜，難以大范圍應用。與上述2種方法相比，視覺引導模式不僅具有簡單的系統結構，而且對環境中的擾動因素也具備一定的克服能力。因此，視覺引導模式具有極為廣泛的應用[3]。

視覺引導系統通常處于開環狀態，通過視覺定位信息轉變為絕對坐標從而驅使機械臂完成預定任務。對于一般的工業產品而言，通過直接線性標定方法和傳統圖像分割方法就能使系統滿足裝配精度需求。然而，對于高精密產品而言，各部件之間的間隙極小，甚至會小于0.01 mm。現階段提高視覺定位系統的精度的方法主要是提高相機的分辨率和減少CCD的鏡頭焦距[4]。高分辨率的相機價格較高，會增加成本。對于大尺寸工件而言，必然要選擇較大的焦距，因此對于大尺寸、高精度工件而言，任務成本與視覺定位精度之間存在沖突[5-7]。

本文提出了一種基于視覺定位和力覺反饋的復合定位方法，該方法分為2個步驟。首先，利用視覺系統對目標進行粗定位，機械臂能夠將工件移動至基座附近；其次，通過基于力覺信息的反饋控制使機械臂能夠精準地將工件移動至目標位置，從而完成裝配作業。

1 基于視覺定位和力覺反饋的復合定位方法

基于視覺定位和力覺反饋的復合定位方法的工作原理如圖1所示。其中，視覺定位方法的作用是實現對工件的粗定位，基于力覺反饋的PID控制方法則是實現對目標的精準定位。當機械臂到達由視覺系統所得到的位置后，系統自動地由粗定位階段切換至精定位階段。考慮到圖像處理步驟有較長的時耗，當采集到圖像后，機械臂一直處于等待狀態，直到有坐標信息傳送至機械臂后才會進行下一步運動，這就能完全消除圖像處理階段的時耗對于系統的影響。

圖1 復合定位方法流程圖

1.1 相機標定

由于透鏡制造精度以及組裝工藝的偏差會引入畸變，導致原始圖像的失真。鏡頭的畸變分為徑向畸變和切向畸變兩類。徑向畸變是沿著透鏡半徑方向分布的畸變，產生原因是光線在原理透鏡中心的地方比靠近中心的地方更加彎曲，這種畸變在普通廉價的鏡頭中表現更加明顯，徑向畸變主要包括桶形畸變和枕形畸變2種[8]。切向畸變是由于透鏡本身與相機傳感器平面或圖像平面不平行而產生的，這種情況多是由于透鏡被粘貼到鏡頭模組上的安裝偏差導致[9]。鏡頭畸變模型可以用以下方程來表示：

(1)

(a) 原始圖像1

1.2 基于HSV分割的目標定位方法

由于RGB顏色空間中的3個分量是高度相關的，直接利用這些分量常常不能得到所需的效果。為了能夠得到期望的效果，需要在HSV(Hue,Saturation,Value)顏色空間中進行分割[10]。HSV顏色空間非常直觀地表達顏色的色調、鮮艷程度和明暗程度，比RGB空間更接近人們對彩色的感知經驗。將圖像從RGB顏色空間轉換為HSV顏色空間分為三步完成。

假設彩色圖像中某點P在RGB顏色空間中像素值為(RP,GP,BP)，轉換系數為

(2)

利用上述系數可以進一步得到式(3)所示的系數：

(3)

接下來，H分量可表示為

(4)

S計分量為

(5)

V分量為

V=Cmax

(6)

這樣就能夠獲取P點在HSV顏色空間中的數值(HP,SP,VP)。紅色在HSV顏色空間中的范圍是：

(7)

對圖2(c)和圖2(d)進行多重閾值分割，然后進行邏輯與運算，處理結果如圖3所示。

(a) 色彩分割結果1

1.3 質心點的計算

由于邊緣處存在較多的毛刺，為了能夠得到光滑的輪廓，我們對上一步中得到的二值圖進行圖像形態學處理。其中，腐蝕的工作原理如式(8)，膨脹的工作原理如式(9)：

(8)

(9)

利用Canny算法提取出圖像中的所有輪廓，然后根據面積閾值來得到工件A的輪廓。Canny算法的原理：使用高斯濾波器以平滑圖像，濾除噪聲；計算圖像中每個像素點的梯度強度和方向；應用非極大值(Non-Maximum Suppression)抑制，以消除邊緣檢測帶來的雜散響應；應用雙閾值(Double-Threshold)檢測來確定真實的和潛在的邊緣；通過抑制孤立的弱邊緣最終完成邊緣檢測。

(10)

(11)

1.4 手眼標定

選用DLT方法進行Eye In Hand結構下的手眼標定。由于采用的是垂直拍攝，盡量使相機平面與工作平面保持平行。在這種情況下可以假設，工作平面上的每個點在相機坐標系中的Z值相同。設機器人基坐標系為世界坐標系，可以根據相機的工作原理建立圖像坐標系與基坐標系的關系如式(12)：

(12)

其中，(u,v)是圖像坐標，(Xr,Yr,Zr,1)是機器人基坐標，f是焦距，dx和dy分別表示每個像素在橫軸x和縱軸y的物理尺寸，(u0,v0)是主點坐標。由于Z值為一個常數，可以將式進行化簡，得到：

(13)

理論上如果能夠得到3組對應點，就能夠計算出系數矩陣Aij，但是在取點的過程中不可避免的會引入誤差，因此為了減少手眼標定誤差，取9組點對(點對越多，標定精度越高)，然后建立超定方程組，根據最小二乘法計算出系數矩陣Aij。原理如下：

(14)

同理可以獲取矩陣Aij的第二行系數，這樣就能得到完整的系數矩陣Aij，當得到圖像坐標后，將圖像坐標左乘系數矩陣就能得到基坐標。

2 基于力反饋的PI控制器的設計

根據上一步計算出的坐標以及角度，可控制機械臂將工件A移動至基座B上方10 cm處，然后緩慢下降，當工件A與工件B充分接觸后，機器人停止下降，然后讀取六維力傳感器的度數來判斷是否A工件是否能放入B工件中，詳細的判斷過程如下。

(1) 工況1：當工件A不能放入基座B中時，需要根據力矩來判定移動方向。如圖4所示，當工件A在Y軸負方向有偏移時，傳感器就會感受到一個如黑色箭頭所示的繞X軸旋轉趨勢，根據右手定則，力矩的方向為正。

圖4 工況1

(2) 工況2：如圖5所示，當工件A在X軸負方向有偏移時，傳感器就會感受到一個如黑色箭頭所示的繞Y軸旋轉趨勢，根據右手定則，力矩的方向為負。

圖5 工況2

在這種情況下，傳感器會感受到一個朝向Z負的數值很大的力，同時X或者Y方向的力矩數值大約10 NM。

(2) 工況3：由于工件A和基座B的止口出存在0.05 mm的誤差，當工件A能夠放入基座B，但是沒有對中時，會在某一個邊緣處發生強烈地摩擦。在這種情況下，雖然X和Y方向的力矩很少，但是X和Y方向的力會很大，如圖6所示。

圖6 工況3

此時傳感器會感受到一個傾斜方向的力，我們把這個力進行分解，就可以得到一個Z負方向和一個X負方向的力，此時就能夠根據力的方向再進行微調，直到A和B完全對中后，才能下放。為了能夠保證力傳感器的數值符號與理論值一致，需要保證A和B進行充分接觸，否則就有可能出現虛接觸的情況。因此在第一次接觸時，通過調整工件A在Z軸的位移，使Z方向的力小于-200 N。

選用增量式PI控制器，其原理如式(15)：

Δu(k)=KP[e(k)-e(k-1)]+KIe(k)+

KD[e(k)-2e(k-1)+e(k-2)]

(15)

其中，e(k)表示當前誤差，e(k-1)表示上一次誤差，e(k-2)表示上上次誤差。KP是比例系數，KI是積分系數，KD是微分系數。由于微分的系數非常難整定，因此為了縮短工期，我們取掉微分環節，只選用比例和積分環節。其中：

e(k)=D(k)-D

(16)

D(k)為六維力傳感器的當前度數。為了避免噪聲響應，我們連續獲取100個度數，然后取平均作為D(k)。D為理想值，此處的理想值設為0。

設置閾值為力矩小于10 NM，力小于30 N。如果六維力傳感器的所有示數均滿足這一條件時，可認為工件A可以進行下放了，否則需要重復第四步。當滿足條件后，工件A下移4 mm，并通過控制電磁閥來松開夾爪，從而完整工件A和B的裝配。

3 實驗

實驗平臺的設計如圖7所示。方案中主要包含機器人支架、大負載機器人、工件A和基座B托架、機器人控制柜、工件A、基座B、工件A固定工裝、基座B固定工裝、工業相機、工件A自動抓取夾具、電控柜、筆記本電腦、六維力傳感器等硬件。

(a) 實驗平臺設計圖

接下來進行驗證實驗，在精準對接情況下測量出6組測試數據。

(1) 力傳感器值：Fx3.964 274,Fy-18.537 806,Fz-15.082 806,Tx3.146 713,Ty5.586 531,Tz2.556 780

(2) 力傳感器值：Fx14.903 735,Fy-16.773 764,Fz-24.015 432,Tx2.933 928,Ty10.100 764,Tz2.778 294

(3) 力傳感器值：Fx25.163 551,Fy-9.014 105,Fz-46.259 621,Tx-0.791 899,Ty14.861 000,Tz2.732 916

(4) 力傳感器值：Fx34.034 065,Fy9.695 339,Fz-46.932 899,Tx-7.403 689,Ty17.012 449,Tz2.913 429

(5) 力傳感器值：Fx15.701 853,Fy32.014 252,Fz-61.180 454,Tx-16.930 449,Ty10.453 710,Tz2.977 389

(6) 力傳感器值：Fx-49.084 232,Fy74.821 609,Fz-148.216 446,Tx-35.865 154,Ty-15.282 575,Tz3.175 961

從上述數據中可以看出，在第一次接觸時，x和y方向的力矩較大，同時z負方向的也有一個較大的力，這說明工件A在邊緣處與基座B發生了碰撞，此時工件A無法進入基座B。接下來PI控制器根據X方向的力矩數值得到一個Y方向的偏移量，根據Y方向的力矩數值得到一個X方向的偏移量，通過調整A工件的位置并進行下一次接觸，我們從數據中發現，x和y方向的力矩有明顯的減小，這說明我們的控制器的調整策略是正確的。當滿足閾值要求后，可以認為工件A能夠放入基座B中。

為了能夠驗證本文所提出算法的有效性，進行7次重復實驗，實驗結果如表1所示。視覺定位結果是經過圖像處理以及坐標變換所得到的計算坐標，實際裝配位置是經過控制器的多次調整后得到的最終裝配位置。根據分析，精度誤差范圍最大值為(0.199,0.117)，誤差范圍最小值為(0.098，0.104),均在±0.05 mm內，屬于本次試驗驗證的誤差范圍內。

表1 重復實驗結果

3 總結

本文針對高精度工件的裝配需求，提出了一種基于視/力覺反饋的復合定位方法。利用綜合誤差分析法，以及力位控制策略，最終驗證了高精度的機器人裝配方向的可行性，為今后的大裝置奠定了一定技術實現基礎。