基于機器視覺的鋼水自動化取樣

黃 莉，邢津榕，武迎春

（太原科技大學電子信息工程學院，山西 太原 030024）

0 引 言

鋼鐵生產周期長、工藝流程復雜，影響其質量的因素復雜多變，對鋼鐵生產流程實現精準過程控制是提高鋼鐵質量的關鍵。鋼水作為煉鋼過程的中間產物，對其采樣形成樣件進行質量分析具有重要意義。目前，大多鋼鐵生產車間鋼水分析仍采用人工實現鋼水取樣，該環節通過從高溫熔爐采樣少許鋼水，將鋼水倒入模具冷卻成型，對成型后的鋼水樣件進行質量評價以進一步指導生產。針對現有人工取樣危險系數高、工作環境惡劣，實現無人鋼水取樣是鋼鐵生產自動化改造的迫切需求。隨著計算機視覺理論體系不斷完善，以及成像設備、機械臂設計和加工的日益精密化，為機械臂代替人工取樣奠定了基礎。

鋼水自動化取樣系統實現的關鍵在于利用帶有視覺系統的機械臂實現樣件的精確定位與抓取。基于圖像識別的定位技術具有非接觸、高精度等優點，在工業自動化、生物醫療等領域具有廣泛應用[1-4]。該技術基于傳統算法[5-7]和機器學習算法[8-11]均可實現。

針對鋼水樣件圖像紋理簡單的特點，本文選擇傳統圖像處理算法實現特征識別，以降低整體算法的計算資源消耗，提出了鋼水樣件圖像分區特征提取算法，實現了圖像坐標系下抓取位置及抓取方向的定位。通過攝像機標定、手眼標定、末端轉軸映射函數，完成了圖像坐標系下抓取位置、方向到機械臂基座坐標系下抓取位置、末端姿態的轉化。

1 鋼水自動化取樣系統整體設計

大多鋼鐵生產車間仍采用人工現場作業的方式對鋼水進行取樣，取樣流程如圖1 所示。工作人員利用工業勺從熔爐中取出少量鋼水（見圖1a）），將取出的鋼水倒入成型模具中（見圖1b）），冷卻后使用工業錘將裝有成型樣件的模具敲碎（見圖1c）），繼續冷卻后得到待檢測的鋼水樣件（見圖1d）），最后人為剔除存在局部缺陷的不合格鋼水樣件，保證取樣的有效性。考慮到工作環境惡劣、工作人員安全等問題，將該過程進行自動化改造，實現無人采樣具有重要意義。

圖1 鋼水樣件取樣流程

本文設計的鋼水自動化取樣系統流程圖如圖2 所示。設備包括兩臺機械臂，其中一臺機械臂末端安裝工業勺，另一臺機械臂末端安裝機械手；一個可自動軸偏翻轉的托盤，托盤上方固定樣件模具；兩臺安裝于機械臂的CCD。

圖2 鋼水自動取樣系統流程圖

具體操作步驟如下：

1）利用定位技術將安裝工業勺的機械臂末端移至熔爐灶口區域，設定其關節動作，將少量鋼水取出；之后定位樣件模具凹槽區域中心，控制機械臂將取出的鋼水倒入模具凹槽中。

2）待模具中的鋼水成型后，設定自動托盤翻轉，將樣件倒入冷卻池冷卻。

3）對冷卻池中的樣件圖像利用特征識別技術獲取機械臂的抓取位置與抓取方向，控制機械臂完成抓取，并將樣件運送至指定檢測臺。

在該系統的整個取樣過程中，步驟1）與步驟3）均需要機械臂進行定位抓取的操作，而該任務需結合圖像識別的定位技術完成。對于步驟1）中利用工業勺從熔爐中取樣鋼水，由于熔爐灶口面積較大，機器視覺系統識別范圍較廣，機械臂定位精度要求較低；而對于步驟1）中將工業勺中鋼水倒入模具以及步驟3）中從冷卻池中抓取樣件，機器視覺系統識別對象變為較小的樣件，機械臂定位精度要求較高。因此本文以步驟3）為例，研究基于機器視覺的機械臂定位抓取實現。

2 機械臂定位抓取實現

基于機器視覺的機械臂定位抓取系統如圖3 所示。系統工作時，首先將被測鋼水樣件置于水池中冷卻，控制相機采集鋼水樣件姿態圖；然后將采集到的圖像送入計算機進行圖像識別等算法提取樣件圖像特征；最后根據映射函數得到機械臂定位點和抓取工件的偏轉方向，即可驅動機械臂進行抓取。

圖3 基于機器視覺的機械臂定位抓取

2.1 機械臂手眼標定

基于機械臂手眼標定系統的坐標變換過程如圖4所示。根據系統設計，其坐標變換矩陣求解目標為相機坐標系與機械臂末端機械手坐標系之間的映射關系。

圖4 中：OB代表機械臂基座坐標系；OG代表機械臂末端機械手坐標系；OC代表相機坐標系；Ocalib代表棋盤格下的世界坐標系。此外，定義為OB到OG之間的齊次變換矩陣，為OG到OC之間的齊次變換矩陣，為OC到Ocalib之間的齊次變換矩陣，為OB到Ocalib之間的齊次變換矩陣。則變換矩陣之間的關系為：

為求解坐標變換矩陣，將棋盤格放置于工作臺，改變機械臂姿態的同時利用相機拍攝棋盤格得到不同時刻的和。由于整個過程棋盤格相較于機械臂基座靜止，則不變。對于第i次與第i-1 次姿態下拍攝到的結果，結合公式（1）可得：

重新整理公式（2），改寫為：

并且，令：

可將公式（3）變為AX=XB的數學模型，并且注意到A為相鄰時刻下機械臂基座坐標到末端機械手坐標之間的轉化關系，該關系為機器人內部運動學，已知；B為相鄰時刻下攝像機坐標到棋盤格下世界坐標之間的轉化關系，該關系可通過對相機內外參數進行標定的方法求解，本文采用張正友標定法[12]得到；X為要求解的坐標變換關系，該關系可通過對改寫的數學模型求解，本文采用文獻[13]提出的兩步標定法求解。

2.2 鋼水樣件特征識別

對鋼水樣件圖像（如圖1d）所示）進行特征識別包括兩個目標：圖像坐標系下抓取點位置識別；圖像坐標系下抓取方向識別。令O代表拍攝圖像坐標系，(x,y)代表拍攝圖像的像素坐標。

1）抓取點位置識別

根據圖1d）可將鋼水樣件劃分為兩區域，上半區域“圓柱”以及下半區域“把手”。綜合考慮樣件輪廓特征，選取樣件“把手”的中心作為機械手的抓取中心。考慮到鋼水樣件的上半區域幾何特征相較于下半區域更為顯著，因此先對樣件上半區域幾何特征進行提取，再將提取到的樣件上半區域幾何特征輔助獲取樣件下半區域幾何特征。

對鋼水樣件圖像采用Canny 算子提取初級邊緣輪廓Ieg(x,y)，為了緩解初級邊緣輪廓存在大量未閉合造成后續區域選取錯誤，將得到的初級邊緣輪廓通過式（5）膨脹處理：

式中Mse為3 × 3 的正方形結構元素。為了消除膨脹后初級邊緣輪廓圖中的背景噪聲，先采用4 像素連通區域檢測(x,y)中所有的閉合輪廓，記為(x,y)，將檢測到的輪廓利用式（6）填充：

將填充的樣件輪廓圖Ipad(x,y)再進行8 像素連通區域檢測，并將檢測面積最大的輪廓填充結果作為樣件整體區域，記為Ioutline(x,y)。利用文獻[14]提出的不變核圓形檢測算法對Ioutline(x,y)進行標準圓擬合，并將擬合圓形對應的圓心坐標記為(xcir,ycir)，半徑記為Rcir。

由于擬合得到的圓形區域概率性存在無法完全覆蓋Ioutline(x,y)所表示的上半區域，因此對擬合圓的半徑進行10 像素擴展，記為R′cir。將擴展后的結果作為鋼水樣件的上半區域輪廓，并利用式（7）進行填充作為樣件的上半區域：

將得到的樣件上半區域與樣件整體區域通過式（8）進行區域消除，得到的剩余區域作為樣件的“把手”區域：

求取“把手”區域的質心作為鋼水樣件抓取定位點。質心計算公式如下：

式中：D表示樣件的“把手”區域Ihandle(x,y)；(xi,yi)表示區域D像點的坐標值；mi表示對應D區域像點的灰度值。

2）抓取方向識別

根據鋼水樣件輪廓分布，將機械臂的抓取方向定為樣件“圓柱”中心與“把手”中心的連線。圓柱中心即Icir(x,y)的圓心(xcir,ycir)，“把手”中心即Ihandle(x,y)的中心(xm,ym)。本文利用“向量”定義兩個像素點之間的關系，并結合數學上“角度”的概念來描述當前時刻樣件的姿態，進而完成機械臂抓取方向的識別。兩個中心點之間的向量表示如下：

為建立向量與角度的轉化，引入平行于像平面軸x的另一向量v//，并結合向量之間的角度關系，將抓取方向利用下式描述：

并利用round{·} 取整函數確定最終的θO值。

2.3 機械臂基座坐標系下抓取位置、方向的獲取

識別到圖像坐標系下的抓取位置點與抓取方向，需要利用攝像機標定、手眼標定、末端轉軸映射函數等，將圖像坐標系下的特征點與方向映射到機械臂基座坐標系下的抓取位置與機械手姿態。

將公式（9）得到的定位點P結合攝像機標定、手眼標定得到的坐標變換矩陣，利用式（12）映射為末端執行器在機械臂基座坐標系下的點PB：

式中zC為定位點P在相機坐標系OC下ZC的值。

將機械臂末端機械手移至抓取定位點后，需要進一步確定抓取時的軸偏動作，本文將機械臂末端軸關節偏轉值同樣以角度表示，進而與樣件圖像進行角度映射。由于軸關節轉動數值增量與轉動角度增量呈線性關系，則映射前先讀取末端軸關節初始轉動數值Jstart，并將轉動數值進行歸一化后，通過式（13）量化得到軸偏角度表示。

式中：Jmax和θmax分別代表機械手末端軸關節轉動最大數值和轉動最大角度。

為降低映射過程的復雜度，設定θO與θH的參考0°位置相同，轉動方向一致，映射結構示意圖如圖5 所示。其中，左圖表示拍攝樣件圖像后利用特征識別方法并結合公式（10）處理得到的結果，而右圖代表機械臂末端轉軸的橫切面。

圖5 角度映射示意圖

樣件圖像中P點為樣件定位點，利用公式（11）得到目標樣件的偏轉角度，根據系統設定，該角度即為機械手轉軸轉動的角度，則機械臂末端轉軸轉動幅度J為：

3 實驗結果與分析

為驗證本文所設計鋼水自動化取樣系統機械臂定位抓取的有效性，按照系統設計要求搭建實驗系統。系統中相機固定于機械手上，并且要求機械臂末端軸平面與工作臺保持平行，機械臂世界坐標軸與相機坐標軸保持平行。分別從手眼轉換矩陣的計算及誤差分析、鋼水樣件特征識別誤差及分析，機械臂定位抓取測試三個方面驗證了所提方法的可行性。

3.1 手眼轉化矩陣的計算

將230 mm×130 mm 規格大小的棋盤格放置在工作臺上，調整位置使其完全出現在相機視野范圍。設定CCD 分辨率為768×1 024，拍攝第一幅圖像作為參考圖，并記錄此時示教器上對應的機械臂末端姿態。接著利用示教器移動機械臂，移動過程中始終保持棋盤格完全出現在相機視野內，拍攝棋盤格圖像并記錄當前時刻對應機械臂末端位置姿態，重復操作15 次。該過程拍攝到的部分棋盤圖如圖6 所示。

圖6 機械手不同姿態下得到的部分棋盤圖

將拍攝的棋盤圖送入計算機進行相機標定后得到其內外參數，并將其轉變為齊次矩陣表示；之后將對應的機械臂末端姿態根據歐拉角度變換轉變為對應齊次矩陣表示，并結合公式（3）計算得到手眼轉換矩陣。本次實驗計算得到的手眼轉換矩陣如下：

為定量評價手眼轉換矩陣的準確性，移動機械臂至參考圖對應的工作姿態下，重新拍攝棋盤格圖像，選取棋盤格圖像的2 個角點，將其像素坐標值利用手眼轉換矩陣轉化為機械臂基座坐標系下的坐標值，計算兩點間的歐氏距離，記為測量值，將棋盤格對應兩點間的物理距離作為標準值，進行誤差分析，10 組實驗結果如表1所示。實驗數據顯示，測量值與標準值的相對距離誤差小于0.5%，證明了手眼轉化矩陣的準確性。

表1 基于手眼矩陣的映射結果及誤差

3.2 鋼水樣件圖像抓取點與抓取方向識別

為了驗證本文分區鋼水樣件圖像特征提取的有效性，圖7 展示了樣件幾何特征提取過程。其中，圖7a）為CCD 獲取的鋼水樣件原圖，圖7b）為采用Canny 算子提取的初級邊緣輪廓圖，圖7c）為根據公式（5）得到的膨脹后的處理邊緣輪廓圖，圖7d）為根據公式（6）得到的填充后的邊緣輪廓圖，圖7e）為根據8 鄰域像素連通區域檢測面積最大的區域圖，并將其作為樣件整體區域，圖7f）為利用不變核圓形檢測算法擬合到的上半區域，圖7g）為根據公式（8）得到的樣件下半區域，圖7h）為根據公式（9）識別到的樣件抓取坐標，圖7i）為根據公式（10）識別到的樣件抓取方向。圖7f）與圖7g）顯示識別樣件的上半區域“圓柱”以及下半區域“把手”位置被準確識別，圖7h）與圖7i）顯示通過特征識別得到的抓取位置與抓取方向與實際設定的抓取位置與方向相吻合，驗證了本文所提樣件特征識別算法的有效性。

圖7 樣件圖特征提取

為了定量分析本文通過特征識別得到的抓取位置與抓取方向的精度，利用游標卡尺獲取鋼水樣件上半區域“圓柱”中心及下半區域“把手”中心，采用白色信號筆進行標注，方便從圖像中準確識別“圓柱”中心與“把手”中心的像素位置，并將該像素位置作為參考值，與圖像特征識別得到的“圓柱”中心與“把手”中心像素位置進行對比。同時，將白色信號筆標注兩點連線方向作為抓取方向的標準值，與圖像特征識別得到的兩點連線方向進行對比。實驗過程中，鋼水樣件置于冷卻池中，CCD隨機拍攝姿態不同樣件圖像，利用本文特征識別算法進行抓取位置與抓取方向的識別，其中5 組實驗結果如表2 所示。

表2 抓取點及抓取方向識別結果及誤差

由表2 可知，利用特征識別得到的定位坐標偏差小于5 個像素，定位角度偏差小于2°，而鋼水樣件“把手”區域在圖像坐標系下面積為330 像素×40 像素，該偏差相對較小。

3.3 機械臂定位抓取測試

通過攝像機標定、手眼標定、末端轉軸映射函數，將圖像坐標系的抓取點位置及抓取方向映射為機械臂基座坐標系OB下的抓取位置以及末端抓取方向，測量結果如表3 所示。表3 中抓取位置和抓取方向的參考值通過采用示教器將機械臂末端移動到鋼水樣件抓取位置，讀取示教器顯示值得到。

分析表3 可知，機械臂定位偏差可控制在2 mm 內，末端角度偏差控制在2°內。而對于直徑6 mm、長度為50 mm 的鋼水樣件把手，在定位抓取偏差≤3 mm、抓取角度偏差≤6.85°時，均可實現有效抓取，因此本文設計基于機器視覺的定位抓取系統可實現鋼水自動化取樣。另外，本文實驗采用的是ABB 廠家生產的IRB 1410 機械臂，定位精度較低（1 mm），若后期采用更高定位精度的機械臂，可進一步提高抓取準確性。

4 結 語

本文提出一種基于機器視覺的鋼水樣件自動化取樣系統，采用機械臂代替人工作業，避免了惡劣工作環境帶來的身體損傷，提高了工作環境的安全性。該系統首先采用CCD 獲取鋼水樣件圖像，設計了樣件圖像進行分區特征提取算法，實現了圖像坐標系下抓取位置及抓取方向的定位。再通過攝像機標定、手眼標定、末端轉軸映射函數，完成了圖像坐標系下抓取位置、方向到機械臂基座坐標系下抓取位置、末端姿態的轉化。采用不同實驗分析了定位抓取各環節數據處理的準確性：所提樣件圖像分區特征提取算法可準確識別樣件上下區域幾何中心；通過相機內外參及手眼標定矩陣，將棋盤格圖像中的已知距離映射到機械臂基座標系下的距離后，相對誤差不超過0.5%；針對不同的鋼水樣件擺放位置，機械臂定位抓取位置偏差不高于2 mm，滿足定位抓取要求。