基于線結構光的管棒材捆縫與捆絲識別方法研究

馬賀琛，馬立東，2，馬自勇，3

(1.太原科技大學機械工程學院，山西太原 030024；2.重載裝備作業智能化技術與系統山西省重點實驗室，山西太原 030024；3.太原重型機械裝備協同創新中心，山西太原 030024)

0 前言

特鋼管棒材是一類工業應用十分廣泛的鋼鐵產品，其在精整線上各工序間轉運需要統一的打捆和拆捆。目前打捆已有成熟設備，而拆捆卻仍由人工完成，存在工作環境差、勞動強度高等問題。因此，開發一款自動拆捆機器人系統成為特鋼管棒材生產行業的迫切需求。機器人自動拆捆需要借助視覺系統來對目標進行識別。線結構光視覺系統是目前應用最為廣泛的一種非接觸式測量識別技術，具有結構簡單、精確度高和可靠性強等優點。采用線結構光作為視覺系統的機器人拆捆過程中最大的問題就是在消除環境光照影響下，對最大捆縫位置和捆絲數量進行識別，從而確定最佳拆捆位置。因此，研究基于線結構光的管棒材捆縫與捆絲識別方法具有較高的工業應用價值和現實意義。

近年，國內外學者對線結構光檢測技術進行了深入研究。圖像預處理方面，馮炎[1]提出一種基于局部對比度和相位保持降噪的二值化算法，以解決古籍因氧化等原因造成的對比度不強等問題，對古籍具有較好的二值化效果；蔡改貧等[2]根據信息熵將圖像分塊并采用多種二值化閾值算法求取最合適的二值化閾值，該方法具有較好的局部效果；DU等[3]提出了量子比特翻轉二值化算法，相較于傳統圖像處理算法，具有更快的速度和更高的準確性。上述算法相較于傳統二值化算法如OTSU算法[4]、Niblack算法[5]等具有較好效果，但也有著算法復雜、可靠性較低、對圖像要求較高等缺點。圖像拼接方面，馮向東、魏春英[6]提出一種基于地理標簽信息和快速自適應選擇算法的圖像拼接算法，解決了無人機獲得的大范圍圖像拼接問題；李明亮、侯英竹[7]提出基于ORB和RANSAC的圖像拼接算法，克服了特征點匹配精度低、拼接處存在裂縫和拼接時間久等問題；NIE等[8]提出一種圖像拼接學習框架，采用多尺度深度單應性模型和邊緣保持變形模型對圖像進行拼接，具有較好的泛化性能；ZARAGOZA等[9]基于移動直接線性變換技術，提出了APAP仿射扭曲方法，可減少幻影效應；GUO等[10]結合形狀保留扭曲和全局對齊，提出了利用相似性扭曲和投影扭曲的拼接方法，實現了高準確度對齊和低投影畸變。上述圖像拼接算法存在結構復雜、對圖像細節要求較高、模型訓練較為困難等缺陷。目標檢測方面，張志俊等[11]提出一種基于霍夫變換的多線結構光標記光場三維成像系統，能夠準確地對極平面圖像中多根直線的參數進行確定，不需要對條紋級次編碼，可以準確地恢復被測物體的完整表面形貌，但對環境情況要求較高；蔡鋒、劉立柱[12]利用連通域分析和支持向量機獲取傳真圖像的關鍵詞并對其進行定位；YUAN等[13]提出一種基于多傳感器感知的道路場景多層次目標檢測框架，通過引入向心偏移模塊和可變卷積模塊提高了匹配精度，通過融合協調注意機制和雙向特征融合機制改進子網，并在數據集上對框架的有效性進行驗證，雖然算法有著較好的檢測結果，但其難以廣泛應用于其他目標檢測。馬聰等人[14]利用均值漂移聚類算法合并圓形，消除檢測算法的錯誤結果，實現了對雙孢菇圖像的準確檢測；魏陳鴻等[15]利用連通域算法優化了條形碼圖像識別算法，降低了寄存器占用。

在綜合前人研究和管棒材捆絲特征的基礎上，課題組開發一種基于線結構光的管棒材拆捆機器人視覺系統，并研究在抑制環境光照影響前提下，識別管棒材捆上最大捆縫位置以及捆絲狀態和數量。本文作者首先對管棒材拆捆機器人視覺系統硬件進行設計選型，并根據圖像像素亮度值對獲得的圖像進行二值化和降噪處理；接著，通過檢測激光圓弧條紋端點和頂點，實現對管棒材捆上表面圖像進行拼接和最大捆縫識別目的；利用霍夫變換得到激光線條紋主體，通過連通域分析對捆絲數量和狀態進行識別，并計算得到機器人末端進行剪切動作的位置坐標；最后，在搭建的實驗平臺開展二值化閾值算法、最大捆縫位置確定以及捆絲數量、狀態和位置識別實驗，驗證所提算法的可行性和準確性。

1 視覺系統設計及圖像預處理

1.1 管棒材拆捆機器人視覺系統設計

管棒材拆捆機器人視覺系統由線激光發射器、CCD相機和固定支架組成，如圖1所示。

圖1 視覺系統組成

激光器采用FU650AB100-GD16-015，具有激光線細且均勻、穩定性與準直性高等特點。相機采用大恒圖像MER-231-41GC-P，傳感器采用Sony IMX249，分辨率為1 920 像素×1 080 像素，像素深度為8 b，幀率為41 fps。

根據小孔成像原理，圖像坐標系上任意一點與世界坐標系上對應點的關系為

(1)

本文作者采用張正友標定法對相機內、外參進行標定。首先使用相機拍攝不同角度和位置的棋盤格圖像20張，之后將拍攝的20張圖片導入MATLAB中Camera Calibrator模塊，輸入棋盤格大小后，即可得到標定結果，如表1所示。

相機標定完成后，對激光平面進行標定。通過移動機器人在不同高度下記錄激光線照在水平面上條紋的位置，以此獲得激光平面與水平夾角α和圖像比例尺f，如圖2所示。標定結果如表2所示。

表2 激光平面標定結果

圖2 激光線標定原理

1.2 自適應二值化閾值算法

實際生產過程中，光照對圖像采集的影響巨大。針對實際生產環境光照和激光在金屬表面反射造成的影響，根據濾光片作用下激光相較于環境光相對亮度更高、激光凝聚性較強、形成的條紋具有固定的大小等特點，提出一種基于圖像各亮度值像素數量的二值化閾值算法。在環境光照下，激光線圖像對數直方分布如圖3所示。

圖3 激光線圖像對數直方圖

設獲取圖像上亮度為i的像素個數為Pi，因激光器在固定位置下產生的激光線亮斑大小相對穩定，必有一個最大值，設為Pmax。當選取閾值為i時，圖像二值化設為255的像素數Mi為

(2)

為了確保二值化圖像激光線條紋連續且無明顯斷點，二值化閾值T由式(3)計算得到：

(3)

其中：k為i從1到255中取值，Mi最大且小于等于Pmax的值。

1.3 圖像降噪與細化處理

獲得二值圖像后，需要對激光線進行細化操作，提取單像素的激光線骨架為后續圖像處理做準備，因此，需要對獲得圖像進行降噪和細化處理。

1.3.1 圖像降噪

為消除數字圖像在數字化和傳輸過程中受到的噪聲影響，選用3×3全1矩陣作為結構元素，既可以消除高頻噪聲的干擾，又不會去除激光圖像中細小的部分，破壞激光線條完整性。同時文中選用的濾波器結構為開、閉操作。開、閉操作既可以消除高頻噪聲帶來的干擾，又可以填充激光條紋內部因反射等亮度不均造成的細小空洞。圖4為濾波前后的對比效果。

圖4 濾波前(a)、后(b)對比

開、閉操作處理公式為

(f·M)(x，y)=[(f-M)+M](x，y)

(4)

(f°M)(x，y)=[(f+M)-M](x，y)

(5)

其中：f為源圖像；M為結構元素。

1.3.2 細化處理

為在保證細化精確度的基礎上提高運行效率，選擇幾何中心法作為細化算法。其公式如下：

(6)

其中：C為結果坐標；Sl為激光線左邊緣坐標；Sr為激光線右邊緣坐標。其效果如圖5所示。

圖5 細化結果

2 最大捆縫定位

2.1 多圖像拼接處理

因單個相機視野有限，在獲取多張管棒材捆上表面圖像后，需要將這些圖像進行拼接合成，以確定最大捆縫所在位置。因為在對圖像進行濾波與細化之后，圖像高頻信息較少，頻域匹配和區域匹配難以取得較好效果。同時，目前圖像的特征檢測主要是通過特征檢測算子對圖像進行卷積，這種方法速度較慢且對圖像細節復雜度有較高的要求。激光線條紋在經過二值化、降噪和細化后，其圓弧狀輪廓特征較為明顯，因此本文作者選擇圓弧頂點和圓弧端點作為特征進行圖像配準。

首先對圓弧端點進行檢測。目前線段端點檢測主要是通過角點進行檢測，圖像線段的端點一般是其灰度值變化較大的點，因此選用角點檢測可以獲得較好的效果，如Harris角點檢測。但由于細化后的圖像僅為單像素寬度，Harris角點檢測等算法無法有效地對線段端點進行檢測，因此本文作者采用基于模板的線段端點檢測方法。

端點檢測流程如圖6所示。

圖6 端點檢測流程

傳統的圓弧頂點檢測采用擬合方法，即在圓弧條紋上取一定數量的點，然后將這些點的坐標信息代入圓弧方程中求取出圓弧各個參數，最后通過已經確定參數的圓弧方程獲得圓弧頂點。這種方法具有精確度高的優點，但其計算量較大，且對圓弧圖像清晰度和圓弧的圓度有較高要求。因此本文作者選擇一種基于最大值的圓弧頂點檢測方法。頂點檢測流程如圖7所示。

圖7 頂點檢測流程

在獲得所有圓弧頂點和端點后，就可以進行特征匹配。設L為兩張圖片拍攝間隔機器人移動距離在圖像中對應的距離，C(xi，yi)為目標圖像F中的圓弧頂點，E1(x1i，y1i)、E2(x2i，y2i)為目標圖像F中與C對應的圓弧端點，V(xj，yj)為待匹配圖像M中的圓弧頂點，D1(x1j，y1j)、D2(x2j，y2j)為目標圖像M中與V對應的圓弧端點，N為進行匹配的誤差計算公式：

(7)

具體匹配流程如圖8所示，圖9為匹配結果。

圖8 匹配流程

圖9 匹配結果

完成特征匹配后，需要對變換模型進行求解。變換模型是目標圖片與待匹配圖片進行對齊所使用的變換函數，由1個旋轉矩陣與1個平移向量組成，如式(8)所示：

(8)

其中：X為變換前的坐標值；X′為變換后的坐標值；Δx為橫軸上像素點的平移量；Δy為縱軸上像素點的平移量；θ為圖像旋轉的角度。

圖像旋轉角度θ可以通過各相鄰特征點之間的角度來獲得，由于圓弧端點受到光照和相機拍攝角度的影響較大，因此本文作者選擇圓弧頂點之間的角度關系來求取θ，即

(9)

獲得了旋轉角度θ后，對橫軸和縱軸的平移量Δx和Δy進行求解，求解公式為

(10)

(11)

得到變換模型后，將兩張圖片進行拼接合成。由于在最大捆縫的識別過程中并不對圖像拼接質量有較高要求，因此本文作者選擇對圖像直接進行拼接，即選擇最后一個圓弧頂點作為拼接點進行拼接。最后拼接結果如圖10所示。

圖10 拼接結果示意

2.2 最大捆縫位置識別定位

由于管棒材捆中管棒材的直徑幾乎相等，因此最大捆縫位置可以通過圖像中圓弧頂點之間的距離來獲得。由于管棒材捆上表面并不為水平的平面，其縱向高度也需要納入考慮，管棒材高度反映在激光圓弧的X軸坐標上，如圖11所示。

圖11 管棒材捆橫截面

設管棒材直徑為d，激光線圓弧頂點分別為Pi(xi，yi)(i=1，2，3，…，n)，則管棒材捆縫fi可以通過式(12)獲得：

(12)

獲得了最大捆縫后，機器人需要沿著最大捆縫搜索捆絲，因此，需要一個最大捆縫中間的位置作為后續搜尋捆絲的位置基準，即

(13)

3 捆絲狀態識別與切割定位

3.1 捆絲狀態和數量識別

為保證捆綁牢靠，在管棒材打捆時可能使用雙絲捆綁。本文作者將捆絲狀態分為單捆絲、雙捆絲和捆絲頭，不同的捆絲數量和狀態對應著不同的剪切方式，因此拆捆操作時需要對捆絲數量和狀態進行識別。

本文作者使用激光線沿著管棒材捆徑向方向進行掃描，獲得激光線圖像后，首先對其進行霍夫變換，確定激光線位置以及判斷管棒材是否扭曲。當管棒材扭曲時，激光線照在兩根管棒材上形成兩道光斑，這在霍夫圖像上是兩個極點，如圖12所示。確定激光線位置后可以通過連通域分析對激光線的畸變和缺口進行識別，以此確定捆絲的數量和狀態，其步驟如圖13所示。

圖12 霍夫變換圖像

圖13 捆絲狀態、數量識別流程

3.2 捆絲切割定位

激光線平面標定后可以獲得激光線上像素點的位置信息，通過式(14)和式(15)獲得：

(14)

(15)

其中：Xw、Yw和Zw為世界坐標系；Zr為機器人末端坐標系Z軸數值；u和v為像素坐標系；R為外參旋轉矩陣；t為外參平移矩陣；M為相機內參矩陣；Zc為相機坐標系下該點的Z軸坐標，可通過Zw求出；AB為相機與激光器之間的水平距離；L為激光線在像平面內距離中心線的距離。

獲得激光線上位置信息后，可以與上文的捆絲狀態和數量識別相結合，確定機器人如何對捆絲進行剪切，其步驟為

(1)首先判斷是否為捆絲頭，若是則排除當前位置重新尋找最大捆縫，若否則執行后續步驟；判斷捆絲數量，若為1根則計算畸變點與激光線條距離e，根據下式確定捆縫深度h：

(16)

(2)當捆絲數量大于1根時，判斷最外側捆絲之間的距離c是否滿足下式：

(17)

其中：n為捆絲數量；s為捆絲直徑；g為捆絲間距；T為剪刃開口大小；D為剪刃直徑。若滿足，則移動至捆絲束中間位置進行一次剪切；若不滿足，則按照滿足條件的捆絲束大小分別進行剪切。

4 實驗結果與分析

4.1 實驗系統組成

為驗證文中所提出的視覺系統的可靠性和準確性，在搭建的拆捆機器人實驗平臺開展驗證試驗。實驗設備如圖14所示。

圖14 實驗設備

機器人為埃夫特ER50-2100，最大負載500 N，最大扭矩為182 N·m，最大單軸速度為285°/s，重復定位精度為±0.05 mm，可以滿足運載實驗設備的需要。

程序采用C++基于大恒圖像軟件工具包和MFC框架進行編寫，在圖像處理部分則是基于OpenCV對部分函數進行了重構，其界面如圖15所示。

圖15 程序界面

4.2 實驗結果分析

4.2.1 二值化閾值算法

選取OTSU算法和Niblack算法進行對比，其結果如圖16所示。

圖16 二值化算法效果比較

由圖16可以發現：相較于傳統算法，文中提出的算法對低亮度噪聲具有更強的抗干擾能力，以及對金屬反射造成的激光線亮度變暗的適應能力。同時OTSU算法的運行時間為1.808 s，Niblack算法的運行時間為3.775 s，文中算法的運行時間為1.502 s，文中提出的算法速度分別快了17%和60%。

4.2.2 最大捆縫尋找

為驗證最大捆縫尋找方法的可靠性，本文作者在同一捆特鋼管棒材的5個不同位置進行了最大捆縫尋找，并通過機器人對這5個位置在機器人X軸上的坐標值進行了測量，結果如圖17所示。

圖17 最大捆縫實驗數據

由圖17可知：圖像處理的計算值與觀察給出的測量值比較接近，最大誤差為2.89 mm，平均誤差為1.26 mm，標準差為1.90 mm，較為穩定。這里的誤差主要由機器人誤差和圖像識別誤差組成。機器人誤差是指通過機器人測坐標時因無法準確指向捆縫中點造成的誤差；圖像識別誤差是指因無法準確地對圓弧激光線端點進行識別造成的誤差。

4.2.3 捆絲狀態、數量識別與切割定位

實際生產過程中，打捆多為單捆絲或雙捆絲，故本文作者分別對單捆絲和間距不同的雙捆絲進行實驗。

為保證算法的有效性，在同一捆鋼管的5個不同位置打上單捆絲，控制機器人拍攝圖像，對捆絲位置進行測量，其結果如圖18所示。

圖18 單捆絲實驗結果

由圖18可知：其最大誤差為-2.77 mm，平均誤差為-0.12 mm，標準差為1.08 mm，滿足實際生產的需要。誤差主要因機器人無法準確對捆絲中點位置進行測量造成。

針對雙捆絲狀態，分為小間距和大間距兩種情況，需要對這兩種情況分別進行考慮，并給出不同的剪切策略。實驗時對這兩種情況的捆絲進行了分析，結果如圖19、20所示。

圖19 小間距雙捆絲實驗結果

圖20 大間距雙捆絲實驗結果

從圖19—20可以看出：算法可以很好地對兩道捆絲之間的距離進行判斷，從而確定剪切方式，并給出具體的切割位置。針對小間隔雙捆絲，其最大誤差為-2.94 mm，平均誤差為-0.17 mm，標準差為0.81 mm；當雙捆絲的間隔大于50 mm時，就需要分別剪切捆絲，間隔檢測最大誤差為2.31 mm，平均誤差為-0.04 mm，標準差為1.58 mm，捆絲識別最大誤差-2.73 mm，平均誤差為-0.16 mm，標準差為0.45 mm，滿足現場實際需要。

5 結論

(1)提出一種基于圖像各亮度值像素數量的二值化閾值算法，相較于傳統自適應二值化閾值算法，提高了對環境光照和物體表面反射的適應能力，運行速度提升17%，適合對圖像進行實時處理。

(2)提出一種基于圓弧頂點和圓弧端點的圖像拼接方法，解決了傳統圖像拼接算法對特征少、紋理缺失圖像難以拼接的問題，具有算法簡單、運行速度快且準確性較高等優點。

(3)針對實際生產中捆絲數量和狀態不確定性，提出一種基于霍夫變換和連通域分析的捆絲識別算法。該算法可以準確識別捆絲數量和狀態，并通過捆絲間隔確定剪切方式，單捆絲最大誤差為-2.77 mm，平均誤差為-0.12 mm；雙捆絲最大誤差為-2.94 mm，平均誤差為-0.17 mm，滿足實際生產需要。