基于機器視覺的細紗接頭機器人紗線斷頭定位方法

周其洪， 彭 軼， 岑均豪， 周申華， 李姝佳

(1. 東華大學 機械工程學院， 上海 201620； 2. 東華大學 數字化紡織服裝技術教育部工程研究中心， 上海 201620； 3. 廣州盛原成自動化科技有限公司， 廣東 廣州 511400)

紡紗是紡織產業鏈的重要工序之一，環錠紡紗以其生產品種范圍廣、紡紗質量優良等特點得到了廣泛應用。據統計，我國紡紗總產量中，環錠紡紗產量占到了85%[1]。近年來，環錠細紗機技術正變得更加高速化、品種寬廣化、自動化和智能化[2]，但細紗斷頭問題仍然是目前制約細紗機生產效率的主要問題之一，在環錠紡紗行業，接頭工作大都由人工完成，存在效率低，勞動強度大等問題[3]。

2019年，立達公司公開首展適用于環錠細紗機的自動接頭機械手(ROBOspin)，該款接頭機械手在工作過程中盡量不與管紗發生接觸，防止外層紗線受到污染，從而保證紗線質量[4]，目前相關技術仍然高度保密。國內方面，唐火紅等[5]設計了一款針對環錠紡紗機的雙臂接頭機器人，通過動力學分析為機器人的參數選型提供依據。

近年來，圖像處理與機器人技術得到了極大的發展，相關的硬件性能也不斷提升，在各領域都得到了廣泛的應用。Xiao等[6]提出針對焊縫的自適應特征提取算法，并引導機械手進行抓取，取得了滿意的魯棒性和精度。Yang等[7]針對茶葉采摘問題提出了相應的茶葉識別算法以及利用蟻群算法規劃采摘路徑，實現機器人對茶葉的采摘。由于機器視覺技術無接觸測量、定位的特點，紡織領域也積極引入機器視覺技術，顯著提高了系統的智能化水平。張文昌等[8]將機器視覺技術與機器人結合，實現了對紗籠的定位并引導機器人進行抓取，具有重要的實際應用價值。張建新等[9]開發了一種利用機器視覺技術的筒子紗密度在線檢測系統，取得了較好的檢測精度和穩定性。王雯雯等[10]研究利用機器視覺技術來實現對細紗機的斷頭檢測。

這些成功案例也為機器視覺技術應用于細紗接頭機器人創造了技術和硬件條件。結合環錠紡紗機工作空間緊湊的特點及接線動作靈活性的需求，利用視覺技術配合工業機器人實現接線動作。首先利用機器視覺技術實現紗線斷頭的定位，定位完成后，再引導機械手進行抓取，該方法不僅能夠減少紗線與設備產生的接觸摩擦，減少紗線被污染，同時也可以簡化裝置的機械結構，提高系統的自動化、智能化水平，對接頭機器人的整機設計具有重要意義。

本文在前期研究的基礎上，提出了利用機器視覺技術進行紗線斷頭的識別與夾取的方案。通過工業相機采集紗線圖像，開發了基于圖像處理的紗線識別及定位專用算法，可以準確提取紗線的位置和角度信息，為機械手的夾取奠定基礎。

1 紗線斷頭定位裝置工作原理

1.1 主要硬件

接線過程中，接頭機將出現斷頭的紗筒從細紗機的錠子上取出之后，控制紗筒自轉，負載裝置工作產生負壓，通過吸嘴將紗線斷頭吸入，并控制紗筒移動至離吸嘴10 cm處，同時使紗線緊靠定位柱。實驗裝置示意圖如圖1所示。相機位于紗線一側并正對紗線，機械手處于另一側。由于紗線斷頭在紗筒上的位置未知，紗線被吸入吸嘴后位置也并不固定，通過機器視覺技術實現對紗線的定位，機械手根據定位信息夾取紗線，之后進行后續接線動作。

注：1—機械手； 2—黑色擋板； 3—紗筒； 4—相機；5—光源； 6—紗線； 7—定位柱； 8—吸嘴。圖1 裝置示意圖Fig.1 Schematic diagram of device

1.2 定位原理

本文系統引導機械手進行抓取的方法為：通過相機采集目標圖像，編寫圖像定位算法識別紗線在像素坐標系下的位置(u，v)以及角度信息α，將(u，v)轉換到機器人基坐標系下的坐標(XW，YW，ZW)，引導機械手進行夾取。像素坐標與機器人基坐標的轉換關系如下：

式中：M1為3×4矩陣，表示相機的內部參數，可通過相機標定獲得。M2為4×4矩陣，表示相機坐標系到機械手基坐標系的映射關系，可通過手眼標定得到，ZC表示物距。由圖1可知，在定位柱的作用下，紗線被吸出后處于機械手基坐標系Y方向上的固定平面，即YW已知。

圖2為機器人基坐標系Y方向上的正視圖。令機械手末端執行器的夾取點為ui與紗線的交點，利用圖像處理算法求出夾取點q(ui，vi)以及紗線與像素坐標系U軸正方向的夾角α，通過公式可求得機械手的目標位姿信息，傳入機械手的位置寄存器引導機械手進行夾取。

圖2 定位原理圖Fig.2 Positioning principle

2 紗線識別與定位算法

被吸入吸嘴的紗線穩定之后，通常情況下會趨于一條直線，但由于裝置工作過程中引起的紗筒以及吸嘴抖動、吸嘴與紗筒之間的風場不穩定等原因，紗線會出現抖動的現象，結果如圖3所示。可知，紗線在無抖動的情況下，特征較為明顯，易于識別，在圖3(b)所示紗線存在抖動的情況下，紗線特征不明顯，會出現弱邊緣特征。紗線的識別與定位精度對后續機械手的夾取至關重要。為保證算法的可靠性，本文以紗線抖動時的狀態來進行紗線的識別與定位算法研究，該算法同樣適用于對無抖動的紗線的定位。

圖3 紗線狀態圖Fig.3 Yarn state. (a) No fluctuation of yarn;(b) Yarn fluctuates

2.1 紗線圖像灰度增強

在對圖像進行處理前，提取感興趣區域(ROI)可有效減少圖像處理的復雜度。理論上，ROI的區域越小，圖像處理的速度越快，但也會導致關鍵特征信息的丟失[11]。相機的拍攝視野固定，同時考慮最大程度保留紗線有效信息，ROI的左右兩側分別選取左右定位柱的邊緣向中間偏移5像素，上下兩側分別選取紗筒的上下邊界，由此確定出ROI區域。

相機采集到的圖像為包含了R、G、B三通道的彩色圖像，處理時，需要對3個通道進行運算，時間消耗大。由于本文中紗線檢測只需要形態學信息，為提高圖像處理的效率，先將彩色圖像轉換為灰度圖，再進行后續處理。由于紗線較細以及光照不勻等因素，背景為黑色時，部分紗線特征尤其是波動狀態下的紗線在圖像中會呈現出灰白色，不利于后續的邊緣檢測,因此需要對圖像進行灰度增強，增大紗線與背景的對比度。系統在不同位置工作時，圖像的背景環境是存在變化的，本文采用可適用于不同背景環境的改進灰度增強算法，以獲得更好的圖像增強效果[12]。改進灰度增強算法如下：

1)從原圖中截取出背景圖b，計算背景圖中所有像素的平均灰度值g。

2)將原圖像I的圖像矩陣的每個元素減去平均灰度值g，若計算之后的像素值小于0，則截斷為0。

3)將得到的矩陣乘以系數k。若計算之后的像素值大于255，則截斷為255，得到增強后的圖像O。

改進灰度增強算法的表達式表示如下：

O(x，y)=k(I(x，y)-gT)

式中：I(x，y)表示灰度增強前的圖像灰度矩陣;O(x，y)表示灰度增強后的圖像灰度矩陣;k為參數;g為背景平均灰度值;T為與I相同大小的元素全為1的矩陣。若O(x，y)中元素大于255，則設置為255，若O(x，y)中元素小于0，則設置為0。

圖4示出改進灰度增強過程圖。可看出，經過改進灰度增強算法處理后，紗線特征與背景的對比度明顯提高，紗線特征更加明顯，同時抑制了噪聲。

圖4 改進灰度增強過程圖Fig.4 Improve the grayscale enhancement process diagram. (a) Original image I; (b) Background image b; (c) Improved grayscale enhancement image O

圖5示出原圖像和經過灰度增強處理之后的紗線邊緣局部灰度值分布圖。可看出，圖5(b)中紗線的灰度值和背景灰度值的區分度相較于圖5(a)更加明顯，紗線更易于識別。

圖5 局部灰度值分布圖Fig.5 Local gray value distribution diagram. (a) Local gray value distribution diagram of image I; (b) Local gray value distribution diagram of image O

2.2 紗線特征邊緣檢測

圖6示出閾值分割和Canny檢測對比圖。閾值分割是常用的圖像分割方法，可有效去除圖像中的無效信息，但在處理圖6(a)紗線抖動圖像時，由于紗線抖動部分顏色較淺，屬于弱邊緣，難以與背景實現有效分離。經過二值化分割之后，損失了大量紗線特征信息，因此采用Canny邊緣檢測來最大限度保留紗線信息，見圖6(c)。

圖6 閾值分割和Canny檢測對比圖Fig.6 Comparison diagram of threshold segmentation and Canny detection. (a) Original image; (b) Binary segmentation; (c) Canny detection

2.3 紗線特征提取

2.3.1 霍夫變換原理

經過邊緣檢測后的紗線具有明顯的直線特征，霍夫變換是常用的直線檢測算法，具有很好的魯棒性，本文選擇霍夫直線檢測算法進行紗線特征的提取，霍夫變換的原理如下。

圖7 霍夫變換示意圖Fig.7 Hough transform schematic

直線的檢測是一個投票的過程，首先遍歷圖像上的每個像素點并尋找邊緣像素點(x，y)，對θ在[0，π]內按照步長離散化得到Qi，將(x，y，θ)代入方程r=xcosθ+ysinθ中，得到參數(r，θ)，將r值離散化，建立關于(r，θ)的矩形網格，將每次得到的(r，θ)在網格對應位置累加1，當所有的邊緣像素點都計算完成后，通過合理設置閾值，將篩選出的每組(r，θ)視為1條直線。

通過上述原理可知，霍夫直線檢測的缺點在于角度檢測范圍廣，并且需要將參數坐標轉換到直角坐標系下，計算量大。理論上進行檢測的角度步長越小，檢測直線的精度越高，但會導致占用較多的資源，耗時長[13]。

2.3.2 優化的霍夫變換直線檢測

如2.3.1節所述原理，本文結合實際圖像的特點，對霍夫變換直線提取進行優化。紗線被吸入吸嘴中，以吸嘴中心軸線為界，上側和下側的θ角是在有限范圍內進行變化的，如圖8所示。將圖像分為上下2個ROI區域，上側區域在θUmax和θUmin之間變化，下側區域在θDmax和θDmin之間變化，進行霍夫變換直線檢測時，可通過不檢測這2個區間之外的角度來提高程序運行效率，減少運算時間。

圖8 上下ROI區域θ角極限位置示意圖Fig.8 Upper and lower ROI area Angle limit position

2.4 紗線定位

分別代入確定好的ui，得到y1、yn，記閾值為Tf，對紗線的波動幅度進行判斷：

當y1-yn≤Tf時，表明紗線波動幅度不大，機械手可正常夾取，則像素坐標系下的vi：

紗線與U軸的夾角α為

當y1-yn>Tf時，表明此時紗線波動幅度過大，已經影響機械手的夾取，系統發出預警。

3 參數分析與實驗結果

本文軟件測試平臺為PyCharm 2019，軟件運行環境為Python3和Opencv3視覺庫，計算機配置為Intel Core i5-4210H，CPU為2.90 GHz，4 G內存。

3.1 霍夫直線檢測角度范圍確定

本文實驗根據圖8所示原理進行擺放紗線斷頭的位置，收集紗線在極限位置和非極限位置下的圖像，通過處理圖像收集紗線特征在上下ROI區域內的r和θ參數。上下ROI區域內隨機選取7個圖像的r和θ參數，結果如表1所示。通過對所得數據進行分析以及考慮容錯性，確定上ROI區域的θUmax和θUmin范圍為(35°，95°)，下ROI區域的θDmax和θDmin范圍為(85°，145°)。

表1 ROI區域r和θ參數表Tab.1 ROI section r and θ parameter table

3.2 坐標提取結果分析

本文以感興趣區域圖像原點沿U軸偏移140像素作為ui求取坐標點進行實驗，部分處理結果圖像如圖9所示，圖中白點表示坐標點。

圖9 部分紗線圖像坐標提取圖Fig.9 Partial yarn image coordinate extraction. (a) Image one; (b) Image two; (c) Image three; (d) Image four; (e) Image five; (f) Image six

通過在Photoshop軟件中手動標注坐標點以及求解紗線與U軸的夾角α與本文所用算法的結果進行對比，如表2所示。將本文算法和手動標注所得的結果對比，在圖像V軸方向上坐標的平均絕對誤差為1.42像素。紗線與U軸正方向的夾角α的平均絕對誤差為0.60°，角度偏差較小，對機械手的夾取影響小。

表2 圖像定位結果Tab.2 Image location results

3.3 算法耗時分析

系統的實時性非常重要，由3.1節可知，與傳統算法每個邊緣點的檢測角度為0°～180°相比，基于本文的優化紗線邊緣直線檢測算法(OHT)通過劃分上下2個ROI區域使得2個區域的檢測角度均減小到大小為60°的區間內，降低了霍夫運算的復雜度，程序運行時間得到了縮短。OHT與傳統的直線擬合在完成預處理之后，進行紗線定位步驟的耗時對比以及算法總耗時如表3所示。可知，OHT在進行紗線定位時平均耗時為23 ms，直線擬合平均耗時高達478.6 ms，本文提出的經過優化的直線提取算法平均耗時為63.1 ms，總耗時均在10-1s數量級上，具有較高的響應速度，算法計算效率高。

表3 算法總耗時Tab.3 Total algorithm time

4 結束語

本文提出利用機器視覺技術對細紗接頭機器人的紗線斷頭進行定位的方法，并給出了圖像識別與定位算法。首先基于改進的灰度增強方法增強紗線與背景的對比度，然后利用Canny邊緣檢測算法提取紗線信息，最后利用優化的霍夫直線檢測配合定位算法實現對目標紗線的位置信息提取。實驗證明，該算法能準確提取所需紗線位置信息，與手動標注的結果相比，坐標點誤差為1.42像素，紗線與圖像U軸正方向的夾角α的誤差為0.60°，程序整體平均運行時間在10-1s數量級上，實時性好，利用機器視覺技術實現紗線定位應用于細紗接頭機器人以及為細紗接頭機器人的進一步完善開發提供參考。

FZXB