插管式機器人空管狀態檢測方法

戴 寧, 梁匯江, 胡旭東, 戚棟明, 徐郁山, 屠佳佳, 史偉民

(1. 浙江理工大學 浙江省現代紡織裝備技術重點實驗室, 浙江 杭州 310018; 2. 浙江理工大學 紡織科學與工程學院(國際絲綢學院), 浙江 杭州 310018; 3. 浙江康立自控科技有限公司, 浙江 紹興 312500; 4. 浙江省綠色清潔技術及洗滌用品重點實驗室, 浙江 麗水 323000)

紡織業作為典型的勞動密集型產業,用工量大,特別是在紗庫式自動絡筒機更換管紗這個工序上,據不完全統計,現階段我國有2萬多臺紗庫式自動絡筒機仍采用人工換管紗的方式[1-2]。紡紗工人在絡筒機生產線上往復巡視,當發現某錠位管紗數量不夠時,需從備管紗區取回相同類型管紗,并放入該錠位的儲管紗圓盤內,以保障此錠位的絡筒工序不中斷。該換管紗的方式不僅需要紡織工人長時間注視各錠位的管紗用量情況,還需要不間斷地來回走動巡視,且絡筒機生產線距離長、錠號多、更換管紗量大,目前該工序作業工人以肯吃苦的中老年人為主,進而導致企業不但運行成本高,而且很難招到合適的工人,故該工序現狀嚴重制約著我國紡織業的自動化及智能化發展[3-4]。

在紡紗環節,自動換管、換筒的相關研究近年來正逐漸展開。早在2012年,武漢紡織大學團隊將自動換筒技術引入高速并條機,提出采用面接觸式、后進前出式等機構實現換筒,但該研究主要涉及機械結構設計方面,且未涉及筒子狀態的檢測[5]。中原工學院團隊提出的由換筒機器人與運紗機器人2個子系統組成的自動換筒系統,可完成自動換筒、換箱、自動搬運功能,研究雖提到采用了視覺檢測技術,但具體有關圖像的采集、處理及功能實現缺少實際實驗數據闡述[6-7]。東華大學團隊提出智能紗架控制系統,使其實現了自動絡筒、搬運紗團和中轉功能,減少了機器停車和人工換紗的時間,但其更多的是從機械及控制系統聯網層面出發,實現特定紗架位置上各部件的聯動,進而實現換管、換筒功能,但并未涉及紗架整體層面上空筒檢測相關的內容[8-9]。此外,國內銅陵松寶智能裝備股份有限公司、杭州銳冠科技有限公司、江陰凱業紡織機械制造有限公司、常州長榮紡織有限公司等企業的紗庫式自動絡筒機管紗自動上紗系統也逐漸實現了機器換人功能[10]。其中,杭州銳冠科技有限公司、江陰凱業紡織機械制造有限公司、常州長榮紡織有限公司3家企業的自動上紗系統需要在每錠位安裝額外操作臂,安裝費用高且占地面積大。銅陵松寶智能裝備服務有限公司采用了移動換紗模式,節省了占地空間,但是現階段此類系統目前尚處于實驗階段,特別是在空管檢測領域,并未完全定型。近年來,機器視覺在紡織領域的研究及應用越來越廣泛[11-12],若此類系統能從視覺檢測的角度實現儲管紗圓盤空管狀態檢測功能,將大幅提高其性能,但是基于視覺檢測的插管機器人成本相對較高,且涉及機械、電控、視覺檢測等多學科交叉領域,技術難度大,從行業內紡織科研院所、企業近幾年在換管、換紗相關的研究成果來看,目前在絡筒機自動換管紗環節尚沒有從視覺檢測層面有關的空管狀態檢測方法,且所提出的相關研究內容均無法直接在絡筒機插管式機器人系統中進行應用,這些都是利用插管式機器人模仿人工插管所面臨的迫切問題。

本文結合絡筒機及插管式機器人工作機制,采用低成本的單目相機,設計集嵌入式控制系統、相機模組于一體的空管檢測機構,開發基于圖像識別的空管狀態檢測方法,并將檢測結果傳輸給插管式機器人內部電控系統,從視覺檢測層面上為插管式機器人在插管前各錠位空管狀態的實時檢測提供技術支持。

1 絡筒工作機制

1.1 絡筒基本工藝

絡筒作為紡紗的最后一道工序,是在絡筒機上將紗線精確卷繞在筒子上形成符合一定要求筒紗的過程,絡筒工藝如圖1所示。筒紗、儲管紗圓盤、管紗分別位于從高到低的高度C、B、A處,絡筒機工作過程中,管紗從高度B處經出管紗孔掉落至高度A處,紗線從高度A處退繞并向上卷繞至位于高度C處的筒紗上。

圖1 絡筒工藝示意簡圖

儲管紗圓盤一般由旋轉及固定2部分組成,如圖2所示。旋轉部分沿圓周均勻分布多個儲管紗孔(本文以9孔為例),每個儲管紗孔內可放入1個管紗。固定部分為1個帶缺口的實心圓盤,放置于旋轉部分下方。當圖1中高度A處的管紗退繞結束時,旋轉部分繞旋轉中心旋轉40°,此時會存在1個儲管紗孔正對固定部分缺口位置,管紗從掉管紗孔位處掉落至高度A處,繼續完成該錠位的絡筒工作,一般筒紗上的紗線長度數倍于管紗上的紗線長度,故絡筒過程中,不斷有管紗從掉管紗孔位處掉落,當儲管紗圓盤內的管紗數量小于特定數目時,需要及時投放新的管紗。

圖2 儲管紗圓盤結構示意簡圖

1.2 插管式機器人空管狀態檢測原理

本文采用項目組自主研發的插管式機器人完成自動插管動作,插管式機器人在絡筒機生產線上往復巡視,當檢測到某個錠位儲管紗圓盤內的管紗數量小于設定值時,需完成插管工作。插管式機器人結構及工作原理如圖3所示。

1—儲管紗圓盤;2—插管式機器人底座;3—空管檢測機構;4—豎直機械立柱;5—圓盤底座;6—管紗;7—管紗吸盤;8—移動軸。

本文將集嵌入式控制系統、相機模組于一體的空管檢測機構固定在豎直機械立柱上,并隨插管式機器人做水平往復直線運動,當檢測到儲管紗圓盤內存在空管時,管紗吸盤經移動軸從圓盤底座上吸取管紗并放置在對應儲管紗圓盤內。

本文結合插管式機器人工作機制,設計絡筒機空管檢測機構,實現插管機器人巡視過程中各錠位儲管紗圓盤內實際管紗數量的檢測,巡視過程相機模組捕獲狀態如圖4所示。

注:X代表絡筒機生產線上其中一錠的錠號位置。

從圖4可知,插管式機器人巡視過程中,第X+1號錠位處儲管紗圓盤在最早、最佳、最遲拍攝時間下的有效成像區域,相機成像畫面沿錠位排布方向從左至右移動,當插管式機器人到達最佳成像位置時,嵌入式系統響應由插管式機器人觸發的外部中斷信號進行圖像采集,并將圖像處理結果返回給插管式機器人,進而插管式機器人完成插管動作,故空管狀態檢測的有效工藝條件需滿足:

(1)

式中:xl為錠間距,m;v為插管式機器人巡視速度,m/s;tx為信號傳輸總時間,s;fx為相機幀率,Hz;tj為圖像處理時間,s;

由于投放管紗時間tf占據時間遠大于式(1)右側其它時間,故實際投放過程中管紗單次投放量應取Nf,其值為正整數,且滿足:

(2)

式中:Nf為投放管紗數量;nd為單錠儲管紗孔數(本文為9)。

同時,相機完成一個最長巡視周期的時間應保證絡筒機各錠儲管紗圓盤內仍保留大于nd/2儲管紗孔數,故需滿足

(3)

式中:Nd為可巡視錠數;tg為單個管紗最快更換時間,s。

考慮到有效畫面距離xd為錠間距大小,直接影響單錠儲管紗孔在圖像中具有的色塊數量,故本文xd近似等于(略小于)xl+2rp(rp為儲管紗圓盤半徑,m)。

由式(1)、(3)可知,空管狀態檢測時間直接影響插管式機器人巡視速度,并間接影響絡筒機生產線上錠位總數,故實際工程應用中需結合儲管紗圓盤、儲管紗孔、管紗等形態特征,為絡筒機量身定制開發空管檢測方法,以求在提高識別準確度的同時減少識別時間。儲管紗孔內滿管圖像簡圖見圖5。

圖5 儲管紗孔內滿管圖像簡圖

圖中單元網格代表1個像素塊,圓環A′代表儲管紗孔內色塊域,圓環B′代表管紗紗線色塊域,圓環C′代表紗管色塊域,圓環D′代表紗管內孔色塊域。故空管檢測原理整體思路如下:首先從相機平面內,基于儲管紗圓盤及儲管紗孔輪廓為標準圓的特征,采用視覺檢測算法,識別儲管紗圓盤及儲管紗孔的圓心位置及半徑大小。其次以識別出的各儲管紗孔的位置及大小信息進行分塊定域處理,采用統一的空管檢測算法對具有相同特性的分域塊(其儲管紗孔內滿管圖像各組成部分一致,見圖5)進行空管檢測。然后基于儲管紗孔內滿管圖像區域必然包括圓環C′的機制(圓環C′相比圓環B′,其顏色及尺寸大小變化較小),來判斷儲管紗孔內是否存在紗管。最后,由于滿管內色塊信息較空管內色塊信息豐富,當基于輪廓檢測算法未識別到紗管時,可以色塊信息對儲管紗孔內是否存在紗管進行補充檢測,以減少實際插管式機器人的誤檢測。

表1 空管檢測結果數據統計

2 空管檢測算法設計

2.1 空管檢測準備階段流程設計

圖6 絡筒機空管檢測準備階段

1)學習、調節環節。采用霍夫(Hough)圓檢測原理,獲取當前圖像中儲管紗圓盤半徑、圓心,各儲管紗孔半徑、圓心、圓心距以及半徑過濾參數等信息,其中霍夫圓檢測原理如圖7所示。圖7中:O1、O2、O3分別為X-Y平面內任意3點,其坐標分別為(ux,uy)、(vx,vy)、(wx,wy),Om為霍夫圓圓心。

圖7 霍夫圓檢測原理示意簡圖

以O1點為例,則過O1的所有圓的圓心方程為:

(4)

式中:a、b、R分別為過點O1圓的圓心橫坐標、縱坐標及半徑,m;θ為圓心(a,b)、點O1連線與X軸的夾角,其值范圍為(0°,360°)。假設R取定值,則過點O1所有圓的圓心軌跡在X-Y平面如圖7藍色虛線框所示。同理,過點O2、O3所有圓的圓心軌跡分別如圖7中綠色虛線框、紅色虛線框所示。3個圓形虛線框相交于Om點,從而可得到點O1、O2、O3在以Om為圓心,R為半徑的霍夫圓上(如圖7黑色實線輪廓所示),當檢測到圖像上位于霍夫圓上點的數量越多,霍夫圓精度越高,故可通過設置點數閾值來控制霍夫圓精度。

2)分塊定域、矯正環節。分塊定域環節主要劃分本文儲管紗圓盤內9個儲管紗孔區域內各空管檢測算法的有效區域,排除有效區域外色塊對計算、分析的干擾。

另外,當將空管檢測機構固定于豎直機械立柱上時,由于人工安裝誤差,相機平面存在角度偏轉。本文設計矯正環節,通過分塊定域環節繪制的9個儲管紗孔與實際9個儲管紗成像孔偏差的可視化,方便安裝調試人員實現相機平面偏轉角度及第i號儲管紗孔可設置半徑的矯正,為下一批空管檢測實時算法提供良好準備條件。其中各儲管紗孔心坐標與相機平面偏轉角度β的關系式為:

(5)

(6)

式中:xi、yi為第i號儲管紗孔圓心橫、縱坐標,m。

2.2 空管檢測實時處理流程設計

當準備環節結束后,空管檢測機構隨插管式機器人做水平直線往復運動,并對各錠位處的空管情況進行圖像處理,絡筒機空管檢測分級處理算法按照圖8所示流程進行實現。

圖8 絡筒機空管檢測分級處理算法

圖8中:C_i、C_m、i、j、k均為計數變量;th_m為霍夫圓點數閾值;r_min、r_max為霍夫圓半徑最小、最大閾值;P1為檢測標記變量;roi為“感興趣區”變量;area為儲管紗圓盤區域;area_j為第j號儲管紗圓盤區域;xj、yj、gj為實時檢測所得第j號儲管紗孔圓心橫坐標、縱坐標、半徑,m;xk、yk、gk為實時檢測所得第k號儲管紗孔內紗管圓心橫坐標、縱坐標、半徑,m;N_f、K_f為子程序2、輔助程序返回結果;Th(lL,lM,aL,aM,bL,bM)為顏色閾值,其中lL、lM為Lab顏色模型中亮度“L”參數的最小、最大閾值,aL、aM為Lab顏色模型中顏色“a”參數的最小、最大閾值,bL、bM為Lab顏色模型中顏色“b”參數的最小、最大閾值;th_s為顏色閾值設置變量。

1)主程序環節。當插管式機器人運行至錠位最佳有效拍攝區域時,空管檢測機構外部中斷服務程序觸發(見圖8(a)),通過設定準備階段所得儲管紗圓盤rp值,精確設定本環節圓盤半徑范圍,過濾其余半徑長度圓盤的搜索,提高算法處理時間,同時,基于圖7所示霍夫圓檢測原理及本文實際測試結果,將霍夫圓點數閾值設置為5 000,具有較好的檢測效果。此外,為保證采集穩定性,本文最多可采集3次,此過程只需要滿足一次識別到儲管紗圓盤輪廓,即可觸發子程序1,實現下一步儲管紗孔的識別,并將識別結果發送給插管式機器人。

2)子程序1環節。與主程序環節同理,首先設定本環節儲管紗孔搜索半徑范圍及霍夫圓點數閾值(見圖8(b))。此外,本環節將“感興趣區”roi變量設置為儲管紗圓盤區域area,可屏蔽儲管紗圓盤外成像區域霍夫圓的檢測,提高圖像識別算法速度。當識別到的儲管紗孔圓心坐標及半徑與準備階段所得對應值偏差不超過2個像素時,可判斷該儲管紗孔已識別。輪詢9次,當P1值為0x1ff時,表示儲管紗圓盤內9個孔均已識別完畢,可觸發子程序2,實現下一步儲管紗孔內的空管檢測;否則,將P1值設置為0xffff,并返回給主程序,結束本次絡筒機空管檢測實時處理算法。當P1值為0xffff情況較多時,需觀察空管檢測機構安裝位置是否有偏移或插管式機器人振動幅度過大等情況,并可通過適當增大偏差像素等方法提高本環節儲管紗孔的識別概率。

3)子程序2環節。如圖8(c)所示,與主程序環節、子程序1環節同理,首先設定本環節第k號紗管搜索半徑范圍及霍夫圓點數閾值,當識別到第j號儲管紗孔內所得第k號紗管圓心坐標及半徑,與子程序1環節所得第j號儲管紗孔對應值偏差不超過2個像素時,可判斷該儲管紗孔內存在管紗。由于絡筒生產環節環境復雜,且紗管輪廓特性多變,本環節最多可處理3次,若3次識別均未捕獲管紗,可有選擇性采用輔助程序進行識別,循環9次,完成9個儲管紗孔的實時檢測,并將儲管紗圓盤內空管狀態識別結果反饋給子程序1,進而向上傳遞給主程序。

4)輔助程序環節。本環節利用視覺檢測在顏色識別上的優勢,采用Lab顏色模型對紗管外染料顏色進行識別,當檢測到儲管紗孔內存在顏色庫中存儲的顏色信息時,可認為當前儲管紗孔內存在管紗,并將識別結果反饋給子程序2。此外,一個絡筒車間因所要生產的筒紗種類不同,所采用的管紗種類多樣,導致紗管顏色多變,故當存在新顏色紗管出現時,可進行該顏色的學習,并存入顏色庫中。

3 檢測機構設計

絡筒機車間主要依靠人工巡檢、人工換管紗等方式,保證各錠位絡筒工序的連續作業。近年來,絡筒市場上出現了在各錠位安裝重力傳感器及采用基于工位機操作系統的視覺檢測裝置:前者需安裝大量傳感器,安裝困難,且需要對原絡筒生產線進行適當改造;后者價格昂貴,往往一套攝像頭及工位機系統需要上萬元的價格,且與插管式機器人之間的通信缺乏靈活性。本文結合絡筒機及插管式機器人工作機制,設計集嵌入式控制系統、相機模組于一體的空管檢測機構,并將其固定在豎直機械立柱上,實物如圖9所示。

圖9 實物圖

如圖9所示,此方式具有安裝方便、結構簡單等特點,且無需另外配置工位機系統,成本低。此外,嵌入式系統可按照插管式機器人實際需求進行與其通信方式的定制開發,通信靈活,具體結構框圖如圖10所示。

圖10 嵌入式圖像處理模塊組成結構框圖

本文采用STM32H7系列芯片作為嵌入式圖像處理系統的微控制器,芯片采用ARM Cortex M7內核,最高主頻高達480 MHz,滿足視覺檢測高速運算要求。感光模塊電路內置型號為OV5640感光元件,配合型號為mt9V034的全局快門攝像頭模組,圖像尺寸最大可設置為2 592像素×1 944像素,像素點總個數最大可達5×107個,并對外提供攝像頭接口,實現絡筒機生產線實時生產情況的快速、清晰捕獲。外部中斷電路掛載于STM32H7芯片IO口(輸入輸出口)上,實時捕獲插管式機器人發出外部中斷信息,并將當前儲管紗圓盤內實際空管狀態通過串口通信模塊實時傳輸給插管式機器人。此外,存儲模塊主要由32 MB外置的SDRAM及32 MB外置flash存儲芯片組成,可將視覺檢測過程的原圖、處理后的結果圖、識別結果數據保存在存儲模塊中,便于與插管式機器人調試過程中數據正確性的追溯。

4 實驗測試

4.1 測試準備

檢測機構安裝完成后,在視覺檢測程序(見圖6、8)運行前,首先對相機模組焦距進行微調,使其成像清晰,并按需對紗管顏色進行學習,完善項目所需顏色庫,測試準備階段結果如圖11所示。

圖11 測試準備階段結果

為減少人工安裝過程中的高度誤差及安裝本身的靈活性(攝像頭與儲管紗圓盤間的物距范圍可在70～120 cm之間選擇),本文選擇焦距范圍為2.8～12 mm的專用手動變焦鏡頭,并結合運算速度及成像的清晰度,調試后設置圖像尺寸為720像素×480像素,像素點總個數為345 600個,可滿足視覺檢測效果,調焦結果如圖11(a)所示。圖11(b)為顏色學習后圖11(a)的二進制圖,其中3個白色圓環為管紗學習的像素,即Lab顏色模型中“L”“a”“b”3個參數的閾值區間。

4.2 測試分析

測試準備階段完成后,根據插管式機器人觸發的外部中斷信號對最佳拍攝位置的儲管紗圓盤圖像進行捕獲,并調用空管檢測算法實時運算。為增加檢測結果的可視性,將識別出的儲管紗圓盤、管紗孔、紗管分別用紅色、藍色、綠色輪廓標出,其中1組檢測圖像結果如圖12所示。

圖12 檢測圖像結果

由圖12可知,檢測結果與實際情況吻合,為便于實驗檢測結果的測試分析,本文將儲管紗圓盤、儲管紗孔、管紗的圓心位置及半徑按照空管檢測算法處理結果實時存儲在外置的flash存儲芯片內,將儲管紗圓盤內的紗管反復增減并反復測試,最后將檢測結果進行打印統計。為便于說明,本文以其中1組包含2個紗管情況的測試結果進行闡述。

由開始識別時間及結束識別時間可知,整個識別過程僅耗時160 ms,圖像處理速度在毫秒級,將識別結果數據進行整理,如表1所示。

如表1所示,序號1所得半徑為181像素,代表儲管紗圓盤半徑;序號2～8、序號10、序號12所得半徑為42像素,分別對應儲管紗圓盤內9個儲管紗孔的半徑;序號9、序號11所得半徑依次為7、6像素,分別代表在序號8、序號10儲管紗孔內的紗管半徑,由于管紗在管紗孔內的相對位置及拍攝角度的偏差,所得紗管半徑存在1個像素的偏差,但其不影響空管檢測結果。由表1所得統計數據來看,此儲管紗圓盤內只有2個儲管紗孔存在管紗,與實際情況吻合。

為驗證測試結果的穩定性,本文分別將第1～9號錠位儲管紗圓盤內的第1～9個儲管紗孔內管紗依次取出,其余儲管紗孔內均放置管紗,并分別將第10、11錠位儲管紗圓盤放置為滿管、空管狀態,檢測裝置隨插管機器人做往復檢測,長時間不間斷測試24 h,并將檢測結果實時存儲在外置的flash存儲芯片內,經過統計分析發現數據具有周期性,為便于顯示,隨機抽取100組順序數據進行統計分析,結果如圖13所示。

圖13 100組隨機順序數據統計結果圖

圖13中:X軸代表100組數據的序號;Y軸代表儲管紗圓盤的9個孔內有無管紗的檢測結果,為便于顯示,其中0、2、4、6、8、10、12、14、16依次代表孔1～9檢測結果為無管紗,1、3、5、7、9、11、13、15、17依次代表孔1～9檢測結果為有管紗。以孔1代表曲線為例進行分析,其孔內檢測結果以01111111101011111111周期變換。由于檢測機構隨插管式機器人做循環往復動作,檢測結果前11位01111111101分別代表插管式機器人從錠位1正向運動至錠位10時,孔位1內的空管檢測情況;檢測結果后9位011111111分別代表插管式機器人從錠位10反向運動至錠位2時,孔位1內的空管檢測情況。由于錠位1、錠位11在本文實驗平臺兩端,故插管式機器人從錠位1至錠位11一個循環周期中,在錠位1、錠位11處只檢測一次,所得檢測結果符合實際情況。同理,孔2～9所在曲線運動情況與實際情況均吻合,滿足插管式機器人對空管檢測機構穩定性及準確性的要求。

5 結束語

本文以智能化技術升級現階段絡筒機生產線主要以人工往復巡視、人工換管紗等傳統生產模式為目標,結合絡筒機及插管式機器人工作機制,提出了基于圖像識別的空管狀態檢測方法,并設計了集嵌入式控制系統、相機模組于一體的空管檢測機構,實現了插管式機器人在絡筒機生產線循環往復運動中各錠位儲管紗圓盤內的空管檢測。同時搭建了實驗測試平臺,以9孔儲管紗圓盤為例,通過對設置的11組錠位,24 h長時間不間斷檢測及統計分析可得,該檢測結構滿足插管式機器人對空管檢測算法穩定性及準確性的要求。此外,該檢測機構已在浙江某紡織企業插管式機器人上進行試點測試,實際應用情況表明:本文系統圖像處理速度快,識別精度及穩定性高,便于安裝且成本低,滿足插管式機器人對紗庫式自動絡筒機儲管紗圓盤空管檢測要求。