面向軟面料自主抓取的機器人視覺檢測與定位

(1.廣州民航職業技術學院 航空港管理學院，廣州 510403; 2.廣東食品藥品職業學院 化妝品與藝術學院，廣州 510520)

0 引言

隨著國家人口紅利的消失，制造業面臨著高額人力成本和用工短缺的問題日益突出。另一方面，高速度、高精度、多樣化和個性化的生產需求，對工業智能化程度的要求越來越高。傳統的服裝行業是典型的勞動密集型產業，用工成本在企業的運營成本中占比極高，讓諸多服裝生產企業不堪重負，因此企業對服裝智能制造寄予厚望。

雖然現代服裝業的個性化和定制化發展趨勢對員工的技能和經驗水平要求越來越高，但是“打板、裁剪、貼片和縫制”等重復性工序仍然是服裝生產的必要環節，其中，裁剪和縫制是核心工序。在傳統生產方式中，這些工序是對人力需求比較密集的環節，為“機器換人”提供了良好的契機。例如：裁剪、縫制等工序的上、下料操作均由人工完成，生產效率低下。若引入服裝機器人替代人工進行軟面料的自主上下料，必將極大地提高服裝流水線的生產效率和節約用工成本。

目前圍繞服裝智能生產的研究內容主要集中在服裝的尺寸測量、模板縫紉及裁剪、分割領域。比如：文獻[1-5]提出了基于機器視覺的服裝尺寸自動測量方法，解決了傳統人工測量帶來的誤差率高、成本高和效率低等問題；文獻[6-7]提出了基于機器識別的自動服裝模板縫紉技術，提高了服裝作業的流水化、標準化和高效化，降低了服裝廠對熟練工的依賴性；文獻[8]提出了服飾圖案的機器視覺自動尋邊切割技術，實現了對異形滿版服飾圖案的自動尋邊切割；文獻[9]對服裝布料自動裁剪機器人系統進行了研究,分析了自動裁剪的各種技術；文獻[10]介紹了一種面向服裝領域的模特機器人的設計方法，有效地實現了模特機器人與人體的匹配；文獻[11]提出了一種基于改進遺傳算法的服裝自動縫紉最優路徑選擇算法，降低了不規則服裝存在的路徑沖突概率。

在目標的識別與抓取操作方面，當前已有較多的文獻成果，但是大多是以剛性物體為研究對象。針對柔軟的服裝面料進行視覺檢測與定位、進而引導機器人抓取和分揀的研究尚未發現。由于服裝面料過于柔軟的特性，給識別、定位以及抓取都帶來了較大的難度。針對上述問題，本文提出一種基于雙重濾波的自適應邊緣定位方法，該方法不僅具有良好的有效性，而且針對不同形態的軟面料具有良好的魯棒性。本文的貢獻如下：

(1)首次將工業機器人上下料系統引入服裝制造行業，對提升服裝智能化生產水平具有良好的應用價值。

(2)提出一種基于雙重濾波的自適應邊緣定位方法，解決了由于軟面料由于毛刺、褶皺、折疊、模糊等因素造成的定位不準確的問題，為服裝機器人自主抓取與分揀操作提供了應用依據。

1 軟面料檢測與定位

本節將詳細闡述軟面料邊緣定位方法的實現過程。首先描述了服裝機器人自主上下料系統的工作場景，并對服裝軟面料的毛刺、褶皺、折疊、模糊等不同形態進行了定量和定性分析，在此基礎上，提出了基于雙重濾波的自適應邊緣定位方法，方法的具體實現過程如下所述。

1.1 服裝機器人自主上下料系統

上、下料操作存在于服裝制造各工序中，新興工業時代，上下料機器人能滿足“快速/大批量加工節拍”、“節省人力成本”、“提高生產效率”等要求，成為越來越多工廠的理想選擇。上下料機器人系統具有高效率和高穩定性,結構簡單更易于維護,可以滿足不同種類產品的生產,對用戶來說,可以很快進行產品結構的調整和擴大產能,并且可以大大降低產業工人的勞動強度。

服裝機器人自主上下料系統代替人工實現各工序中上、下料操作。由本系統將軟面料從AGV小車搬運至傳送帶，軟面料完成加工后，再由本系統將軟面料從傳送帶搬運至AGV小車。服裝機器人自主上下料系統如圖1所示。

圖1 服裝機器人上下料系統工作示意圖

服裝機器人自主上下料系統需要解決兩個核心問題：軟面料的視覺定位和抓取，本文重點研究軟面料視覺定位問題。

1.2 基于雙重濾波的自適應邊緣定位方法

本節首先闡述基于雙重濾波的自適應邊緣定位方法過程：(1)降噪處理。采用高斯濾波+形態學濾波對灰度圖像進行平滑操作，有效對軟面料毛刺、模糊等噪聲進行了降噪；(2)邊緣提取。為了使方法能夠自動適應不同灰度圖像，采用基于邊緣梯度信息自動計算高低閾值取代傳統Canny算子的固定閾值并完成邊緣檢測；為提高圖像邊緣的連續性，對邊緣檢測的圖像再次使用形態學濾波并提取外邊緣輪廓；最后結合攝像機標定結果，實現軟面料邊緣像素坐標系到三維空間坐標的轉換。基于雙重濾波的自適應邊緣定位方法的實現流程如圖2所示。

圖2 基于雙重濾波的自適應邊緣定位流程

1.2.1 降噪處理

由于服裝軟面料的特殊性，在加工軟面料過程中易出現毛刺、褶皺、折疊等形態噪聲，本方法采用高斯濾波對褶皺、折疊噪聲進行降噪。高斯濾波是一種線性平滑濾波，適用于消除高斯噪聲，廣泛應用于圖像處理的降噪過程，即高斯濾波對整幅圖像進行加權平均，每一個像素點的值，都由其本身和鄰域內的其他像素值經過加權平均后得到。高斯濾波的具體操作：用一個模板(或稱卷積、掩模)掃描圖像中的每一個像素，用模板確定的鄰域內像素的加權平均灰度值去替代模板中心像素點的值。高斯濾波的定義如式(1)所示。

(1)

其中：g(x,y)為高斯濾波圖像，A為幅值，(x0,y0)模板中心點坐標(實驗中采用13×13模板)，σx,σy為分別為x、y方向上的方差。

軟面料的邊緣毛刺易導致檢測的圖像邊緣不連續，本方法采用形態學濾波對毛刺噪聲進行降噪，以提高邊緣檢測的擬合度。形態學濾波是由一組形態學的代數運算子組成的，它的基本運算有4個：膨脹、腐蝕、開運算和閉運算，它們在二值圖像和灰度圖像中各有特點。基于這些基本運算還可推導和組合成各種數學形態學實用算法，用它們可以進行圖像形狀和結構的分析及處理，包括圖像分割、特征抽取、邊緣檢測、 圖像濾波、圖像增強和恢復等。

1.2.2 邊緣提取

邊緣是指周圍像素灰度有階躍變化或屋頂變化的那些像素的集合。邊緣檢測主要是灰度變化的度量、檢測和定位。有很多種不同的邊緣檢測方法，同一種方法使用的濾波器也不盡相同。邊緣檢測的基本思想：(1)利用邊緣增強算子，突出圖像中的局部邊緣，(2)定義象素的“邊緣強度”，通過設置閾值的方法提取邊緣點集。常用的邊緣檢測算子有微分算子、拉普拉斯高斯算子和canny算子。Canny邊緣檢測是從不同視覺對象中提取有用的結構信息并大大減少要處理的數據量的一種技術，是目前應用最為廣泛的邊緣檢測算法。

服裝軟面料的顏色、紋理豐富多樣，采用傳統的固定閾值Canny算子進行邊緣檢測難以自適應于不同顏色、紋理軟面料圖像。本方法采用一種基于Canny算子的自適應邊緣檢測方法，方法首先將整幅圖像分割為若干子圖像，并計算各子圖像的邊緣梯度信息，然后結合全局邊緣梯度特征信息自適應地生成動態閾值，提高了邊緣檢測的自動化程度，其計算過程如式(2)、(3)所示。

THigh=(1-U)TH+UTh

(2)

TLow=(1-U)TL+UTl

(3)

其中：TH和Th為整幅圖像的全局高、低閾值，TL和Tl為子圖像的局部高、低閾值，U為閾值調整率(實驗中U=0.3)，THigh和TLow為最終確定的高、低閾值。

通過自適應閾值Canny算子對圖像完成邊緣檢測后，根據邊緣輪廓面積大小篩選，保留最大面積的邊緣輪廓，完成圖像外邊緣提取。

1.2.3 攝像機標定與邊緣定位

在邊緣提取的基礎上，邊緣定位過程將圖像邊緣像素坐標轉換成三維空間坐標，以便機器人能夠準確抓取目標對象。邊緣定位主要包括邊緣坐標提取、攝像機標定和坐標轉換。

(1)邊緣坐標提取。本方法通過獲取圖像邊緣的輪廓矩信息，計算軟面料邊緣圖像的質心坐標，并以該質心坐標代表服裝軟面料的位置。輪廓是一個很好的圖像目標的外部特征，這種特征對于我們進行圖像分析，目標識別和理解等更深層次的處理都有很重要的意義。輪廓提取指提取圖像中的對象邊界，更偏向于關注上層語義對象，它會得到每一個輪廓并以點向量方式存儲，除此也得到一個圖像的拓撲信息，即一個輪廓的后一個輪廓、前一個輪廓、父輪廓和內嵌輪廓的索引編號。在提取到目標對象的輪廓后，以包含該輪廓的最大外切矩形即為相應的輪廓矩。

(2)攝像機標定。本方法采用兩步標定法進行攝像機標定。兩步法是基于徑向校正約束(RAC. Radial Alignment Constraint)的標定法，先利用直接線性變換方法或透視投影變換矩陣求解攝像機參數，然后以求得的參數作為初始值，考慮攝像機畸變因素，利用非線性優化方法進一步提高標定的精確度。基于徑向校正約束(RAC)的兩步標定法的第一步是用最小二乘法求解線性方程組，得出攝像機外部參數；第二步求解攝像機內部參數。

相機標定采用角點數為6×4、方格尺寸大小為20×20 mm的黑白棋盤格作為標定模板，攝像機標定結果如表1所示。其中，fu、fv為相機的焦距，u0、v0為相機成像原點，R、T分別為旋轉矩陣和平移矩陣。

根據式(4)進行矩陣變換、計算后，得到軟面料邊緣像素點坐標(u，v)對應的三維空間坐標(Xw，Yw，Zw)。

(4)

2 實驗驗證

2.1 實驗平臺及數據集

本實驗采用丹麥Universal Robots公司研發的UR3機器人+拓德公司生產的末端執行器作為研究平臺。Universal Robots生產的工業機器人手臂一向以編程的簡易性、以及與人類一起工作的協作性和安全可靠性享譽業內。隨著UR3的推出，Universal Robots將其獨特的技術擴展到了更多的應用領域，同時可立即受益于機器人裝配和生產自動化的企業的數量和類型也大大增加。這樣，該公司也大大拓寬了其目標市場范圍，它們易于使用、性能卓越、價格實惠，且無需安全防護即可與人們近距離一起工作，每個人都能從中獲益。

一臺高清工業攝像機固定在上方，攝像視野涵蓋UR3機器人、布料及運輸布料的工具車。在服裝生產過程中，純白色、無紋理布料使用的非常少，因此，在實驗過程中，為增加布料和背景的區分度、有利于布料圖像邊緣提取，放置布料的平面均為純白色。

為驗證基于雙重濾波的自適應邊緣定位方法的有效性和魯棒性，本實驗采用了兩個數據集：(1)數據集I來源于佛山某知名服裝工廠隨機拍攝1000幅布料圖像(格式：jpg，分辨率：1024像素×768像素，以如圖3所示的3幅圖像為例)，它們在大小、形狀、顏色、紋理等方面都不盡相同，用于測試方法的有效性和魯棒性。(2)數據集II來源于人工實地挑選的一批帶有毛刺、褶皺、重疊和模糊等表征的布料，用于進一步測試方法的魯棒性，如圖4所示。

圖3 數據集I：不同大小、形狀、顏色、紋理的布料

圖4 數據集II：同一布料的4種形態

數據集I將用于測試利用基于雙重濾波的自適應邊緣定位方法檢測與人工檢測的吻合度，以驗證該方法的有效性和準確率。準確率定義為檢測得到邊緣輪廓和對應版型邊緣輪廓的相似度，如式(5)所示，邊緣檢測準確率≥96%視為有效檢測，以質心坐標代表軟面料定位。數據集II將用于進一步檢測該方法的有效性及魯棒性。

(5)

2.2 有效性驗證

針對數據集I，利用本文提出的方法進行邊緣檢測、定位，然后通過人工檢測評判本方法的有效性和準確率。實驗參數為：高斯濾波內核大小13×13，形態學濾波卷積核的大小5×5，Canny算子中的Sobel孔徑大小為3、雙閾值自動確定。方法分別對圖3(a)、圖3(b)、圖3(c)進行邊緣檢測、定位，運行效果如圖6所示，準確率如表2所示。

圖5 數據集I的邊緣檢測、定位

表2 數據集I的準確率

定性分析：以上實驗驗證結果表明針對不同大小、形狀、顏色、紋理的布料，應用本文提出的方法進行檢測的準確率均超過了96%，說明本文提出的邊緣定位方法和人工檢測結果高度吻合，能夠準確提取、定位服裝機器人所采集布料圖像。

2.3 魯棒性驗證

針對數據集II，進一步驗證方法的有效性及魯棒性。實驗參數與上小節相同。方法分別對圖5所示的毛刺、褶皺、折疊及模糊形態進行邊緣檢測、定位，效果如圖6所示，準確率如表3所示。

圖6 4種形態的邊緣檢測、定位

表3 數據集II的準確率

定性分析：以上實驗驗證說明，針對毛刺、褶皺、折疊及模糊4種常見形態，應用本文提出的邊緣檢測、定位方法進行檢測的準確率也超過了96%，說明該方法具有良好的魯棒性。另外，毛刺對邊緣提取的影響較大，該方法能較好的解決這一問題。

2.4 方法效果對比

將本文方法(Proposal)和Sobel、Canny算法對數據集I和數據集II進行邊緣檢測、定位效果對比實驗，對于圖像邊緣較平滑、形狀較規則的圖像，Sobel、Canny算法邊緣定位的準確率比較高，但仍然低于96%。另外，Sobel和Canny算法針對布料4種不同形態的邊緣定位的效果很差，尤其是針對毛刺形態，說明Sobel、Canny算法的魯棒性很差。通過和Sobel、Canny算法對數據集I和數據集II邊緣定位的對比，進一步證明了本文方法的有效性和魯棒性。

3 結束語

本文以UR3機器人為研究平臺對“服裝機器人自主上下料系統的軟面料視覺定位問題”進行了研究，提出了一種基于雙重濾波的自適應邊緣定位方法。該方法針對不同顏色、紋理的軟面料，能夠準確實現邊緣定位，并對軟面料的毛刺、褶皺、折疊和模糊這4種常見形態具有很好的魯棒性，為引導機械手抓取提供了有效的計算依據。下一步將該方法集成到機器人自主上下料系統中，對整個系統的工作性能做全面測試和評估。