多品種分類碼垛視覺識別系統研究

童上高，張 昊，李文藝，董 忠，張志強

(上海沃迪自動化裝備股份有限公司，上海 201506)

多品種分類碼垛視覺識別系統研究

童上高，張 昊，李文藝，董 忠，張志強

(上海沃迪自動化裝備股份有限公司，上海 201506)

0 引言

碼垛機器人是工業機器人的重要應用領域，機器人碼垛技術是物流自動化技術領域的一門新興技術。隨著企業的集團化，生產能力的規模化，對碼垛機器人的工作能力的要求不斷提高。現代企業生產正在向著多品種少批量的方向發展，很多企業不能夠承擔一線一產品的代價，往往需要一線多產品的生產線，這就要求作為后處理設備的碼垛機器人，必須具有處理多種產品的能力。另外，隨著大型物資批發配送中心的出現，需要為成千上萬的用戶按定單配送產品，這就要求機器人具有多品種碼垛的能力。

采用目前通用的碼垛機器人對多種類包裝袋進行碼垛時存在一個普遍的難點問題，對不同包裝袋類型的判斷與識別。針對這個問題，本文設計采用機器視覺系統進行來包識別，而碼垛機器人智能控制器可以根據識別結果完成將包裝袋堆碼到的正確的托盤上。這種方案一方面可以不用增加現有的機械設備，節約成本；另一方面可以節約人力資源，提高碼放效率。之所以選機器視覺系統，不僅是因為它比光學和其他傳感器具有更好的適應性，另外視覺系統使自動機器具有了多樣性、靈活性和可重組性。當需要改變生產過程時，對機器視覺系統來說“工具更換”僅僅是軟件中更換圖象識別的模板，而非重新設計升級硬件。當生產線重組之后，機器視覺系統也可以被保留下來而繼續使用。

1 系統組成方案

1.1 碼垛系統布局

本系統采用一對多的碼垛形式，由一臺碼垛機器人從一條輸送線上同時向若干個托盤碼垛。托盤沿兩側并排分布。這種分布空間利用率最高，也方便叉車的進出作業。碼垛機器人抓起來料包裝袋，將包裝袋送往相應的托盤上。碼垛機器人的空間布局示意圖如圖1所示。

圖1 碼垛機器人空間作業布局圖

如圖1所示，來料輸送線是多產品混合線，隨機輸送1～4種不同的產品。碼垛機器人位于作業空間中心，緊接著輸送線。從生產線過來的包裝袋，由安裝在生產線預備抓取區的攝像頭對其圖像進行拍攝，送往視覺識別系統進行特征提取，判別包裝袋種類類別。然后，機器人智能控制器根據識別的結果，控制機器人將抓取區的來包抓起，送往相應品類包裝袋的托盤上，完成這一包的碼垛過程。在機器人本體兩側，安放有四個托盤，分別用于不同包裝袋的分類碼放。

沃迪公司自產的碼垛機器人及其智能控制器具有很強的邏輯運算能力，依靠識別信號可以實現一對多、多對一、多對多的碼垛方式。

1.2 視覺系統組成

機器視覺系統的總體結構大體上分為兩種：一種是傳統的由光源、光學系統、CCD/CMOS相機、計算機、圖像處理單元(或圖像采集卡)，機器視覺處理軟件、人機接口，通訊接口等設備組成的機器視覺系統結構，如圖2所示；另外一種是基于嵌入式技術的“聰明相機”(Smart Camera)。嵌入式視覺系統雖然體積小、重量輕，但開發難度大，抗干擾蝕變能力差，工業現場的適應性較低。而對于企業來說，應就地取材，盡量利用現有現場設備的接口[1,2]。

本應用選擇了專業的歐姆龍FZ4視覺傳感系統[3]，這是一款集計算機、圖像采集卡、CCD／CMOS為一體的機器視覺系統結構。視覺傳感系統與碼垛機器人控制器通過工業以太網連接，如圖3所示。

圖2 機器視覺系統

圖3 FZ4視覺傳感系統與機器人通信

2 視覺識別過程

FZ4系統對處理流程的并行化執行自動，以根據處理器負載實現對任務的最佳分配，從而獲得同類中最快處理速度，對于高分辨圖像，其效果尤為明顯。FZ4系統本身提供快速處理設計用無程序流程菜單，整個操作設定過程非常簡便，其內容大致分為以下三個步驟。

2.1 相機標定

硬件系統中尋找圖像圖形的技術是形成圖像傳感的基礎，即使對于重疊圖像、傾斜和變形，也要確保識別圖像圖形的精度以及處理高分辨率圖像的速度。為確保結果可靠首先要對相機進行標定，在圖像測量過程以及機器視覺應用中，為確定空間物體表面某點的三維幾何位置與其在圖像中對應點之間的相互關系，必須建立相機成像的幾何模型，這些幾何模型參數就是相機參數，求解參數的過程就稱之為相機標定。根據系統要求，使用棋盤格進行相機標定，首先準備了一張28cm×28cm的棋盤格，從十個不同位置獲取了十個不同的圖像，然后從棋盤格上獲取每一個角點，之后使用基于校正誤差的相機標定算法[4]獲取相機的初始參數矩陣，計算得到十張圖像的中心點并以此進行矯正得到最終的相機參數。

2.2 圖像去噪與分割

從FZ4系統得到原始圖像后，由于相機本身或者隨機噪點的影響，圖像是不能直接進行識別或者特征提取的。因此需要進行預處理，此處的視覺處理主要有兩個目的：一是進行圖像修整，去除雜點，使圖像數據更加有效。二是進行圖像分割，將不同圖案的包裝袋分割為不同的分塊，這樣一方面提高了速度，另一方面節省了存儲空間，有利于后續的特征計算和識別。

噪點是鏡頭的畸變導致輸入圖像中出現與事實不符的像素點，需要進行修正。透鏡通常會造成原始圖像扭曲。例如，在場景中的直線常常會在原始圖像中彎曲，這種效應會在圖像的邊角是特別明顯，校正后的圖像更能反映真實的圖案。實驗中我們使用低通濾波器將圖像中的噪點去除[5]。

去除噪點和雜點之后需要對圖像進行分割，分割之前首先對圖像進行了邊緣檢測，邊緣檢測是一個可選的功能，可以使圖像中像素的絕對值對亮度的變化不是很敏感。在相機模塊中相機具有自動增益控制，如果相機的自動增益變化不一致，圖像之間的絕對亮度可能是不一樣的，這使得后續處理步驟在強度變化時很難保持不變。因此，我們考慮到照明條件的變化，使用邊緣檢測功能。檢測出邊緣之后我們采用歐氏距離作為初始分割的依據，然后使用RANSAC算法進行詳細分割。

2.3 特征提取與識別

在相機標定，圖像預處理之后便得到了分割后的圖像分塊，每個分塊有不同的特征，包括邊界，中心像素值和顏色信息等。使用這些信息我們便可以將不同分塊的特征進行提取，識別后標記為不同的圖案[6]。

實驗中我們首先提取了不同包裝袋標準圖案的SIFT（Scale-invariant feature transform）特征作為標準特征[7]，為提高識別準確率實驗中我們按照包裝袋圖案大小將其分為三至四個部分，每一部分分別提取相應SIFT特征，之后將這些特征組合成一個特征組。當我們得到分割后的圖像分塊之后，分別對不同的分塊也計算其SIFT特征組，只有當兩個組里每個分塊的特征吻合度分別達到設定值時，才將其作為成功識別，這樣避免了誤識別現象。

SIFT特征是一種新的圖像特征提取算法。這種方法將圖像轉換成為一個大型的局部特征性向量集合，當圖像平移、旋轉或者尺度改變時，每一個局部特征都是不變的，當進行3D投影或者圖像模糊處理時只有微小的改變。這種特征非常適合與包裝袋圖案檢測，當包裝袋位姿改變或者有褶皺時，仍然能夠保證準確識別。

處理的過程如圖4所示，圖片依次展示：原始圖像 -＞ 預處理 -＞ 分割特征提取 -＞ 特征匹配 -＞ 識別結果。

圖4 視覺處理過程

3 碼垛實驗

在完成視覺系統的設定后，與碼垛機器人系統整合，進行了實際碼垛實驗。所選擇的三種不同品種的包裝袋如圖5所示，圖中可以看到三種產品包裝外觀的相似度是比較高的。

圖5 三種碼垛產品

三種品種的包裝袋樣品每種120包，循環碼垛動作實驗共計3000包次以上，包裝袋品種的識別正確率達到100%，每次識別處理時間不大于100ms，與碼垛機器人的機械動作相比可以忽略不計。實驗結果表明，本系統完全能夠滿足工程應用的要求。

4 結束語

針對多品種包裝袋的識別問題，本文選取了幾種不同類型的包裝袋模板，采用FZ4視覺系統進行識別。利用系統提供的快速處理設計用無程序流程菜單對系統進行了設置，包括對相機進行標定，使用低通濾波器對原始圖像進行了去噪，

采用歐氏距離和RANSAC算法結合對圖像進行分割，對得到的每一個分塊提取相應SIFT特征，與包裝袋標準圖案的SIFT進行對比，兩組里每個分塊的特征吻合度分別達到設定值時即認為識別成功。進行了實際的碼垛實驗，實驗結果表明此方案完全可以滿足碼垛機器人進行多品種混合輸送線分揀碼垛的作業需求。

[1]張彥奎. 機器視覺綜述[J].三門峽職業技術學院學報,2010(1)17-20.

[2]孫大文, 吳迪, 何鴻舉, 馮耀澤. 現代光學成像技術在食品品質快速檢測中的應用[J].華南理工大學學報（自然科學版）, 2012(10)59-68.

[3]http://www.fa.omron.com.cn/products/family/3096/.[EB/OL]

[4]喬楊,徐熙平,盧常麗,劉宇龍,王繼源.機器視覺遠距離目標尺寸自動標定測量系統研究[J].兵工學報,2012(6)759-763.

[5]金良海,姚行中,李德華.彩色圖像矢量濾波技術綜述[J].中國圖象圖形學報A.2009(2)243-253.

[6]陳冰,趙亦工,李欣.一種新的寬基線圖像匹配方法[J].西安電子科技大學學報(自然科學版),2011(2),116-123.

[7]杜冬梅,王紅旗,田昆鵬,姜磊.一種改進的快速SURF算法[J],科學技術與工程,2013(5)1350-1353.

Research on visual identif i cation system of robot palletizing with multispecies

TONG Shang-gao, ZHANG Hao, LI Wen-yi, DONG Zhong, ZHANG Zhi-qiang

針對多品種包裝袋的識別問題，本文選取了幾種類型的包裝袋模板，采用視覺系統進行識別。首先使用棋盤格對相機進行了標定，然后使用低通濾波器對原始圖像進行了去噪，采用歐氏距離和RANSAC算法結合對圖像進行分割。完成這些預處理之后，對得到的每一個分塊提取相應SIFT特征，與包裝袋標準圖案的SIFT進行對比，兩個組里每個分塊的特征吻合度分別達到設定值時認為識別成功。我們針對三種不同的包裝袋產品進行實驗，用自產的碼垛機器人進行了分揀碼垛，準確率達到100%，完全可以滿足實際生產需求。

碼垛機器人；視覺識別；多品種；圖像處理

童上高（1972 -），男，上海人，工程師，碩士，研究方向為機器人技術。

TP27

A

1009-0134(2013)06(上)-0112-03

10.3969/j.issn.1009-0134.2013.06(上).34

2013-04-12

國家863計劃項目（2011AA04A105）