基于VisionPro的顏色識別分類系統研究

李東升, 陳偉, 秦付軍

（西華大學機械工程學院, 成都610039）

0 引言

物體的顏色是其最直觀、最鮮明的特征。在工業生產制造中，都需要以顏色進行產品的識別與分類，例如對蔬果分揀、藥粒分類。目前一些中小型的工廠或者制藥企業，依然采用人工方式進行識別與分類，工作效率低下，而且工場人力成本高[1]。工業機器人誕生以來，其應用和種類不斷得到擴展，分揀機器人在工業制造領域獲得了廣泛應用，結合機器視覺技術，機器視覺系統應用到自動化行業，極大地提高了生產效率。通過視覺技術實現精確識別，引導機械手分類抓取具有更高的靈活度和精度。

任娟娟等[2]設計了一種基于機器視覺的物料識別、定位、抓取系統。梁赟[3]開發了結合深度學習的機器視覺在線識別與定位算法。姚應方等[4]通過機器視覺技術，利用顏色空間的變換提取了八角的顏色特征，利用極坐標變換、傅里葉變換方法提取了果形特征，探索了八角外觀品質檢測理論。

本文研究基于VisionPro視覺軟件，聯合Visual Studio開發環境、C#編程語言，選用視覺元件和機械手等硬件，搭建機器視覺系統，代替人工識別、分類不同顏色工件，減少因人工疲勞而導致誤判，可以有效降低生產成本。

1 機器視覺系統方案

1.1 硬件系統組成

選用四軸直角坐標機器人搭建機臺，在此平臺基礎上搭建視覺識別分類系統。運動控制系統選用匯川PLC，型號為H3u-3232-MT搭建運動控制模組。視覺識別系統選用相機型號為OPT-CC130-GM-04，數據接口為Gige，光學接口為C口，分辨率為1280×1024。配置計算機運行環境，以太網巨型幀傳輸大批量的圖像數據。相機鏡頭選用OPT-C2514-2M，焦距為25 mm，工作距離大于180 mm，最大視場為20.1°×15.1°，鏡頭接口為C口，光圈（F/#）為F1.4～F16。光源選用環形光源，低角度打光。搭建圖1所示視覺識別分類系統。

圖1 視覺識別分類系統

1.2 識別分類流程

在自動識別分類之前，通過機器人示教器，對四軸機器手進行示教，將工作點位的位置信息保存到PLC當中。示教時一般采用反向示教，可以提高示教點位的精度。反向示教流程如圖2所示。

圖2 示教流程圖

自動識別分類流程如圖3所示，在示教點A處，相機第一次拍照，視覺系統識別色塊顏色、形狀及角度信息；相機拍照進行角度補償；軸系再次移動到示教點B處，視覺系統識別并定位與色塊信息對應的放料位置，獲取放料點；機械手移動到放料點位，將色塊放入指定的栽盤穴位，最后完成分類，相機拍照檢測識別分類結果是否正確。

圖3 自動識別分類流程圖

2 視覺識別分類系統

對顏色自動識別分類技術進行了研究，設計了一種基于機器視覺的自動化顏色識別與分類系統，包括硬件選型及參數設置、相機通信及標定、視覺定位。通過康耐視內置GigeVision工具助手設置相機的IP地址，調整相機參數、光源亮度、鏡頭的光圈和聚焦環，獲取高對比度的圖像。棋盤格標定工具獲取相機參數。通過九點標定，建立圖像坐標系與機器人坐標系的坐標變換關系。通過VisionPro視覺工具，編寫高級腳本，識別物體顏色的視覺程序。視覺顏色識別分類技術系統方案如圖4所示。

圖4 視覺識別分類技術系統方案

3 相機標定

圖5所示為世界坐標系、機器人基坐標系、機械手坐標系、工件坐標系、相機坐標系之間的關系。

圖5 視覺系統坐標關系圖

3.1 相機內參標定

由于透鏡制造精度及組裝工藝的偏差導致原始圖像的失真，造成相機和成像面切向畸變[5]。透鏡本身與相機傳感器平面（成像平面）或圖像平面不平行而產生徑向畸變。本文使用VisionPro視覺軟件中的棋盤格標定工具來標定相機內參，校正切向和徑向畸變，校正結果如圖6所示。校正后的各對應點的RMS均方差約為0.337。

圖6 相機棋盤格標定結果

3.2 相機外參標定

相機外參采用九點標定法，獲得圖像坐標系與機器人的運動坐標系之間的映射關系。實驗使用的機器人是四軸直角坐標系機械手，相機不涉及深度信息，使用Visionpro軟件視覺工具可以簡化標定方法，只需標定出機器人的定位精度與運動方向。

由于機械誤差及組裝工藝的不同導致機器人硬件特性差異，本文對機器人的運動控制模組進行了校正。使用Cog Calib N Point To N Point Tool，通過示教器控制軸系依次運動9個點，同時運行視覺程序，抓取圖像中的Mark點，將9個Mark點的坐標與機械手的坐標系建立坐標變換矩陣[6-8]。其中，相機的圖像坐標系標定方向與運動控制模組的運動方向相反。相機標定時記錄的9組點位如表1所示。其中未校正點坐標基于圖像坐標系，已校正點坐標基于機器人坐標系。

表1 九點標定的坐標數據

4 角度補償

由于色塊在栽盤中隨機擺放，分類放料時需要校正角度和位置補償。首先拍照獲取色塊的位置及工位角度。相機拍照完成后，視覺系統計算偏移角度，機械手第四關節進行角度補償。

5 實驗結果及改進

5.1 實驗結果

為驗證視覺識別分類系統的有效性，以色塊為實驗對象，嘗試不同位置和角度來進行實驗。進行3輪實驗，總計300次顏色識別分類，實驗結果如表2所示。

表2 實驗驗證數據

實驗結果數據表明，第一次實驗由于系統誤差及環境干擾，正確識別率為98.3%，識別實驗有較小的誤判；同時在補償角度過大的情況下，由于實際旋轉中心與色塊中心的偏差，會引入位姿差，導致分類放料時色塊碰撞到栽盤穴位邊緣，分類擺放失敗。

5.2 實驗改進

針對補償角度過大的情況，在第二工位下放置相機進行二次定位。下相機拍照，獲取色塊的水平和垂直位置偏移量。通過下相機二次拍照獲取到的旋轉中心到實際旋轉中心的垂直分量Δy和水平分量Δx與計算旋轉引入位姿差校正算法得到的垂直和水平分量相同，如圖7所示。

圖7 旋轉引入位姿差位置偏移量

采用下相機二次拍照定位的方式可以在一定范圍內減小吸取時旋轉中心同色塊中心不在同一點所產生的誤差[9]。

其中實驗1、2為不使用下相機二次定位的情況，實驗3為使用下相機的情況。表3實驗結果數據表明，引入下相機進行二次定位可以提高工件分類擺放的準確率。不使用下相機定位時，在補償角度過大的情況下會導致位姿差偏移，分類擺放時色塊碰撞到栽盤穴位邊緣，造成錯誤擺放。通過下相機拍照進行二次定位，使得分類擺放的準確率得到提升。

6 結論

實驗基于Visual Studio 軟件，通過C#和VisionPro視覺軟件聯合編程、以太網與工控機通信，控制PLC進行運動控制，視覺系統視野為60 mm×40 mm的情況下，單相素分辨率達到0.125 mm/Pixel。為滿足系統的穩定性，使用3個像素寬度表示0.125 mm，組裝硬件搭建機器視覺平臺，設計了一種基于機器視覺技術的自動顏色識別與分類系統。由表2實驗數據可知，光照干擾及一些噪聲使實驗出現錯誤識別，后續針對錯誤進行改進后，本系統的顏色識別率達到98.3% 以上，由表3實驗數據可知，引入下相機二次定位，分類系統具有更好的穩定性、可靠性，可以實現自動分類工作。

表3 實驗驗證數據