基于機器視覺的機器人輔助折彎離線自動編程系統的研究*

付澤民 王佳煒 張鎖懷

(上海應用技術大學機械工程學院，上海 201418)

金屬材料的折彎是鈑金加工中的重要加工方式，折彎機作為折彎加工設備，是板料成形行業的重要技術載體。由于操作簡單、工藝通用性好，在鈑金加工行業中應用廣泛[1]。目前付澤民等采用人工劃線輔助折彎，在馬鞍形折彎領域取得了一定的成果[2]。但是馬鞍形折彎工藝要求高，模型復雜且回彈難控制[3]，人工劃線方法效率低、精度低，對工人技術水平要求高，工作強度大且存在安全隱患。這種加工模式在加工速度和成形質量方面都影響了馬鞍形板材折彎的研究。

機器人及自動化裝備成本降低、性能提升，提高制造業自動化水平，提高了產品質量和生產效率，改善勞動條件。現今機器人廣泛替代人工進行焊接、沖壓、噴涂、醫療等復雜作業[4-5]。國內外汽車生產線基本全部使用機器人完成焊接、噴涂等工作。Ficarra V等在內科手術領域對機器人進行了研究[6]。國外Zanella A等在機器人輔助折彎領域也進行了研究[7]。但是機器人示教編程周期長，示教精度低，難實現復雜軌跡運動與精確定位[8]，直接影響著馬鞍形折彎的效率和精度，不能滿足折彎的要求。

針對上述問題，本文研發了一套基于機器視覺的機器人輔助折彎離線自動編程系統。機器人輔助折彎提高馬鞍形折彎的精度，立體視提升機器人的自動化智能化[9-10]。離線編程加快機器人編程進程，提高機器人效率。當板材位置及折彎參數種類較多且變化頻繁時，方便實現機器人程序修改與優化，易實現機器人輔助折彎任務的轉換，同時減輕勞動強度，保證操作安全。

1 輔助折彎機器人離線自動編程系統

1.1 系統硬件

機器人輔助折彎離線自動編程系統主要由折彎系統、機器人系統(及數字控制系統)、視覺系統和計算機系統組成。系統硬件如圖1所示，包括折彎設備；FANUC M-20iA六自由度關節型機器人及控制柜，示教盒；雙目立體視覺；Dell Precision M4800移動工作站。

1.2 系統工作原理

機器人的運動軌跡、板材夾取參數和輔助漸進折彎工序是由計算機的離線編程指令提供的。工作原理如圖2所示。首先利用視覺系統對板材的初始位置進行圖像采集，獲取板材的圖像。經過圖像預處理、ROI區域的選取，圖像閾值分割與圖像信息采集等得到板材的空間坐標，并提取出板材中心點數據及折彎起始點數據信息。然后根據加工工藝參數進行路徑規劃，通過輸入折彎工藝參數數據設置機器人漸進夾取板材路徑數據，離線自動生成機器人輔助折彎的程序。在計算機上對生成的程序進行仿真和優化。最后將優化調整后的程序傳輸給機器人控制系統，控制帶吸附夾具(末端執行器)的機器人按規劃的路徑輔助漸進折彎，最終完成折彎加工。

2 機器人輔助折彎系統模塊

系統主要包含6個功能模塊：機器人視覺采集、空間定位、路線規劃、自動編程、仿真優化和通信模塊。

2.1 機器人視覺采集

2.1.1 輔助折彎機器人視覺系統

視覺采用Point Grey-Bumblebee XB3 BBX3-1352C雙目立體視覺，如圖3所示。分辨率1280×960，幀頻16FPS，像素尺寸為3.75 μm× 3.75 μm，基線距24cm，配合1394B圖像采集卡，光源采用LED光源。視覺系統采用Eye-to-hand安裝方式固定在折彎機左上方，Eye-to-hand安裝方式，圖像傳感器固定安裝而不隨機器人手部動作，圖像噪聲變化不大，采集處理比較容易。

2.1.2 雙目立體視覺原理

雙目立體視覺基于視差原理進行測量，只要己知兩攝像機間的位置關系，就可以測量兩攝像機公共視場內物體的三維尺寸以及空間物體特征點的三維坐標。如圖4所示，其中基線距B=兩攝像機的投影中心連線的距離；相機焦距為f。

設兩攝像機在同一時刻觀看空間物體的同一特征點p(xc，yc，zc)分別在“左眼”和“右眼”上獲取了點P的圖像，它們的圖像坐標分別為pleft=(Xleft，Yright)，pright=(Xright，Yright)。

現兩攝像機的圖像在同一個平面上，則特征點P的圖像坐標y坐標相同，即Yleft=Yright=Y，則由三角幾何關系得到：

(1)

則視差為：Disparity=Xleft-Xright。由此可計算出特征點P在相機坐標系下的三維坐標為：

(2)

因此，左相機像面上的任意一點只要能在右相機像面上找到對應的匹配點，就可以確定出該點的三維坐標，如圖5所示。通過立體匹配得到所有點的視差圖像后，經過計算可以確定光條上所有點的深度信息，得到板材的空間信息。

2.1.3 視覺與機器人的標定

手眼關系標定過程中，標定板固定，通過旋轉和移動改變機器人的位置，在每一個圖像采集位置點記錄相應的機器人位置數據，調用函數hand eye-calibration( )進行手眼標定，得到手眼關系矩陣。

2.2 金屬板材空間定位

2.2.1 圖像預處理與信息提取

為了減少運算量，提升圖像處理速度和整個系統的折彎效率，采用HALCON中的動態ROI檢測算法提取圖像中感興趣的區域，去除大量的圖像噪聲。對采集到的圖像進行灰度化、二維低通數字濾波等圖像預處理。

采用HALCON中的區域特征提取算法和threshold算子對預處理后的圖像進行邊緣提取，通過area_centre、inner_rectangle、orientation_region、select_obj、disp_arrow等算子對板材的中心點、面積、偏轉角度等進行精確計算，如圖6所示，求得圖像在HALCON中的坐標信息。

2.2.2 板材坐標轉換

將HALCON測量得到的坐標數據通過矩陣變換，轉換為機器人坐標系數據，實現坐標系的統一。其中Mbh矩陣由機器人和視覺手眼關系標定得到。至此完成機器人坐標系下金屬板材的空間定位。

(3)

2.3 路線規劃

2.3.1 板材馬鞍形板彎工藝分析

折彎成形是把板料彎曲成目標角度和形狀的加工工藝，該方法大多是一次折彎成形。馬鞍形是雙曲率曲面，橫向拋物線形狀由曲面凸凹模輪廓控制，縱向由成形工藝控制。單道次難以成形馬鞍形三維曲面工件，因此采用二維曲面凸凹模進行馬鞍形三維馬鞍形曲面板材的成形，如圖7所示。該方法是通過工藝規劃，將板材按進給量一步一步地送入凸凹模之間進行漸進壓彎，嚴格控制每道次的下壓量和保壓時間，以整體成形高質量的馬鞍形三維曲面板材。原理如圖7所示。

2.3.2 折彎規劃

折彎規劃模塊包含工藝規劃和路徑規劃。工藝規劃根據具體折彎任務要求，以及相關折彎材料的信息，針對不同金屬板材的折彎與折彎曲率要求，規劃折彎各項工藝參數，如圖8所示。路徑規劃根據工藝規劃的要求，規劃板材在折彎機上的折彎軌跡，獲取FANUC機器人輔助折彎路徑數據。

折彎的工藝規劃基于金屬板材的材料、大小、厚度等因素，結合金屬成形工藝的知識，確定平板吸附夾具吸氣口的個數、吸附板材達到的高度、氣流量等參數；遵循上述要求，結合折彎工藝，進行加工路徑的離線規劃。輔助折彎機器人運動軌跡編程采用目標點方式，即首先確定機器人末端路徑上的目標點，然后利用相應的運動指令將所有目標點串聯起來，形成整個機器人加工運行路徑。

(1)路徑節點的確定：根據板料相對于折彎設備和機器人的位置間距，規劃機器人路徑節點，保證機器人工作穩定、無碰撞路徑。

(2)平板吸附夾具初始姿態與運動軌跡的確定：根據板材的厚度、視覺測得板材的空間位置信息確定吸附夾具的初始姿態。板材的大小、折彎工藝、折彎設備模具的高度確定吸附夾具在折彎起始點的軌跡與漸進折彎動軌跡。

2.4 自動編程

自動編程模塊是虛擬規劃數據向實體機器人程序指令轉換的關鍵環節，它將機器人末端執行器運行軌跡數據自動轉換成機器人可識別、可執行的指令文件。根據FANUC機器人語言格式，通過開發的高級語言程序自動將路徑規劃得到的數據編制成機器人的運動指令，保存為指定的文本文件“bend01”。

機器人輔助折彎系統在加工程序中需要控制機器視覺、機器人運動軌跡、運動速度、停頓時間、漸進折彎的進給量、吸附夾具的啟閉，而且需要控制各工序的時序。把機器人作為主控設備，充分利用機器人自身的數字I/O及延時功能，主要通過機器人數字輸入/輸出(DI/DO)控制串接在聯動控制箱中的繼電器或電磁閥來實現對各種聯動設備的控制，從而使系統的各組成部分協調工作。

2.5 仿真優化

仿真模塊主要實現折彎模擬。從生成的機器人指令中讀取軌跡參數，然后模擬出機器人輔助折彎過程中的吸附夾具軌跡，檢查有無干涉碰撞等，以驗證程序的正確性并進行優化。在FANUC機器人配套的Roboguide仿真軟件中創建工作單元和機器人程序，如圖9所示。以FANUC機器人虛擬控制器為支持，它提供了一個虛擬的離線3D世界和離線仿真功能，能輸出準確的時鐘周期和機器人運動軌跡數據，其仿真過程和機器人實際運行過程完全一致。

2.6 通信模塊

通信模塊實現計算機與機器人控制柜的通信，完成程序的傳輸。輔助折彎機器人采用RS232C接口與計算機實現通信。計算機與機器人控制柜之間的通信通過網線連接，采用TCP/IP協議通信。仿真優化后的機器人運動指令程序通過FTP傳輸模塊下載到機器人控制器存儲設備中，機器人直接調用該程序。

3 輔助折彎試驗

仿真檢測后的機器人運動指令程序被下載到機器人控制器中進行輔助折彎實驗，加工效果如圖10所示。將機器人輔助折彎板材與人工輔助折彎板材對比，折彎效果更好，表面更圓滑。

采用半徑測量儀對成形板材進行測量并與目標曲面對比。圖11為半徑測量儀。因為工件為雙曲面，因此需要測量不同截面上的曲率半徑。圖12是對測量點的規劃，有效地反映曲面實際精度。圖中以O點為中心。

對于縱截面方程為X2=3000·Z的理論曲率半徑的公式為：

(4)

同理橫截面理論曲率半徑公式也可求出。將測量結果與理論值對比，如表1所示。

由表1可知，馬鞍形板材縱向和橫向中心截面曲率誤差都較小，兩邊較大。整體曲率半徑誤差很小，最大不超過35 mm，平均誤差20 mm。實驗結果與有限元模擬結果基本一致，滿足實際生產要求。

4 結語

通過機器視覺技術獲取金屬板材的初始位姿數據及加工工位，由程序自動產生吸附夾具的目標位置和姿態，完成機器人輔助折彎路徑規劃和自動編程，生成適用于馬鞍形復雜曲面折彎任務的機器人控制程序，完成折彎任務，符合實際生產要求。實現了機器視覺、折彎設備、機器人、計算機的銜接集成。視覺系統圖像采集與處理、空間定位、折彎工序的設定、機器人加工路徑和程序的生成都是自動快速的，具有精度高、成本低、操作簡單無安全隱患等特點，提高了馬鞍形復雜曲面折彎的效率和精度。試驗表明，機器人動作連貫，末端運動平穩，過渡平滑，折彎與設計吻合，滿足馬鞍形復雜曲面輔助折彎要求，達到預期效果。

表1 實驗曲面板材各部分曲率半徑理論值與測量值 mm

[1] 鞠青辰，王海祥，梁雅婷，等.基于PLC的折彎機自動控制系統的研制[J].機械設計與制造工程，2013(2):52-57.

[2] 付澤民，徐佳，趙志繁，等.基于ABAQUS的馬鞍形曲面板材漸進折彎成形研究[J].制造技術與機床，2016(11):144-148.

[3] 付澤民，莫健華，陳偉，等.基于量綱分析法的金屬板材折彎回彈數學模型[J].機械工程學報，2010,46(12):53-58.

[4] Cagliano R, Spina G.Advanced manufacturing technologies and strategivally flexible production [J].Journal of Operations Management, 2000,18 (2):169-190.

[5] 陳善本，呂娜.焊接智能化與智能化焊接機器人技術研究進展[J].電焊機，2013(5):28-36.

[6] Ficarra V, Cavalleri S, Novara U, et al.Evidence from robot-assisted laparoscopic radical prostatecto-my: a systematic review[J].Eur Urol, 2007, 51(1):45-55.

[7] Zanella A, Tonello S, Pagello E.A planning system to manipulate metal sheets within a workcell simulator [C]// 2013 IEEE International Symposium on Assembly and Manufacturing, 2013: 279-281.

[8]鄭榮.機器人離線編程系統設計與研究[J].世界制造技術與裝備市場，2010(5):90-92.

[9] Bogue R W.Machine vision theory, algorithms, practicalities[J].Assembly Automation, 2005, 25(3):58.

[10] Ashraf M A, Kondo N, Shiigi T.Use of machine vision to sort tomato seedlings for grafting robot[J].Engineering in Agriculture Environment & Food, 2011, 4(4):119-125.