基于自動圖像識別的工業智能坡口機器人研究

張 碩，劉世鵬，張華龍

（河北經貿大學 河北 石家莊 050000）

1 引言

自動圖像識別的工業智能坡口機器人使用雙攝像機立體視覺系統采集待加工的零件圖像，由圖像識別算法進行識別，可應對復雜的環境光照條件，獲得零件的類型和尺寸等信息，引導機器人進行坡口加工作業，可取得良好的加工效果，未來將廣泛應用于工業先進制造等領域。

2 系統構成

2.1 硬件構成

坡口機器人硬件部分主要由ABB六軸機器人、工業相機、火焰切割槍、控制臺、坡口切割/焊接工作臺組成，各部分功能如下。

ABB六軸機器人：在機械臂頂端安裝旋轉機架，可同時安裝工業相機和火焰切割槍，機械臂負責攜帶工業相機到指定位置進行拍照，還負責攜帶等離子切割槍到指定位置進行坡口加工。

工業相機：安裝在機械臂頂端的旋轉機架上，負責對待加工的工件進行拍照。

火焰切割槍：安裝在機械臂頂端的旋轉機架上，負責對工件進行坡口切割。

控制臺：內置上位機總控軟件和圖像識別算法庫，負責對工業相機采集的圖像進行識別處理，并控制ABB機器人進行指定動作。

坡口切割/焊接工作臺：用來放置待加工的板材零件。本系統無需指定零件的擺放位置，零件可以任意擺放，只要不超出工作臺范圍即可正常加工，見圖1。

圖1 硬件組成

2.2 軟件構成

坡口機器人軟件部分主要包括圖像識別核心算法庫和上位機總控軟件，各部分功能如下。

圖像識別核心算法庫：對工業相機采集到的圖像進行識別處理，包括零件定位、類型識別、輪廓提取、尺寸計算等功能。

上位機總控軟件：對機器人作業的整體流程進行控制，以及與操作人員的人機交互。

3 作業流程

本項目中的坡口機器人能夠記錄加工過的零件類型，在同類型零件出現時，可以自動識別并套用相應的加工參數；能夠識別從未加工過的零件類型，通過后臺算法獲得新零件的加工參數。機器人系統內置了兩種作業模式：“工作模式”和“學習模式”。

工作模式：工業相機拍攝零件圖像之后，圖像識別程序通過比對庫存模板，確認是否已加工并記錄過的零件類型，若是則觸發正?！肮ぷ髂Ｊ健保ㄟ^圖像對零件位置進行定位，并控制割炬進行加工。

學習模式：工業相機拍攝零件圖像之后，圖像識別程序通過比對庫存模板，確認是否已加工并記錄過的零件類型，若未加工過則觸發“學習模式”，對未處理過的零件類型進行學習。機器人系統通過計算零件尺寸、保存圖像模板、記錄類型參數等步驟，對新零件的信息進行分析和記錄。學習模式處理完成后，新零件信息入庫，即可按照正?！肮ぷ髂Ｊ健边M行加工處理。

4 系統特點

根據產品特點，需要切割的板材厚度大部分在6～30 mm，采用火焰切割的方式，能夠解決鋼板厚度大、工件異性、弧形等坡口加工問題，既提高工件的切割質量和加工效率，還增加了產品的經濟效益。本項目主要由一套ABB工業機器人及控制系統、一套計算機視覺系統、一套火焰切割槍、一套自動點火設備、兩套坡口切割工作臺、一套安全護欄以及一套電氣控制系統構成[1]。

5 核心技術

5.1 工件圖像目標區域提取

系統通過工業相機獲取工件的灰度圖和深度圖。由于現場進行工件圖像采集的環境比較嘈雜且存在灰塵，通過工業相機獲取的圖像含有部分噪聲，將其進行去噪處理，增強其邊緣信息等特征，并對工件深度圖進行灰度化處理，提取工件圖像的目標區域[2]。

5.1.1 灰度圖預處理

空氣中存在的粉塵、雜質以及采集系統周圍的高頻干擾，可能使得工業坡口機器人采集到的圖像含有噪聲，這時就會造成圖像里面有用的信息比例下降，所以我們需要對工件的原始圖像進行灰度去噪處理。經過處理后的工件圖像，其邊緣特征較模糊，因此需要對圖像進一步處理。

5.1.2 圖像平滑濾波

對工件圖像進行平滑處理后，其效果更加清晰。通過降低噪聲，去除其他對圖像信息不利的因素，可有效防止工件圖像模糊。根據相機收集到的灰度圖像背景存在的碎屑、空氣中的粉塵等問題，系統采用高斯濾波算法對工件圖像進行平滑濾波處理。

5.1.3 工件圖像增強處理

經過去噪的灰度圖，其邊緣信息可能較模糊，呈現亮暗的現象。此時需要將圖像先進行灰度歸一化處理，再進行直方圖均衡化處理，使圖像信息更加明顯。通過實驗獲得的效果圖見圖2、圖3。

圖2 均衡化處理效果圖

圖3 均衡化處理直方圖

5.2 工件邊緣輪廓提取

工件邊緣輪廓是描繪圖像中物體外形的線條。對工件的目標區域進行邊緣算子檢測，可以獲取其邊緣輪廓信息。將雙攝像機捕獲的圖像進行拼接，可獲得較為完整的工件邊緣圖像。

5.2.1 輪廓提取流程

工件的輪廓信息在圖像處理以及無限追蹤中占據重要地位。工件輪廓提取我們采用灰度圖像閾值分割技術，得到物體的二值圖像，利用圖像梯度算子進行工件輪廓建模分析，以獲取工件的邊緣信息，并通過灰度圖與深度圖的對比，獲取最后輪廓。

5.2.2 邊緣提取

合理使用邊緣算子對工件輪廓圖像進行提取。根據工件種類及作業場景不同，我們需要為不同的邊緣輪廓匹配合適的邊緣梯度算子，本項目主要采用Canny算子，不容易受噪聲影響，且檢測到邊緣定位較為準確，圖像輪廓較為完整。

5.2.3 最佳輪廓確定

工件圖像經過深度處理后，可以進行平滑預處理獲取工件目標輪廓信息，利用Canny邊緣算子求出工件的法線，選擇合適的工件模型，工件輪廓的邊緣點即為梯度的極大值點。并進行工件內輪廓的掃描，收集圖像的邊緣點集信息，將取得的工件邊緣信息進行繪制，便可確定工件的最佳輪廓。

5.3 視覺標定

自動圖像識別的工業智能坡口機器人，通過相機采集工件圖像后，需要將工件圖像信息轉化為視覺坐標軸信息，對工件的坡口加工部分進行視覺標定，降低由于深度相機的畸變參數過高導致系統誤差，引起工件切割錯誤，影響產品質量。經過視覺標定，機器人可鎖定工件位置并進行目標追蹤，無需人為干預便可完成坡口加工作業。

5.3.1 基于張正友方法的相機標定

傳統的相機標定方法或精度不高，或價格昂貴，采用張正友方法的相機標定策略進行圖像特征區域的提取，獲得對應深度相機的圖像參數，既降低了項目開銷又提高了標定精度，因此本項目采用此種方法進行相機標定。

5.3.2 機器人機械臂與相機關系標定

系統經過相機標定后，深度相機既可通過坐標系來控制機器人的機械臂運動，進行坡口加工作業。還能定位工件在坐標系中的位置，計算相應參數，變換坐標軸，將位置信息傳遞給機器人，控制機械臂完成相應作業。

5.4 工件輪廓拼接與匹配

為獲取較為完整的工件輪廓圖，系統采用雙攝像機進行多角度圖像采集，以獲取不同角度的工件圖，對這些工件圖進行輪廓提取，利用圖像拼接技術，可獲得切割平臺輪廓圖。

5.4.1 拼接與匹配流程

利用上述方法，我們可獲得多張具有重疊區域的圖像，采用工件拼接技術獲取完整的工件輪廓圖，并利用CAD工件圖進行圖像識別，構建標準模型輪廓圖，獲取工件切割軌跡。

5.4.2 工件拼接與匹配

系統利用雙攝像機進行視覺變換，在不同位置進行拍攝，并將工件的重疊區域進行拼接，獲取完整的工件輪廓信息，并與CAD模板進行匹配。

6 可行性分析

工件的坡口加工采用傳統方式，其加工質量差、效率低，人工成本較大。采用半自動方式，在某些流程中依然需要人工操作，其加工效率得不到保證。隨著人工智能技術的不斷發展，將計算機視覺應用于工件的坡口加工，通過設計高級圖像識別算法，代替人工操作，可提高產品的質量和加工效率。本系統利用機器視覺應用，采用工業深度相機進行圖像采集，使機器人擁有了“眼睛”，利用圖像識別技術分析圖像信息，使機器人擁有了“大腦”。智能坡口機器人具有零件自動定位功能、類型自動識別功能、參數自動適配功能、全自動坡口切割功能，可滿足任意形狀工件的坡口加工需求[3]。

7 結語

本文主要研究自動圖像識別的工業智能坡口機器人，包括硬件部分、軟件部分、作業流程、系統特點、核心技術、可行性分析，對項目進行了理論分析和實驗證明，驗證了項目的可行性。隨著計算機視覺、深度學習、機械自動化技術的不斷成熟，自動圖像識別的工業智能坡口機器人將更廣泛應用于工業先進制造領域。