工件移動測量自動化拍攝平臺實現

劉舒浩 楊宏志 楊之鵬 屈盼盼 金芳 劉慶泉

摘要：針對工件人工檢測效率低、漏判率高的問題，本文提出了工件移動測量自動化的實現方法，利用工件識別、圖像采集設備采樣完成工件圖像的數據轉換，計算機軟件HALCON進行瑕疵判斷、數據轉換、信息反饋，將這一檢測過程置于聯動裝置，基于工件和采樣設備的同步運動，完成工件移動檢測功能。結果表明，該設備基于HALCON和深度學習的應用保證了檢測效率與準確率，聯動裝置的應用保證了檢測過程的穩定性，二者相輔相成共同實現了工件的移動檢測。

關鍵詞：HALCON ?圖像采集 ?深度學習??機械臂與聯動裝置

Realization of Automatic Photographing Platform for Workpiece Movement Measurement

LIU Shu-hao?YANG Hong-zhi?YANG Zhi-peng?QU Pan-pan?JIN Fang?LIU Qingquan

（1.School of Equipment Engineering Shenyang Ligong University，?Liaoning Province， 110159 China; 2.School of Automation and Electrical Engineering Shenyang Ligong University，?Shenyang，?Liaoning Province， 110159 China;3.?Fujian Zhongrui Network Co.， Ltd.， Fuzhou，?Fujian Province，?350015 China）

Abstract：?Aiming at the problems of low efficiency and high miss rate of workpiece manual detection， this paper puts forward the implementation method of workpiece movement measurement automation. The data conversion of workpiece image is completed by using workpiece recognition and image acquisition equipment sampling. The computer software Halcon carries out defect judgment， data conversion and information feedback. This detection process is placed in the linkage device to complete the workpiece movement detection function based on the synchronous movement of workpiece and sampling equipment. The results show that the application of the equipment based on Halcon and deep learning ensures the detection efficiency and accuracy， and the application of linkage device ensures the stability of the detection process. They complement each other and jointly realize the moving detection of workpieces.

Key Words： HALCON ?Image acquisition ?Deep learning ?manipulator and linkage module

當今時代科技快速發展，傳統的靜止測量已經不能勝任日益增長的工件生產效率的需求。提高工件檢測的效率與準確度，即本設計的初衷。工件移動測量自動化拍攝平臺的技術基礎，建立在“HALCON”這一圖像處理軟件的運用上，對工件進行移動多方位圖像的掃描和收集，通過事先設定的程序對收集到的圖像進行識別和檢測，最后將檢測結果數據反饋到計算機進行深度學習。一方面可以實現實時檢測與反饋相結合，另一方面也可以實現基于人工智能（AI）視覺系統的行深度學習，從而形成一套精準而高效的工件識別處理系統，實現了工件在移動中測量對精度與效率的兼顧。

1 HALCON與圖像采集原理

1.1 HALCON程序的運用

該軟件的載體即計算機。HALCON是一個龐大的圖像處理庫，包含上千個獨立或相互聯系的處理函數和圖像底層處理數據管理應用核心。HALCON可以完成工件圖像基本參數的測量，并可以高效地將圖像語言轉換為程序語言和數字語言。HALCON強大的計算分析能力提高了工件檢測自動化的效率。

機器視覺技術的利用得以使工件自動測量，應用HALCON的開發環境Hdevelop，利用其軟件交互性，可以開發一套工件檢測的視覺應用程序。本文中HALCON的使用參考了基于雙目立體視覺的工件高度測量方法，拍攝的工件的圖像傳輸到計算機后，通過HALCON的圖像灰度化處理和閾值分割法測得工件的基本尺寸。

1.2 圖像采集系統組成

圖像采集系統依托計算機為軟件載體和數據平臺，由工業相機或工業紅外相機等設備為圖像采集硬件系統載體，光源、通信接口等輔助設備組成。計算機程序負責控制圖像采集設備并進行圖像算法處理;工業相機可以將工件光信號裝換成電信號的形式傳輸給計算機等處理設備。

1.3 工件多方位立體檢測原理

基于物體運動相對靜止原理，工件于聯動裝置上的平移與機械臂操控的多方位運動，工件可以在保持平移的同時被翻轉、調整，以不同的面面向圖像采集系統，稱之為工件多方展示運動。相對于平移的工件靜止，保證采集工件不同面相關參數的精度，將該系統進行復制并聯，多套自動檢測設備依次檢測，保證移動檢測的效率，并聯測試系統圖如圖1所示。

2 深度學習

2.1 工件檢測的深度學習

深度學習在工件檢測方面應用的主要任務就是圖像各項參數的自動提取，智能識別出工件的瑕疵或者是其他指標要求，并為之添加一個標記來達到檢測并反饋的目的。用卷積層使程序模擬對某一特定圖案的響應，池化層來模擬動物視覺皮層的感受野。在工件檢測領域，這一算法處理的特定圖像就是工件的各個細節之處。

2.2 工件圖像數據增廣

目標檢測模型工作時，對于采集到的圖像，一般是把圖像進行縮小，以產生一個能被程序網絡所接受的尺寸，然后進行訓練或預測。這一過程會使圖像中的部分信息遭受損失，尤其是工件的微小型缺陷，這種信息的損失將會直接影響，為了保證工件檢測的精度。采用特殊的圖像數據增廣方法諸如Overlap切圖數據增廣和Mosaic數據增廣，在盡可能使圖像信息不缺失的情況下獲得較大的數據量和復雜性。

3 聯動裝置和機械臂

3.1 工件平移機械聯動裝置

為了實現上文所述在保證工件在生產線上平移的同時，實現圖像采集設備的同步運動和工件多方位的展示運動，要設計一部機械臂和一段特殊的傳送裝置，其基本原理就是利用工件和圖像采集設備的以相同速率平移而相對靜止。本文設想的方法是由機械臂上的機械手夾持工件，圖像采集裝置由另外的機械裝置固定，該機械裝置可以與傳機械臂移速率相同的速率在一段基座導軌上進行平移運動，稱之為機械聯動裝置。

3.2?多方位展示機械臂

該機械臂應用力矩限制器對旋轉力矩進行限制，進而使工件不同的面停留在圖樣采集裝置前。機械臂主要包括支撐底座、云臺、大臂、小臂、機械手、舵機和Arduino。機械臂由圖像采集器等傳感器檢測到物體時發出的指令，機械臂和聯動裝置從檢測傳送始端帶機械臂開始從初始位置運動到物體所在位置，將物體抓起并以設定好的程序操控其進行多方位展示運動。

機械臂的運動控制系統是由硬件系統和軟件系統兩大部分構成的。機械臂能夠按照預先設定的程序做出指定動作，由軟件系統操控檢測硬件系統完成，控制系統框圖如圖2所示。

多方位展示機械臂采用以Arduino控制板為核控制器，以實現機械手的多方位轉向和多角度運動。數據由傳感器收集后傳輸到控制器，實現機械臂和機械手的智能化。

4 結語

大體上，該平臺包含4個部分：計算機HALCON、圖像采集設備、聯動裝置、機械臂。在檢測重復性上應用了人工智能深度學習，在保證了工件于生產線上高效運送的同時能夠實現多方面、立體的機械圖像采集，深度學習使得其檢測不再是人工循規蹈矩地輸入指令，而是可以自主學習，去完善檢測方面的缺陷，使得檢測設備獲得了一雙辨明是非的“火眼金睛”。該平臺的應用將會大大提高工件檢測的效率，節省大量的人力成本，為工件的批量生產和加工擴大規模奠定了堅實的基礎。

參考文獻

[1] MVTec Software GmbH München Germany.A quick access to the functionality of HALCON， Version 12.0[P].Copyright ? 2007-2018

[2]鄭如新，孫青云，肖國棟.基于機器視覺的工件尺寸測量研究[J].電子測量技術，2021，44（16）：110-115.

[3]牛鵬磊.高精度圖像測量系統研究[D].齊魯工業大學，2021.

[4]呂伏，劉鐵.基于學習率自增強的圖像識別深度學習算法[J].計算機應用與軟件，2021，38（12）：268-273.

[5]于宏全，袁明坤，常建濤，羅坤宇.基于深度學習的鑄件缺陷檢測方法[J].電子機械工程，2021，37（6）：59-64.

[6] 趙修琪，盧文豪，王珊.基于Arduino的自動分揀機械臂控制系統設計[J].現代電子技術，2021，44（24）：163-166.

[7] Qiming Wu，Siyue Yu，Peng Chen，Luyun Zhang. Design and Implementation of Intelligent Mechanical Arm[C].Proceedings of the 11th International Conference on Computer Engineering and Networks（CENet2021）Part II.，2021：244-250.

基金項目：遼寧省大學生創新創業訓練計劃項目（項目名稱：工件移動測量自動化拍攝平臺實現，項目編號：S202110144015）;福州市重點科技專項（項目名稱：支持水下無線光通信的多業務物聯網網關，項目編號：2020FZZD0601）。

作者簡介：劉舒浩（2000—），男，本科在讀，研究方向為自動化控制技術、人工智能、彈藥工程與爆炸技術。

通信作者簡介：金芳（1981—），女，本科，高級實驗師，研究方向為網絡化測控系統。E-mail：308628820@qq.com。