一種20kg砝碼組智能檢定系統的設計

馬健 趙迪 郭琳琳 劉桂雄

摘 ?要：砝碼智能化檢定有助于提高砝碼檢定效率、增強檢測數據可溯源性。文章從20 kg砝碼組智能化檢定系統整體設計入手，提出依靠三維堆放20 kg砝碼組深度學習識別分割技術、多模態傳感定位技術配合設計的軟硬件平臺，實現日光燈照明下三維堆放20 kg砝碼組的智能檢定。通過模擬搭建三維堆放砝碼組開展系統測試試驗，驗證了智能檢定系統的有效性、準確性，單個砝碼實例檢定時間約為42 s，可以滿足實際20 kg砝碼組檢定過程需要，實現“機器代人”，大幅提高20 kg砝碼組檢定效率。

關鍵詞：20 kg砝碼組;深度學習;多模態傳感;智能化平臺

中圖分類號：TP391.4;TH715 ? ? 文獻標識碼：A 文章編號：2096-4706（2021）12-0001-05

Abstract： The intelligent verification of weights is helpful to improve the verification efficiency of weights and enhance the traceability of test data. Starting with the overall design of the intelligent verification system of 20 kg weight set， this paper proposes a software and hardware platform based on the deep learning， identification and segmentation technology of three-dimensional stacking 20 kg weight set and the multi-modal sensing and positioning technology， so as to realize the intelligent verification of three-dimensional stacking 20 kg weight set under the illumination of fluorescent lamp. The validity and accuracy of the intelligent verification system are verified by simulating the construction of three-dimensional stacking weight set and carrying out system test. The verification time of a single weight example is about 42 s， which can meet the needs of the actual verification process of 20 kg weight set， realize "machine replace people" and greatly improve the verification efficiency of 20 kg weight group.

Keywords： 20 kg weight set; deep learning; multi-modal sensing; intelligent platform

0 ?引 ?言

砝碼是質量量值傳遞、溯源的基準，保證其量值精確意義重大[1]。目前部分計量檢測機構實現了基于預設工位的砝碼自動檢定[2]，檢定過程依舊需要人工干預，自動化、智能化水平不高。為實現20 kg砝碼組智能檢定，須解決砝碼實例、砝碼提手這類低對比度、低飽和度遮擋對象圖像檢測問題[3，4]，以及傳統單模態傳感定位技術無法實現三維堆放砝碼組空間定位為復雜環境多深度曲面測量問題。

文獻[5]通過微調Mask R-CNN得到Pig Net，可對不同形態、粘連嚴重的群豬圖像準確分割出獨立的個體目標。文獻[6]基于Mask R-CNN卷積神經網絡模型，分別對每組雙目圖像進行目標檢測和掩膜分割，匹配雙目圖像中相同目標，以準實時速度進行物體識別、定位。文獻[7]基于Mask R-CNN網絡從高分辨率RGB無人機圖像中提取樹木，與常規、高成本遙感數據方法相比有更好效果。文獻[8]基于FPGA搭建立體計算RGBD動態場景實時三維重建系統，實現對目標場景數據同步采集，實時生成拍攝場景三維空間點云。文獻[9]將雙通道后融合網絡結構用于卷積特征提取、單通道前融合網絡結構用于道路檢測，可有效克服光照、陰影、路面類型變化等影響。文獻[10]基于RGBD圖像恢復室內物體、布局面完整三維模型，依靠支持推理來輔助物體識別，并使用卷積神經網絡對區域進行分類。文獻[11]整合Microsoft Kinect RGBD傳感器、YOLO算法與Nvidia Jetson TX2神經網絡開發板以用于識別移動機器人路徑障礙的靜態物體。

可以看出深度學習算法、RGBD多模態傳感在遮擋對象識別、測量方面相較傳統方法均有不小優勢。故本文研究面向低對比度堆放砝碼識別的改進Mask R-CNN算法、面向堆放砝碼的RGBD多模態傳感定位技術實現20 kg砝碼組智能檢定系統設計，對于促進計量技術自動化以及智能制造技術發展，具有重要學術價值與實際意義。

1 ?系統整體設計

圖1為20 kg砝碼組智能化檢定系統整體設計圖，主要包括五個模塊：

（1）圖像采集與處理模塊，負責圖像數據采集及預處理。

（2）20 kg砝碼組識別、分割模塊，負責20 kg砝碼組實例RGB圖像定位。

（3）20 kg砝碼組定位模塊，負責20 kg砝碼組實例三維空間定位。

（4）20 kg砝碼抓取模塊，負責智能化檢定過程20 kg砝碼抓取搬運。

（5）檢定數據溯源模塊，負責20 kg砝碼智能化檢定過程數據溯源。

1.1 ?20 kg砝碼組深度學習識別分割技術

前期試驗證明，經典深度學習算法對三維堆放20 kg砝碼組提手、砝碼間重疊部分識別分割效果較差，主要原因在于20 kg砝碼組外表面常為黑、灰色，是典型低對比度物體。

為提升圖像中砝碼提手實例分割效果，獲取高精度砝碼組圖像坐標信息，從提升圖像特征區分度、多算法融合方向入手，對采集原始圖像進行Gamma增強、ACE自適應對比度增強，以提升其輪廓特征便于深度學習網絡學習;增加Mask R-CNN頭部檢測分支，對掩膜分割效果不好的實例通過BBox回歸框分支連接Canny邊緣檢測算法代替原Mask掩膜分支輸出，以提升砝碼提手實例分割效果。

圖2為20 kg砝碼組深度學習識別分割網絡結構圖，改進Mask R-CNN模型由圖像對比度增強、Backbone骨干網絡、RPN（Region proposal network）候選區生成、RoI Align特征圖對齊和Head頭部網絡功能等模塊構成，生成Mask掩膜、目標分類、BBox回歸定位框結果。

1.2 ?20 kg砝碼組多模態傳感空間定位技術

為達到20 kg砝碼組智能檢定效果還須實現復雜光照環境下砝碼提手曲面深度測量。

圖3為20 kg砝碼組多模態傳感定位流程圖，RGBD相機采集4通道砝碼組圖像數據，生成對應RGB圖像及D通道深度圖像，RGB圖像輸入改進Mask R-CNN深度學習網絡識別、分割20 kg砝碼組提手，得砝碼提手掩膜與BBox回歸框輸出;砝碼提手掩膜與深度圖“求與”得各砝碼提手實例所有像素點深度數據，空間圓柱擬合生成對應實例關鍵點坐標及單位方向向量，用來描述20 kg砝碼提手空間姿態及位置;K-means聚類算法按照各實例關鍵點坐標對空間坐標組分層，層間計算提手關鍵點與預設原點曼哈頓距離規劃調度砝碼組檢定順序。

引入多模態傳感技術可有效提高20 kg砝碼提手空間定位準確性，克服單模態傳感定位技術對檢定場景適用性差、難以滿足砝碼檢定動態過程不同深度曲面定位精度要求的問題，提高20 kg砝碼組智能化檢定效率。

1.3 ?20 kg砝碼組智能化檢定系統軟硬件平臺

20 kg砝碼組智能檢定集成系統由待檢砝碼抓取裝置、標準砝碼轉運裝置、電氣控制系統、Intel RealSense D455深度相機、NVIDIA Jetson TX2邊緣計算機構成。如圖4所示。

圖5為20 kg砝碼組智能檢定系統運行邏輯流程圖，具體流程如下：

（1）PC上位機發送開始指令給PLC下位機。

（2）標準砝碼轉運裝置將標準砝碼加載至檢定天平。

（3）檢定天平稱量數值反饋至上位機后標準砝碼轉運裝置卸載標準砝碼。

（4）待檢砝碼轉運裝置移動至待定位置后Jetson TX2邊緣計算機獲取Intel D455 RGBD相機數據計算得到待檢砝碼提手空間定位坐標。

（5）坐標信息指導待檢砝碼轉運裝置加載待檢砝碼至檢定天平后讀取檢定天平數據。

（6）檢定稱量完成后，將待檢砝碼從檢定天平轉運碼放至完成區域。

（7）判斷檢定是否完成，完成即結束檢定、未完成則進入下一次循環。

按上述結構、邏輯搭建如圖6所示的20 kg砝碼組智能化檢定系統軟硬件平臺。軟件平臺用于20 kg砝碼組智能化檢定關鍵數據（如：測試項目、委托方、制造廠商、鑒定地點、鑒定時間、溫度、濕度、氣壓、標準值1、待檢值、標準值2、誤差、合格情況等）實時顯示、歷史數據溯源等。

2 ?試驗

使用上述20 kg砝碼組智能化檢定系統對圖7系統級測試待檢砝碼試驗堆開展自動化檢定試驗，待檢砝碼試驗堆由2層共18個20 kg砝碼組模擬實際檢定過程中砝碼堆放情況搭建而成。

按圖7（a）中順序開展各砝碼實例檢定，得表1砝碼檢定數據，包含從20 kg砝碼組智能檢定系統軟件平臺獲取的各砝碼實例檢定過程的標準值1、待檢值、標準值2、合格情況、碼放位置、檢定用時等關鍵信息。

從表中數據可以看出，單個砝碼檢定時間平均在43 s左右，由于在第1、3個砝碼檢定前調用空間定位算法分別獲取上、下層砝碼提手空間位置信息，檢定時間較其他砝碼長，又因檢定開始時需先執行一次標準砝碼檢定，故第1個砝碼檢定用時比第3個長11 s。

系統試驗證明20 kg砝碼組智能檢定系統可以按設計功能要求實現“機器代人”，提升20 kg砝碼組檢定效率、準確性。

3 ?結 ?論

本文提出20 kg砝碼組智能檢定系統設計方案。通過深度學習算法、多模態傳感定位技術處理堆疊20 kg砝碼組RGBD圖像數據得到各砝碼實例空間坐標，指導硬件系統抓取搬運，最終實現三維堆放20 kg砝碼組智能檢定。單個砝碼檢定時間平均為43 s，檢定數據精確可靠，可實現“機器代人”、大幅提升20 kg砝碼組檢定效率。

參考文獻：

[1] 全國量和單位標準化技術委員會.國際單位制及其應用：GB 3100-1993 [S].北京：中國標準出版社，1993.

[2] 王益飛，楊圓圓.公斤組砝碼自動檢定系統 [J].計量技術，2017（7）：61-64.

[3] UIJLINGS J R R，SANDE K E A，GEVERS T，et al. Selective Search for Object Recognition [J]. International Journal of Computer Vision，2013，104（2）：154-171.

[4] JIANG J J，GUI X Q. Target Detection and Recognition Method of Farming Machine Based on Machine Vision [C]//Proceedings of the 2015 4th National Conference on Electrical，Electronics and Computer Engineering.Paris：Atlantis Press，2015：1385-1389.

[5] 高云，郭繼亮，黎煊，等.基于深度學習的群豬圖像實例分割方法 [J].農業機械學報，2019，50（4）：179-187.

[6] 彭秋辰，宋亦旭.基于Mask R-CNN的物體識別和定位 [J].清華大學學報（自然科學版），2019，59（2）：135-141.

[7] OCER N E，KAPLAN G，ERDEM F，et al. Tree extraction from multi-scale UAV images using Mask R-CNN with FPN [J].Remote Sensing Letters，2020，11（9）：847-856.

[8] 段勇，裴明濤.基于多RGBD攝像機的動態場景實時三維重建系統 [J].北京理工大學學報，2014，34（11）：1157-1162.

[9] 曲磊，王康如，陳利利，等.基于RGBD圖像和卷積神經網絡的快速道路檢測 [J].光學學報，2017，37（10）：124-132.

[10] ZOU C H，GUO R Q，LI Z Z，et al. Complete 3D Scene Parsing from an RGBD Image [J].International Journal of Computer Vision，2019，127（2）：143-162.

[11] REIS D，WELFER D，CUADROS D S L，et al. Mobile Robot Navigation Using an Object Recognition Software with RGBD Images and the YOLO Algorithm [J].Applied Artificial Intelligence，2019，33（14）：1290-1305.

作者簡介：馬健（1980—），男，漢族，廣東廣州人，高級工程師，碩士，研究方向：衡器計量技術研究。