面向數字孿生的工業設備數字化編碼與識別

摘 要 數字孿生技術實現的前提是虛實結合，為使現實中的工業設備與其作業中的虛擬信息相結合，需要對工業設備進行數字化編碼并制定設備標識圖像分割識別的統一方法，為工作人員提供相關信息從而控制和維護設備。采用版本號為3，糾錯等級為L的標準QR二維碼對工業設備進行數字編碼，設計并使用MA UNet（多重注意力U型網絡）圖像分割神經網絡對設備標識圖像進行分割，并在訓練過程中加入特殊的圖像增強方法以提升圖像分割效果，再通過二維碼解碼器解碼標識圖像獲取設備編號等基礎信息，進而查詢數據庫獲取工業設備信息，提升工廠作業效率。在數據集上進行了多次實驗，結果表明所提方法提高了工業設備標識圖像的分割精度和識別準確率，基于分割精度的3個評估指標PA、IoU、Dice指數分別達到了97.22、71.66和80.95，高于對比的其他方法。二維碼的識別準確率達到了96.32%，誤差小于5%。證明所提方法適用于工廠作業場景，可以輔助數字孿生工廠的建設。

關鍵詞 數字孿生工廠 數字化編碼 圖像分割與識別 深度學習

中圖分類號 TP274" "文獻標志碼 A" "文章編號 10003932（2025）02021809

傳統工業機械設備的組裝、操作、控制和維護需要大量人力物力來支持，相關人員可能需要大量時間來學習如何使用及維護設備，并且操作繁瑣、耗時耗力。隨著計算機技術的日益進步，數字孿生工廠［1］和數字孿生［2］兩個新興概念被提出，數字孿生工廠的建設已經被提上了日程。數字孿生是指通過數字模型對現實世界進行模擬，從而優化和預測物理系統的性能和行為。而數字孿生工廠則是指利用物聯網、大數據及云計算等先進技術，實現工廠運營的智能化、高效化和可持續化的生產方式。將數字孿生技術應用于工廠作業的前提是可以準確地分割識別工業設備標識，為工作人員提供設備相關信息從而控制和維護設備。

為了實現數字孿生技術的應用，首先需要制定一套數字化編碼規則，對工業設備進行統一編碼。隨后，在工業設備上設置標識并在數據庫中一一對應，將設備的動態和靜態信息存入數據庫中，方便工作人員查詢。當工作人員需要維護和操作工業設備時，先通過電子設備掃描標識，經過訓練好的圖像分割網絡將標識圖像分割出來，再通過解碼器解碼出設備編號，工作人員就可以快速獲取數據庫中對應的設備信息，進而控制和維護設備，省時省力地配合工廠運營。筆者主要介紹工業設備標識的數字化編碼體系與標識圖像的分割識別。

首先確定選用標準QR二維碼［3］，版本為3，糾錯等級為L，為每一個需要操控和維護的工業設備進行編號并將相關信息存入數據庫。工作人員操控設備時，可以使用電子設備通過二維碼解碼器獲取二維碼儲存的信息。然而，電子設備獲取到的設備標識圖像包含背景噪聲，與二維碼圖像相似的像素分布會導致識別準確率下降，因此筆者設計了新型的圖像分割網絡MA UNet，先將二維碼圖像從背景中分割出來再進行解碼，有效提升了識別準確率。

1 相關工作

工廠設備種類繁多，數量龐大，若要建設數字孿生工廠就必須對工業設備進行系統性的統一編碼，為使人機交互更加便捷，筆者采用二維碼的形式對設備進行編碼。在近年來的工業實踐中，已經有許多工作將二維碼應用在工業體系中。2015年，BORISOV A提出了一種使用二維碼和基于時間的一次性密碼對工業部件進行安全用戶身份驗證的新方法［4］。2021年，XIONG L Z等設計了一個帶有身份驗證的二維碼秘密共享方案，以保護私人數據并防止作弊［5］。根據二維碼中里德-所羅門碼的糾錯冗余和同態，將陰影和認證位嵌入到覆蓋二維碼中。

由于電子設備獲取到的設備標識圖像包含背景噪聲，相似的強度分布會嚴重影響二維碼圖像識別的準確率。所以在數字化編碼體系設定完成后，需要對設備標識圖像進行分割操作。近年來，隨著深度學習的發展，已有一些工作將圖像分割技術應用于工業領域。2017年，YI L等提出了一種基于CNN的鋼鐵表面缺陷端到端識別模

型［6］。2018年，SUN X H等報道了機器視覺在鋼鐵產品中的應用評價，指出基于圖像處理的視覺識別技術具有絕對的優勢［7］。然而上述工作所使用的圖像分割算法較最新的深度學習模型而言，效果還可以進一步提升。

2015年，RONNEBERGER O等在MICCAI會議上發表了UNet，成為深度學習在醫學影像分割中的突破性進展［8］。此后，對于UNet的應用與改進引起了廣泛的研究和關注［9］。2018年，OKTAY O等提出了一種新的醫學成像注意門模型Att UNet，該模型能夠自動學習聚焦于不同形狀和大小的目標結構［10］。然而Att UNet僅在跳躍連接中加入了注意力機制，并不能極大程度地提升模型分割能力。2019年，WANG W等提出在UNet的瓶頸處加入重復單元結構：雙門控遞歸單元（DRU）或單門控遞歸單元（SRU），可以在數據集和計算能力有限的情況下進行訓練［11］。2020年，BYRA M等構建了帶有選擇核卷積的UNet（SK UNet）來分割乳腺病變［12］。然而，原始的選擇核卷積忽略了空間維度上不同接受域下的特征選擇。2023年，CHEN G P等提出了AA UNet，引入了混合注意力模塊HAAM，提高了圖像分割精度［13］。然而

HAAM并沒有同時將多尺度提取到的特征進行通道和空間維度的注意力加權，并且只使用了平均池化而未考慮最大池化操作，這在一定程度上會丟失一些特征信息。筆者在Att UNet和AA UNet的基礎上進行了改進，設計了全新的混合注意力模塊HAM和注意力門，通過引入卷積注意力模塊（CBAM）［14］，將多尺度特征提取和融合后的特征輸入到CBAM中，充分提取圖像特征，并且在跳躍連接中加入帶有CBAM的注意力門，減少了特征損失。

2 數字化編碼

QR（Quick Response）二維碼樣例如圖1所示，QR二維碼是一種矩陣二維碼，可以存儲數據信息。QR二維碼的代碼內容應該以非?？斓乃俣冗M行解碼。代碼由白色背景上以正方形圖案排列的黑色模塊組成。編碼的信息可以是文本、URL或其他數據［15，16］。二維碼的設計允許其內容被高速解碼。

QR二維碼支持數字編碼、字符編碼、字節編碼和日文編碼。筆者選擇QR二維碼版本為3，糾錯等級為L。這個版本的QR二維碼最大支持編碼32個漢字，用于數字化編碼工業設備的基本信息，如設備編號、設備名稱及設備狀態等。設備的詳細信息與設備編號一一對應存入數據庫，方便工作人員操控和維護設備。

3 圖像分割

筆者設計了一種新型的圖像分割網絡MA UNet對標識圖像進行分割識別。MA UNet與UNet具有相同的核心架構，包括4個下采樣、4個上采樣和4個跳躍連接，其整體結構如圖4所示。在下采樣過程中逐漸提升通道維度，縮小特征圖尺寸，上采樣過程相反，每層通道數如圖4所示。與UNet不同的是，MA UNet將原始UNet中的卷積層替換為一種新穎的混合注意力模塊（HAM），通過多尺度特征提取與融合，將不同感受野下提取到的特征進行融合，并將融合后的特征輸入卷積注意力模塊（CBAM），通過通道和空間注意力機制對特征進行加權，使得網絡學習特征時更有側重點，忽略噪聲影響。HAM示意圖如圖5所示。與Att UNet類似，MA UNet在跳躍連接中加入帶有CBAM的注意力門，將上層特征與下層特征進行融合后再進行注意力加權，然后與上采樣后得到的特征圖進行拼接，減少了跳躍連接存在的特征損失問題的影響，進一步提升網絡的特征提取能力。

3.1 卷積注意力模塊

如圖6所示，卷積注意力模塊分為兩部分，分別是通道注意力模塊和空間注意力模塊。

3.2 混合注意力模塊

筆者提出了一種新型的混合注意力模塊，用其替換掉原始UNet中的普通卷積層，加強分割網絡的特征提取能力。如圖5所示，首先將輸入特征圖輸入到3條不同分支，分別為3×3卷積層，5×5卷積層，核大小為3×3，膨脹率r為3的膨脹卷積層，保持輸出特征圖通道和尺寸不變。計算公式如下：

3.3 注意力門

與Att UNet類似，筆者提出的MA UNet在跳躍連接中也加入了注意力門。如圖7所示，注意力門將上層特征與下層特征進行特征融合和注意力篩選，減少了下采樣過程中的信息損失，提升了網絡的分割能力。

3.4 損失函數

3.5 圖像增強

二維碼的識別過程經常面臨各種挑戰，尤其在光照并不充足的工廠車間，背景波動不規律、光照不足、圖像采集技術不當導致的失真等問題都會影響二維碼圖像的分割與識別。為了克服上述問題，需要在訓練分割網絡時加入特殊的圖像增強方法，減少噪聲影響。筆者在訓練圖像分割網絡時使用了基于pytorch的Albumentations函數庫進行圖像增強，除了常規的裁剪、翻轉等方法，還增加了隨機色彩變換（包括隨機對比度、飽和度、色相變換）、高斯模糊和運動模糊，使得網絡具有更強的魯棒性和分割能力。

4 圖像識別

在獲取分割網絡得到的二維碼圖像后，需要對圖片進行平滑濾波、二值化及尋找輪廓等操作，篩選輪廓中有兩個子輪廓的特征，從篩選后的輪廓中找到面積最接近的3個即二維碼的定位符。之后進入解碼階段，解碼階段流程如圖8所示。

5 對比實驗

5.1 數據集

數據集共包含352張圖片，每張圖片含有原始圖像和標簽圖像。這些圖片平均大小為500×500。圖9為訓練數據集中部分原始圖像與標簽圖像。

5.2 實驗環境

實驗設備是4個NVIDIA Geforce RTX 3090 GPU的服務器，開發環境為Ubuntu 18.04.6、python 3.7.16和pytorch 1.12.1。

5.3 評估指標

采用常用的3個指標即像素精度（PA）、交并比（IoU）和Dice系數（Dice）來衡量網絡分割效果。

5.4 實驗設置及結果

首先將數據集按8∶1∶1的比例隨機劃分為訓練集、驗證集和測試集，每個文件夾的訓練數據和測試數據不存在任何重疊。本次實驗選擇ADAM優化器來訓練網絡，網絡的初始學習率設置為0.01，每個模型訓練3次并取指標的平均值和標準差。多次實驗驗證表明，當訓練輪數和批次大小分別設置為100和8時，分割性能最好。

本次實驗首先進行了消融實驗，分別對原始UNet、UNet+HAM、UNet+注意力門（AG）、MA UNet進行對比實驗。結果表明，筆者所提的MA UNet有效提高了網絡的分割精度。

表1顯示了UNet加入不同模塊后的分割效果，紅色數據為最好的評估指標，以百分制形式表示。從最終實驗結果可以看出，筆者所提出的MA UNet可以提升網絡的分割能力，將多尺度特征提取融合過后的特征圖輸入卷積注意力模塊可以進一步優化特征提取，篩除冗余特征，減少背景噪聲對網絡分割的影響。同時，改進的注意力門可以減少UNet在下采樣過程中的特征丟失，通過將上下層特征圖進行融合和注意力加權，可以一定程度上加強網絡特征提取能力。

隨后，筆者將MA UNet與多個網絡（包括UNet、UNet++［18］、UNet3+［19］、SK UNet、Att UNet、AA UNet）進行了對比實驗，實驗結果見表2，紅色數據為最好的評估指標，以百分制形式表示。實驗結果表明，MA UNet在各個評估指標中都要強于UNet以及其他基于UNet改進的網絡。筆者方法在3個評價指標上取得了最好的結果，在數據集上訓練后得到的3個評價指數值分別為97.01、71.28和80.31。實驗數據表明MA UNet相較于其他網絡具有更好的健壯性，對特征的提取更加充分，并且可以很好地應用于工業數據集上。

圖10給出了不同分割方法在數據集上的PR曲線和ROC曲線。PR曲線代表了正確預測真陽性和假陽性類別的置信度。ROC曲線展示了模型在不同閾值下區分正負樣本的能力，AUC得分顯示在ROC曲線中。與其他方法相比，MA UNet方法獲得了最高的AUC值。根據PR曲線和ROC曲線可知，筆者所提MA UNet方法達到了最高的置信度。

此外，在訓練過程中加入隨機色彩變換、高斯模糊和運動模糊的圖像增強方法后，MA UNet的3個指標都得到了進一步提升，分別達到了97.22、71.66和80.95，這表明加入的特殊圖像增強方法有助于提升網絡分割能力。

最后，將訓練結果最好的MA UNet模型應用在二維碼識別實驗中，損失變化圖和PA、IoU、Dice評估指標變化如圖11所示。

最終實驗結果顯示，使用原圖像直接進行二維碼識別，二維碼的識別準確率只能達到91.52%，而使用分割后得到的圖像進行識別，二維碼的識別準確率達到了96.32%，誤差小于5%。

6 結束語

在本次研究工作中，制定了一套嚴謹的數字化編碼規則，采用版本號為3、糾錯等級為L的QR二維碼作為數字編碼標準，為工業設備設置不重復的標識來區分不同設備并儲存設備相關信息。設計并使用MA UNet圖像分割網絡對設備標識圖像進行分割，通過多尺度特征提取和融合增強了網絡對于不同輸入的適應性，在塊間和塊內加入多重注意力機制，減小了背景噪聲對分割效果的影響，增強了網絡的健壯性。之后加入了獨特的圖像增強方法，并與原始UNet及幾種基于UNet改進的圖像分割網絡進行了對比，通過3種常見的圖像分割評估指標來評估網絡分割效果。實驗結果表明，MA UNet的分割效果強于其他網絡。最終在二維碼識別階段，筆者提出的方法在識別準確率上達到了96.32%，誤差小于5%，高于直接使用設備標識圖像進行識別的情況，證明筆者方法可以很好地應用在工業領域，可以輔助數字孿生工廠的建設。

參 考 文 獻

［1］" "HOZDI E.Smart factory for industry 4.0：A review［J］.International Journal of Modern Manufacturing Technologies，2015，7（1）：28-35.

［2］" "TAO F，XIAO B，QI Q，et al.Digital twin modeling［J］.Journal of Manufacturing Systems，2022，64：372-389.

［3］" "TIWARI S. An Introduction to QR Code Technology［C］//2016 International Conference on Information Technology （ICIT）.Piscataway，NJ：IEEE，2016：39-44.

［4］" "BORISOV A.A Novel Approach for User Authentication to Industrial Components Using QR Codes［C］//2015 IEEE" 39th Annual Computer Software and App

lications Conference.Piscataway， NJ：IEEE， 2015：61-

66.

［5］" "XIONG L Z，ZHONG X W，XIONG N N，et al.QR3S：A High Payload QR Code Secret Sharing System for Industrial Internet of Things in 6G Networks［J］.IEEE Transactions on Industrial Informatics，2021，17（10）：7213-7222.

［6］" "YI L，LI G，JIANG M.An EndtoEnd Steel Strip Surface Defects Recognition System Based on Convolutional Neural Networks［J］.Steel Research International，2017，88（2）：1600068.

［7］" "SUN X H，GU J，TANG S X，et al.Research Progress of Visual Inspection Technology of Steel Products—A Review［J］.Applied Sciences，2018，8（11）：2195.

［8］" "RONNEBERGER O， FISCHER P， BROX T. Unet：Convolutional networks for biomedical image segmentation［C］//Proceedings of the International Conference on Medical Image Computing and Computerassisted Intervention（MICCAI 2015）.2015：234-241.

［9］" "殷曉航，王永才，李德英.基于UNet結構改進的醫學影像分割技術綜述［J］.軟件學報，2021，32（2）：519-550.

［10］" "OKTAY O， SCHLEMPER J， FOLGOC L L， et al.

Attention unet：Learning where to look for the pancreas［J］.Arxiv Preprint， 2018.DOI：10.48550/arXiv.1804.03999.

［11］" "WANG W，YU K C，HUGONOT J，et al.Recurrent UNet for ResourceConstrained Segmentation［C］//2019 IEEE/CVF International Conference on Computer Vision（ICCV）.2019：2142-2151.

［12］" BYRA M， JAROSIK P，SZUBERT A， et al.Breast mass segmentation in ultrasound with selective kernel UNet convolutional neural network［J］.Biomedical Signal Processing and Control，2020，61：102027.

［13］" "CHEN G P，LI L，DAI Y，et al.AAUNet：An Adaptive Attention UNet for Breast Lesions Segmentation in Ultrasound Images［J］.IEEE Transactions on Medical Imaging，2023，42（5）：1289-1300.

［14］" "WOO S， PARK J， LEE J Y，et al.CBAM：Convolutional block attention module［C］//Proc of the European Conference on Computer Vision.2018：3-19.

［15］" "SHIN D H，JUNG J，CHANG B H.The psychology behind QR Codes：User experience perspective［J］.Science Direct，Computers in Human Behavior，2012，28（4）：1417-1426.

［16］" "CHOU K C，WANG R Z.DualMessage QR Codes［J］.Sensors，2024（10）：3055.

［17］" "DE BOER P T，KROESE D P，MANNOR S，et al.A tutorial on the crossentropy method［J］.Annals Operations Research，2005，134：19-67.

［18］" "ZHOU Z W，SIDDIQUEE R M M，TAJBAKHSH N，et al.Unet++：A nested unet architecture for medical image segmentation［C］//Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support：4th International Workshop，8th International Workshop，MLCDS 2018，Proceedings 4 Springer International Publishing.2018：3-11.

［19］" "HUANG H，LIN L，TONG R，et al.UNet 3+：A FullScale Connected UNet for Medical Image Segmentation［C］//ICASSP 20202020 IEEE International Conference on Acoustics，Speech and Signal Processing （ICASSP）.2020：1055-1059.

（收稿日期：2024-08-12，修回日期：2025-02-09）