基于YOLOv5模型識別的數字孿生機械臂

摘 要：為解決傳統工廠機械臂工作室需要近距離人工看護、易造成安全事故等問題，采用基于YOLOv5機器視覺模型和Unity 3D平臺的虛幻引擎搭建了一款可遠距離人機交互、實時監測的機械臂。其中，視覺模塊利用樹莓派官方攝像頭作為視覺傳感器，使用樹莓派處理YOLOv5的計算任務，經過長時間的數據采集將視頻以每秒30幀的頻率分割成靜態圖像，用于增強模型魯棒性；孿生模塊以Unity 3D組件搭建基本結構，通過手寫腳本模擬現實機械臂的物理特性；利用MQTT通信協議使二者協同驅動。經驗證，該機械臂性能穩定，能夠較好地實現既定目標。

關鍵詞：視覺識別；物聯網；機械臂；數字孿生；MQTT；Unity 3D

中圖分類號：TP241.2 文獻標識碼：A 文章編號：2095-1302（2025）04-0-03

0 引 言

隨著國家的發展，對于高新技術和智能制造的需求日益增長。為滿足提高生產效率、降低成本、保障安全和促進創新的需求，一項能夠在高危、無塵的工作環境中進行高效、精準操作的技術有助于為國家制造業[1]、航空航天[2-3]、醫療[4]、

軍事[5]等領域的發展提供重要支持。近年來，隨著機器視覺和硬件技術的提升，許多應用型機械臂，如文獻[6]研制的腹腔鏡微創手術機器人，憑借其精巧的結構充分發揮了微創手術的優勢，但其三維顯示系統目前還無法將機器人在視覺圖像上進行標定；文獻[7]通過機器視覺設計了一套機場行李搬運系統，但受時間和結構等因素限制，目前仍然存在一些不足。本文設計的基于視覺識別與路徑規劃的數字孿生機械臂，為綜合機械臂的研制提供了參考。

1 機械臂數字孿生

1.1 物理特性映射

所謂物理映射[8]就是將現實世界的客觀影響因素通過虛擬引擎投射到虛擬場景中。其中包括機械結構的父子關系、機械臂的數學模型、驅動器代碼等，使其運行邏輯等與現實世界中的實體機械臂參數一致。

如圖1中的淺灰色部分所示，在設計關節部分時特意選用了機械式主動調平方式，以保證夾爪能夠在升降過程中保持水平狀態，從而確保其在抓取過程中的穩定性。所使用的42步進電機，通過官方文檔查詢相關數據后，以代碼的形式在虛擬體中體現。機械臂的臂長、臂寬、齒輪齒數、分度圓等參數直接以模型的形式導入。

1.2 虛擬體搭建

目前市面上的主流引擎有Unreal、Unity、Source、CryEngine等，該項目基于Unity 3D平臺搭建，其主要優點為Unity 3D社群活躍，除具有優秀的跨平臺兼容性和相對容易的開發環境外，還擁有大量的第三方包，截至目前共有超過56 000個第三方包可以使用。

圖2展示的是虛擬體搭建界面。其中，頁面左邊一欄是Unity 3D的主從關系表達樹，通過查看其上下位置即可確定主從關系。中間為搭建的場景，Unity場景自帶單個攝像頭和單個光源，將三維模型（fbx格式）導入場景中，根據上節提到的物理特性使用虛擬引擎自帶的組件進行約束。圖2右邊一欄為單個零件屬性欄，在此選擇零件的物理屬性和連接類型。

圖3為用戶交互界面，包括（①）退出：退出程序；使用說明（②）：內置文字版使用說明；用戶登錄（③）：登錄購買的云服務器ID；初始化（④）：初始化機械臂按鈕；坐標輸入（⑤）：指令輸入入口；調整（⑥）：調整細微偏差；可視化（⑦）：可視化機械臂模型。

1.3 數據交互

該項目使用消息隊列遙測傳輸協議（Message Queuing Telemetry Transport， MQTT）確保實體和孿生體之間的通信。MQTT是一種基于發布/訂閱（Publish/Subscribe）模式的“輕量級”通信協議，該協議基于TCP/IP協議構建。MQTT最大的優點在于，僅需使用極少的代碼和有限的帶寬即可為連接遠程設備提供實時可靠的消息服務。

通過圖4所示的坐標輸入窗口輸入指定坐標，后臺將坐標發送至租用的服務器，機械臂控制主板上的ESP8266輔板通過WiFi模塊從指定服務器中抓取坐標信息，并發送給母板從而控制機械臂。圖4為通信代碼調用的庫和第三方插件。

2 視覺識別系統

2.1 視覺硬件配置

本文采用了適用于樹莓派的官方高清攝像頭，以確保圖像質量滿足后續處理要求。該攝像頭具備高分辨率捕捉能力，能夠清晰記錄機械臂操作環境中的細節。為處理YOLOv5模型[9]的計算任務，選用了樹莓派4B作為計算平臺，其具備4 GB RAM和1.5 GHz 的四核心CPU，可滿足實時處理的基本需求。

2.2 數據采集與預處理

在實驗室環境下，通過樹莓派高清攝像頭連續捕獲了總計24 h的機械臂操作視頻。隨后，將視頻以每秒30幀的頻率分割成靜態圖像，共獲得約2.6萬張圖像，如圖5所示。采用圖像增強技術，包括旋轉、縮放和顏色調整等，提高模型訓練的多樣性和魯棒性。

2.3 數據集制作與標注

利用LabelImg工具對采集的圖像進行手動標注[10]，標注內容專注于要識別的物體，包括其類別和位置（使用邊界框標注，如圖6所示）。每張圖像由兩名研究人員獨立標注，通過交叉驗證方式解決標注差異問題，確保數據集的準確性和一致性。

2.4 YOLOv5模型訓練與優化

在樹莓派平臺上部署YOLOv5模型前，首先在具備GPU加速功能的服務器上進行預訓練，使用公開的COCO數據集初始化模型權重。隨后，利用制作的定制數據集對模型進行微調，訓練過程需使用交叉熵損失函數和Adam優化器，學習率設置為0.001，批量大小為32，共計迭代了5 000次。

為適應樹莓派的計算能力，對YOLOv5模型進行輕量化處理，包括剪枝、量化和知識蒸餾等，以減少模型的參數量和計算復雜度。輕量化后的模型在樹莓派上的推理時間從原始模型的2.5 s降低到0.8 s，準確率保持在93%以上，可滿足實時處理的要求，達到圖7所示的效果。

3 機械臂機構

3.1 機械臂設計

本文以開源的桌面機械臂為設計基礎，利用三維產品建模軟件完成了造型設計。為了制造所有主干結構件，采用了增材制造中的FDM 3D打印技術。在實體部件的重建過程中，根據數字孿生體的信息反饋進行了三次重建。該機械臂具有三個自由度：底座與機械臂間的轉動自由度、機械臂大臂與底座間的轉動自由度以及機械臂小臂與大臂間的轉動自由度。大臂、小臂和底座的運動由三個步進電機通過齒輪連桿等結構實現傳動控制。

實體部分由42步進電機驅動，各關節處配有軸承以確保活動自由度。各構件通過緊固件連接，驅動電機、限位開關和傳感器通過數據線連接到控制主板。控制主板可以實現機械臂的全部控制功能，并能與電腦上的孿生體進行串口通信。通過與遠程通信模塊連接，控制主板還可以實現與孿生體的跨局域網信息通信。

關于機械限位開關的運用，本文將其用于機械臂斷電啟動時的復位和運動控制時的點位標定。此外，步進電機的控制引入了基于霍爾元件的磁感應控制模塊，實現了閉環控制。該磁傳感器可以實時獲取步進電機的位置、矢量、速度和加速度等信息，使該模塊能夠獨立工作，用于實現電機驅動和位置反饋。機械臂根據控制主板接收到的運動指令運動，并在收到信息索取指令時輸出當前傳感器采集的信息。

3.2 機械夾爪設計

由于三爪式舵機夾爪的綜合表現和在機械臂上展現出的卓越的穩定性和功能性，已被應用在各類場景中。該機械夾爪憑借獨特的優勢，為機械臂提供了穩定可靠的夾持能力。

在需要高精度操作的場景中，三爪式的舵機夾爪展現出相較于兩爪式或吸盤等夾持組件更加穩定的特性。由于其三個夾爪為聯動式控制，可以精確地夾持各種形狀和大小的物體，因此能夠更好地確保操作的準確性和穩定性。在需要快速響應的場景中，三爪式舵機夾爪憑借其高性能舵機，實現了快速而準確的夾持和釋放。通過精確控制舵機的轉動，夾爪可以在短時間內完成張開和閉合的動作，提高了機械臂的工作效率。這使得它在需要快速更換或移動物料的場景中表現出色，大大提升了機械臂的工作性能。

此外，三爪式舵機夾爪還具備良好的適應性，能夠應對各種形狀和硬度的物體。通過調整夾爪的張合程度和夾持力度，可以實現對不同物料的穩定夾持，而不會對物料造成損傷。同時，由于結構的設計，它對于反復做夾持動作所造成的磨損相較于其他方式更小，夾爪更加堅固耐用，使得它更適合應用于連續的工作過程，從而減少了因夾爪抖動或滑移導致的誤差。這使得它在夾抓各種不同物料時都能保持高效穩定的工作狀態。三爪式夾爪機構如圖8所示。

4 結 語

該項目通過Unity 3D平臺搭建了數字孿生體并使用MQTT通信協議實現了與實體的同步通信；通過集成適用于樹莓派的高清攝像頭和基于樹莓派搭載的YOLOv5模型，實現了對機械臂操作環境中目標物體的高效準確識別，創造了一種現實意義上的非接觸式人機交互機械臂。同時，數字孿生和機器視覺技術的結合為非接觸交互機械臂的應用提供了更大的優勢。這類優勢重點體現在可以對機械臂的運行狀態進行實時監控和模擬，便于直觀觀測其夾爪狀態，并預測其未來的性能和行為，從而更好地進行優化和控制。通過預測可能出現的故障，有助于延長機械臂的使用壽命，提高機器人的生產效率和產品質量，減少人為操作誤差，為企業降低各類成本。

然而，本項目目前局限于硬件算力，對于模型的數據處理速度仍有待提高。未來將探索更高效的模型優化方法和硬件加速技術，以進一步提升系統的性能。

注：本文通訊作者為蔣維佳。

參考文獻

[1]劉亦晴.工業機器人智能視覺引導技術發展及其運用[J].科技經濟市場，2020（4）：3-5.

[2]張凱鋒，周暉，溫慶平，等.空間站機械臂研究[J].空間科學學報，2010，30（6）：612-619.

[3]高涵，張明路，張小俊，等.機械臂絕對定位精度標定關鍵技術綜述[J].計算機應用研究，2017，34（9）：2570-2576.

[4]倪自強，王田苗，劉達.醫療機器人技術發展綜述[J].機械工程學報，2015，51（13）：45-52.

[5]佚名.美巨型焊接機器人系統可助力軍事應用[J].焊接技術，2017，46（1）：90.

[6]鞠浩. 腹腔鏡微創外科手術機器人控制系統研究[D].天津：南開大學，2010.

[7]劉新. 基于機械臂的機場行李智能搬運系統研究[D].吉林：吉林大學，2022.

[8] BRATCHIKOV S， ABDULLIN A， DEMIDOVA G L， et al. Development of digital twin for robotic arm [C]// 2021 IEEE 19th International Power Electronics and Motion Control Conference （PEMC）. Gliwice， Poland： IEEE， 2021： 717-723.

[9]李宇翔，王帥，陳偉，等.基于Ghost模塊的改進YOLOv5目標檢測算法[J].現代電子技術，2023，46（3）：29-34.

[10]朱花，陳璐，陽明，等.基于YOLOv3的工件抓取機械臂研究[J].實驗室研究與探索，2023，42（9）：132-138.