基于數字孿生的智能生產現場管控系統

摘要：數字孿生可以如實地反映相應的物理實體，模擬其物理對應物的特征、行為、生活和性能，是實現物理世界和信息世界的交互、融合，以及智能化的橋梁。為滿足生產現場管控要求，引入數字孿生技術，建立了基于數字孿生的智能生產現場管控系統框架，并從物理實體的實時數據獲取、基于混合/虛擬現實的自由巡檢、數字孿生人機協同智能管控3個方面對數字孿生智能生產現場管控的數據獲取、可視化監管以及協同響應等關鍵功能進行詳細闡述。

關鍵詞：數字孿生生產現場管控混合現實虛擬現實人機協同

中圖分類號：F406.2文獻標識碼：A

IntelligentProductionSiteControlSystemBasedonDigitalTwin

WANGNingLIUNing*CAIPengFANGHaiwangHUANGJinming

WANGJingyao

ChinaTobaccoHubeiIndustrialCo.，Ltd.，HuanggangCity，HubeiProvince，438000China

Abstract：DigitalTwincanfaithfullyreflectthecorrespondingphysicalentitiesandsimulatethecharacteristics，behaviors，life，andperformanceoftheirphysicalcounterparts，andserveasabridgetoachieveinteraction，integration，andintelligencebetweenthephysicalandinformationworlds.Inordertomeettherequirementsofproductionsitecontrol，itestablishesaframeworkofintelligentproductionsitecontrolsystembasedonDigitalTwintechnology，andelaboratesthekeyfunctionsofthesystemfromthreedirections：real-timedataacquisitionofphysicalentities，freeinspectionbasedonMixedReality/VirtualReality，andDigitalTwinhuman-machinecooperationintelligentmanagementandcontrol.

KeyWords：DigitalTwin;Productionsitecontrol;MixedReality（MR）;VirtualReality（VR）;Human-machinecooperation

近年來，第四次工業革命（即信息技術與工業生產的集成）正在改變工業，各國也提出了智能制造發展戰略，如德國工業4.0[1]、美國工業互聯網[2]以及中國制造2025[3]等。雖然各國智能制造戰略都是結合自身國情與背景各有不同，但是始終圍繞著解決實踐過程中的一個重要的瓶頸問題，即實現實際環境和虛擬環境的交互、融合以及智能化。

生產現場的管控包含著對生產現場人員、器械等生產要素的管理與控制，決定了生產過程的效率與安全。盡管現在很多公司對產品生產線進行了智能化、無人化和數字化的改造升級，實現了自動化產線監控和健康管理[4]，然而應用數字化車間[5]、生產線仿真[6]等技術方案的研究大多聚焦解決車間布局規劃和生產線優化等問題，較少考慮生產現場的管控問題。現有的材料生產管控主要通過人手動觀察對車間環境內的物品排列、人員行為和環境狀況進行管理，但是這種管理方式存在工作時長高、生產效率低和難以統計分析等問題。給員工帶來額外的工作負擔和抵觸情緒。同時，隨著門店規模與范圍擴大，生產量和巡視任務增加，會造成工件定置率、巡檢滿足率和響應及時性無法達到承諾水平的問題。因此急需精細化、透明化、智能化的生產現場管控解決方案。

1數字孿生體系研究現狀

數字孿生的概念自2003年由GrievesM教授[7]提出以來，國內外學者對于數字孿生應用于生產車間的管控進行了深入研究。FULLERA[8]等人、TAOF[9]等人探討了數字孿生概念，分析了數字孿生在工業中的應用的研究現狀與挑戰。TAOF等人[10]、陶飛等人[11]、QIQ[12]等提出了數字孿生車間的概念模式，從數字孿生理論出發，設計了數字孿生車間架構，分析了其運行模式與關鍵技術，并將系統分成物理層、模型層、數據層、服務層這4個主要層次進行了理論上的深入探索，提供了數字孿生的常用技術與工具。劉義等人[13]研究了基于數字孿生的智能車間管控設計了基于數字孿生智能車間的體系架構，提出了實時匯數據、智能找問題、精準做決策的生產管控設計理念，提高了管理與決策效率。

對于孿生數據的可視化方式，吳鵬興等人[14]提出了一種基于數字孿生的離散制造車間可視化實時監控方法，并通過搭建基于數字孿生的離散制造車間達到可以實時可視化監控的方法體系架構，通過三維場景可視化車間狀態與分析數據。賴傳可等人[15]在船舶的數字孿生運維系統上采用了虛擬現實（VirtualReality，VR）技術并進行了深入的研究，通過對船舶的數據進行采集從而驅動虛擬船舶。實驗結果證明應用虛擬現實技術后，該船舶系統的數據預測功能得到提升。

對于數字孿生的交互與協作，ROSEN等人[16]認為數字孿生系統可根據物理空間的實時變化對實際的生產空間作出改變。VACHALEK等人[17]認為數字孿生可以基于虛實空間的實時交互，更快地響應制造生產過程中的各種變化。

綜上所述，國內外學者圍繞基于數字孿生理論，對于生產車間的構建與管理等方面進行了深入研究，取得了很多有意義的成果，但目前仍存在以下不足：（1）目前的研究大多圍繞著生產過程的管控，現在還沒有針對性的生產現場管控的數字孿生框架，也仍然缺乏具體的實施方案；（2）目前的數字孿生系統中的數據顯示往往是以數值分析為基礎的圖表分析，并主要通過電子看板顯示，可視化顯示不夠直觀，人機交互不自然，難以滿足對現場情況的多層次，多細節展示上的自由巡檢；（3）目前研究主要集中在物理現場到虛擬現場的映射，因此主要集中在“監測”與“管理”，而缺乏對現場的“控制”的研究；（4）現有數字孿生系統的目標聚焦在生產設備、生產場景的零部件管控上，而往往忽略了人的執行能力。

本文針對以上研究中的問題，提出了一種數字孿生生產現場智能管理系統總體架構和人機協同的智能管控的方法，構建了基于MR/VR的多層次虛擬巡檢場景，實現生產現成設備的實時數據采集，MR/VR自由虛擬巡檢，人機協同智能管控等要求。本文所開發的系統已進行應用驗證，使生產現場設備定置率由75%提升至95%，減少了管控實體對象的放置錯誤，提高了管理效率與智能水平。

2智能現場管理數字孿生體系架構

本文提出的基于數字孿生的智能生產現場管控系統如圖1所示，參考陶飛等人[10-11]的數字工廠的理論構架，系統由四大層級構成，分為物理世界層、孿生模型層、數據管理層，以及功能應用層。

2.1物理世界層

物理世界層是生產現場的主體，是生產現場“人、機、物、環”上所需管理控制實體的總和，具體包括生產現場工作人員，機床與加工設備，各種生產材料、運輸、清潔、安全相關物品、環境相關數據等。除此之外，還有構建物聯網的相關感知設備如射頻識別讀寫器、超寬帶（UltraWideBand，UWB）定位器、工業監控相機、可編程邏輯控制器（ProgrammableLogicController，PLC）以及通信器。最后，還具有遠程控制功能的設備，如自動導引運輸車（AutomatedGuidedVehicle，AGV）等。這些實體有機結合，承擔了它們本身的功能、數據收集以及執行的管理活動。

2.2孿生模型層

孿生模型層是物理世界層的虛擬映射，所有需要管控的實體在孿生模型層中都具有它的數字對應，是現場實體幾何、位置等特征、狀態的真實寫照，整個孿生模型層中的數字模型相互關聯、協作，對物理世界層中進行的各種行為（如人員移動、物料搬運等）進行實時的反映。而生產現場管控主要關注人員、設備、環境的實時狀態，因此系統著重這部分的數字孿生映射。

2.3數據管理層

數據管理層是生產工作中管控數據儲存、交互、傳輸的中心。包含模型數據庫、視覺識別等算法數據庫、執行規則庫等。數據管理層所管理的數據具有來源多、種類多樣、差異大、數據量大等特點，依靠數據管理層的分析處理，這些數據會被進行篩選，留下可用數據作為管控生產現場的抉擇依據。數據管理層是物理世界層與孿生模型層的數據橋梁，是融合互聯、管理控制的關鍵。

2.4功能應用層

功能應用層是面向用戶所需的功能應用的。通過VR技術實現用戶在孿生模型構成的虛擬世界中的自由巡檢，通過虛實映射過程中的數據采集，實現生產現場的狀態分析，如設備、物體定置率，設備運行、充電狀態，并支持管理人員根據生產現場狀態進行決策控制，通知人員協同執行設備完成決策的執行。

綜上所述，基于數字孿生的生產現場智能管控系統可以對人員、設備、環境實現虛擬化和互聯化的數字孿生集成，這種新的生產現場管控模式為車間的管理人員提供了高效的管控、巡檢、決策、交互，并將人員與設備聯合起來，快速針對決策進行響應。

3物理數據獲取

3.1多源異構數據采集網絡

車間內的傳感器設備種類和所接收到的數據類型存在大量差異，且接口傳輸協議也存在不同。針對此情況，該系統采用OPCUAServer作為生產現場數字孿生數據通信網絡的核心。OPCUAServer支持跨平臺操作，提供統一的地址空間和服務，與數字孿生數據采集任務相契合[18-19]。設備、傳感器、工控機等則通過現場總線與PLC工控機連接。未連接PLC的設備，例如：智能通信器、AGV小車與RFID定位器等通過TCP/IP協議連接至工業以太網。

3.2實體數據采集

本系統主要針對人員、設備、環境等實體管控目標進行采集。

3.2.1管控人員定位信息采集

對人員信息的采集本文主要選用UWB定位器傳感器來實現，其利用超寬帶技術實現位置和距離測量。其原理基于發射非常短脈沖的電磁信號，并利用這些脈沖在空間中的傳播特性來確定目標的位置。由于其優越的定位性能，近年來被應用于基于數字孿生的智能工廠中[20]。該方法主要由分布在生產現場的定位基站以及佩戴在人員身上的定位標簽組成。

3.2.2管控實體定位信息采集

實體對象主要分為兩類：一是精確設備，需要實時精確確定其所在位置；二是定置位置設備，只需要確定是否在所在位置。對于精確設備而言，需要根據所需精度水平，采用RFID定位器（米級定位精度）或者UWB定位器（厘米級定位精度）。雖然RFID定位精度較差，但是由于其可以準確的識別實體對象，且造價更加低廉，因此可以結合其他傳感器來對不需要準確定位實時，而僅需知道是否歸位的對象進行狀態信息收集。對于定置位置設備，選用RFID定位器與霍爾傳感器相結合的形式，其實現原理為首先通過RFID定位器確定設備，然后通過霍爾傳感器確定設備是否在其定置位置。

對于傳感器檢測不到的特殊實體，則選用機器視覺識別的方法來解決。其采集思路為：識別這些實體的特征后，通過三維重建或直接調用已有的CAD模型進行特征采集，算法可以是Linemod[21]、Chamfer[22]、點云匹配[23]等，這些實體的CAD模型已經事先儲存于數據管理層的數據庫中，在每個區域內都調用相應的特殊數據庫與算法庫來對其區域中的實體進行定位識別數據的采集。

3.2.3環境信息采集

在生產車間的現場中，生產環境的數據采集是必不可少的，因為其數據量龐大的緣故，需要采用合適的方法優化采集，為解決這一問題，本系統采用了基于監控相機進行環境信息感知的方法。該方法根據設備的所在的定置區域分布對生產場景進行分割，實現分別采集。在該過程中監控相機不僅起到識別和定位的作用，還收集到了設備實時圖像。每次設備進出定置區域時，監控相機都會記錄并保留相關信息，以便進行設備使用時進行查找。

總體來說，本文利用OPCUAServer建立了多源異構數據采集網絡，以實現數字孿生生產現場管理系統對現場關鍵數據的實時獲取，包括人員定位信息、設備定位信息和環境信息。如表1所示，總結了不同類型實體對象的數據采集方法。

4基于混合/虛擬現實的自由巡檢

從生產現場的可視化監控方式，經歷了數據電子看板為主的二維數據圖表、圖形等的二維監控，到基于數字孿生的三維可視化監控的轉變[24]，然而這些三維數據的顯示方式仍然是以二維顯示器界面的形式展示，管理人員需要控制鼠標與方向鍵在這些虛擬模型中進行瀏覽，可視化效果不直觀，交互不自然。VR的應用旨在模擬真實環境從而達到人機界面的作用，它提供了一種獨特的交互方式。虛擬現實并不是一個單一的技術其更多的是一組技術，目的是通過計算機生成的虛擬環境，使用戶能夠沉浸其中并與之交互，以提供一種身臨其境的體驗。VR為用戶提供了探索虛擬世界的機會，而且能夠體驗到在真實世界中不可能或不容易實現的事物和場景[25]。相較于二維顯示器界面，虛擬現實技術所提供的沉浸感能夠使生產現場的管理者更專注于巡檢與管控任務。混合現實（MixedReality，MR）是一種融合了345552f245e65886e30a12c17fda0943虛擬現實（VR）和增強現實（AugmentedReality，AR）技術的新型交互體驗?；旌犀F實技術通過在真實世界中疊加虛擬對象，使用戶可以在真實環境中與虛擬內容進行互動和交互。通過數字孿生技術，虛擬場景可以對物理場景進行實時的映射，然而虛擬場景對物理場景的映射取決于對現場數據的采集的對象的選擇，因此無法全面地反映物理現場的所有狀態，因此管控人員有時還需要在物理生產現場進行巡檢，此時MR技術就為管控人員提供了數據可視化以及交互手段來支持管控。

c3400087c248d8b095cfabf1a8280cd74.1基于VR的生產現場自由巡檢

VR應用到生產現場的關鍵問題是，如何建立一個實時反映真實場景的虛擬場景對應，使得管理者可以自由地巡檢與交互。而數字孿生概念的出現正好切合了VR應用的需求，因此本文選用VR作為虛擬巡檢時數字孿生模型設計的可視化方式。

巡檢管控人員可以通過佩戴VR頭戴式顯示設備進入數字孿生虛擬場景中，并且可以通過預先寫好的控制面板與當前的場景交互。在數字孿生的場景中預先設置轉移點，轉移點與設備管控定置區域相關，設置在區域附近方便管控，管控人員則可以在每個管控區域調用設備狀態面板進行調整，觀察該區域設備閑置或工作狀態等信息，并實施管控操作，圖2（a）為管控人員于某制造煙絲數字孿生虛擬車間中進行自由巡檢來查詢定置物體的實時情況；圖2（b）為巡檢人員在某叉車充電間的數字孿生車間中查詢叉車狀態的實時情況。

4.2基于MR的生產現場自由巡檢

MR技術應用到生產現場的關鍵問題是解決虛擬場景與真實虛實注冊。隨著MR技術的逐漸發展，輕量、功能強大的ARHMD設備已經逐漸普及，這些設備普遍支持空間自定位功能，因此關鍵問題是如何設置虛擬場景與真實場景的融合基準。本文選擇通過人工標記作為虛擬融合基準，這些人工標記在真實場景與虛擬場景中被設置為同一空間位置，因此每當使用ARHMD上的相機對這些標記進行掃描，ARHMD與標記的相對位置確定，同時確定ARHMD相較于真實與虛擬場景的相對位置，這樣虛擬內容即可與真實場景精確重疊。

管控工作人員執行巡檢時，通過佩戴ARHMD沉浸在數字孿生虛實融合現場場景中，通過手勢實現與虛擬對象的交互。每到達一個管控區域，管控人員掃描區域所屬的人工標記，完成虛實坐標系的統一與矯正。管控人員可以直接觀察真實場景中，管控實物的狀態，并可以手勢交互調用區域設備狀態面板，觀察該區域實時與歷史的管控實體定置率，各設備歸位或去向、設備閑置或工作狀態，并實施管控操作。

5數字孿生人機協同智能管控

所有數字孿生部件必須相互交互和協作，以解決復雜問題。數字孿生涉及3種交互協作：實對實、虛對虛和實對虛。（1）實對實交互，多個設備實體之間可以實現相互通信、協調的功能。（2）虛對虛交互，多個虛擬模型構成一個信息共享的網絡。（3）實對虛交互，虛擬模型和實體之間可以相互控制調整，實現虛實互控并可以實時調整[9]。

實對虛交互所映射的是生產過程中管控中的“控制”能力，即“以虛控實”的能力?，F有的數字孿生系統只注重于實對虛的控制，往往忽略到虛控實的能力[14]或者僅能夠通過一些可控設備或機器人完成這種反饋控制。針對此問題本文提出一種基于人機協同的智能管控方法，如圖3所示。

虛擬現場管理人員通過VRHMD在虛擬現場進行巡檢，或者通過佩戴ARHMD在真實現場進行巡檢，根據數字孿生場景與數據分析面板決策管理方式，如果是人為控制，則管理人員可以自由地發出控制指令；而如果是智能決策，指令則自動生成既定目標，如定置物體歸位指令等。管控指令生成后，系統對管控指令進行分解，決定指令目標、對象、類型、位置等，通過三大原則來執行工作。（1）就近原則。采用與執行目標距離最近的可用執行者；（2）空閑原則。讓空閑的執行者接手工作；（3）效率優先。在接到任務時，首先對執行目標進行判斷，如果自動執行器能夠獨立完成任務，則交給該執行器，如果該執行器不能獨立完成任務，則根據就近原則尋找最近執行人員協助工作，并自動生成相應的執行策略。真實現場任務相關的各執行端接收到執行指令的開始執行任務，按照指令順序，人機協同的按照方案步驟完成控制指令內容。最后生產環境現場實時采集數據，并反饋到數字孿生虛擬場景中。

6實例驗證

本文所述基于數字孿生的生產現場智能管控系統在生產現場進行落地應用驗證。整個生產現場包括卷包車間卷包機組示范區域（有24類可移動物品115件可移動物）、制絲車間現場一區示范區域（有28類可移動物品102件可移動物體）內可移動物品、清潔室物品（有10類可移動物體，24件可移動物）、叉車充電間（有1類可移動物體，即叉車15輛）。主要解決生產現場物品定置問題，如圖4所示為系統實際運行示意圖。

生產現場管理水平的一個重要標準是物品定置率，表示已定置的物品與應定置物品數之比，它是衡量一個企業定置管理工作的定量指標，定置率（D）一般是通過個數定置率（Dg）來進行評價，假設已定置的物

品件數為Ng，應定置的物品件數為Mg，其計算公式分別為：

定置率的計算及考核方法包括兩個步驟：首先，根據生產現場劃分的管控區域，分別計算各區域內管控實物的個數定置率；其次，計算各區域個數定置率的平均值，并按如下標準進行考核：均值達到80%，視為合格；均值達到85%，視為良好；均值達到90%，視為優秀。

經過為期3個月的落地示范測試，現場管理水平有了極大的提升，物品定置率從原來的75%提升至95%，達到了優秀以上的水平，監管人員減少了90%，為提高生產現場的生產效率與管理水平提供了良好的應用前景。

7結論

數字孿生技術是實現物理世界和信息世界的交互、融合以及智能化的關鍵橋梁。本文通過引入數字孿生技術改善生產現場管控情況，提出了基于數字孿生的智能生產現場管控系統框架，并針對現在數字孿生應用于數字工廠研究中的不足與生產現場管控特點，從物理實體的實時數據獲取、基于混合/虛擬現實的自由巡檢、數字孿生人機協同智能管控三個方面改善了數字孿生車間的數據獲取、可視化監管以及協同響應能力。通過實例驗證，證明本系統能夠提高生產現場的管理水平與管理壓力，為提高生產現場的生產效率與管理水平提供了良好的應用前景。后續我們將在此基礎上，繼續進行基于數字孿生大數據的生產現場管控智能決策的研究。

參考文獻

[1] CHENB，WANJ，SHUL，etal.Smartfactoryofindustry4.0：Keytechnologies，applicationcase，andchallenges[J].IeeeAccess，2017，6：6505-6519.

[2] LiJQ，YuFR，DENGG，etal.Industrialinternet：Asurveyontheenablingtechnologies，applications，andchallenges[J].IEEECommunicationsSurveys&Tutorials，2017，19（3）：1504-1526.

[3] 周濟.智能制造：“中國制造2025”的主攻方向[J].中國機械工程，2015，26（17）：2273-2284.

[4] 魏一雄，郭磊，陳亮希，等.基于實時數據驅動的數字孿生車間研究及實現[J].計算機集成制造系統，2021，27（2）：352-363.

[5] 趙榮泳，張浩，樊留群，等.數字化工廠與虛擬制造的關系研究[J].計算機集成制造系統，2004（S1）：46-50，55.

[6] 寧汝新，劉檢華，唐承統.數字化制造中的建模和仿真技術[J].機械工程學報，2006（7）：132-137.

[7] GRIEVESM.Digitaltwin：manufacturingexcellencethroughvirtualfactoryreplication[J].Whitepaper，2014，1：1-7.

[8] FULLERA，FANZ，DAYC，etal.Digitaltwin：Enablingtechnologies，challengesandopenresearch[J].IEEEaccess，2020，8：108952-108971.

[9] TAOF，ZHANGH，LIUA，etal.Digitaltwininindustry：State-of-the-art[J].IEEETransi5ZfdQY6uOVoy4CH4Vyazw==actionsonindustrialinformatics，2018，15（4）：2405-2415.

[10] TAOF，QIQ.Makemoredigitaltwins[J].Nature，2019，573（7775）：490-491.

[11] 陶飛，張萌，程江峰，等.數字孿生車間：一種未來車間運行新模式[J].計算機集成制造系統，2017，23（1）：1-9.

[12] QIQ，TAOF，HUT，etal.Enablingtechnologiesandtoolsfordigitaltwin[J].JournalofManufacturingSystems，2021，58：3-21.

[13] 劉義，劉曉冬，焦曼，等.基于數字孿生的智能車間管控[J].制造業自動化，2020，42（7）：148-152.

[14] 吳鵬興，郭宇，黃少華，等.基于數字孿生的離散制造車間可視化實時監控方法[J].計算機集成制造系統，2021，27（6）：1605-1616.

[15] 賴傳可，胡榮群.VR技術在船舶數字孿生運維系統中的應用[J].艦船科學技術，2021，43（22）：211-213.

[16] ROSENR，VONWICHERTG，LOG，etal.Abouttheimportanceofautonomyanddigitaltwinsforthefutureofmanufacturing[J].Ifac-papersonline，2015，48（3）：567-572

[17] VACHALEKJ，BARTALSKYL，ROVNVO，etal.Thedigitaltwinofanindustrialproductionlinewithintheindustry4.0concept[C]//201721stinternationalconferenceonprocesscontrol（PC）.IEEE，2017：258-262.

[18] 柳林燕，杜宏祥，汪惠芬，等.車間生產過程數字孿生系統構建及應用[J].計算機集成制造系統，2019，25（6）：1536-1545.

[19] YUK，OPPERMANNI.PerformanceofUWBpositionestimationbasedontime-of-arrivalmeasurements[C]//2004InternationalWorkshoponUltraWidebandSystemsJointwithConferenceonUltraWidebandSystemsandTechnologies.JointUWBST&IWUWBS2004（IEEECat.No.04EX812）.IEEE，2004：400-404.

[20] JIANGY，LIM，GUOD，etal.Digitaltwin-enabledsmartmodularintegratedconstructionsystemforon-siteassembly[J].ComputersinIndustry，2022，136：103594.

[21] HINTERSTOISSERS，LEPETITV，ILICS，etal.Modelbasedtraining，detectionandposeestimationoftexture-less3dobjectsinheavilyclutteredscenes[C]//ComputerVision–ACCV 2012：11thAsianConferenceonComputerVision，Daejeon，Korea，November5-9，2012，RevisedSelectedPapers，PartI11.SpringerBerlinHeidelberg，2013：548-562.

[22] LIUMY，TUZELO，VEERARAGHAVANA，etal.Fastdirectionalchamfermatching[C]//2010IEEEcomputersocietyconferenceoncomputervisionandpatternrecognition.IEEE，2010：1696-1703.

[23] WANGY，ZHANGS，WANB，etal.Pointcloudandvisualfeature-basedtrackingmethodforanaugmentedreality-aidedmechanicalassemblysystem[J].TheInternationalJournalofAdvancedManufacturingTechnology，2018，99（9-12）：2341-2352.

[24] 趙浩然，劉檢華，熊輝，等.面向數字孿生車間的三維可視化實時監控方法[J].計算機集成制造系統，2019，25（6）：1432-1443.

[25] BERGLP，VANCEJM.Industryuseofvirtualrealityinproductdesignandmanufacturing：asurvey[J].Virtualreality，2017，21：1-17.