基于數字孿生的自組網多模態數據快速融合

蘆偉

（長江水上交通監測與應急處置中心，湖北武漢 430010）

近年來，網絡相關技術得到了大力的發展，例如近距離無線互聯技術、移動蜂窩網技術等，為人們的生活工作與社會發展提供了更加高效的網絡服務。這其中，物聯網技術的出現與應用進一步改變了人們的生產與生活方式，從人人互聯轉變為物物互聯，通信終端數量也達到了百億級別。

自組網是物聯網感知層的關鍵構成技術之一，承擔著分布式數據采集與傳輸的任務。自組網主要是基于一個特定目的臨時構建的網絡結構，具備分布式、單獨組網、自組織等特點，能夠基于簡便的基礎設施提供良好的通信環境。但是，自組網的通信范圍具有一定的局限性。

隨著自組網的不斷發展與升級，其應用范圍也變得更加廣泛，再加之“互聯網+”相關政策的出臺，使得工業互聯網與智能制造成為國家重點研究目標之一。數字孿生技術就是其中的研究熱點之一，目前，數字孿生技術已經被納入了重大戰略性技術發展之一，其涉及領域也在逐漸擴大，如建筑領域、醫療領域、工業領域等。

自組網應用范圍的擴大，使得網絡環境中的數據種類、數量急劇攀升，呈現為多模態數據形式，對其處理與應用相關技術提出了更高的要求，尤其對于多模態數據融合技術來說，其應用效果的優劣直接關系著自組網的后續發展。相關學者從數據處理模型、基于階段的策略、基于特征表示的方法以及基于語義的應用四個層面出發，設計了多來源多模態數據融合與集成技術[1]。此外，也有學者設計了多模態數據融合模式及關鍵技術，建立了網內與網間多模態數據融合體系，分析了協同、聯合、編解碼器三大架構的優缺點，并解決了多模態視頻片段檢索、信息生成內容摘要、多模態人機對話系統等問題[2]。

然而，上述傳統方法在電力領域、農業領域均可以實現多模態數據的融合處理，但在自組網領域的應用效果理想度較低。

數字孿生技術主要是通過傳感器更新、物理模型、設備運行等方式，對研究對象進行仿真的過程。簡單地說，數字孿生技術就是一個數字映射系統，使得物理實體研究更加簡單，成本更加低廉。因此，該文基于數字孿生技術提出一種新的自組網多模態數據快速融合方法。

1 方法設計

1.1 自組網實時數據采集與處理

數據實時采集是物理世界到數字世界的基礎，即實時數據是數字孿生自組網模型構建的依據[3]。自組網實時數據具有如下特征：

①快速響應：自組網對用戶查詢請求能夠及時給出反饋，對實時數據查詢訪問提出了基本的時間要求；

②實時動態變化：自組網數據的標志性特征就是實時性，需要應用實時數據庫對其進行存儲；

③無限可增：隨著時間的推移，自組網實時數據也在不斷增加，只要網絡未關閉，那么實時數據的增加也不會停止[4]。由此可見，實時數據具有無限性，給多模態數據融合帶來了極大的挑戰。

定義R={R1,R2,…,Rt,…,Rn}表示自組網數據的實時特征，其中，Rt表示t時刻采集的自組網實時數據序列。該序列由多個模態數據構成，記為Rt={rt1,rt2,…,rti,…,rtm}，rti表示時刻t采集實時數據序列中的第i個數據，m表示實時數據序列中數據的總量；n表示采集自組網實時數據序列的總數。

自組網運行過程中會產生大量的流數據，其整體質量偏低，致使采集實時數據中存在著大量的噪聲數據與冗余數據。而數字孿生自組網模型構建需要依賴于高質量的自組網實時數據[5]。因此，對采集的自組網實時數據還需進行一定的處理[6]。

首先，采用NLM 算法對噪聲數據進行去除，具體步驟如下所示：

步驟1：隨機選取目標去噪點x與搜索點y，以此為基礎，構造鄰域窗口，使其在搜索窗口內滑動；

步驟2：計算x點與y點之間的相似度，表達式為：

式中，S(x,y)表示數據點x與y的相似度；υ(x)表示歸一化系數；Lψ(x)-ψ(y)表示搜索窗口ψ(x)與鄰域窗口ψ(y)的距離；α表示平滑參數[7]。

常規情況下，利用式（1）得到的計算結果S(x,y)的數值越大，表明x點與y點距離越小，相似度越高[8]。

步驟3：遍歷搜索窗口內全部的數據點y，并應用式（1）計算全部的相似度。以計算結果為基礎，獲取目標去噪點x的鄰域權重數值[9]。應用NLM 算法對目標去噪點x進行處理，獲得結果表達式為：

式中，V(x)表示完成去噪后的自組網實時數據；ωsn表示目標去噪點的鄰域權重值。

步驟4：應用式（2）對采集全部數據進行處理，即可獲得去噪后的自組網實時數據集合V={V1,V2,…,Vt,…,Vn}。

其次，采用卡爾曼濾波算法對冗余數據進行處理，其基本數學模型表達式為：

式中，Yt與Yt-1表示當前時刻與前一時刻的后驗狀態估計值；Ut表示過程冗余數據；Wt表示誤差調整項；Zt表示當前時刻的實際數據；Nt表示實際的冗余數據[10]；A、B與C分別表示狀態轉移參數、輸入控制參數及其輸出控制參數。

應用式（3）對自組網實時數據集合V進行處理，即可獲得無噪、無冗余的自組網實時數據集合，為后續數字孿生自組網模型的構建提供依據。

1.2 數字孿生自組網模型構建

以上述處理的自組網實時數據為依據，構建數字孿生自組網模型，如圖1 所示。

圖1 中，數字孿生自組網模型主要由目標網絡——自組網、孿生網絡以及服務系統等結構組成。孿生網絡是在實時數據基礎上建立的高度真實復制網絡，主要通過實體建模、規則建模、業務建模與行為建模實現，以云平臺為基礎實現了自組網的虛擬化[11]。

除此之外，服務系統中還部署了多模態數據采集模塊，為后續多模態數據融合提供支撐。

1.3 多模態數據融合

以上述構建的數字孿生自組網模型為依據，從服務系統加載采集的多模態數據，通過Region-CNN（R-CNN）提取多模態數據特征，以此為基礎，利用雙線性模型對多模態數據進行融合處理，為自組網數據的后續處理及其應用提供助力[12]。

R-CNN 提取得到的多模態數據特征維度較高，常規模型難以實現數據快速融合的目的，故創建雙線性模型，其表達式為：

式中，Di表示雙線性模型的輸出結果；β與χ分別表示多模態數據的視覺特征與文本特征；ψi表示多模態數據的投影[13]。

雙線性池能夠精準地捕捉到多模態數據特征之間的相互關系，通過添加大量參數實現多模態數據的融合[14]。但是，利用式（4）得到的雙線性模型矩陣階數較高，會導致計算成本過高，還有可能出現過擬合的風險。因此，為了方便多模態數據的融合運算，將雙線性模型進行分解，表達式為：

式中，Oi與Hi表示投影ψi的分解量；*表示向量對應位置逐元素乘積符號[15-16]。

將采集的多模態數據輸入至R-CNN 中，提取出數據特征，代入式（5）中，其輸出結果即為多模態數據融合結果。所提設計為多模態數據處理提供更有效的方法支撐，也為自組網的后續發展及其應用提供幫助。

2 實驗與結果分析

為驗證基于數字孿生的自組網多模態數據快速融合方法的實際應用性能，設計如下實驗。

實驗分別將文獻[1]和文獻[2]中的數據融合方法作為對比方法1、對比方法2，與該文方法共同完成自組網多模態數據融合對比實驗，從而突出該文方法的應用效果。

2.1 實驗準備階段

為了提升實驗結論的精確性，在自組網中隨機抽取14 588 MB 多模態數據，將其隨機劃分為10 組，創建不同的實驗背景環境，具體如表1 所示。

表1 實驗組別信息表

按照表1 內容所示，設置的實驗組別中，多模態數據體量、噪聲數據占比與冗余數據占比均不一致，表明每個實驗組別均具備著不同的實驗背景環境，有利于檢驗提出方法的應用性能，符合對比實驗需求。

2.2 結果分析

以上述設置的實驗組別信息為基礎，應用該文方法與對比方法1、對比方法2 進行多模態數據融合實驗。選取多模態數據融合時延與融合后多模態數據質量系數作為評價指標，計算公式為：

式中，G表示多模態數據融合時延；g0與ge分別表示多模態數據融合初始時間與結束時間；q表示融合后多模態數據質量系數；F′與Ftotal分別表示融合后數據中特征信息數量與全部信息數量；τ表示輔助計算參數，取值為0～1。

以實驗數據為基礎，依據式（6）計算評價指標數值。其中，多模態數據融合時延如圖2 所示。

圖2 多模態數據融合時延數據

根據圖2 中的數據，應用該文方法后，多模態數據融合時延始終保持在3 s 以下，特別是在第2 組實驗中，多模態數據融合時延僅為1 s。而其他兩種對比方法，多模態數據融合時延明顯更高。通過對比可以發現，該文方法融合多模態數據的過程花費時間更短，證明該文方法的融合效率更高。

計算不同方法融合處理后多模態數據的質量系數，結果如圖3 所示。

圖3 融合后多模態數據質量系數

根據圖3 可知，應用該文方法后，在第7 組實驗中，獲得融合后多模態數據質量系數達到了全局最大值，為0.9。在全部的10 組實驗中，該文方法獲得的融合后多模態數據質量系數始終高于其他兩種對比方法，表明該文方法獲得的多模態數據融合效果更好。

3 結束語

隨著物聯網在各行各業應用的加深，使得自組網得到了良好的發展機遇與發展空間，其內部多模態數據體量逐漸增加，為其處理與應用提出了更大的挑戰。數據融合是大體量數據處理的有效手段之一，故提出基于數字孿生的自組網多模態數據快速融合方法。實驗數據顯示：應用該方法后，多模態數據融合時延得到了大幅縮短，融合后多模態數據質量系數得到了大幅提升，能夠為自組網的后續發展提供更有效的技術支撐。