基于深度強化學習的工業物聯網路由優化方法

摘 要：常規的工業物聯網路由優化協議多以獨立形式設定，鏈路利用率大幅度降低，為此提出了基于深度強化學習的工業物聯網路由優化方法。根據當前的路由優化需求，先進行實時監測節點部署及路由運行數據采集，采用多階的方式擴大覆蓋范圍，制定多階路由協議，后以此為基礎，構建工業物聯網路由優化模型，采用離散化輔助處理實現路由優化。最終測試結果表明：應用所提方法，最終得出的鏈路利用率提升比均可以達到5.5以上，所設計方法的針對性更強，應用效果更佳。

關鍵詞：深度強化學習；工業物聯網；路由優化；離散化輔助；網絡接入；工業指令

中圖分類號：TP39；TN256 文獻標識碼：A 文章編號：2095-1302（2025）02-00-03

0 引 言

工業物聯網的建設與應用關聯，一定程度上推動相關行業與技術邁上了一個新的發展臺階。在這樣的背景下，路由優化已成為確保數據傳輸效率和可靠性的關鍵。當前，傳統的路由優化方法往往基于固定的規則和參數，文

獻[1]和文獻[2]設定了傳統超限快速決策樹的工業物聯網路由優化方法、傳統自適應蟻群的工業物聯網路由優化方法。這一類優化方法雖然可以實現預期的路由運行環境，但是存在部分不可控因素，嚴重影響了工業物聯網的實踐。不僅如此，由于物聯網中的程序過于單一，應用效率較低，導致其更加難以適應動態變化的工業環境[3]。為解決這一問題，本文對基于深度強化學習的工業物聯網路由優化方法進行了設計與驗證分析。

1 設計工業物聯網深度強化學習路由優化方法

1.1 實時監測節點部署及路由運行數據采集

工業物聯網實時監測節點的部署是可控分析的基礎。由于此次針對工業物聯網進行測定，所以選定溫度、濕度、壓力等數據作為監測的目標對象。明確監測的范圍之后，設置邊緣節點和核心控制節點[4]。此外，需要注意的是，節點的設置位置要確保能夠準確反映目標區域的狀況，避開可能的干擾因素。增設數據信息傳輸信道，與節點匹配，此時計算出數據傳輸頻率，如式（1）所示：

（1）

式中：Y表示數據傳輸頻率；q1和q2分別表示節點初始覆蓋區間和實際覆蓋區間；n表示轉換頻次；表示單元流量；π表示堆疊數據。結合當前測定，依據測算的最佳數據傳輸頻率，調整此時的傳輸信號，形成更加穩定的匹配執行基礎協議[5]。根據節點的實際監測需求，確定需要采集的數據類型。采用適當的通信協議和技術，關聯設定的信道確保數據能夠實時、準確地傳輸到數據中心或云平臺。接下來，采集基礎應用數據。路由運行基礎數據采集見表1。

結合表1，實現對路由運行基礎數據的采集。

1.2 多階路由協議制定

結合深度強化學習的多階路由協議結構如圖1所示。

結合圖1，實現對多階路由協議結構的設計與實踐?；诖耍凑招枨蠓治?，選擇與之匹配的路由算法，測算出路由協議對數據處理的收斂速度，如式（2）所示：

（2）

式中：O表示數據處理收斂速度；m表示初始流量；w表示動態傳輸數據量；θ表示收斂次數；h表示離散均值。結合得出的數據處理收斂速度，判斷分析此時所設計的路由協議對工業物聯網的控制和輔助效果。

1.3 構建深度強化學習的工業物聯網路由優化模型

將上述指定的多階路由協議導入當前初始的路由優化模型之中，結合深度強化學習，構建工業物聯網路由優化模型。深度強化學習的工業物聯網路由優化模型結構如圖2所示。

結合圖2，實現對深度強化學習的工業物聯網路由優化模型結構的設計與實踐。接下來，在深度強化學習的輔助下，在所設計的模型之中增設強化學習機制。一般情況下，要定義路由優化在多步決策中最大化累積獎勵的過程，需要設計合適的獎勵函數，反映數據的傳輸效率、時延、能量消耗等關鍵性能指標[6-7]。采集上述數據和信息，建立模型表達式，如式（3）所示：

（3）

式中：E表示模型輸出路由優化結果；λ表示獎勵函數；ω表示遷移范圍；ι表示基礎流量；α表示可控執行頻次。綜上，便完成了工業物聯網路由優化模型的構建。

1.4 離散化輔助處理實現路由優化

當前，工業物聯網中連續的狀態空間包括節點能量、通信質量等。將連續的狀態空間離散化為有限的離散狀態集合，簡化模型的復雜度，并提高模型的穩定性和可訓練性。在給定狀態下采取的行動集合，能夠將復雜的連續動作轉換為有限的離散動作，分高、中、低3個等級調整對應的傳輸功率標準，一定程度上有助于模型的學習和決策，最大程度減少計算誤差的出現。與此同時，離散化處理還針對模型輸出的結果，計算出各周期優化結果對應的離散值，如式（4）所示：

（4）

式中：U表示離散值；ε表示空間可收斂次數；τ表示轉換均值；R表示均勻量化值。結合當前測定，實現對離散值的計算?；陔x散值的變化，判斷分析工業物聯網路由優化實際效果，一定程度上有助于模型更快地收斂，進一步增強優化決策自身的準確性與穩定性，以及最終的可擴展效果[8]。

2 方法測試

為驗證所提方法的先進性，開展對比實驗。設定傳統超限快速決策樹的工業物聯網路由優化組、傳統自適應蟻群的工業物聯網路由優化組以及此次所設計的深度強化學習的工業物聯網路由優化組。利用專業的設備和裝置進行基礎數據信息的采集，匯總整合以待后續使用[9]。

2.1 測試準備

結合深度強化學習，選定H工業物聯網作為測試的輔助目標對象，進行基礎測試環境以及背景的設定。當前接入的主要是Ubuntu 18.04測試系統，增設機器學習框架，設定Keras+Tensorflow輔助學習環境，以此來實現平臺之間的交互[10]。路由裝置接入測試系統如圖3所示。

結合圖3，實現對路由裝置接入測試系統結構的設定與實踐應用?；诖?，設置工業物聯網功能，此時的總帶寬流量強度為10.14%～13.27%，測算出初始鏈路利用率標準，并把控實際路由數據鏈情況。根據當前的優化需求及標準，設定路由優化測試指標與參數，見表2。

結合表2，實現對路由優化測試指標與參數的設定?；诖?，基本完成了對當前路由測定的優化與整合，形成了動態化的路由測試控制。接下來，結合深度強化學習技術，展開后續測定與優化分析。

2.2 測試過程及結果分析

依據以上設置搭建的測試環境，結合深度強化學習技術，設定傳統超限快速決策樹的工業物聯網路由優化組、傳統自適應蟻群的工業物聯網路由優化組以及此次所設計的深度強化學習的工業物聯網路由優化組，對H工業物聯網路由優化方法的測定進行對比驗證及測算，測試結果見表3。

根據表3，完成對測試結果的對比分析。相比于傳統超限快速決策樹的工業物聯網路由優化組、傳統自適應蟻群的工業物聯網路由優化組，此次所設計的深度強化學習的工業物聯網路由優化組最終得出的鏈路利用率提升比均可達到5.5以上，說明在深度強化學習技術的輔助與支持下，此次所設計的工業物聯網路由優化方法更加穩定、細化，針對性明顯提高，實踐驗證的結果更加真實。

3 結 語

結合工業物聯網實際的應用運行需求，融合深度強化學習技術，所設計的路由優化形式更加具體、穩定，在復雜的網絡環境下，可以完成實時監測與整合，進一步增強對網絡的監管和控制。不僅如此，深度強化學習技術的輔助與支撐，擴大了實際的優化范圍，幫助其適應不斷變化的網絡環境，有效提高了數據傳輸效率，消減了環境中的復雜性和動態性，以應對日益增長的工業物聯網路由優化需求，為工業生產帶來了更多價值。

參考文獻

[1]劉松.基于超限快速決策樹的無線多媒體傳感器網絡路由優化方法[J].青島大學學報（自然科學版），2022，35（3）：33-38.

[2]家峰.基于自適應蟻群的無線傳感網絡低延時遠程通信路由優化方法[J].寧夏師范學院學報，2023，44（7）：77-84.

[3]王哲，王啟名，李陶深，等.基于深度強化學習的SWIPT邊緣網絡聯合優化方法[J].計算機應用，2023，43（11）：3540-3550.

[4]茍平章，馬琳，郭保永，等.基于軟件定義網絡的多約束QoS雙路徑路由優化方法[J].計算機工程與科學，2023，45（1）：46-56.

[5]丁小峰，張文杰，徐賽華.光纖無線融合網絡低能耗路由優化方法研究[J].激光雜志，2022，43（12）：128-132.

[6]李曉麗.無線傳感網數據采集路由算法研究[J].物聯網技術，2023，13（8）：68-71.

[7]李貝貝，宋佳芮，杜卿蕓，等.DRL-IDS：基于深度強化學習的工業物聯網入侵檢測系統[J].計算機科學，2021，48（7）：47-54.

[8]張繼鈺.基于深度強化學習的工業物聯網資源分配算法[D].北京：中國礦業大學，2023.

[9]李英磊，吳韶波，黃茂源.基于節點休眠機制的WSN路由優化[J].物聯網技術，2017，7（4）：44-47.

[10]耿立卓，郝雪，劉璐，等.基于人工蜂群算法的電力通信網路由優化仿真[J].電子設計工程，2022，30（24）：28-32.

作者簡介：莫麗娟（1982—），女，廣西蒼梧人，講師，研究方向為計算機應用技術。

張夢榛（1996—），女，河南鄭州人，碩士，助教，研究方向為人工智能。

收稿日期：2024-01-23 修回日期：2024-02-28