基于深度強化學習的物聯網傳輸數據實時調度方法

張繼飛，趙玉超，張春紅

（1.廈門海洋職業技術學院，福建 廈門 361000；2.廈門工學院，福建 廈門 361000）

0 引 言

在科學技術不斷發展和社會高度信息化的今天，人們對生活品質的要求也在逐步提高，為了更快地滿足大眾的需求，物聯網調度實現了物與人和物與物之間的信息交互，是現代社會不可或缺的一部分[1-3]。信息化覆蓋范圍廣容易造成傳輸數據阻塞，為了不影響物聯網正常運作，在保證用戶體驗的前提下，需要一種能夠實現高效傳輸數據、保證復雜物聯網有效運行的自動調度方法。因此，深度強化學習物聯網傳輸數據實時調度方法具有重大意義。保證物聯網數據傳輸的實時性和高效性已經成為相關工作者的研究重點。

1 物聯網傳輸數據實時調度方法設計

1.1 判別物聯網傳輸數據安全性

為了實現物聯網傳輸數據在網絡安全環境下進行實時調度，首先要構建物聯網傳輸數據模型，以時間段T為節點進行物聯網傳輸數據調度特征樣本的采集[4,5]。其樣本采集過程為：

式中，x'為物聯網傳輸數據的比特序列，T為傳輸時間段，Xv為物聯網傳輸數據的分布序列，M和N為數據傳輸最大和最小字節[6]。根據式（1）的物聯網傳輸數據樣本采集結果可計算物聯網傳輸數據的實時特征量。對于物聯網傳輸數據實時調度而言，傳輸數據信息化采集的最大量特征分布需要滿足調度信息自適應分析量。物聯網傳輸數據實時調度信息的自適應分析量為：

式中，sm(t)為自適應分析量，V={v1,v2,…,vn}為傳輸數據信息化采集在物聯網數據傳輸實時用量，ci為傳輸速率系數。

根據物聯網傳輸數據最短信息優先的調度算法，優先調度在系統中實時運行時間最短的信息。其物聯網傳輸數據實時調度的頻域時間均衡控制模型描述為：

式中，x(i,d)、z(i,d)以及u(i,d)分別為物聯網傳輸數據實時調度的信息傳輸補償系數、速率調制系數以及傳輸頻率系數，CR為物聯網數據傳輸實時調度的信息均衡最大可容量。考慮物聯網數據傳輸自適應分析特征量，結合物聯網數據傳輸的實時均衡控制優化方法構建出反饋均衡模型，并根據模型判定網絡傳輸數據信息的安全性。其模型為：

式中，ni為隨機地傳輸數據信息。若FZ＜CTni，則表示傳輸數據為ni無法實現傳輸數據的反饋均衡，即可視為非安全傳輸數據，若FZ＞CTni，則表示任意傳輸數據ni為安全傳輸數據信息，可在物聯網傳輸數據中進行實時調度。

采用深度強化學習采集物聯網傳輸數據的特征序列樣本，通過計算物聯網傳輸數據的自適應轉發特征量，建立了數據調度的頻域均衡控制模型，根據模型判定物聯網傳輸數據的安全性。

1.2 構建物聯網傳輸數據實時調度模型

在物聯網數據傳輸過程中，一個需要重點考慮的因素就是物聯網數據傳輸過程中的丟包率，采用深度強化學習來實施信號傳輸，將直接影響接收節點進行有效接收數據量的大小及接收時間的長短。將物聯網數據傳輸過程中的最小丟包率作為目標，引入深度強化學習中的貢獻思維來構建物聯網數據傳輸中大數據合理調度模型[7]。物聯網數據傳輸過程中，調度目標的數據分配方法描述如下。

根據TFRC求出物聯網網絡中第i個發送節點t時刻的寬帶B(i,t)，由此確定上限寬帶。確定S(i,t)的大小從而使F(t)達到最小，即：

式中，F(t)為總線傳輸率，L(i,t)和S(i,t)分別為發送節點i在時段(t,t+Δt)的丟包率和發送速率，Sreq(t)表示一個物聯網節點正常傳輸數據所需的速率，B(i,t)為物聯網網絡中第i個發送節點t時刻的上限寬帶。

上述過程中最關鍵的一步就是對發送節點的丟包率進行升序排序。將最小的丟包率發送節點i劃分到發送節點的上限寬帶B(i,t)上，下一步再將次小的丟包率發送節點j劃分到該發送節點的上限寬帶B(j,t)上。重復進行以上操作步驟，直到發送節點的上限寬帶之和不低于物聯網數據的正常傳輸速率。

將丟包率最小作為調度目標能夠促使接收節點有效充分利用發送節點的有效傳輸寬帶，但這必然會使少量物聯網數據傳輸速率高的節點不斷傳輸數據，增加其負載，并且使物聯網的其他節點無法有效參與到傳輸中，無法實現整體利益的最大化。為此，將激勵機制中貢獻思維引到大數據調度模型中，既能增加參與傳輸的節點數量，又能夠實現各類節點分時分批的加入傳輸。這不但彌補了以上的弊端，還可以提升物聯網數據的傳輸速率。引入激勵機制中貢獻思維的操作過程如下。

給所有發送節點植入貢獻因子α(i,t)，它是用來描述i節點從初始進入系統到t時刻的貢獻量C(i,t)與全部節點貢獻量總和之比。

i節點上傳量與i節點從別的節點處下載量之差為i節點的貢獻量C(i,t)，其計算公式為：

式中，β為元速率。那么在實際應用中，可以將其他節點從i節點獲得的下載量描述成i節點的上傳量，即：

式中，j和i為上傳節點序列數；D為時鐘頻率。那么貢獻因子則可以描述為：

式中，k為數據周期傳送個數。

非但如此，物聯網數據傳輸速率會影響高速物聯網數據傳輸的穩定性。因此，應該在物聯網數據傳輸過程中盡可能地選擇邊緣節點，可以減少網絡傳輸過程中的時延損耗。綜上所述，在線時長可取為節點加入系統之后每個時段平方和，也就是：

式中，ts為節點加入系統的時間；te為節點退出的時間；o為進出系統次數。那么物聯網大數據合理調度模型可描述成：

綜上所述，采用深度強化學習判別了物聯網傳輸數據安全性，將最小丟包率作為物聯網傳輸數據的調度目標，引入深度強化學習的貢獻思想，構建了物聯網傳輸數據實時調度模型，實現了物聯網傳輸數據的實時調度。

2 實驗分析

為了驗證基于深度強化學習的物聯網傳輸數據實時調度方法性能，引入傳統物聯網傳輸數據實時調度方法作對比，測試了物聯網傳輸數據的調度時間和數據完整性。兩種物聯網傳輸數據實時調度方法的傳輸數據調度時間測試結果如圖1所示。

圖1 傳輸數據調度時間測試結果

從圖1的實驗結果可以看出，采用傳統物聯網傳輸數據實時調度方法來調度物聯網傳輸數據時，隨著物聯網傳輸數據帶寬越來越大，物聯網傳輸數據的調度時間越來越長，無法完成實時調度，而采用基于深度強化學習的物聯網傳輸數據實時調度方法來調度物聯網傳輸數據時，物聯網傳輸數據的調度時間始終在10 s以內，且當物聯網傳輸數據帶寬超過0.6 Mb/s以后，物聯網傳輸數據的調度時間反而變短了，可以實現物聯網傳輸數據的實時調度。

兩種物聯網傳輸數據實時調度方法的物聯網傳輸數據完整性測試結果如表1所示。

表1 物聯網傳輸數據完整性測試結果

從表1的結果可以看出，針對物聯網傳輸數據的完整性測試，基于深度強化學習的物聯網傳輸數據實時調度方法的性能遠遠高于傳統物聯網傳輸數據實時調度方法，保證了物聯網傳輸數據的完整性。

3 結 論

本文提出了基于深度強化學習的物聯網傳輸數據實時調度方法，采用深度強化學習建立了數據調度的頻域均衡控制模型，根據模型判定物聯網傳輸數據安全性，通過構建物聯網傳輸數據實時調度模型，實現了物聯網傳輸數據的實時調度。結果顯示，該調度方法具有更好的性能。