深度強化學習優化物聯網傳感器數據分析

何伶俐

(湖北輕工職業技術學院,湖北 武漢 430070)

0 引言

物聯網(Internet of Thing,IoT)是一個高速發展的領域,正在改變各個行業,例如:智能城市、工業自動化和醫療保健。隨著IoT設備的增多和數據規模擴大,處理和分析IoT傳感器數據變得至關重要[1]。但是,由于傳感器和環境因素,數據質量問題(如噪聲、冗余、空數據)成為挑戰。這些問題可能影響數據分析的準確性和智能應用的性能。為了解決這個問題,本研究提出了一種基于深度強化學習的框架,利用深度Q網絡代理清理傳感器數據,分為空數據、垃圾數據和正常數據三類。實驗結果顯示,這種方法優于傳統的基于時間序列的全連接神經網絡方案,在提高數據質量和應用性能方面具有優勢[2]。

1 深度強化學習優化物聯網傳感器數據問題分析

物聯網傳感器數據分析中存在3個主要問題:數據質量問題,如噪聲、冗余和空數據;數據清理的挑戰,涉及有效識別和處理空數據、垃圾數據和正常數據;數據處理效率問題,需要在大規模和復雜數據情況下保持高效。為了解決這些問題,本研究提出了一種基于深度強化學習的優化方案。本研究引入深度Q網絡代理進行數據清理,目的是自動識別和處理各種數據,提高數據質量和應用程序性能[3]。

2 物聯網數據分析中的數據清理需求

2.1 物聯網數據分析

物聯網數據分析是處理和挖掘從物聯網設備和傳感器收集的數據,以提取有價值的信息支持決策和應用程序。主要任務包括數據清理和預處理、數據可視化、數據挖掘與分析以及實時決策和響應。數據清理包括處理缺失值、異常值和噪聲等,以優化數據質量。數據可視化幫助用戶理解數據特征,而數據挖掘和分析則用于發現新的知識和洞察。實時決策和響應則用于支持智能實時應用。物聯網數據分析在智能城市、智能制造、智能農業等多個領域有廣泛應用,能有效提升資源利用效率,預測和解決問題,帶來更多的便利和價值[4]。

2.2 傳感器數據清理方法

物聯網數據清理是關鍵步驟,用于處理傳感器數據的噪聲、冗余和空數據。常用方法包括處理缺失值(刪除或填補)、異常值檢測(通過統計或機器學習)、冗余數據去除、數據平滑和濾波以及數據歸一化和標準化。本研究提出了一種基于深度強化學習的數據清理方法(RLQN),它以實時環境狀態為基礎,根據當前狀態決定最佳操作,以優化數據質量。該方法以RLQN代理在物聯網架構的數據處理層中進行實時數據感知和處理[4]。圖1展示了本研究提出的基于深度強化學習的數據清理方法(RLQN)的系統概述。該方法包括5個不同的概念,基于深度強化學習的原理進行設計。本研究將RLQN代理放置在物聯網架構的數據處理層上,代理會根據當前的環境狀態來決定適當的操作。需要注意的是,狀態是由實時環境決定的,因此代理需要實時地感知和處理數據。

圖1 用于跟蹤丟失和垃圾數據的深度強化學習代理

2.3 物聯網數據質量的挑戰與需求

物聯網數據質量面臨眾多挑戰,包括多樣的數據來源、大量的數據、噪聲、不確定性和數據完整性問題。解決這些問題的關鍵在于數據清理和預處理、數據標準化和一致性、數據質量評估、數據安全保護和數據治理。數據清理是物聯網數據分析中的關鍵任務,主要通過處理錯誤、噪聲和缺陷以提高數據質量。常用的數據清理方法包括處理缺失值、異常值檢測、噪聲去除、去除重復數據、數據轉換和標準化以及數據修復。這些方法可以相互結合,根據數據類型和處理目標的不同,提高數據質量和處理效果[5-7]。

3 基于RLQN的物聯網數據分析系統的實驗部署與方法原理

3.1 基于RLQN的物聯網數據分析系統的實驗環境和狀態空間

本研究提出的模型與Keras庫一起部署在Python 3.10下的TensorFlow 2.2.0 API上。本研究在一集中評估了本研究提議的DQN性能總獎勵和不需要的數據檢測準確性。環境是本研究提出系統中提高代理互動性能的基本因素之一。本研究提出的環境采用基于網格的架構,大小為20×20。在該架構中,每個網格索引表示從傳感器收集的RSS值。因此,該系統總共收集了400個RSS值,其中每行有20個RSS值。本研究提出的系統能夠從環境中實現對400個不同狀態空間的評估。對于提出的狀態空間,經驗驅動的方法在訓練后推斷解決方案是有效的。圖6顯示了一些具有20個RSS值的行示例,其中包含所有可用的RSS數據(良好、空和垃圾)。

3.2 基于RLQN的物聯網數據分析

在本研究提出的基于RLQN的系統中,與上述環境交互以獲取經驗是一項普遍而基本的任務,并以最佳方式實現[8]。最初,本研究設計的DQN代理對系統環境沒有任何了解或經驗。因此,代理使用epsilon參數隨機選擇特定操作。隨后,代理開始根據基于貪心的exploitation策略提供最佳操作bestact。

bestacl=argmax( agent ( state )).

為了自動化地記住每個情境,本研究的系統將代理的經驗存儲在基于deque的內存中,稱為“體驗重播內存”,并針對每個時間步驟(t)進行存儲。需要注意的是,本研究提出的代理的經驗表明,在每個時間步驟中,當前狀態、行動、獎勵和下一個狀態均被收集。這意味著系統將這4個值作為元組存儲在單個基于deque的體驗重播內存中,如圖2所示。

圖2 基于Deque的體驗重播記憶

本研究的系統利用深度強化學習對體驗進行存儲和實時訓練,采用隨機采樣策略減少體驗間的相關性,降低訓練復雜性。本研究的Q網絡基于深度學習,以LSTM形式部署,適應了實時收集的RSS數據,優化了行動預測。本研究的系統實時從各部分收集RSS數據。因此,LSTM是Q網絡的最佳選擇之一。此外,本研究將完全連接的密集網絡與本研究提議的RLQN相結合,以使整個網絡穩健。圖3代表了本研究設計系統的提出RLQN。同時,本研究將完全連接的密集網絡與RLQN結合,以提升網絡穩健性。為提高整體性能,本研究引入了另一個具有相同結構的RLQN,稱為target-RLQN,一同優化預測和目標Q值之間的損失,提供最佳行動。

圖3 提出的RLQN

Loss(θ)=(Q′-Q)2.

其中,Q和Q′分別在(4)和(5)中給出,其中γ代表折扣因素∈[0,1]。本研究提議的系統的整體算法在算法1中給出。

Q=Q(st,actt;θ)

3.3 基于RLQN的物聯網數據實驗設置

為了設計RLQN,本研究在訓練期間通過試錯策略初始化了一些超參數(例如:學習率、ε數量等)。這些超參數控制Q網絡的特性,以提供最佳操作。表1詳細描述了本研究提出的DQN的訓練超參數。

表1 訓練超參數

4 基于性能評估指標的物聯網數據分析方法效果分析

物聯網數據分析的性能評估常用準確率、精確率、召回率、F1值、均方誤差、均方根誤差、相對誤差和R平方等指標。本研究的研究運行了400集的模型,每集的總獎勵圖顯示,本研究提出的RLQN方法在開始和整個實驗過程中都能獲得超過150的總獎勵,而且在45集后總獎勵大幅增加,其改進速度明顯優于FCDQN。RLQN能夠從總獎勵增加開始,一直保持穩定的獎勵水平到最后一集,而FCDQN的獎勵水平只能在短時間內保持穩定,然后以不一致的方式下降,如圖4所示。因此,本研究的RLQN系統相比于FCDQN表現更佳。

圖4 每集的總獎勵

提出系統的主要目標是在數據收集階段區分不同類型的數據,如“良好”“空”和“垃圾”,以減少不需要的數據量(即“空”和“垃圾”)。圖5說明了識別“良好”“空”和“垃圾”RSS值的檢測準確性,直到400集。

圖5 每個情節間隔的檢測準確性

從圖5可以看出,提出的方法在每次發作間隔內始終保持更高的準確性。此外,可以看出,提出的系統在每次發作間隔時始終達到超過80%的準確性,而FCQN無法達到超過65%的準確性。值得注意的是,最初,由于代理在第一個間隔處于勘探模式,提出方法的準確性低于90%,但在勘探期后,隨著代理開始貪婪地采取行動,這一準確性增加到近96%。相比之下,FCDQN在最終間隔時從未達到70%的準確率。因此,可以得出結論,提出的系統在有效識別和刪除“空”和“垃圾”RSS數據方面非常強大。

5 結語

文章提出了一個深度強化學習的物聯網數據清理框架,旨在改進數據分析并消除不必要的數據。使用深度Q網絡識別并處理空數據、垃圾數據和正常數據,實時處理大量傳感器數據,并在實時決策和高度適應性方面具有優勢。實驗結果表明,該框架的精度約為96%,可為各種物聯網應用程序提供多功能解決方案。