基于正則化回歸的物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)處理方法

摘 要：針對現(xiàn)行方法在物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)處理中應(yīng)用效果不佳的問題，提出基于正則化回歸的物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)處理方法。先收集物聯(lián)網(wǎng)數(shù)據(jù)生成多源異構(gòu)數(shù)據(jù)集，并對數(shù)據(jù)進(jìn)行預(yù)處理；然后采用混沌遺傳算法對物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)進(jìn)行填補(bǔ)；最后利用正則化回歸對物聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行濾波，消除數(shù)據(jù)中的高頻分量，實現(xiàn)物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)處理。經(jīng)實驗證明，所設(shè)計方法的數(shù)據(jù)失真率不超過0.2%，全頻域內(nèi)信號幅值得到了有效降低，所設(shè)計方法在物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)處理方面具有良好的應(yīng)用前景。

關(guān)鍵詞：正則化回歸；物聯(lián)網(wǎng)；多源異構(gòu)數(shù)據(jù)；Min-Max歸一化；混沌遺傳算法；濾波

中圖分類號：TP39；TN911.7 文獻(xiàn)標(biāo)識碼：A 文章編號：2095-1302（2024）07-00-03

0 引 言

由于物聯(lián)網(wǎng)設(shè)備種類繁多，不同設(shè)備產(chǎn)生的數(shù)據(jù)格式、數(shù)據(jù)質(zhì)量、數(shù)據(jù)量等方面存在差異，導(dǎo)致數(shù)據(jù)具有多源異構(gòu)的特點[1-4]。這給數(shù)據(jù)處理帶來了一定的難度，多源異構(gòu)數(shù)據(jù)來自不同的設(shè)備、系統(tǒng)、應(yīng)用等，數(shù)據(jù)的結(jié)構(gòu)、格式、質(zhì)量等存在差異，需要進(jìn)行數(shù)據(jù)整合和標(biāo)準(zhǔn)化處理，以便進(jìn)行統(tǒng)一的分析和處理[5-7]。這需要耗費(fèi)大量的人力和時間，并且需要具備一定的數(shù)據(jù)處理能力。然而，傳統(tǒng)的數(shù)據(jù)處理方法已經(jīng)無法滿足物聯(lián)網(wǎng)數(shù)據(jù)處理的復(fù)雜性和精度要求。正則化回歸是一種常用的統(tǒng)計學(xué)習(xí)方法，可處理高維度和復(fù)雜的非線性數(shù)據(jù)，為此提出基于正則化回歸的物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)處理方法。

1 物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)清洗

本文對物聯(lián)網(wǎng)數(shù)據(jù)庫中的海量多源異構(gòu)數(shù)據(jù)進(jìn)行統(tǒng)一采集，匯集成多源異構(gòu)數(shù)據(jù)集，然后對數(shù)據(jù)進(jìn)行清洗處理，目的是統(tǒng)一數(shù)據(jù)格式和量綱，剔除數(shù)據(jù)集中的異常數(shù)據(jù)[8]。假設(shè)重構(gòu)后的多源異構(gòu)數(shù)據(jù)為x，真實的物聯(lián)網(wǎng)數(shù)據(jù)為x，根據(jù)物聯(lián)網(wǎng)數(shù)據(jù)均值生成服從高斯分布的隨機(jī)數(shù)，對其均方損失值進(jìn)行優(yōu)化，用公式表示為：

式中：f（x）表示多源異構(gòu)數(shù)據(jù)均方損失優(yōu)化函數(shù)；n表示物聯(lián)網(wǎng)多源異構(gòu)數(shù)據(jù)樣本數(shù)量[9]。在此過程中，通過數(shù)據(jù)均方損失優(yōu)化獲得數(shù)據(jù)潛在的特征，利用激活函數(shù)對其進(jìn)行對抗訓(xùn)練，確保所有異常數(shù)據(jù)都能映射到相似的位置上，使正常數(shù)據(jù)樣本對異常數(shù)據(jù)重構(gòu)所產(chǎn)生的影響最小化[10]。提取的異常特征實際為最小化熵函數(shù)特征，其接近正態(tài)分布，通過對特征約束函數(shù)進(jìn)行優(yōu)化，構(gòu)成激活函數(shù)，用公式表示為：

式中：K表示多源異構(gòu)數(shù)據(jù)對抗訓(xùn)練的激活函數(shù)；表示加權(quán)因子；a、b分別表示輸入多源異構(gòu)數(shù)據(jù)樣本的均值和輸出多源異構(gòu)數(shù)據(jù)樣本的方差；λ表示約束優(yōu)化函數(shù)。將正常數(shù)據(jù)加入到多抗網(wǎng)絡(luò)GAN中進(jìn)行訓(xùn)練，通過編碼層進(jìn)行數(shù)據(jù)重構(gòu)，得到待處理多源異構(gòu)數(shù)據(jù)與正常數(shù)據(jù)的偏差，用異常值表示為：

式中：socre表示物聯(lián)網(wǎng)數(shù)據(jù)異常值；α表示輸入多源異構(gòu)數(shù)據(jù)獲得的潛在分布特征；δ表示重構(gòu)數(shù)據(jù)獲得的潛在異常特征。將socre與閾值比對，如果大于閾值，則判定數(shù)據(jù)為異常數(shù)據(jù)，將其從原始數(shù)據(jù)集中剔除；如果小于閾值，則判定數(shù)據(jù)為正常數(shù)據(jù)，將其保留，以此完成對物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)的清洗。

2 物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)填補(bǔ)

由于對物聯(lián)網(wǎng)數(shù)據(jù)進(jìn)行了清洗處理，且原始數(shù)據(jù)中還存在嚴(yán)重的數(shù)據(jù)缺失問題，影響到了物聯(lián)網(wǎng)數(shù)據(jù)的完整性，因此采用混沌遺傳算法對物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)進(jìn)行填補(bǔ)。混沌遺傳算法采用極大似然估計理論計算出物聯(lián)網(wǎng)數(shù)據(jù)整體分布規(guī)律特性，用公式表示為：

式中：s表示物聯(lián)網(wǎng)多源異構(gòu)數(shù)據(jù)對數(shù)似然函數(shù)值；h表示物聯(lián)網(wǎng)數(shù)據(jù)個數(shù)；ρ表示物聯(lián)網(wǎng)數(shù)據(jù)不確定參數(shù)；ψ表示數(shù)據(jù)屬性的協(xié)方差矩陣，即數(shù)據(jù)各屬性間的相關(guān)性。數(shù)據(jù)對數(shù)似然函數(shù)值越大，則估計數(shù)據(jù)參數(shù)值越準(zhǔn)確，因此對極大似然函數(shù)進(jìn)行優(yōu)化，確定物聯(lián)網(wǎng)缺失數(shù)據(jù)的目標(biāo)函數(shù)，用公式表示為：

式中：θ表示物聯(lián)網(wǎng)缺失數(shù)據(jù)的目標(biāo)函數(shù)。采用遺傳算法對以上目標(biāo)函數(shù)進(jìn)行多次迭代，識別到物聯(lián)網(wǎng)缺失數(shù)據(jù)。采用均值方法對缺失數(shù)據(jù)進(jìn)行擬合填補(bǔ)，用公式表示為：

式中：τ表示填補(bǔ)后的物聯(lián)網(wǎng)缺失數(shù)據(jù)；θt-1、θt+1分別表示時間域上缺失數(shù)據(jù)上一時刻的采樣值和下一時刻的采樣值。按照上述流程將原始數(shù)據(jù)集識別到的所有缺失數(shù)據(jù)利用均值代替，以此實現(xiàn)對物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)的填補(bǔ)。

3 基于正則化回歸的多源異構(gòu)數(shù)據(jù)濾波處理

考慮到物聯(lián)網(wǎng)數(shù)據(jù)在采樣過程中會受到一定干擾，使數(shù)據(jù)中存在噪聲，在此基礎(chǔ)上利用正則化回歸方法對數(shù)據(jù)進(jìn)行濾波處理。從語音學(xué)角度看，正則化回歸濾波器的基本原理是：在相同環(huán)境下，單耳對聲源的分辨能力僅為6 dB，而在相同環(huán)境下，雙耳對聲源的分辨能力可達(dá)15 dB。由耳數(shù)的差異引起的聽覺分辨能力的差異，可以得出一個結(jié)論：單個處理目標(biāo)和兩個處理目標(biāo)可以使數(shù)據(jù)濾波輸出結(jié)果具有較大的差異。正則化方法在語音學(xué)領(lǐng)域具有優(yōu)勢，由此發(fā)展正則化回歸濾波理論方法，將原來的單耳目標(biāo)函數(shù)用雙耳目標(biāo)函數(shù)代替，從而提高數(shù)據(jù)濾波處理效果。原來的單耳目標(biāo)函數(shù)，即維納濾波離散處理方程用公式表示為：

式中：J表示數(shù)據(jù)誤差能量；i表示數(shù)據(jù)濾波樣本數(shù)量；zi表示估計濾波輸出數(shù)據(jù)；yi表示理想濾波輸出數(shù)據(jù)。通過以上公式中數(shù)據(jù)誤差平方和數(shù)據(jù)誤差能量的最小化，得到維納濾波因子，正則化回歸濾波是在其基礎(chǔ)上另附一正則項，用公式表示為：

式中：表示正則項；μ表示正則化回歸因子，是保持正則項與一般項之間平衡的參數(shù)；z'i、y'i分別為估計濾波輸出數(shù)據(jù)和理想濾波輸出數(shù)據(jù)的一階導(dǎo)數(shù)。通過添加正則項保證物聯(lián)網(wǎng)數(shù)據(jù)濾波估計值與理想值之間的均方誤差最小化，結(jié)合導(dǎo)數(shù)的意義，使輸出濾波數(shù)據(jù)更加平滑，進(jìn)一步壓制原始信號中的高頻噪聲。利用導(dǎo)數(shù)矩陣求取上述公式中的導(dǎo)數(shù)，在推導(dǎo)運(yùn)算過程中，為了簡化導(dǎo)數(shù)矩陣形式進(jìn)行相關(guān)推導(dǎo)，將式（8）中所用到的物聯(lián)網(wǎng)數(shù)據(jù)寫成矩陣形式，利用矩陣形式求出正則化回歸因子，從而對物聯(lián)網(wǎng)多源異構(gòu)數(shù)據(jù)進(jìn)行濾波處理，輸出正則化回歸濾波結(jié)果，以此實現(xiàn)基于正則化回歸的物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)的處理。

4 實驗論證

4.1 實驗準(zhǔn)備與設(shè)計

以上研究了基于正則化回歸的物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)處理的理論。下面采用對比實驗的方式，將基于正則化回歸的處理方法與基于區(qū)塊鏈的處理方法和基于數(shù)據(jù)挖掘的處理方法進(jìn)行對比分析。實驗收集了IYHFAGAFA95、FAHTUWQAT7兩個數(shù)據(jù)包，數(shù)據(jù)來源于配電網(wǎng)物聯(lián)網(wǎng)數(shù)據(jù)庫和某發(fā)電廠配電網(wǎng)數(shù)據(jù)庫，采樣于近30臺無線傳感設(shè)備，具有多源異構(gòu)特征。IYHFAGAFA95數(shù)據(jù)包為

2.62 GB，共計20 000個數(shù)據(jù)樣本；FAHTUWQAT7數(shù)據(jù)包為3.15 GB，共計28 000個數(shù)據(jù)樣本。信號類別包括多軸信號、單軸信號、多道多軸多頻信號等，兩個數(shù)據(jù)包加性白噪聲方差分別為0.1、0.2，信噪比范圍為-20～-6 dB，屬于強(qiáng)噪聲干擾。按照以上數(shù)據(jù)處理流程對物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)進(jìn)行清洗、填充和濾波處理，并對結(jié)果作相關(guān)說明解釋。

4.2 實驗結(jié)果與討論

以下將從數(shù)據(jù)失真率和數(shù)據(jù)頻譜兩個方面對本文所提方法的性能進(jìn)行檢驗。物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)處理對數(shù)據(jù)的完整性和真實性具有較高的要求。數(shù)據(jù)失真率是指原始數(shù)據(jù)經(jīng)過處理或傳輸后，與原始數(shù)據(jù)相比發(fā)生的偏差或變化的比例。數(shù)據(jù)失真率越高，說明數(shù)據(jù)受到的干擾或損失越大，數(shù)據(jù)處理質(zhì)量越低，效果越差。而數(shù)據(jù)頻譜可以反映出數(shù)據(jù)中低頻噪聲分量和高頻噪聲分量的變化情況，其是以信號幅值為縱坐標(biāo)、以信號頻率為橫坐標(biāo)的信號頻譜曲線。利用IYHFAGAFA95數(shù)據(jù)包對方法數(shù)據(jù)失真率進(jìn)行檢驗，利用FAHTUWQAT7數(shù)據(jù)包對數(shù)據(jù)處理后的頻譜特性進(jìn)行檢驗。圖1、表1分別給出了三種方法下物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)處理的頻譜曲線和失真率數(shù)據(jù)。

通過表1可知：三種方法的數(shù)據(jù)失真率具有明顯的差異，其中基于數(shù)據(jù)挖掘的處理方法失真率最高；其次為基于區(qū)塊鏈的處理方法；基于正則化回歸的處理方法失真率最低，不超過0.2%，數(shù)值非常小，說明處理后的物聯(lián)網(wǎng)數(shù)據(jù)基本與原始數(shù)據(jù)一致。通過圖1中的頻譜曲線可以分析出：對于物聯(lián)網(wǎng)多源異構(gòu)數(shù)據(jù)信號中各個頻率的分量，由于數(shù)據(jù)中混有隨機(jī)白噪聲，使得數(shù)據(jù)處理輸出信號在整個頻域內(nèi)均有值；而本文方法處理的數(shù)據(jù)信號在整個頻域內(nèi)幅值變化相對平緩，基本趨于0；基于區(qū)塊鏈的方法處理后的數(shù)據(jù)幅值峰值為

1.43 A，基于數(shù)據(jù)挖掘的方法處理后的數(shù)據(jù)幅值峰值為0.94 A，

遠(yuǎn)高于基于正則化回歸的處理方法，說明本文方法在高頻段、低頻段對隨機(jī)噪聲的壓制比較徹底，可以有效處理含噪聲的多源異構(gòu)數(shù)據(jù)。通過以上對比分析證明了本文方法比現(xiàn)行方法更具優(yōu)勢，能夠?qū)崿F(xiàn)對物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)的高質(zhì)量處理。

5 結(jié) 語

本文結(jié)合正則化回歸技術(shù)的優(yōu)勢，將其應(yīng)用到物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)處理中，提出一種新的處理思路，并通過實驗論證了方法的可行性與可靠性。在實際應(yīng)用中，基于正則化回歸的物聯(lián)網(wǎng)海量多源異構(gòu)數(shù)據(jù)處理方法可以有效地處理各種類型的物聯(lián)網(wǎng)數(shù)據(jù)，提取出有價值的信息和應(yīng)用場景。同時，該方法具有較好的泛化性能和魯棒性，可以應(yīng)對不同場景下的數(shù)據(jù)處理需求，應(yīng)用效果較好。

參考文獻(xiàn)

[1]李麟，王偉.基于改進(jìn)RNN多源融合算法的網(wǎng)絡(luò)異構(gòu)信息集成管理系統(tǒng)[J].西安工程大學(xué)學(xué)報，2023，37（6）：145-152.

[2]張海彬，羅玉林，區(qū)云帆，等.基于中鐵貴州智慧社區(qū)管理的多源異構(gòu)數(shù)據(jù)集成方法[J].建筑技術(shù)，2023，54（22）：2808-2813.

[3]何光聰，周學(xué)林.基于3S技術(shù)和多源異構(gòu)數(shù)據(jù)的智慧林長綜合管理系統(tǒng)的設(shè)計與實現(xiàn)—以廣東省珠海市為例[J].測繪與空間地理信息，2023，46（10）：89-93.

[4]王維嘉，孫亞運(yùn)，孫洪亮，等.基于多目標(biāo)優(yōu)化技術(shù)的多源異構(gòu)數(shù)據(jù)分類研究[J].計算機(jī)與數(shù)字工程，2020，48（1）：130-136.

[5]冀振燕，宋曉軍，皮懷雨，等.基于深度學(xué)習(xí)的融合多源異構(gòu)數(shù)據(jù)的推薦模型[J].北京郵電大學(xué)學(xué)報，2019，42（6）：35-42.

[6]張夢瑾.異構(gòu)數(shù)據(jù)資源整合的方法與系統(tǒng)實現(xiàn)[J].信息與電腦（理論版），2018，12（1）：129-131.

[7]毛俊華.基于模糊聚類的智慧醫(yī)院多源異構(gòu)數(shù)據(jù)整合系統(tǒng)[J].電子設(shè)計工程，2022，30（7）：120-124.

[8]李陽，何文峰，黃倫春.一種設(shè)施普查中多源異構(gòu)數(shù)據(jù)的處理方法[J]. 城市勘測，2023，38（z1）：181-184.

[9]李堅，楊峰，吳佳，等. 基于改進(jìn)FCM的多源異構(gòu)能源數(shù)據(jù)預(yù)處理與去噪[J]. 微型電腦應(yīng)用，2023，39（10）：80-82.

[10]賴均友.基于GB-AEnet-FL網(wǎng)絡(luò)的物聯(lián)網(wǎng)多源異構(gòu)數(shù)據(jù)聚合處理方法[J].長江信息通信，2023，36（9）：62-64.