數據流概要與數據流分析若干關鍵問題研究

陳亮

摘 要：隨著數據通信、傳感器等相關技術的不斷發展，以數據流為首的獲取數據量方式逐漸成為工業生產領域中常用的方式手段。舉例而言，典型工業應用領域如電力系統對于數據流處理方式的依賴程度較高。究其原因，主要是因為數據流方式在一定程度上具備高精度、高效性的優勢特點，通過發揮自身的功能優勢，獲取連續有序的數據項序列，提高工業生產領域工作效率與質量。針對于此，本文主要立足于數據流情況對數據流概要與數據流相關技術內容進行研究與分析，以供參考。

關鍵詞：數據流;傳感數據;預測;分析

前言：數據流基本上可以理解為具有實時性、連續性以及有序性特點的數據項序列。其中，關于數據流的數量在理論上是趨于無限的，一般難以對其進行完整存儲。與此同時，數據流上的查詢可事先注冊于系統，按照觸發方式或者周期性表達方式促使數據流連續運行，并周而復始返回查詢結果。不難看出，數據流在一定程度上可以利用長時間運行以及連續性查詢特點，廣泛應用于多個典型領域當中。結合當前應用發展情況來看，數據流概要以及相關分析技術已經成功應用于我國工業領域生產當中，無論是在數據分析效率還是在數據應用效率方面均得到了明顯加強。

1 數據流概要及數據流分析技術應用

1.1 數據流預處理

對于數據流序列而言，如果序列中某個元素存在缺失或者延遲到達現象，就很容易導致在準確修正方面存在較大難度。舉例而言，在傳感器網絡環境中，如果存在網絡擁堵或者噪聲干擾等異?，F象，數據采集通常會利用監聽模式啟動采集裝置并發送相關數據。但是需要注意的是，在這種運行模式下，采集時刻數據可能會無法預期到達[1]。

此時一般該時刻數據通常設置為零，容易造成誤差問題?？梢哉f，如何高效準確重構傳感器數據始終是傳感器數據流分析工作予以重點解決的問題。結合當前應用情況來看，關于異常數據檢測方法的應用主要可以從統計、特征選擇以及神經網絡等方面進行研究與分析。

1.2 數據流概要生成技術

數據流概要生成技術基本上可以視為保障數據流得以安全高效應用的重要技術內容。結合當前應情況來看，構建數據流概要通常會涉及到以下幾種方法內容：

（1）抽樣方法。抽樣方法基本上可以視為生成概要數據結構的重要手段，可從數據集中抽取小部分數據進行應用與分析，并根據該樣本集合情況獲得最終查詢結果。一般來說，抽樣方法可根據作用性質不同，細化分為均勻抽樣與偏移抽樣兩種方式。在具體使用過程中，研究人員可根據實際情況進行合理選用。

（2）直方圖方法。直方圖方法主要是將一個大數據集劃分為多個小數據集。其中，小數據集的每一個數字都可以代表數據流特征及相關頻率。結合實踐應用情況來看，直方圖表示方法具有較強的直觀性與簡潔性，一般多可以很好地描述大數據集輪廓[2]。

（3）小波方法。小波方法可以視為一種具有通用性特點的數字信號處理技術，主要根據輸入的模擬量以及數字量，將其變換成為小波參數。其中，少數幾個小波參數可以擁有較大能量。結合這一特性，研究人員可選擇少數小波參數還原原始信號。結合當前應用情況來看，小波分析方法通常會被應用于數據庫領域當中。舉例而言，利用小波分析方法對高維數據進行降維處理。

1.3 數據流預測與分類

結合當前應研究情況來看，在數據流挖掘算法的研究方面，主要可以從計算數據流信號、典型趨勢以及決策樹預測等方面進行研究與分析。結合分析反饋情況來看，數據挖掘領域中的未來連續值在一定程度上可以視為預測數值。其中，對于預測未知連續值或者離散值所屬的類別而言，研究人員可以從數據流預測與其相關分類工作方面進行研究與分析，具體如下：

一方面，在數據流預測分析方面，研究人員可利用回歸分析中最小二乘法實現對基于異常模式下趨勢監測工作的優化分析。以車輛跟蹤信息以及電力負荷數據為例，研究人員可利用上述方法對變化的數據流值進行科學預測。另一方面，研究人員也可以利用人工智能方法對預測數據流中的周期穩定性進行研究與分析。結合分析反饋情況來看，基于人工智能方法的數據流預測分析工作在預測精度方面表現較高。而回歸分析中的最小二乘法雖在預測速度方面表現較快，但是在預測精度方面遠不及人工智能方法。但是需要注意的是，人工智能方法在數據流預測方面還是存在不確定因素，如無法適應流值在不同時段所涉及到的波動特點[3]。

2 數據流在典型應用領域中的實踐分析

2.1 傳感器網絡查詢

傳感器網絡多可以應用于不同監控應用領域當中。其中，像復雜的過濾以及對異常事件警報活動的響應都可以應用傳感器網絡進行實現。其中，多數據流上的聚集以及連接可利用分析功能實現對多個數據源的研究分析。根據分析反饋結果，以單個數據流的聚集用作為單個傳感器錯誤補償。結合以往的應用實踐經驗來看，傳感器網絡查詢方式可應用于配電站匯報工作當中。舉例而言，工作人員可結合電力消耗統計情況對配電站發電速率進行調整優化。除此之外，工作人員也可以將該種方式應用于核電廠異常事件監測當中，加強對相關數據的監測管理。

2.2 網絡流量分析

一般來說，在實時情況下，Internet通信量相關分析系統可以在流量統計以及關鍵條件檢測中得到良好應用。其中，Internet中比較受歡迎的信息源以及目的地址流量模式，可以有效遵守能量分配規律，實現示例查詢過程。舉例而言，在網絡流量分析過程中，可根據每一個源目的對所使用的帶寬數量進行研究分析，并按照協議類型以及子網掩碼分組進行針對性處理[4]。

2.3 事務日志分析

Web使用日志的在線挖掘以及電話呼叫進入等功能可以實現對數據流模式特征的集中體現。舉例而言，事務日志分析主要以發現客戶行為模式為主，對于存在欺詐可疑消費等行為所涉及到的數據進行動態獲取。在檢測分析過程中，系統可通過實時檢查Web服務器日志情況，對當前數據流問題進行研究分析。并主動挖掘移動電話記錄，對各個用戶以及電話呼叫過程中所存在的基站數目進行研究分析。

2.4 股票行情自動收錄

股票價格在線分析主要可以從其相關性以及識別趨勢等方面進行動態研究與分析，并根據分析反饋結果對套匯時機以及未來價格進行預測。舉例而言，在分析過程中，研究人員可根據最近成交量的最高振蕩變更率表現情況，查找所有價格介于一定范圍的股票，完成對股票行情自動收錄過程[5]。

結論：總而言之，數據流研究所涉及的領域范圍十分寬泛。為保障數據流可以在各行業領域中得到良好應用與推廣，建議相關研究人員應該對數據流概要以及數據流分析技術等問題進行統籌規劃與合理部署。與此同時，重點針對潛在的新數據流應用需求進行研究分析，并主動結合人工智能等新興技術內容，實現對相關數據內容的動態研究與分析。需要注意的是，當前數據流所涉及到的部分研究成果難以直接應用于各領域當中，仍舊需要研究人員不斷努力以及付諸實踐，健全優化數據流管理系統及相關技術內容，保障數據流應用發展進程。

參考文獻：

[1]周勇. 基于并行計算的數據流處理方法研究[D].大連理工大學，2018.

[2]陳華輝，施伯樂，錢江波，陳葉芳. 基于小波概要的并行數據流聚類[J]. 軟件學報，2020，21（04）：644-658.

[3]曹振麗，孫瑞志，李勐. 一種基于高斯混合模型的不確定數據流聚類方法[J]. 計算機研究與發展，2019，51（S2）：102-109.

[4]王德文，李俊. 能源互聯網多能擾動識別的數據流處理模型[J]. 電力系統自動化，2018，40（23）：49-55+69.

[5]陳華輝，施伯樂. 數據流上具有數據遺忘特性的小波概要[J]. 計算機研究與發展，2019，46（02）：268-279.

（國電南瑞科技股份有限公司，江蘇 南京 210000）