基于面向物聯網的海量數據處理研究

黃艷

西安交通工程學院，陜西，西安，710300

0 引言

物聯網技術主要采用全球定位系統、射頻識別以及紅外感應器等信息傳感設備，按照約定協議來處理數據內容，也即將各類物品與互聯網銜接，以完成數據信息的交換以及通信工作，確保定位、識別、監控以及處理等工作的順利開展。當前，人們已經搭建出完整的網絡體系，促使物聯網技術能夠應用于各個區域實現對不同工作的管理，展現出其標準化、工程化、服務化、開放化的特征，以達到實時處理海量數據的目的。

1 基于物聯網海量數據處理中的數據分級處理方式

1.1 數據分級處理流程

站在數據信息處理的角度進行分析，物聯網可以被規劃為三個層次，分別為底層、中層以及高層。底層所涉及的區域為協同感知層，可將不同類別的傳感器以及同類傳感器進行協同處理，為其確立相同的感知目標，增加立體感知數據的應用，保證局部區域的相關數據信息能夠被合理處置，使數據信息之間可以融會貫通，增加數據處理環節的精度要求，方便感知數據信息被利用。而中層，則可被規劃為數據信息的傳輸層，其中不僅包括無線傳輸網絡，更可完成對數據信息的感知工作，運用信息的融合以及聚合方式，增加傳輸鏈內的自適應性要求，優化傳輸協議應用層的編碼，保證各項數據信息的安全傳遞，以實現數據處理工作，促使海量信息能夠被高效利用。高層，則是作為數據信息的支撐層存在。人們可以增加對物聯網中數據服務決策、共性支撐以及協調控制等環節工作的關注，加強感知信息的應用，拉近空間與時間之間的關聯，保證在不同的空間區域內，多粒度的分級處理工作能夠正常開展，從而完成數據信息的檢索以及存儲工作，使各方面數據資源能夠在網絡系統內大規模地應用，保證資源的使用頻率得以提高，確保信息獲取的準確性。因此多級數據處理的方式可以滿足中間系統的嵌入要求，保證數據信息的頻率提高，強化應用系統的整體操作效率[1]。

1.2 數據處理系統結構

在數據處理系統結構內，其主要包括兩個子系統，分別為數據處理系統以及數據采集系統。二者通常處于上下層的運行狀態，可輔助數據分級處理工作的開展。首先系統會通過RFID標簽讀寫器，采用交互的方式，將上級所需傳達命令利用讀寫器進行輸送。此時讀寫器需按照用戶所下達的命令，完成對應的操作。若此時讀寫器未接收到任何命令，則無需執行操作，通常應使讀寫器維持正常運行狀態，保證用戶輸入內容后，讀寫器能夠在第一時間內將相關數據進行傳達，通過使用者所下達的命令，來記錄讀寫器做執行的操作。例如，讀取標簽的運行方式、時間并完成上述數據處理工作，使讀寫器所執行的命令與標簽信息內容一致，實現數據的自動監控以及處理[2]。

1.3 數據處理系統的開發環境及其應用

（1）數據處理系統的開發環境。基于ARM嵌入式硬件環境進行思考，數據采集系統在運行過程中，需通過X86硬件環境運行，保證數據在應用過程中不會出現遺漏，并根據系統內部的實際狀況進行分析，了解各項數據所處層級。如本地用戶可通過數據處理系統，掌握配置界面的相關內容，保證數據處理工作的完整性，可一鍵發送命令進入數據采集系統，并遵循管理交互模式要求，利用讀寫器完成數據標簽的讀取工作（圖1）[3]。

圖1 數據系統分層處理流程圖

（2）嵌入式數據采集系統。嵌入式數據采集系統會通過數據采集的方式，使各類數據被規劃在Lmux操作系統內，使數據采集系統能夠正常運行，利用SQLte嵌入式數據庫處理多線程數據，從而增加C語言等技術應用，使GTK+圖形工具能夠在所開發區域應用，以保證數據處理系統能夠正常運行，方便數據庫存儲工作的實施，保證嵌入式數據采集系統的實際功能可以展現出來，如完成采集標簽信息的處理，可將系統串口和上層的數據處理系統相互關聯，利用讀寫器完成通信工作，輔助標簽信息的傳輸，使各項信息能夠存儲于數據庫內，完成大量標簽信息的解讀工作，探測數據庫內的具體內容，以實現多條件的復合查詢。此時即可根據用戶的具體訴求完成標簽信息的收集、存儲、刪改以及升級工作，增加數據庫內的有用標簽，使各項數據信息能夠發揮出其實質性作用，嚴格遵循流程步驟開展后續操作[4]。

（3）多線程數據處理系統。運用多線程數據處理系統整合數據時，需將數據采集系統與串口相互關聯，通過數據讀寫器，保證通信工作的合理運行，完成數據信息的配置以及管理工作，使本地用戶能夠運用數據處理系統，將各方面數據信息整合到數據庫內，執行其管理職責，完成數據信息以及程序的配置工作。這樣一來，即可運用讀寫器執行管理工作，監控Web服務器的運行狀況，掌握系統內部有無訴求，實現對全范圍的監控，以保證上述操作能夠為用戶提供相應的網絡支持，增加網絡接口的應用，在其接收到報文請求后，方可通過數據網絡系統完成數據報文的傳輸以及應答工作。

（4）數據處理系統的測試。在物聯網海量數據處理環節，由于受到資源以及時間的限制，測試數據量在有限范圍內，可通過讀寫器來完成標簽的讀寫工作，因此可增設10個讀寫器，使數據資源在特定查詢條件內，保證標簽數據的準確，并運用數據處理系統測試的方式，完成數據的分級處理工作，展現出數據的綜合特征，這樣方可滿足查詢條件要求，保證標簽數據的準確性，促使讀寫器在數據不發生改變的前提下執行各項操作，使標簽數目預期一致，運用分級的處理方式，保證系統內各項表征更加明顯（圖2）。

圖2 系統性能對比圖

其中標簽個數增加，則源系統以及分級處理系統中的數據量也會隨之提升，使物聯網技術在數據測試環節應用可以展現出時間、異構、冗余以及高維等特點，以輔助海量數據的存儲。通過關鍵詞的檢索，方可調閱所需內容，凸顯出物聯網開放構架的基本要求，為用戶提供更高的信息服務，增加海量數據處理期間的安全性要求，增加內部的可信任條件。

2 面向物聯網的數據降維處理流程及數據保障機制

2.1 物聯網的數據降維處理流程

在經濟時代的發展背景下，信息技術已經得到普及，使物聯網技術被廣泛應用于各個區域，以避免人們在處理海量數據時受到空間、時間以及其他影響因素的限制，使人們可以在同一時間內獲得所需數據信息，滿足數據量的增長要求，避免其以指數形式持續升高。這樣即可展現出數據降維環節的非結構化、維數高的特征，方便人們在海量數據內探索新的知識，統一人們數據收集及處理的目標，以增加物聯網技術的應用。與傳統數據分析手段相比，數據降維處理方式可以滿足數據的集合要求，隱藏數據庫內的信息，避免出現信息孤島問題。

例如：通過數據表達式f（x）的形式，方便人們在網絡系統內檢索所需內容，最終輸出頁面的值應為y=f(x)。其中f（x）為變量值，也可作為平臺內的原始值，通過字母數據的形式，保證數據設定環節的完整性，并運用前臺設備中的數據將所需查找內容進行整合，促使數據列表中的組合形式更加完整。另外，應增加對物聯網數據降維處理環節常用符號的重視，平臺支持常用運算符見表1。

表1 平臺支持常用運算符

舉例說明，在物聯網處理海量數據時，可設置屬于固定值補償，例如，采集溫度值為26℃，而實際溫度差值為1℃，此時我們可以整理公式，運用數據補償的方式，運用計算公式“x+1”的形式，方可填入模擬量測量塊內，保證對應值、測量值的準確性，并將各類參數引入公式計算環節，實現對平臺溫度數據的檢索。

與此同時，需將數據維數整合到合理大小，保留數據庫內的初始信息，并運用降維處理的方式，完成數據信息的推送工作，將全部信息輸送到系統內部，運用降維算法完成機械學習工作，使其被規劃為數據挖掘方式之一。在此基礎上，數據降維處理還具有一定的業務功能，可以實現對海量數據的處理，如非線性降維算法、線性降維算法，根據數據降維處理的實質要求進行分析，增加其在數據轉換工作中的運用，將數據從高維度整合到低維度空間內，在二者不斷變化的前提下，增加最小量嵌入算法的應用，以保證數據信息的等量、等距轉換，增加海量數據在應用環節的約束條件，揭示數據信息的內在結構以及流形結構。

最后，可依托網絡環境下的感應信息，將最小量嵌入算法應用于物聯網試驗平臺，根據系統化的感應網絡，增加核心技術的應用，確保移動通信終端以及移動通信網絡的正常運行，規范使用人員的操作行為，保證各項數據的整合工作能夠順利開展，由此挖掘海量數據的移動性，實現對使用人員行為模式的監控，進而感知移動網絡下數據的運行方式，掌握單個個體所執行的操作，運用數據組成的形式來穩定城市內部的網絡環境，勾勒出完整的移動數據實時地圖，達到感知、利用以及反饋終端設備的目的，并將此方面數據設置為物聯網技術應用的核心，以便將此數據應用于各個領域，完成城市化信息建設工作，滿足城市應急通信需求，保證電子政務信息的準確性。由此方可打造信息化城市，保證無線城市的合理設置，增加數字化技術在城市建設環節的應用，從而打造出數字城市平臺，實現對網絡系統的感知。

除此之外，物聯網技術在數據處理環節可以發揮積極作用。例如：運營商、政府部門、軟硬件供應商、內容提供者、終端用戶等相關人員，可以通過感應設備實現對移動信息的挖掘，完成數據信息的同步處理；可運用實時檢測的方式，掌握個體行為模式，深度解讀群體的行為模式，以實現對消費者、醫療、交通、城市管理以及其他緊急狀況的關聯；可運用網絡系統將各方面數據信息進行串聯，這樣則可帶動各個行業共同發展，保證每個行業都能在物聯網技術的應用下，提升自身的反應能力，保證各個項目的實施效率。

2.2 物聯網的數據保障機制

在網絡環境內，數據信息的安全保障機制是必不可少的。在物聯網信息服務系統運行環節，可根據物聯網架構的開放性特點進行分析，根據各項感知設備的交互性、頻繁性要求，增加安全服務的納入，設置隱私保護機制，給予海量數據處理環節相應的保障，控制好物聯網技術的應用規模，將此作為后續海量數據處理的前提，確保用戶能夠接受物聯網提供的相應信息服務[5]。

在此基礎上，應增加數據信息服務環節的安全性能，如設置防火墻，增加密鑰機制，融入身份識別、數字簽名以及病毒查殺功能，保證用戶在執行海量數據處理工作時，不會受到不法分子的影響，完成入侵程序檢測工作，使此部分內容成為物聯網數據處理服務環節的內容之一。這樣即可保證物聯網信息系統的順利運行，增加海量數據處理環節的安全保障性因素，使物聯網網絡層、感知層趨于穩定，從而避免出現黑客入侵、無線電干擾、非法授權以及傳感器異常等現象，實現物聯網的自我安全管理。

3 結論

綜上所述，物聯網技術的應用可以在第一時間將海量數據進行處理，避免系統內部存在較大的負荷，運用數據降維處理的方式，將數據進行分類，保證數據分級工作的正常開展。若未落實到位，不僅會制約物聯網技術的應用，還會增加數據在運行過程中的安全隱患。因此，可運用數據分級處理方式，完成海量數據的處理任務，凸顯物聯網技術的智能化表征，運用數據分層設計的方式，簡化智能算法步驟，進而解決物聯網應用環節的各項問題。