基于物聯網與云計算的數據挖掘技術

楊雅頌

（福州職業技術學院，福建 福州 350108）

0 引 言

物聯網技術是信息時代的產物，凝聚著人類的智慧。伴隨著社會的發展，云計算、數據挖掘技術發展水平得到有效提升。當前，已對物聯網技術、云計算、數據挖掘技術三者進行了融合。在云計算和物聯網數據挖掘技術的背景下，數據分析水平和處理水平顯著提高，這對及時發現數據價值非常有利。在新形勢下，基于云計算的物聯網數據挖掘技術被廣泛地應用在社會生活中，應用此項技術挖掘數據，充分發揮數據價值，能夠為人們的生產、生活提供諸多便利[1-4]。為進一步發揮基于云計算的物聯網數據挖掘技術的價值，人們還需要積極研究并創新發展此項技術。

1 相關概念研究

1.1 物聯網的概念

在信息技術、互聯網技術、計算機技術快速發展的背景下，物聯網技術出現在公眾視野。狹義的物聯網概念不包括人，只包括事物和事物相互聯系[5]；廣義的物聯網概念是以網絡為媒介，以人或物為對象，借助互聯網實現實時信息交互。物聯網技術將物與物、人與物聯系在一起，對社會高效發展具有積極意義。當前，物聯網技術被廣泛應用在能源管理、環境監測、交通管理、醫療保健等多個領域。以能源管理為例，應用物聯網技術可以遠程控制照明設備、家電設備等，這樣不僅可以為人們生活提供便利，而且可以降低能源消耗，減少不必要的浪費。以環境檢測為例，應用物聯網技術可以檢測環境濕度、溫度、大氣運動情況等，有助于制定科學的環境保護策略，科學落實環境保護工作。以交通管理為例，應用物聯網技術可以跟蹤車輛、獲知車輛數據、加強車輛管理。以醫療保健為例，應用物聯網技術可以監測人體狀態，便于為其提供科學的保健指導，提高身體健康水平。正因如此，物聯網技術得到了社會高度關注，并加大了對此項技術的推廣力度，以確保更多的人享受物聯網技術帶來的便利。

1.2 云計算的概念

云計算是指通過網絡云將巨大的數據計算處理程序分解成無數個小程序，然后通過多部服務器組成的系統進行處理和分析，這些小程序得到結果并返回給用戶[6]。通過將云計算應用在實際工作中可以大大提升計算分析水平，為決策制定提供可靠的依據。一般而言，企業常應用云計算加強運營管理，以促進企業自身健康發展。

1.3 數據挖掘的概念

數據挖掘是指通過深度研究、分析大量數據，發現有用數據，發揮數據價值[7]。數據挖掘離不開統計學、機器學習技術、模式識別技術等多種學科技術的支持。在信息時代，企業每天面臨著大量數據，如何挖掘數據價值、利用數據全面發展是企業重點關注的問題。數據挖掘技術的出現無疑有利于滿足企業發展需求，提升企業發展水平。

2 基于云計算的物聯網數據挖掘技術

當前，物聯網技術、云計算以及數據挖掘技術逐漸融合，為企業以及社會發展提供了可靠的支持。為強化技術應用效果，有必要深入探究技術運行機理。

物聯網感知層、傳輸層、數據層以及物聯網數據挖掘服務層是云計算實踐應用的重要組成部分。物聯網感知層：感知是該層的重要功能。在物聯網感知層可以通過被控制區域內安裝的攝像頭、傳感器等各種感知設備來感知事物，獲得各種各樣的信息；然后可以將感知獲得的數據信息發送到總服務器。在這種情況下，物聯網感知層作用得以發揮。物聯網傳輸層：用于傳輸數據，即把網絡采集的數據及時、有效、完整地傳輸到總服務器。在實際應用過程中會不斷地產生數據，因此物聯網傳輸層就需要不斷地傳輸數據。物聯網數據層：用于處理數據的結構。一方面，存儲數據，即將所獲得數據進行存儲，便于后續使用；另一方面，轉換數據，即合理地轉換數據，便于利用數據。存儲數據、轉換數據是挖掘數據的基礎，所以存儲數據、轉換數據關系著數據挖掘效果。物聯網數據挖掘服務層：用于挖掘數據，其數據挖掘水平影響著數據的合理使用。由此可見，物聯網數據挖掘服務在數據高效應用方面發揮著重要作用。

虛擬技術支持著云計算應用，基于云計算的物聯網數據挖掘技術同樣需要虛擬技術的支持。虛擬技術具體應用介紹如下：在實際應用過程中會出現高性能硬件產能過剩，無法完全得到利用或老舊硬件的產能無法滿足需求的問題。使用虛擬技術就可以虛擬產能過剩的數據，使之成為多個資源，在這種情況下就可以根據需求科學地選擇數據資源，從而高效應用數據資源，發揮數據資源的價值；使用虛擬技術還可以整合老舊硬件，使之成為虛擬資源，為資源的合理使用打下基礎。由此可見，虛擬技術在劃分資源、整合資源中發揮著不可或缺的作用。在使用基于云計算的物聯網數據挖掘技術時，有必要積極研究虛擬技術，科學地將虛擬技術融入，保證基于云計算的物聯網數據挖掘技術的實用性。

數據處理與編程模型是基于云計算的物聯網數據挖掘技術的重要組成部分。為提升基于云計算的物聯網數據挖掘技術的應用水平，要主動探究數據處理與編程模型。從目前現狀來講，MapReduce模型（屬于數據處理與編程模型）常被應用在此項技術中。MapReduce模型共包括兩種函數：一種是Map函數，另一種是Reduce函數[8]。在兩種函數的作用下，才可以更好地發揮MapReduce模型作用。MapReduce模型運行過程如下：首先，輸入文件，為數據處理提供資料來源；其次，Map函數按行讀取和加工數據，形成數據加工結果，將數據分配到新的節點上；再次，Reduce函數讀取上一個階段獲得的數據，并將數據合并處理，如果在處理數據的過程中發現問題，則會再次運行任務，這樣有利于提高數據應用水平；最后，在完成上一個階段的數據處理工作后，就輸出文件，如圖1所示。

圖1 MapReduce并行編程模型

3 基于云計算的物聯網數據挖掘實驗驗證

發揮基于云計算的物聯網數據挖掘技術作用的關鍵之處是深入挖掘數據，為相關人員開展工作提供可靠數據支持。如此一來，就要選擇合適的數據挖掘算法。為探究基于云計算的物聯網數據挖掘技術的實用性，本章對數據挖掘經典算法之一—Apriori算法進行了可行性分析。

3.1 Apriori算法分析

Apriori算法是數據挖掘的經典算法之一，在數據挖掘中具有重要地位[9]，其主要通過候選集生成和情節的向下封閉檢測兩個階段來挖掘頻繁項集，以此為數據合理使用提供支持。當前，Apriori算法的功能作用已經非常清晰，可以積極地將Apriori算法應用在各大領域。比如，將Apriori算法應用在經濟領域，為經濟發展建設保駕護航；將Apriori算法應用在網絡安全領域，及時發現和科學控制網絡危險，為保證網絡安全奠定基礎。

3.2 實驗環境

在驗證Apriori算法應用效果的過程中，需要科學構建實驗環境。本次實驗選擇了運行內存為4 GB、存儲空間為128 GB、操作系統為Windows XP的臺式計算機作為實驗設備，在其內部安裝了三個采用Linux操作系統的虛擬機，同時分別在這三個虛擬機中設置不同形式的節點，可以在很大程度上保證驗證效果，為Apriori算法的實際應用提供依據。

3.3 實驗過程

在本次實驗中，要充分地把握實驗過程，規范開展實驗活動。實驗過程如下：首先，準備好設備，做好設備調試，確保后續實驗活動的順利進行。其次，要做好與實驗算法相關的數據處理工作，包括采用C++程序代碼檢索重點詞語，將其轉變成容量為1 024 MB的PLM文件，再將轉變完的文件利用HDFS傳輸到進行實驗的模擬平臺上。與此同時，還需要將文件進行分類存儲。最后，運行計算機，了解數據運行狀態，同時做好數據記錄，為后續實驗結果分析提供依據。總而言之，實驗過程影響著實驗結果的科學性、準確性，因此有必要謹慎操作實驗，科學控制實驗過程。

3.4 實驗結果

在本次實驗中共傳輸了四種不同內存的文件，包括150 MB、300 MB、600 MB、1 024 MB，而這四種不同內存文件的運行時間分別為82 s、126 s、234 s、308 s，見表1所列。由此可見，文件內存與運行時間兩者成正比。應用Apriori算法處理信息數據，有助于提高數據處理效率，保證數據挖掘效果。由此可見，Apriori算法具有良好的應用價值。

表1 文件大小與運行時間的關系

4 基于云計算的物聯網數據挖掘技術應用面臨的挑戰及應對策略

隨著信息技術、計算機技術等多種技術的快速發展，基于云計算的物聯網數據挖掘技術進入到一個新的發展階段，但在應用的過程中還會面臨如下挑戰。

第一，在應用技術時，需要處理大量的數據，充分挖掘數據價值。因此，數據處理水平仍有待提升。未來有必要深入研究數據處理技術，加強數據處理和管理。

第二，計算機硬件設施的性能在一定程度上影響著技術應用水平。目前還會出現計算機硬件設施的性能跟不上技術要求的問題，不利于高效利用技術。為此，相關人員有必要根據技術需求，開發計算機硬件，增強計算機硬件設施性能，保障技術有效應用。

第三，伴隨著大數據技術的發展，數據節點需求大量增加，但滿足需求的節點并沒有隨之增加，反而減少了。基于此，要積極處理數據節點的供需矛盾，滿足數據節點需求。

第四，在應用此項技術的過程中，應當確保網絡的穩定性，以提高技術應用水平；同時還需要構建安全系統，有效保護數據信息。從目前現狀來講，在應用此項技術的過程中有時會出現網絡連接問題，不利于有效發揮此項技術的價值；還面臨安全問題，容易導致信息泄露[10]。因此，要不斷地升級網絡技術，確保網絡的穩定性，并且還要加強安全技術建設，提升安全技術發展水平，便于保護信息數據。

總而言之，基于云計算的物聯網數據挖掘技術的發展前途是光明的，但是在發展的道路上容易遇到各種問題。因此，需要采取合理的措施，解決問題，保障基于云計算的物聯網數據挖掘技術為人類社會發展創造更大的價值。

5 結 語

基于云計算的物聯網數據挖掘技術為企業和個人的發展帶來了機遇，因此有必要科學地應用此項技術，開展生產生活實踐活動，抓住發展機遇。本文主要介紹了物聯網、云計算、數據挖掘的概念，分析了基于云計算的物聯網數據挖掘技術原理，同時還對Apriori算法的性能進行了驗證，發現Apriori算法對于提高基于云計算的物聯網數據挖掘技術的應用水平具有積極意義。最后探究了基于云計算的物聯網數據挖掘技術應用面臨的挑戰以及應對策略，旨在為云計算背景下的物聯網數據挖掘技術發展與應用提供指導。在實際應用此項技術的過程中，需要及時發現技術應用存在的問題，同時采取合理的措施解決技術應用問題，并總結技術經驗，為技術應用與研發提供科學支持。