云計(jì)算與物聯(lián)網(wǎng)技術(shù)的數(shù)據(jù)挖掘分析

李長鵬，程濤，梁建國

（青島港灣職業(yè)技術(shù)學(xué)院，山東青島，266400）

1 物聯(lián)網(wǎng)與云計(jì)算概述

1.1 物聯(lián)網(wǎng)概述

物聯(lián)網(wǎng)作為一種新興的網(wǎng)絡(luò)技術(shù)，其主要是以萬億節(jié)點(diǎn)作為表達(dá)對象，隨后通過不同的傳感器設(shè)備、網(wǎng)絡(luò)服務(wù)器以及超級計(jì)算機(jī)集群來進(jìn)行數(shù)據(jù)的處理與應(yīng)用，并且包含了計(jì)算機(jī)技術(shù)以及通信技術(shù)等多個學(xué)科。物聯(lián)網(wǎng)技術(shù)手段的應(yīng)用，能夠在結(jié)合物理對象的實(shí)際情況進(jìn)行無縫信息系統(tǒng)的構(gòu)建，實(shí)現(xiàn)對各業(yè)務(wù)流程的規(guī)劃化與動態(tài)管理，保障業(yè)務(wù)流程的順利開展，從而解決用戶們的不同需求[1]。

1.2 云計(jì)算技術(shù)

云計(jì)算技術(shù)能夠在結(jié)合互聯(lián)網(wǎng)自治等性能基礎(chǔ)上，強(qiáng)化用戶的管理能力，隨后結(jié)合制定需求進(jìn)行海量數(shù)據(jù)的分析與計(jì)算。在云計(jì)算技術(shù)應(yīng)用過程中，多采用的是分布式的計(jì)算平臺，在海量數(shù)據(jù)內(nèi)進(jìn)行數(shù)據(jù)背后蘊(yùn)含價(jià)值的挖掘工作，促進(jìn)數(shù)據(jù)自身有效性進(jìn)一步提升。通過分布式數(shù)據(jù)處理方法的應(yīng)用，能夠從分布式存儲以及并行計(jì)算兩部分入手，對于數(shù)據(jù)存儲、計(jì)算以及容錯等內(nèi)容問題起到良好的解決效果，對于數(shù)據(jù)自身高性能以及安全性的提升也有著重要意義。

通過分布式并行計(jì)算系統(tǒng)框架可以實(shí)現(xiàn)對海量數(shù)據(jù)的背后價(jià)值進(jìn)行有效挖掘，用戶們在進(jìn)行數(shù)據(jù)提取過程中，只需要關(guān)注任務(wù)的邏輯性，而不需要考慮到過多的技術(shù)細(xì)節(jié)，這樣也能夠促進(jìn)數(shù)據(jù)的研發(fā)效率進(jìn)一步提升，對于系統(tǒng)維護(hù)成本也能夠獲得良好的控制效果。在常見的分布式并行計(jì)算框架內(nèi)，具體包含有MapReduce并行計(jì)算框架、Pregel迭代處理計(jì)算框架等等。

Hadoop平臺作為分布式系統(tǒng)構(gòu)成的基礎(chǔ)性框架，其現(xiàn)階段也能夠?yàn)槠渌\(yùn)算法提供良好的研發(fā)平臺，通過Hadoop平臺能夠?yàn)樵朴?jì)算工作的開展提供良好基礎(chǔ)，用戶們通過該數(shù)據(jù)的應(yīng)用，能夠促進(jìn)工作效率進(jìn)一步提升。此外該軟件的應(yīng)用還能夠?yàn)榉植际匠绦虻拈_發(fā)提供基礎(chǔ)，在Hadoop平臺中，主要是以集群方式，通過開源優(yōu)勢為使用者們進(jìn)行強(qiáng)大的信息存儲以及數(shù)據(jù)運(yùn)算功能。因此通過分布式Hadoop平臺的應(yīng)用，可以為IT產(chǎn)業(yè)進(jìn)行Linux系統(tǒng)的提供。而且Hadoop平臺主要包含有HDFS以及MapReduce兩部分構(gòu)成，在良好的計(jì)算跟儲存環(huán)境下，促進(jìn)數(shù)據(jù)應(yīng)用功能得以提升。

HDFS具備有容錯率高以及伸縮性強(qiáng)的應(yīng)用優(yōu)勢，能夠滿足用戶們對Hadoop平臺不同硬件系統(tǒng)中的具體要求，在此基礎(chǔ)上構(gòu)成分布式文件系統(tǒng)，對于文件使用質(zhì)量的提升也有著重要意義。在MapReduce編程模式下，部分系統(tǒng)底層用戶們能夠?qū)崿F(xiàn)對應(yīng)用程序的不斷研究跟開發(fā)，借助于相關(guān)數(shù)據(jù)信息實(shí)現(xiàn)對MapReduce系統(tǒng)的有效整合與完善，獲得良好的數(shù)據(jù)處理與分析效果[2]。

2 數(shù)據(jù)挖掘技術(shù)概述

2.1 數(shù)據(jù)挖掘技術(shù)概述

一般情況下數(shù)據(jù)挖掘自身存在有一定的局限性，其發(fā)展與形成時(shí)間比較短，自上個世紀(jì)90年代發(fā)展以來，其應(yīng)用范圍也得到了進(jìn)一步擴(kuò)展，促進(jìn)信息處理水平進(jìn)一步提升，在生產(chǎn)生活等多個領(lǐng)域中也能夠獲得良好的應(yīng)用效果。現(xiàn)階段挖掘數(shù)據(jù)相關(guān)技術(shù)不僅屬于科學(xué)研究區(qū)域，也是多元化的技術(shù)交叉領(lǐng)域，通過數(shù)據(jù)挖掘技術(shù)的應(yīng)用，能夠?qū)崿F(xiàn)對海量數(shù)據(jù)的有效挖掘與分析，對于數(shù)據(jù)自身運(yùn)行效能的發(fā)揮也有著重要意義。因此說數(shù)據(jù)挖掘技術(shù)在應(yīng)用過程中包含有以下作用：一是在真實(shí)基礎(chǔ)上進(jìn)行數(shù)據(jù)的不斷豐富與完善，在此基礎(chǔ)上進(jìn)行海量數(shù)據(jù)資源庫的構(gòu)建；二是通過對數(shù)據(jù)信息的挖掘跟匯集，可以實(shí)現(xiàn)對多行業(yè)服務(wù)的提供，為人們的生產(chǎn)生活提供便利性。

2.2 物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)應(yīng)用中面臨的挑戰(zhàn)

物聯(lián)網(wǎng)在運(yùn)行過程中具備有一定的運(yùn)營模式跟規(guī)律，但是在具體應(yīng)用過程中還需要面臨以下幾點(diǎn)挑戰(zhàn)：

（1）物聯(lián)網(wǎng)技術(shù)缺乏有效的數(shù)據(jù)存儲章法，雜亂無章，因此現(xiàn)階段主要應(yīng)用的是中央管理模式，對于分布式數(shù)據(jù)并沒有良好的探知能力。

（2）數(shù)據(jù)存儲規(guī)模比較大，可以對信息存在節(jié)點(diǎn)起到快速有效的處理效果，因此在結(jié)合了中央處理模式基礎(chǔ)上，對于計(jì)算機(jī)硬件設(shè)備的質(zhì)量跟性能也提出了更高的要求。但是目前在互聯(lián)網(wǎng)技術(shù)應(yīng)用中存在有基礎(chǔ)設(shè)備不完善的情況下，促進(jìn)數(shù)據(jù)信息挖掘有效性進(jìn)一步提升[3]。

（3）隨著大數(shù)據(jù)技術(shù)的到來，數(shù)據(jù)節(jié)點(diǎn)需求隨之增加，可滿足需求的節(jié)點(diǎn)也日漸減少，需求與供給之間矛盾隨之增加。因此還需要對現(xiàn)有數(shù)據(jù)與挖掘技術(shù)進(jìn)行不但優(yōu)化與完善，及時(shí)采用新技術(shù)來對數(shù)據(jù)使用的實(shí)際問題進(jìn)行明確。

（4）存在有較大的不穩(wěn)定影響因素，還會受到數(shù)據(jù)安全性以及網(wǎng)絡(luò)穩(wěn)定性等多種因素的影響，對于物聯(lián)網(wǎng)自身運(yùn)行也會產(chǎn)生比較大的影響。

因此目前物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)在應(yīng)用過程中還存在有一定的局限性，從而讓物聯(lián)網(wǎng)的數(shù)據(jù)應(yīng)用效益得以充分發(fā)揮，讓物聯(lián)網(wǎng)自身的使用價(jià)值充分發(fā)揮出來。

3 基于云計(jì)算的數(shù)據(jù)挖掘關(guān)鍵技術(shù)

3.1 云計(jì)算數(shù)據(jù)挖掘技術(shù)

近年來隨著社會經(jīng)濟(jì)的不斷發(fā)展，數(shù)據(jù)的作用也變得越來越重要。各企業(yè)要想獲得良好的行業(yè)競爭優(yōu)勢，也就需要積極挖掘數(shù)據(jù)的價(jià)值并加以利用，實(shí)現(xiàn)數(shù)據(jù)價(jià)值的最大化。隨著云計(jì)算技術(shù)的不斷發(fā)展，在數(shù)據(jù)挖掘跟處理中也獲得了良好的應(yīng)用效果，并且可以為數(shù)據(jù)資源價(jià)值的獲取提供便捷的途徑。通過云計(jì)算模式的應(yīng)用，還可以實(shí)現(xiàn)各種數(shù)據(jù)的搜集、儲存以及有效運(yùn)算，對于數(shù)據(jù)背后的深層價(jià)值進(jìn)行明確，促進(jìn)自身的數(shù)據(jù)應(yīng)用能力進(jìn)一步提高。

3.1.1 數(shù)據(jù)匯集調(diào)度技術(shù)

借助于云計(jì)算平臺的應(yīng)用，能夠?qū)崿F(xiàn)對多種類型數(shù)據(jù)的匯集以及調(diào)度工作，從而實(shí)現(xiàn)數(shù)據(jù)信息的綜合性管理與應(yīng)用。通過數(shù)據(jù)匯集調(diào)度技術(shù)的應(yīng)用，可以滿足不同格式跟類型數(shù)據(jù)之間的有效交流以及連接，并且能夠?qū)崿F(xiàn)對多種數(shù)據(jù)的同步連接與處理。通過數(shù)據(jù)處理技術(shù)的應(yīng)用，在設(shè)計(jì)問題解決方案時(shí)還能夠保障支撐不同系統(tǒng)數(shù)據(jù)的生成格式，具體包含有聯(lián)機(jī)事務(wù)處理系統(tǒng)形式數(shù)據(jù)、聯(lián)機(jī)分析處理系統(tǒng)形式數(shù)據(jù)以及各種日志數(shù)據(jù)等等，這樣才能夠?qū)崿F(xiàn)數(shù)據(jù)信息的深度挖掘與分析，對于數(shù)據(jù)自身作用發(fā)揮也有著積極意義[4]。

3.1.2 服務(wù)調(diào)度與服務(wù)管理技術(shù)

為了滿足不同業(yè)務(wù)系統(tǒng)的實(shí)際服務(wù)需求，還需要在云計(jì)算平臺應(yīng)用過程中，需要具備有良好的服務(wù)調(diào)度以及管理功能。在服務(wù)調(diào)度功能中，需要在分析服務(wù)等級、資源匹配基礎(chǔ)上，實(shí)現(xiàn)對優(yōu)先級服務(wù)的調(diào)度工作。在該過程之中，還需要對不同服務(wù)間的隔離以及互斥情況起到良好的解決效果，促進(jìn)云服務(wù)的安全運(yùn)行空間得到進(jìn)一步提升。在云計(jì)算平臺的服務(wù)管理功能中，可以借助于服務(wù)注冊、服務(wù)暴露等多種功能，給予用戶們一體化的服務(wù)管理水平，促進(jìn)云計(jì)算服務(wù)平臺的服務(wù)能力得到進(jìn)一步提升。借助于服務(wù)調(diào)度以及服務(wù)管理技術(shù)的應(yīng)用，還能夠?qū)崿F(xiàn)第三方接入數(shù)據(jù)的有效挖掘，從而保障數(shù)據(jù)的挖掘功能得以充分發(fā)揮。

3.1.3 挖掘算法并行化技術(shù)

在云計(jì)算平臺中還可以將挖掘算法并行化有效的基礎(chǔ)能力技術(shù)，具體包含有可行化算法、并行化算法以及并行策略等多種技術(shù)水平。此外在數(shù)據(jù)挖掘算法應(yīng)用過程中，其還包含有決策樹算法以及關(guān)聯(lián)規(guī)則算法等多種算法模式，能夠幫助用戶們實(shí)現(xiàn)對海量數(shù)據(jù)資源的充分挖掘以及利用。

3.2 云計(jì)算物聯(lián)網(wǎng)數(shù)據(jù)挖掘技術(shù)

近年來我國網(wǎng)絡(luò)技術(shù)得到了非常迅速的發(fā)展，通過云計(jì)算平臺的應(yīng)用，能夠?yàn)榉?wù)平臺的主要運(yùn)行提供良好的聯(lián)網(wǎng)數(shù)據(jù)平臺。在該數(shù)據(jù)挖掘平臺中可以在基于熱點(diǎn)Hadoop基礎(chǔ)上，實(shí)現(xiàn)對物聯(lián)網(wǎng)技術(shù)運(yùn)行過程中的數(shù)據(jù)分析，關(guān)鍵技術(shù)水平如下。

3.2.1 物聯(lián)網(wǎng)感知層

通過在物聯(lián)網(wǎng)感知層內(nèi)構(gòu)件大量的采集節(jié)點(diǎn)，還可以借助于攝像頭、數(shù)據(jù)傳感器等多種設(shè)備，完成物聯(lián)網(wǎng)所需數(shù)據(jù)的有效采集跟傳輸工作，隨后借助于物聯(lián)網(wǎng)感知層獲得良好的通信效果，通過無線傳感網(wǎng)絡(luò)促進(jìn)工作效率得以提升。該過程中要進(jìn)行網(wǎng)絡(luò)匯聚節(jié)點(diǎn)數(shù)據(jù)的應(yīng)用，在完成數(shù)據(jù)的匯總處理之后進(jìn)行存儲工作，將相關(guān)信息朝著云平臺數(shù)據(jù)庫進(jìn)行傳輸[5]。

3.2.2 傳輸層

在傳輸層中需要應(yīng)用到不同形式的數(shù)據(jù)感知網(wǎng)絡(luò)形態(tài)，隨后在數(shù)據(jù)網(wǎng)絡(luò)中進(jìn)行相關(guān)可靠信息的有效傳輸，對于數(shù)據(jù)自身高速性、靈活性的提升也有著非常重要的意義。通過傳輸層的應(yīng)用，還可以實(shí)現(xiàn)對不同數(shù)據(jù)的有效處理，促進(jìn)各種類型數(shù)據(jù)之間的連接效果。傳輸層的應(yīng)用也能夠?qū)崿F(xiàn)對不同數(shù)據(jù)傳輸設(shè)備之間的有效監(jiān)測，強(qiáng)化網(wǎng)絡(luò)監(jiān)測數(shù)據(jù)中的傳輸效果，對于數(shù)據(jù)挖掘技術(shù)水平的提升也有著重要意義。

3.2.3 數(shù)據(jù)層

數(shù)據(jù)層作為物聯(lián)網(wǎng)運(yùn)行平臺中的重要組成部分，因?yàn)槲锫?lián)網(wǎng)數(shù)據(jù)自身還具備有海量性以及異構(gòu)性的特征，在數(shù)據(jù)層運(yùn)行過程中需要結(jié)合數(shù)據(jù)的具體特征進(jìn)行運(yùn)行方案的合理制定，促進(jìn)數(shù)據(jù)存儲的安全性以及可行性進(jìn)一步提高。此外在數(shù)據(jù)層中包含的儲存以及轉(zhuǎn)化模塊，還可以實(shí)現(xiàn)科學(xué)化的轉(zhuǎn)化工作，對于數(shù)據(jù)自身應(yīng)用效率的提升也有著積極作用。需要注意的是在進(jìn)行數(shù)據(jù)轉(zhuǎn)化過程中，要進(jìn)一步提高數(shù)據(jù)自身采集水平，隨后借助于相應(yīng)的數(shù)據(jù)轉(zhuǎn)換器來進(jìn)行數(shù)據(jù)的多樣化轉(zhuǎn)化工作。

比如借助于物聯(lián)網(wǎng)節(jié)點(diǎn)的應(yīng)用，可以在結(jié)合了PML相關(guān)技術(shù)基礎(chǔ)上進(jìn)行建模工作，來讓自身的數(shù)據(jù)存儲以及傳輸能力進(jìn)一步提高，促進(jìn)建模質(zhì)量得以提升，在互聯(lián)網(wǎng)數(shù)據(jù)中還能夠?qū)崿F(xiàn)對位置數(shù)據(jù)以及物體屬性兩者的有效涵蓋預(yù)處理，來實(shí)現(xiàn)對物品信息的科學(xué)化分析，對于物聯(lián)網(wǎng)技術(shù)應(yīng)用水平的提升也有著至關(guān)重要的意義。

3.2.4 數(shù)據(jù)挖掘服務(wù)層

在數(shù)據(jù)挖掘服務(wù)層是由多系列的模塊構(gòu)成，隨后在結(jié)合了不同類型數(shù)據(jù)基礎(chǔ)上，進(jìn)行海量數(shù)據(jù)的有效挖掘。在結(jié)合數(shù)據(jù)挖掘引擎模塊基礎(chǔ)上，能夠?qū)崿F(xiàn)海量數(shù)據(jù)特征的區(qū)分以及演化，對各種數(shù)據(jù)之間的關(guān)聯(lián)性進(jìn)行明確，在此基礎(chǔ)上也能夠?qū)崿F(xiàn)海量數(shù)據(jù)的偏差以及類似性分析工作。此外在數(shù)據(jù)挖掘過程中，還要積極引用引擎模塊中的算法集來進(jìn)行數(shù)據(jù)價(jià)值的明確。通過Hadoop平臺也能夠?qū)崿F(xiàn)傳統(tǒng)數(shù)據(jù)算法的優(yōu)化跟完善，并且可以實(shí)現(xiàn)并行化算法的優(yōu)化，獲得良好的數(shù)據(jù)處理效果[6]。

4 結(jié)束語

通過云計(jì)算與物聯(lián)網(wǎng)技術(shù)的聯(lián)合應(yīng)用，能夠?qū)崿F(xiàn)物聯(lián)網(wǎng)運(yùn)行平臺中海量數(shù)據(jù)的有效處理，促進(jìn)互聯(lián)網(wǎng)作用充分發(fā)揮，對于我國信息化社會的發(fā)展也有著積極意義。