淺析云計算、物聯(lián)網(wǎng)和大數(shù)據(jù)技術(shù)

摘 要：近年來，新一代互聯(lián)網(wǎng)技術(shù)迅速發(fā)展，比如電子商務、智慧城市以及各種社交網(wǎng)絡和在線視頻等逐漸走進人們的生活。云計算、大數(shù)據(jù)和物聯(lián)網(wǎng)代表了IT領域最新的技術(shù)發(fā)展趨勢，三者相輔相成。基于Hadoop大數(shù)據(jù)技術(shù)，其位于底層的分布式文件系統(tǒng)可擴展性高，利用數(shù)據(jù)信息的冗余容錯來保證數(shù)據(jù)信息的完整性，且能夠提高運算效率，還能對多種類型的數(shù)據(jù)進行存儲，實現(xiàn)了云計算、大數(shù)據(jù)和物聯(lián)網(wǎng)的結(jié)合應用。

關(guān)鍵詞：云計算；物聯(lián)網(wǎng)；大數(shù)據(jù)；Hadoop

中圖分類號：TN929.5 文獻標識碼：A 文章編號：2096-4706（2018）03-0069-03

Analysis of Cloud Computing，Internet of Things and Big Data Technology

XU Yu

（Shanghai Telecommunication Engineering Co.，Ltd.，Shanghai 200011，China）

Abstract：In recent years，the new generation of internet technology has developed rapidly，such as e-commerce，intelligent city and various social networks and online video gradually into the people's life. Cloud computing，big data and internet of things represent the latest technology development trend in the field of IT. The three complement each other. Based on Hadoop large data technology，the distributed file system at the bottom has high scalability. It can make use of redundant fault tolerance of data information to ensure the integrity of data information，and can improve operation efficiency. It can also store various types of data，and realize the combined application of cloud computing，large data and Internet of things.

Keywords：cloud computing；internet of things；big data；Hadoop

0 引 言

近年來，互聯(lián)網(wǎng)以及信息技術(shù)迅速發(fā)展，電子商務、智慧城市以及各種社交網(wǎng)絡和在線實時視頻等逐步走進人們的生活。這些新技術(shù)的主要特點是需要存儲的數(shù)據(jù)量大以及業(yè)務增長速度快，網(wǎng)絡大數(shù)據(jù)的發(fā)展可以提高現(xiàn)代人的生活質(zhì)量。為此，云計算的出現(xiàn)，為大數(shù)據(jù)提供了通信技術(shù)基礎以及大量的數(shù)據(jù)存儲空間，而大數(shù)據(jù)為云計算提供了發(fā)揮場地，并為物聯(lián)網(wǎng)數(shù)據(jù)分析提供支持。

1 云計算

云計算是基于互聯(lián)網(wǎng)的相關(guān)服務的增加、使用和交付模式。用戶可以根據(jù)需要購買供應商的網(wǎng)絡、服務器、存儲等共享資源，用戶能夠快速獲取資源，減少了硬件資源的投入，減少與服務商的交互。云計算使計算分布在大量的分布式計算機上，并使用各種應用軟件系統(tǒng)按需要獲取計算力、存儲空間和信息服務，用戶能按需進行無線擴展，隨時根據(jù)自身需求進行定制、擴展和管理。

云計算在現(xiàn)在的科技需求中具有超大規(guī)模、虛擬化、高可靠性、通用性、高可擴展性等特點，并使大數(shù)據(jù)技術(shù)在物聯(lián)網(wǎng)中得到了很好的應用。從技術(shù)上看，大數(shù)據(jù)與云計算有著互相依賴、不可分割的關(guān)系。由于數(shù)據(jù)量過大，單個計算機不能獨立完成數(shù)據(jù)的處理任務，必須借助云計算中強大的并行計算和分布式計算能力。讓云計算為大數(shù)據(jù)提供強大的平臺，用大數(shù)據(jù)分析出的結(jié)論來實現(xiàn)云計算的價值。

云計算的5個固有特性，即根據(jù)實際需求自助服務、共享資源、網(wǎng)絡訪問量大、服務可度量以及可伸縮性快速。列舉它的3種服務方式：（1）SaaS（軟件即服務）；（2）PaaS（平臺即服務）；（3）IaaS（基礎設施即服務）。它的部署方式為私有云、社區(qū)云、公有云和混合云。為此，云計算慢慢將覆蓋我們傳統(tǒng)的IT工作，網(wǎng)絡將依托云平臺運行。

2 物聯(lián)網(wǎng)

物聯(lián)網(wǎng)就是“物物相連的互聯(lián)網(wǎng)”。物聯(lián)網(wǎng)將自動感知和智能識別技術(shù)與普通計算和泛在網(wǎng)絡相融合。該技術(shù)被視作計算機和互聯(lián)網(wǎng)之后，在世界信息科學技術(shù)產(chǎn)業(yè)發(fā)展歷史上的第三次技術(shù)革命。物聯(lián)網(wǎng)目前在通信方面起到了重要作用，它可以將各種信息傳感設備，如射頻識別（RFID）裝置、紅外感應器、全球定位系統(tǒng)、激光掃描器與互聯(lián)網(wǎng)結(jié)合起來。經(jīng)過接口與無線網(wǎng)絡（也含固定網(wǎng)絡），把物體和物體以及人和物體連接起來，實現(xiàn)物體與物體、人與物體之間的交流。

物聯(lián)網(wǎng)的關(guān)鍵技術(shù)是傳感器技術(shù)，大多數(shù)計算機只處理標準數(shù)字信號，這就需要通過各種標準的傳感器把模擬信號轉(zhuǎn)換成數(shù)字量。RFID射頻標簽讀寫器是一種新型的無需相互接觸的傳感識別技術(shù)，它是無線射頻原理以及嵌入式技術(shù)相互結(jié)合的產(chǎn)物，開發(fā)、拓展更廣闊的應用前景，目前主要用于超市物品的射頻識別、包裝物流檢測以及車輛的進出檢測等。

在物聯(lián)網(wǎng)中，其嵌入式技術(shù)將計算機硬件以及軟件、傳感器自動識別技術(shù)以及集成電路系統(tǒng)等多種技術(shù)相結(jié)合。隨著科學技術(shù)的發(fā)展，嵌入式系統(tǒng)逐漸應用于智能移動終端產(chǎn)品，比如生活中的空氣凈化器，甚至在航天衛(wèi)星系統(tǒng)中也有各種應用。嵌入式技術(shù)不僅讓人民的生活水平有了顯著改善，也促進了工業(yè)生產(chǎn)的發(fā)展，甚至提高了國防軍事能力。假如將物聯(lián)網(wǎng)比作人體，傳感器自動識別系統(tǒng)就是人的感知器官，網(wǎng)絡就是神經(jīng)傳輸系統(tǒng)，而嵌入式系統(tǒng)相當于人的大腦，負責分類處理從各個器官接收到的數(shù)據(jù)信息。現(xiàn)在的物聯(lián)網(wǎng)產(chǎn)業(yè)由應用層、支撐層、感知層、平臺層以及傳輸層這五個層次構(gòu)成。

3 大數(shù)據(jù)

大數(shù)據(jù)是指數(shù)據(jù)量極大，且數(shù)據(jù)類型非常大的集合，而且該數(shù)據(jù)集合不可能使用傳統(tǒng)的像SQL以及Acess之類的數(shù)據(jù)庫工具工具來進行運算與處理和控制。

假設將大數(shù)據(jù)比喻成一個產(chǎn)業(yè)，則該產(chǎn)業(yè)則必須通過提高數(shù)據(jù)的加工處理能力以及利用對數(shù)據(jù)的加工來實現(xiàn)產(chǎn)業(yè)上的增值來進行盈利，那么大數(shù)據(jù)不光要具有超大容量，還要有數(shù)據(jù)管理、獲取、分析等等功能效率，才能在海量數(shù)據(jù)中超出傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合，做到快速的數(shù)據(jù)流轉(zhuǎn)、超大容量的儲存，從而利益做大化。

4 Hadoop

經(jīng)過開源社區(qū)無數(shù)貢獻者的強大推動，Hadoop用其顯著的低成本、高性能特性，得到了大量有大數(shù)據(jù)處理需求的用戶的支持，并且在使用過程中不斷地被補充和完善，形成了一個強大的生態(tài)系統(tǒng)。毫無疑問，Hadoop已經(jīng)成為當下大數(shù)據(jù)處理領域的王者技術(shù)。

Hadoop主要有以下幾個優(yōu)點：

（1）高可靠性。人們可以完全信任Hadoop按Bit位進行存儲以及數(shù)據(jù)處理運算的能力。

（2）高擴展性。Hadoop是通過在一個計算機的可用集簇之間進行分配數(shù)據(jù)繼而完成運算任務的，而且該集簇能夠比較方便的擴展到無數(shù)的節(jié)點中。

（3）高效性。Hadoop之所以其數(shù)據(jù)處理速度極快，其原因在于它可以自由的將數(shù)據(jù)在節(jié)點之間移動，且能夠保證各個節(jié)點的相互平衡。

（4）高容錯性。Hadoop既可以將多余的數(shù)據(jù)進行保存，又可以將未成功執(zhí)行的任務進行再分配。

（5）低成本。傳統(tǒng)的一體機以及數(shù)據(jù)庫和Yonghong Z-Suite以及QlikView等數(shù)據(jù)集的源碼大多為閉源的，而Hadoop則是開源的，所以，利用Hadoop進行開發(fā)設計的軟件成本就很低。

Hadoop是Apache（阿帕切）的一個開源項目，它是一個對大量數(shù)據(jù)采用分布式的軟件結(jié)構(gòu)，其核心的設計思想是：HDFS和MapReduce。HDFS主要任務是存儲海量的數(shù)據(jù)，而MapReduce的主要任務是計算海量的數(shù)據(jù)。HDFS是一個分布式文件系統(tǒng)，其開發(fā)成本低、系統(tǒng)可靠性高、運算過程的吞吐量大。MapReduce是進行代碼編程的一種模型和軟件設計時的一種架構(gòu)。

Hadoop的核心由HDFS和MapReduce組成。HDFS（Hadoop Distributed File System）由早期的NDFS演化而來，是一個分布式文件系統(tǒng)，開發(fā)成本低、系統(tǒng)可靠性高、運算過程的吞吐量大。MapReduce是進行代碼編程的一種模型和軟件設計時的一種架構(gòu)，可以應用于計算機集合上并行程序的編寫，且編寫出的程序的主要任務是處理大數(shù)據(jù)。

4.1 Hadoop Distributed File System（HDFS）

HDFS是一個適合構(gòu)建于廉價計算機集群之上的分布式文件系統(tǒng)，具有低成本、高可靠性、高吞吐量的特點，由早期的NDFS演化而來。

HDFS中主要包括一臺NameNode及多臺DataNode服務器。

NameNode：節(jié)點，主要負責存儲元數(shù)據(jù)（能夠快速查詢到數(shù)據(jù)塊，即對數(shù)據(jù)塊進行映射）

HDFS存儲：（塊操作）主要是將某個文件在邏輯上分塊（Block），該Block的存儲容量是128M，將該Block按照順序存儲至不同的DataNode服務器上，而哪些Block存儲在DataNode上則記錄在NameNode上，讀取塊時首先訪問NameNode（NameNode表示群的查詢?nèi)肟冢肗ameNode查找相應的塊文件，其中，NameNode實質(zhì)上是將對應的關(guān)系元數(shù)據(jù)進行記錄的結(jié)構(gòu)體。

DataNode：即為數(shù)據(jù)節(jié)點，它是實質(zhì)上存儲的是真實的數(shù)據(jù)塊。

假如將多臺Seveice集合成一個HDFS集后，將會啟動NameNode以及DataNode兩個任務，而NameNode服務器則會啟動相應的任務線程。

如果某個DataNode服務器無法啟動，此時它不會對數(shù)據(jù)訪問產(chǎn)生影響。例如，當全部DataNode服務器的存儲空間溢出時，我們能夠隨意增加可用加服務器，并且相互之間互不影響，即所謂的分布式文件系統(tǒng)。

4.2 MapReduce

MapReduce是進行代碼編程的一種模型和軟件設計時的一種架構(gòu)，可以應用于計算機集合上并行程序的編寫，且編寫出的程序的主要任務是處理大數(shù)據(jù)。MapReduce利用分級處理的原則以及精準效率，將對大規(guī)模數(shù)據(jù)的處理，分配至每個主節(jié)點控制下的每個分節(jié)點進行相互配合完成，并且將所有節(jié)點處理的中間結(jié)果進行綜合，計算出最終結(jié)果。

在常用的分布式計算中，MapReduce架構(gòu)主要解決并編程中諸如分布式存儲數(shù)據(jù)信息、計算工作的管理調(diào)度、負載均衡、容錯均衡、等等通信各種繁雜的問題，將執(zhí)行過程進行高度概括，抽象成2個函數(shù)：即map和reduce。其中，map主要工作是將大任務的劃分成許多小任務，而reduce主要工作是將劃分后多個小任務執(zhí)行的結(jié)果進行綜合。

MapReduce是由Client、JobTracker、TaskTracker、Task組成的。

Client：用戶編寫的MapReduce程序通過Client提交到JobTracker。

JobTracker：主要負責資源監(jiān)控和作業(yè)調(diào)度。JobTracker監(jiān)控所有TaskTracker與作業(yè)的健康情況，一旦有失敗情況后，其會將相應的任務給到其他節(jié)點上。

TaskTracker：它會周期的將本節(jié)點資源使用和任務進度匯報給jobtracker，方式叫做“心跳”；與此同時接受jobTracker發(fā)送過來的命令并執(zhí)行操作。

Task：Task分為Map Task和Reduce Task兩種，有TaskTracker啟動。

5 結(jié) 論

物聯(lián)網(wǎng)和互聯(lián)網(wǎng)產(chǎn)生海量的數(shù)據(jù)，通過云計算集中存儲和處理，使用大數(shù)據(jù)對這些數(shù)據(jù)進行深入分析和挖掘，三者相輔相成，相得益彰。基于Hadoop的大數(shù)據(jù)處理技術(shù)，在高擴展性、成本效益低、高容錯性等特點下，Hadoop發(fā)揮了獨特的優(yōu)勢。

參考文獻：

[1] 劉軍.Hadoop大數(shù)據(jù)處理 [M].北京：人民郵電出版社，2013.

[2] 程學旗，靳小龍，王元卓，等.大數(shù)據(jù)系統(tǒng)和分析技術(shù)綜述 [J].軟件學報，2014，25（9）：1889-1908.

[3] 郝樹魁.Hadoop HDFS和MapReduce架構(gòu)淺析 [J].郵電設計技術(shù)，2012（7）：37-42.

[4] 劉云浩.物聯(lián)網(wǎng)導論 [M].北京：科學出版社，2010.

[5] 楊正洪，周發(fā)武.云計算和物聯(lián)網(wǎng) [M].北京：清華大學出版社，2011（9）.

[6] 黃仁根.物聯(lián)網(wǎng)技術(shù)在各領域的應用探析 [J].現(xiàn)代信息科技，2017（6）.

[7] 王星堯.物聯(lián)網(wǎng)在建設智慧校園中的應用 [J].電子技術(shù)與軟件工程，2018（2）.

[8] 廖娜，馬軍紅，蘇培華.物聯(lián)網(wǎng)時代下西安智慧城市建設對策研究 [J].時代農(nóng)機，2017（11）.

作者簡介：許彧（1984.01-），男，漢族，江蘇鎮(zhèn)江人，經(jīng)理助理，工程師，學士。研究方向：計算機。