物聯網的大數據處理

徐之欣 張皖哲 鄭書朋 哈爾濱東北農業大學電氣與信息學院 150030

?

物聯網的大數據處理

徐之欣 張皖哲 鄭書朋 哈爾濱東北農業大學電氣與信息學院 150030

【文章摘要】

物聯網中數據管理是一個重要的方面，考慮到一個相互關聯的對象是不斷進行各種信息交流的世界，是產生數據量和參與的過程，這就使數據管理成為關鍵的問題。我們打算驗證和評估物聯網的架構與大型數據庫，根據大數據的概念我們將實現一個估計算法集成的物聯網架構。此外，我們意愿在物聯網體系結構中提出并驗證跨層通信的可能性。

【關鍵詞】

物聯網；K-means算法；大數據；體系結構

1　物聯網

物聯網（IOT）是一種新的溝通模式，是虛擬擴展世界與物理世界的物體相互連接。運行大量的應用程序和服務，然后進行開發的同時必須克服極大的挑戰使物聯網得以實現。物聯網涉及不同的知識領域例如普適計算、網絡通信、目標識別和特殊的數據處理。在這樣的背景下，我們引入模式識別機制，本文的重點是一個算法，利用大數據處理檢測的離群點，以便選擇和實施物聯網架構。

物聯網是一個全球性的網絡基礎設施，通過自動識別連接物理和虛擬的物體，具有數據采集和通信的能力。這個基礎設施包括現有的和不斷發展的互聯網和其他網絡。它將提供特定對象的識別、傳感器的設置和自動的連接能力，是獨立的聯邦服務和應用開發的基礎。這將實現高度自治的數據采集、事件傳遞，網絡的連通性和互操作性，驅動與控制。

一方面，物聯網構成一個網絡的物理對象與嵌入式技術用于內部網絡內的相互作用以及物與環境的相互作用。例子包括各種內置傳感器，智能家居技術和尖端的通訊工具，如重量控制管理計劃，攝影和視頻設備，警報，掃描儀，游戲等

這里物聯網的概念只是一個方面，它反映的是事物的性質與材料的組成。一個對象可以是物質（一個物質或一類事物）或者擬想（例如，權力的形象）。因此，

物聯網可以被視為一種資源，用來創建一個象征性的資本，作為一個非物質的虛擬對象或者作為一個網絡存在的互聯網空間。

2　K-means算法

K-means算法，是由MacQueen 提出的，是一個基于對象之間的相似度的聚類算法。它的工作原理如下：算法中簇的數目為k，選取每一個質心為代表，1≤i≤K；它接收N個隨機對象觀察對比。在每一次迭代中，每個對象都被分配到一個最短距離的集群。在每次迭代算法之后，算法重新定位質心通過減少聚類中所有目標點的距離，當質心位置穩定了算法收斂。

3　大數據

3.1簡述

Sun and Heller提出大數據是指難以存儲、搜索、查看的大型數據集。Smith指出，大數據是指按常規工具不能被處理或分析的非常大的數據集。大數據需要大的計算能力，在合理時間內有效地處理這樣大的數據集。這項技術涉及大規模并行處理（MPP）數據庫，數據挖掘網格，分布式文件系統，云計算，互聯網和可擴展存儲系統。大數據的終極核心價值在于資源優化配置，具體來說，要實現大數據的核心價值，有兩個重要的步驟：一是通過“眾包”的形式收集海量數據，二是通過大數據的技術途徑進行“全量數據挖掘”，最后利用分析結果進行資源優化配置。下面具體解釋一下大數據的工作流程：首先，只靠單一的部門進行數據采集更新是緩慢的，并且數據時時變化總是進行修改浪費人力物力，因此將任務以自由自愿的形式承包給大型網絡，從而形成海量數據。第二步通過海量數據進行數據分析結果，更準確全面。第三步資源優化配置，舉例子來說，隨著DMP（Data Management Platform）技術的不斷成熟，我們就可以積累用戶行為從而判斷出性別，所以資源化配置最終目的是分步挖掘和深度學習。

3.2在物聯網中的應用

大數據與服務業緊密相連，致使物體與網絡的連接更加高效，農業上推出決策服務，用智能終端檢測園地作物的數據解放雙手；信息化工業化產業，利用大數據和物聯網的結合，實現建筑的低碳、綠色、智能，信息化的分布式查詢；交通運輸業做到緩解交通壓力，實時避免擁堵，加快運輸速率；醫藥方面，增強儀器的魯棒性，儀器聯網后會加入更多等復雜的病例，增加可靠性。

【參考文獻】

［1］Souza，A.M.，Amazonas，J.R..A novel smart home application using an internet of things middleware.In∶ Smart Objects，Systems and Technologies（SmartSysTech），Proceedings of 2013 European Conference on.2013，p.1-7.

［2］White，T..Hadoop∶ The Definitive Guide.O’Reilly Media，Inc.；1st ed.；2009.ISBN 0596521979，9780596521974.

［3］Owen，S.，Anil，R.，Dunning，T.，Friedman，E..Mahout in Action.Greenwich，CT，USA∶Manning Publications Co.；2011.ISBN 1935182684，9781935182689.

［4］Tan，P.N.，Steinbach，M.，Kumar，V..Introduction to Data Mining，（First Edition）.Boston，MA，USA∶ Addison-Wesley Longman Publishing Co.，Inc.；2005.ISBN 0321321367.

［5］Angiulli，F.，Basta，S.，Pizzuti，C..Distancebased detection and prediction of outliers.Knowledge and Data Engineering，IEEE Transactions on 2006；18（2）∶145-160.