物聯(lián)網(wǎng)技術在數(shù)據(jù)匯聚交換系統(tǒng)建設中的應用

李文淵

摘 要：隨著物聯(lián)網(wǎng)概念的提出和發(fā)展，目前已經(jīng)從藍圖漸漸變成現(xiàn)實。在很多場合已經(jīng)有物聯(lián)網(wǎng)應用。本文從現(xiàn)實的區(qū)內管理分析入手，闡述了運用物聯(lián)網(wǎng)技術進行區(qū)內管理的解決思路，介紹了物聯(lián)網(wǎng)技術與區(qū)政務云平臺的融合和應用案例。

關鍵詞：物聯(lián)網(wǎng)應用；區(qū)內管理；整合

引言：

物聯(lián)網(wǎng)發(fā)展多年，已經(jīng)由傳統(tǒng)的物聯(lián)網(wǎng)1.0向物聯(lián)網(wǎng)2.0邁進。物聯(lián)網(wǎng)1.0是信息化向物的延伸，通常是比較單一的應用場景；而物聯(lián)網(wǎng)2.0則是智能應用引導的新概念發(fā)展模式，它依靠發(fā)達的互聯(lián)網(wǎng)、人工智能、大數(shù)據(jù)、云計算等技術，真正實現(xiàn)萬物互聯(lián)、可感知可執(zhí)行。物聯(lián)網(wǎng)應用不再受到單一的設備限制，而是真正由業(yè)務需求所決定，做到物聯(lián)網(wǎng)即服務。

1現(xiàn)狀分析

當前區(qū)各委辦局依據(jù)工作職責推進物聯(lián)網(wǎng)應用，一項工作往往涉及多個應用場景，如智慧養(yǎng)老，用到無線煙感、紅外報警、智能手環(huán)等多種物聯(lián)網(wǎng)終端，都是與物聯(lián)網(wǎng)運營商合作，多種物聯(lián)網(wǎng)終端整合在一個平臺管理。要實現(xiàn)區(qū)內物聯(lián)網(wǎng)的萬物互聯(lián)，首先需要做到物聯(lián)網(wǎng)運營商平臺數(shù)據(jù)開放，實現(xiàn)對感知層終端的匯聚和整合，比如數(shù)據(jù)匯聚、終端管理、連接管理等，為區(qū)上層應用提供標準化服務，大大簡化上層應用的開發(fā)難度，有效支撐物聯(lián)網(wǎng)向2.0時代邁進。具體來說，需要由主要物聯(lián)網(wǎng)運營商在區(qū)政務云上建設物聯(lián)網(wǎng)數(shù)據(jù)分發(fā)平臺，將運營商所有物聯(lián)網(wǎng)數(shù)據(jù)（比如設備資源數(shù)據(jù)、告警數(shù)據(jù)等）上傳至區(qū)政務云物聯(lián)網(wǎng)數(shù)據(jù)分發(fā)平臺分發(fā)至區(qū)內各委辦局。

要做到不同終端的協(xié)議互通和數(shù)據(jù)開放，實現(xiàn)對感知層終端的匯聚和整合，比如數(shù)據(jù)匯聚、終端管理、連接管理等，為上層應用提供標準化服務，簡化上層應用的開發(fā)難度。

2技術方案分析

平臺提供統(tǒng)一的業(yè)務入口，并通過負載均衡將業(yè)務請求分發(fā)給不同的處理模塊進行處理，實現(xiàn)分布式計算。處理之后的數(shù)據(jù)再根據(jù)業(yè)務標識進行散列化存儲，分散到多個庫或表或文件目錄中，實現(xiàn)分布式存儲。如果某個單位有特殊數(shù)據(jù)需求，通過數(shù)據(jù)推送方式獲取相關數(shù)據(jù)。系統(tǒng)須滿足以下原則：

2.1可靠性原則

系統(tǒng)應具備長期穩(wěn)定工作的能力，所有選用設備均符合我國或國際上的質量及可靠性標準。

2.2實用性原則

能夠最大限度的滿足實際工作的要求，把滿足用戶的業(yè)務管理作為第一要素進行考慮，采用集中管理控制的模式，在滿足功能需求的基礎上操作方便、維護簡單、管理簡便。

2.3安全性原則

從網(wǎng)絡、系統(tǒng)、應用、管理等多層面綜合分析，建立完善的安全防護體系。

2.4可管理性原則

從網(wǎng)絡、設備、架構、應用等多層面綜合分析，建立集中完善的配置、故障、性能管理平臺。管理平臺應提供良好的易操作性，方便、簡化系統(tǒng)的管理與維護，減少管理人員的工作量，降低整個系統(tǒng)的總體擁有成本，提高系統(tǒng)的投資回報。

2.5可擴充性及可維護性原則

為適應業(yè)務和技術不斷發(fā)展的需要，在本系統(tǒng)的軟件設計時采用了模塊化的體系結構，新功能、新業(yè)務的增加能夠在不影響系統(tǒng)運行的情況下實現(xiàn)，實現(xiàn)了系統(tǒng)的可擴展特性：

2.6經(jīng)濟性原則

在保證系統(tǒng)先進、可靠和高性能價格比的前提下，通過優(yōu)化設計達到最優(yōu)，選擇最佳性價比的設備。

3系統(tǒng)組成和應用案例

3.1系統(tǒng)實現(xiàn)原理

建設物聯(lián)網(wǎng)數(shù)據(jù)分發(fā)系統(tǒng)，從運營商物聯(lián)網(wǎng)平臺采集數(shù)據(jù)（性能數(shù)據(jù)、告警數(shù)據(jù)、資源數(shù)據(jù)），對采集到的數(shù)據(jù)進行處理、整合、存儲及分發(fā)，為各委辦局業(yè)務提供數(shù)據(jù)支撐，并建設展示視窗，將采集數(shù)據(jù)、分發(fā)數(shù)據(jù)以及數(shù)據(jù)處理結果以可視化圖表方式展示，增加數(shù)據(jù)可讀性，降低操作難度。

平臺提供統(tǒng)一的業(yè)務入口，并通過負載均衡將業(yè)務請求分發(fā)給不同的處理模塊進行處理，實現(xiàn)分布式計算。處理之后的數(shù)據(jù)再根據(jù)業(yè)務標識進行散列化存儲，分散到多個庫或表或文件目錄中，實現(xiàn)分布式存儲。

3.2系統(tǒng)提供的主要功能

終端狀態(tài)監(jiān)測：實現(xiàn)對終端狀態(tài)的自動監(jiān)測，并維護終端在線狀態(tài)。

數(shù)據(jù)采集：實現(xiàn)終端、第三方平臺的數(shù)據(jù)接入，可采集性能數(shù)據(jù)、告警數(shù)據(jù)、資源數(shù)據(jù)等，并且對采集數(shù)據(jù)形成數(shù)據(jù)稽核，針對各個數(shù)據(jù)源具備實時監(jiān)控能力。

數(shù)據(jù)處理：對采集的數(shù)據(jù)實現(xiàn)數(shù)據(jù)格式化處理，形成對數(shù)據(jù)清洗、重傳、入庫、關聯(lián)聚合、數(shù)據(jù)建模等一體化處理。

數(shù)據(jù)存儲：支持關系型數(shù)據(jù)、非關系型數(shù)據(jù)的支撐，實現(xiàn)分布式部署、采用ES數(shù)據(jù)存儲搜索技術，提升針對物聯(lián)網(wǎng)數(shù)據(jù)的存儲效率。

數(shù)據(jù)分發(fā)：實現(xiàn)對數(shù)據(jù)分發(fā)統(tǒng)一配置、管理、執(zhí)行、監(jiān)控。根據(jù)不同需求可將數(shù)據(jù)分發(fā)至不同用戶部門。

系統(tǒng)管理：實現(xiàn)系統(tǒng)的用戶、登錄、權限、日志等管理，并且可對系統(tǒng)各類數(shù)據(jù)做統(tǒng)計分析。

3.3現(xiàn)網(wǎng)應用連接

3.4管理功能

1基礎能力——終端狀態(tài)監(jiān)測

支持對終端狀態(tài)的自動監(jiān)測，并維護終端在線狀態(tài)。

2數(shù)據(jù)采集

支持終端直接與本平臺對接，完成終端數(shù)據(jù)上報。區(qū)云平臺從運營商物聯(lián)網(wǎng)平臺主動獲取性能數(shù)據(jù)。

3數(shù)據(jù)處理

包括數(shù)據(jù)格式化、數(shù)據(jù)聚集、數(shù)據(jù)概化、數(shù)據(jù)標準化、數(shù)據(jù)歸約、數(shù)據(jù)清洗、檢測處理、數(shù)據(jù)重傳、數(shù)據(jù)入庫、關聯(lián)聚合、數(shù)據(jù)抽取、數(shù)據(jù)校驗、數(shù)據(jù)處理、實時計算、數(shù)據(jù)建模、模板管理

4數(shù)據(jù)存儲

匯聚的原始數(shù)據(jù)和處理結果數(shù)據(jù)需存儲在磁盤中，主要分為原始數(shù)據(jù)存儲和各類采集日志、處理日志、數(shù)據(jù)訂閱日志、應用日志等

5數(shù)據(jù)分發(fā)

負責對數(shù)據(jù)分發(fā)統(tǒng)一配置、管理、執(zhí)行、監(jiān)控。在Hadoop和Spark處理完之后，根據(jù)分發(fā)配置，數(shù)據(jù)會被分發(fā)不同數(shù)據(jù)接收的委辦局平臺。

支持將數(shù)據(jù)主動推送給委辦局平臺，包括實時推送和定時推送兩種方式。

6系統(tǒng)管理

包括用戶管理、系統(tǒng)用戶管理、運維人員管理、第三方平臺管理、權限管理、系統(tǒng)用戶權限管理、第三方用戶權限管理、運營管理人員、日志管理、圖系統(tǒng)日志查詢、數(shù)據(jù)統(tǒng)計分析、性能TOPN統(tǒng)計、趨勢分析等。

4結束語

近年來，物聯(lián)網(wǎng)技術得到應用，前景是有目共睹的。但是物聯(lián)網(wǎng)技術與我們的生活進一步的融合還有些路要走。本次通過物聯(lián)網(wǎng)技術在數(shù)據(jù)匯聚交換系統(tǒng)建設中的應用表明，能實現(xiàn)對感知層終端的匯聚和整合，為區(qū)上層應用提供標準化服務，從而大大簡化了上層應用的開發(fā)難度。本案例將多個應用場景，多種物聯(lián)網(wǎng)終端整合在一個平臺管理，使實現(xiàn)區(qū)物聯(lián)網(wǎng)的萬物互聯(lián)成為可能，有效支撐物聯(lián)網(wǎng)向2.0時代邁進。提升了管理效率。