論動環物聯網數據處理能力

景強+陳超

摘 要：為了更合理地將物聯網相關思想和技術運用到動環監控領域，文中采用對數據處理過程進行分層的方法分別論述數據的來源和特性，并分析各層對于數據處理的功能需求和質量需求。在分析過程中，以深圳中興力維技術有限公司的數據分層架構和相關實際產品為實驗對象，做了相關數據流匯聚、接入、處理等實驗，獲得了各數據分層典型的性能數據結果，得出“以中間件服務為核心對不同行業應用提供數據”的結論。

關鍵詞：物聯網；動環監控；中間件服務；數據

中圖分類號：TP393 文獻標識碼：A 文章編號：2095-1302（2017）09-00-07

0 引 言

自上世紀90年代末提出物聯網概念以來，經過近20年的發展，全人類的思維正逐步從互聯網下“人的信息化”認識過渡到物聯網下“整個世界的信息化”認識[1]。

物聯網系統是全行業的融合，凡是產生的信息都能夠接入，且這些信息的采集不再依托人的感知，而是靠設備本身的感知能力，感知所產生的海量數據通過物聯網利用云計算和邊緣計算使得物與物直接進行通信交流，從而自動、智能的為人服務 [1]。

物聯網將過去分散的、無法自我表達的一切事物注入靈魂，并放到互通的網絡里進行交流、分析并產生價值[1]。同時也為我們提供了望遠鏡和顯微鏡的功能[2]，鑒于信息的碎片化和多樣化，新的商業模式在此基礎上產生[1]。

從歷史的發展來看，每一次技術革新都會帶來產業革命并推動社會變革，它們通常遵循新技術+原有產業=新產業的模式[3]。產業升級示意圖如圖1所示。

隨著物聯網的發展，其各項技術及相應的意識形態猶如洪流滲透到各個產業，同時也為傳統動力環境監控產業帶來了全新的面貌和發展機會。作為深耕20多年有著深厚積淀的動力環境監控企業——深圳中興力維技術有限公司（簡稱“中興力維”），在這股席卷全球的浪潮中準確把握信息脈動，創新性地提出以信息數據流為導向創建企業研發架構，根據數據采集、數據匯聚、數據接入、數據處理以及數據呈現等信息處理環節對架構進行分層，并在各層中部署公司的各項核心技術，通過橫向和縱向組合各項核心技術發展各種軟硬件產品。

本文的主旨在于探討分析動環物聯網中環境及動力設備的特性以及所產生的數據流向及處理過程。

1 數據的“物”

物聯網將整個世界信息化，意味著信息化后的數據是物聯網的血液，為物聯網中各項應用輸送養分。故在將數據應用到業務中前，需從品質關注點分析數據來源及數據組網過程。

在動環物聯網中，主要利益相關者是通訊行業、電力行業、交通軌道行業、數據中心等擁有基站、通訊機房、數據機房的用戶，提供的主要服務是對基站及機房內環境及動力設備進行監控、管理，通過數據綜合分析及對事件及流程的綜合管理，來保障基站及機房的安全、高效運行。所以動環物聯網的數據主要來源于環境的傳感接入、動力設備接入、安防設備/系統接入、第三方動力環境監控系統接入。數據源如圖2所示。

1.1 傳感器

傳感器根據接入類型可分為有線接入和無線接入，其細分種類和特性見表1所列[4]。

對于動環物聯網來說，由于受到低功耗及應用場景（機房內有機柜障礙或用戶明確規定不使用無線傳感）的限制，比較常用的三種傳感器分別為模擬傳感器、單總線傳感器和ZigBee無線接入傳感器。

在傳感領域，中興力維自主研發了多種有線、無線傳感器，如模擬溫濕度傳感器、水浸探頭、空調控制器、防盜傳感器、單總線數字溫濕度傳感器、ZigBee無線傳感器等。

1.2 智能設備

在動環物聯網中，凡是能夠提供特定硬件通訊接口連接到采集器，可通過特定數據交互協議與該設備進行通訊，從而獲取該設備提供的數據信息的設備統稱為智能設備。一般的智能設備在實現特定功能的同時，自身集成了很多傳感器，可實現一些狀態監測、調整、干預和報警等功能。

硬件接口一般分為串口、網口以及無線接入（通過端對端無線轉換，最終通過有線方式接入采集器）。對中興力維所接入的2 000多種智能設備進行分析，得到表2。

大多數基站及機房設備提供的接口為串口，因為通訊速率要求不同而導致數據接入速率不同，同時也因為數據交互協議不同而再次對數據接入速率進行約束，智能設備所支持的協議分析表格見表3所列。

對于動環物聯網來說，出于成本、數據量以及實現的原因考慮，納入監控系統的智能設備多以串口為主。而在可選的串口硬件類型中，考慮到布線方便、抗干擾能力以及傳輸距離，又多以RS 485（最遠可達1 200 m）為主。

中興力維技術在動環領域研發和應用了多款具備綜合采集能力的智能設備產品，如溫濕度采集設備、UPS蓄電池組的高壓監測設備，具備蓄電池電壓/溫度/內阻以及均衡活化功能的蓄電池綜合管理設備、實現油機控制切換的ATS設備、實現空調控制的紅外控制設備、單路以及多路電表設備等。

2 數據的“網”和“聯”

在傳統動環監控領域中，基本的組網模式如圖3所示。

從各層的命名上，我們不難看出傳統動環監控系統的分層理念是以功能劃分為主：

（1）FSU：實現傳感器和智能設備的數據采集，并提供上行接口實現采集數據的上報；

（2）LSC：實現采集數據的處理、存儲，在區域監控中心提供平臺，為用戶提供數據監控、告警管理、報表查詢輸出、流程及事件管理等功能；

（3）CSC：一般在大型系統中，在集中監控中心提供平臺，為用戶提供全網管理功能。

即在傳統動環監控系統中，強調功能概念而非數據概念，數據只為當前的功能服務，并未充分考慮數據網絡需要的品質特性（海量增長可用性、數據通訊及時性、數據存儲可靠性、數據訪問安全性）。同時沒有把數據作為寶藏對其深度挖掘，未體現其潛藏的價值。endprint

針對上述問題，中興力維充分認識到動環物聯網時代中接入的傳感、設備所產生的數據猶如人類的供水系統，各種面向用戶的系統都在此基礎上誕生，而系統中使用的軟硬件均圍繞如何更好的管理和利用“水流”而設計?；凇皵祿橥酢钡睦砟睿l展出的動環物聯網系統架構如圖4所示。

2.1 數據原始積累

在動環物聯網中數據的原始積累過程主要集中在數據感知層的傳感器以及智能設備、數據匯聚層的物聯網關以及數據接入層的接入存儲平臺。

數據感知層的傳感器以及智能設備作為數據的原始來源已在前面有所分析。從分析結果看，當前動環物聯網系統中涉及的智能設備多以串口接入為主，所以后續分析物聯網關接入能力時，以串口智能設備接入為主。

以數據流向決定的分層架構最符合物聯網中對于“網”的構成以及“聯”的創想。以數據的生產和分析處理做出定量和定性的分析。

物聯網關接入能力是指在單位時間內能夠接入的傳感器以及智能設備采集的監控點數量。

監控點代表傳感器或智能設備所能提供的能表征或改變某個環境或設備狀態的信息點。一般根據信息的可操作性和數據特性分為如下幾項：

（1）模擬輸入監控點：傳感器或設備上有連續變化的信息，則采集的數據一般使用浮點數表征，如環境溫度。

（2）數字輸入監控點：傳感器或設備上有離散變化的信息，則采集的數據一般使用整形（一個位或一個單字節）表征，比如空調只有開和關兩種狀態，用一個位即可表征，再如蓄電池有浮充狀態、均充狀態、測試等多種狀態，需要用多個位或一個字節表征。

（3）模擬輸出監控點：傳感器或設備上有連續變化的信息，可通過設置此信息改變傳感器或設備的狀態。比如空調的溫度設置點，我們可以通過設置來改變空調的運行狀態。

（4）數字輸出監控點：傳感器或設備上有離散變化的信息，可通過設置此信息改變傳感器或設備的狀態。比如油機開關，我們可以通過控制來使油機運行或停止動作。

2.1.1 物聯網關匯聚及接出能力

評估物聯網的匯聚能力主要根據其硬件處理能力、對外提供的端口數量（包括傳感器端口和智能設備端口數量）、傳感器或智能設備通訊速率，以及傳感器或智能設備提供的數據格式。

物聯網發展技術的必要條件之一就是嵌入式軟硬件的性能提升和價格下降，當下嵌入式處理器的運算能力均為幾百Mb/s或者更高，而對于絕大多數為低速接入的傳感器或智能設備而言，雖然不構成直接瓶頸，但一般由于物聯網關需要通過多進程或多線程的方式管理多種硬件端口數據通訊以及其他事務（如自檢、北向通訊、存儲等），所以處理器的資源不會完全使用到數據采集上，通常保守估計約60%。

傳感器數量對于單臺物聯網關而言一般不會超過50個，所以我們對傳感器的接入可忽略不計。

對于一般的串口智能設備來說，其數據通訊效率受以下幾方面影響：

（1）受其他功能的影響而無法完全占用處理器資源，保守估計約60%；

（2）假設可達到的最高速率為115 200 b/s（每個字節在傳輸過程中占用10位），但其提供的采集點有可能是占用多個字節的模擬量，或者1個位/字節的數字量。根據歷史經驗綜合來看，其提供的每個監控點平均占用2 B，理論上每個串口每秒能夠提供的監控點數量為115 200/10/2=5 760，然而綜合上述各種影響因素分析，其接入能力公式如下：

Cin=（115 200/10/2） ·Rd·Ng·Rg；

其中：Cin代表采集監控點數量；Rd代表智能設備通訊效率；Ng代表串口數量；Rg代表物聯網關通訊效率。

而物聯網關的接出能力（與數據接入層的接入存儲平臺之間的數據交互能力）也可稱為數據讀取速度，主要受通訊接口速率以及處理器效率的影響。

中興力維根據不同的應用場景，推出了高、中、低三款物聯網關產品。

低端的IG1000產品應用于小型化接入場景，比如商場冷柜監控接入、鐵塔拉遠站監控接入等，提供2個串口。其通訊效率約為50%，其采集能力見下式：

Cin（IG1000） = （115 200/10/2）×60%×2×50%>3 000個監控點/s；

2個串口支持485并接，IG1000能夠支持100臺設備的匯聚采集。IG1000北向提供100 M網絡和移動無線寬帶通接口，數據讀取速度可達10 000條/s。

中端IG2000產品應用于各行業及運營商站點以及各種數據機房。其通訊效率約為60%，最多可提供16個串口。其采集能力如下：

Cin（IG2000） = （115 200/10/2）×60%×16×60%>30 000個監控點/s；

16個串口支持485并接，IG2000能夠支持1 000臺設備的匯聚采集。IG2000北向提供100 M網絡和移動無線寬帶通接口，數據讀取速度可達80 000條/s。

高端IP3000采用Intel處理器解決方案，融合業務平臺管理功能，主要應用于獨立中小機房或大型機房。可以接入50個基礎物聯網關，在實現業務平臺功能的同時，其采集能力高達200 000/s，可支持10 000臺設備匯聚采集。IP3000北向提供1 000 M網絡和移動無線寬帶通接口，數據讀取速度可達1 000 000條/s。

2.1.2 接入存儲平臺

接入存儲平臺位于數據接入層，在動環物聯網系統中的作用猶如巨大的儲水罐。

（1）入：同構或者異構接入采集物聯網關獲取物聯網關上采集的傳感和智能設備數據；接入視頻設備；接入第三方數據采集系統（比如安防系統、異構數據平臺等）；

（2）儲：為各類采集數據提供快速緩沖式存儲以及持久化存儲；endprint

（3）出：為“數據處理層”提供實時和歷史數據訪問接口。

物聯網的數據量在以每年50%的速度增長，預計到2020年，相較于2010年，數據量將增長近30倍。而隨著物聯網的發展，通訊網絡的升級勢必造成大量站點接入動環物聯網系統；數據信息的爆炸式增加勢必造成大量及大型數據中心的出現并接入動環物聯網系統。

根據中興力維對數據中心的數據量的分析，得出在低密度采集數據方案下，每天采集數據14億條，相當于288 GB，每年的數據總量達到195 TB。而在高密度采集數據方案下，每天采集數據168億條，相當于3.45 TB，每年的數據總量達到1.26 PB。

面對如此巨大的數據量，傳統動環監控系統下的組網方式以及結構化數據庫存儲架構已經完全無法滿足“大數據”的需求。

在充分研究分析并掌握動環物聯網系統的“大數據”特性之后，中興力維深入研究了分布式及云存儲技術，結合多年積累的數千種接入協議，打造出適用于物聯網系統的新一代接入平臺iCap，采用分布式架構，支持橫向堆疊擴充。其單臺服務器的接入能力高達3 000 000 數據/s， 或600 MB/s。

2.2 數據分析處理

在傳統的動環監控系統中，數據的處理主要分為圖5中的兩種處理方式，

在早期的動環監控系統中，受嵌入式技術發展的限制，FSU主要作為采集單元負責采集傳感器和智能設備數據，并提供北向接口被動接受平臺的數據查詢，在性能需求的基礎上加入主動上報變化數據的功能。

隨著嵌入式技術的發展及價格的下滑，各行業對于北向接口（B接口）的規范化，順應動環監控系統的扁平化需求，同時由于動環監控系統中接入設備及監控點數據的猛增，為減少平臺處理壓力，平臺側的告警以及統計分析功能下沉，在FSU側實現標準化的告警及統計分析（為保證數據完整性并且提供存儲功能），如目前鐵塔監控系統的搭建就基于這種模型[5]。

我們之前分析傳統動環監控系統的架構主要基于功能進行分層，而進入物聯網時代以后，動環監控系統打上了物聯網的烙印，動環物聯網系統的架構主要基于數據進行分層。

動環物聯網的數據首先無法脫離“5V”特性，即Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）、Veracity（真實）。對于數據從產生到商用的全生命周期過程，需要包含一系列處理過程，我們根據縱向和橫向特性進行分析，其完全符合“竹蜻蜓”模型，如圖6所示。

竹蜻蜓是一種中國傳統的民間兒童玩具，流傳甚廣。竹蜻蜓由竹柄和“翅膀”組成。在玩耍時，雙手一搓，然后松開，竹蜻蜓就會飛上天空，旋轉一會兒后落下。

竹柄的作用有兩點，一個是用于搓動，帶動翅膀的旋轉；二是穩定在空中的飛行姿態。其形狀類似數據分層結構中縱向的數據流向及處理過程，其功效與數據的推動性及可靠性暗合。

翅膀的作用是旋轉產生浮力，使竹蜻蜓飛翔。其形狀類似于通過數據使“物物相聯”的數據橫向流向及處理過程，其功效與數據真正價值暗合。

感知層主要用來產生數據，由于傳感器受成本及簡潔性約束條件的限制，持續不斷地采集數據，通過簡單的硬件設計保障數據的可用性、可靠性，而不會通過軟件對數據進行加工處理。如果需要通過軟件對數據進行加工處理，勢必會增加傳感器的硬件成本。對于智能設備而言，其內部擁有智能處理單元，可以對自身采集的傳感數據做一定處理，通常采用去毛刺、濾波等處理方法。接入動環物聯網的傳感器及智能設備來自不同廠家的不同型號，所以其數據處理過程不是動環物聯網的主要研究對象。換言之，如果在感知層做太多的數據處理，反而會影響被感知環境的真實性。

2.2.1 縱向數據處理

我們對于數據處理的討論主要集中在數據匯聚層、數據接入層、數據處理層和數據業務層。從分層角度透過數據流向看縱向過程，數據處理可以在不同層進行，每一層都有其優缺點。

傳統的數據處理過程基于業務功能考慮，即主要根據業務屬性進行數據處理，比如告警判斷和統計分析。告警判斷是指根據業務需求（用戶指定的告警需求，或者各種接口數據交互協議規定），將采集到的監控點數據的不同取值或者范圍定義為不同等級的告警區間，當采集值處于規定范圍內時產生告警信息，并將告警信息直接或在加工后間接呈現給用戶，比如溫度的多級告警（過低、過高、超高等）。而統計分析是指為實現特定的業務功能，選擇相應的采集監控點，設定相應的數據密度采樣策略，以達到業務分析的目的，比如電量的整點統計（每半點或者整點采樣電量）。

在目前大多數的動環監控系統中，從不同的角度考慮，告警和統計分析的數據處理過程可以放到數據匯聚層，即FSU側，其目的是可運用FSU的分布式計算能力，但FSU側的分析算法可能會經常根據用戶的不同需求進行調整和優化，從而影響FSU提供數據的性能。告警和統計分析的數據處理也可以放到數據接入層（也是呈現層），即業務平臺側，其目的主要是便于根據用戶需求快速實現告警和統計分析處理與呈現，但在大規模系統中平臺的處理性能有可能會出現瓶頸。

中興力維根據數據的分層架構，重新定義數據特性及數據匯聚層與數據接入層對于數據的處理實現。

在數據的縱向處理上，將業務特性從數據基本屬性中剝離出來，將數據的匯聚過程抽象和簡化為訂閱和查閱兩種。

訂閱方式種類多樣，主要根據業務需求采用不同的訂閱策略參數來進行控制。可包含如下訂閱方式：

（1）門限訂閱：類似于之前的告警主動上報，主要通過限值的判斷達到訂閱目的；

（2）變化訂閱：通過變化閾值（絕對/相對）來達到訂閱目的；

（3）周期訂閱：通過設置和調整周期長短達到訂閱目的；

（4）整點訂閱：通過設置整點（或半點）方式達到訂閱目的；endprint

查閱分為實時數據查閱和歷史數據查閱，由上位機發起，由下位機應答。

基于縱向數據梳理的品質需求（完整性、及時性、可用性），中興力維定義了數據匯聚層與數據接入層之間的動環物聯網交互協議（B接口協議），并對已經接入的2 000多種智能設備做了全面的分析，形成了力維的字典表。字典表中包含各類設備和各類監控點的標準化信息（如名稱、類型編碼等），以及與類型相關的數據抽樣采集密度的經驗屬性參數。

數據匯聚層的物聯網關主要的數據處理就是根據字典表規范化采集數據，并通過簡潔的B接口協議快速提供數據到接入平臺；而數據接入層的接入平臺主要的數據處理就是根據字典表接入、整合以及存儲由物聯網關提供的采集數據。

2.2.2 橫向數據處理

大數據時代帶來了密集采集的需要與全生命周期的跟蹤，給了我們密切關注被監控設備在整個生命周期中表現的良好機會，所以動環物聯網要對接入的傳感器及設備進行全生命周期管理，勢必帶來四大挑戰：

（1）數據采集的密度以指數形式上升，對于數據各承載環節的數據吞吐能力和處理能力是一個挑戰，因為CPU有限；

（2）只有在物物相聯的基礎上，才能夠橫向運用物聯網設備，整個產業才會興盛，但如果將數據分析放在前幾層則無法進行數據碰撞；

（3）不同行業領域的個性定制化需求及數據的持續挖掘；

（4）智能設備的“去偽智能化”：弱化人工干預控制，簡化用戶操作，提供更加完善的服務；

中興力維認為，在大數據時代的最佳數據處理方式，是在數據處理層置入一個用于數據清洗、處理、分析的中間件，即動環大數據分析引擎DCG-D。對動環大數據分析引擎DCG-D有如下要求：

（1）能快速導入及存儲速率高達3 000 000數據/s的數據；

（2）能提供高速查詢，100億條/s；

（3）能利用預置模型進行在線機器學習與告警分析。

由此以來，可以達到以下幾個目的：

（1）可提供高密數據處理能力，為復雜業務及后續的數據挖掘提供技術保障；

（2）集中實現數據碰撞，達到物物相聯；

（3）更為便捷及高效地滿足數據呈現層對于各種數據分析處理的需求；

（4）減輕數據匯聚層及數據接入層的負擔，便于在各層部署邊緣計算算法，弱化人工干預控制，簡化用戶操作。

3 結 語

動環物聯網的發展過程就是對“物”、“網”、“聯”不斷深入認識和演進的過程[1]。

在“物”方面，通過各種無線及有線鏈路，不斷積累接入各種類型的傳感設備、智能設備及采集監控點，將其規范化到監控點信息標準化字典表中，同時掌握新設備以及監控點特性，提煉出與數據采集策略相關的訂閱、查閱等標準化參數。不斷形成和優化與設備類型相關的分析模型和算法。

在“網”方面，在規范字典表的基礎上，形成支撐信息網絡交互的各種接口之間的標準化協議，以數據流向的品質關注點為追求目標，達到數據交互的及時性、完整性，上行可支撐海量感知數據的匯聚，下行可通到每一個傳感監測點。

在“聯”方面，在充分掌握和運用大數據相關技術的前提下，利用“網”中的數據，縱向深度挖掘建立個體模型、橫向深度挖掘建立物物關聯模型，形成數據價值分級以及數據共享商業價值[1]。

動環物聯網中各個數據承載及流通節點就像交響樂團中手持各種樂器的音樂家，聽眾就是用戶，在大數據處理的指揮下，音樂家為聽眾奏出美麗的物聯網樂章。

對于中興力維的動環物聯網系統而言，DCG-D就是樂隊的指揮，匯聚層各種型號的物聯網關就是手持各類樂器的音樂家，而接入層的接入存儲平臺就是演奏音樂會的舞臺和劇場，為指揮家提供場所的同時，為奏出的音符提供承載空間。

參考文獻

[1]物聯網智庫.物聯網：未來已來[M].北京：機械工業出版社，2016.

[2]塞繆爾.格林加德.物聯網[M].北京：中信出版社，2016.

[3]吳軍.智能時代：大數據與智能革命重新定義未來[M].北京：中信出版社，2016.

[4]俞建峰.物聯網工程開發與實踐[M].北京：人民郵電出版社，2013.

[5]中國鐵塔股份有限公司.中國鐵塔動環監控系統統一互聯B接口技術規范[S].

[6]王兆慶.云計算在三網融合中的應用研究[J].物聯網技術，2014，4（6）：81-83.

[7]動環監控系統在通信電源系統中的應用[J].電信工程技術與標準化，2007，20（6）：109-110.

[8]劉廷亮.鐵塔公司基站動環監控建設模式探討[J].電信技術，2015，7（12）：58-61.endprint