物聯網大數據采集與傳輸技術架構探討

邱祝禮，牛思先，田章武，唐文龍，蘇富斌

（百色學院信息工程學院 廣西 百色 533000）

0 引言

物聯網技術的飛速發展，產生了大量的數據，物聯網大數據的特征，使得傳統數據處理方式效率低下；同時由于聯網設備的異構性，需要不同通信協議之間的轉換及統一。而通過網關程序開發，可以轉換不同的協議，做到數據協議的統一。采用發布/訂閱模式的MQTT 協議，比較適合物聯網實時通信，通過ZigBee 與MQTT 的協議轉換以及ModBus 與MQTT 的協議轉換，可以解決多協議統一問題；而Flume日志采集工具由于其可靠性、Kafka 發布訂閱系統由于其高吞吐量，因此可以用來向大數據存儲體系傳輸數據，從而為物聯網大數據存儲、分析、展示，設備控制做準備。

1 物聯網的概念

物聯網，是互聯網的延伸，是萬物互聯的網絡。通過網絡把各種傳感設備、射頻識別設備連接在一起，并把這些設備采集到的信息通過通信設備傳輸到云端或服務器，通過對信息的處理，實現設備識別、定位、監控、管理的一種技術[1]。物聯網技術的核心是各種智能傳感器和低功耗的無線傳輸技術，可分為感知層、通信網絡層和應用層。

最早提出物聯網這一概念的是美國麻省理工學院的Kevin Ashton 等[2]。他在1999年研究RFID 與無線傳感網絡時，希望通過計算機實現對物品自動識別，于是成就了現在的物聯網行業。而首次明確提出物聯網這一概念的是國際電信聯盟（International Telecommunications Union，ITU）[3]。2009年IBM CEO 提出“智慧地球=物聯網+互聯網”這一理念。2010年我國再次強調并將“加快物聯網的研究發明”納入重點產業振興計劃。自此，國內物聯網技術開啟了由研究到應用的發展大幕，被列入國務院發展規劃綱要中[4-5]。

物聯網使得傳統設備不再孤立，設備接入網絡使得設備信息采集效率更高、設備的控制更加快速、準確，能夠及時了解設備信息，更好地發揮設備的功能。隨著社會與技術的發展，物聯網必將深入影響人們的生活、工作、科研等。目前，物聯網已經應用于智慧城市、智慧園區、智能樓宇、智慧醫療、智慧運維、智能家居、森林消防、數字車間等領域，并取得了較好的效果。

2 物聯網大數據對數據采集、傳輸方式的要求

隨著物聯網的發展，獲得數據的渠道也越來越多，工業、農業、服務業等領域都大量使用傳感器來感知環境的各種參數。這些信息被轉換成電信號后通過各類網絡傳送到上層應用系統[8]。由于網絡中感知節點采集數據具有數據量大、速度快、實時產生、動態變化等特點[1]，又是異構的，具有時效性[6]，深入處理、挖掘這些海量數據，使之反映出研究對象的本質和規律，并能進行學習與改進、控制成為物聯網領域研究的當務之急[1，7]。

大數據技術基于分布式存儲與計算技術，有成熟的理論基礎和應用組件。大數據集群的架構使得高效、快速處理海量、異構化的數據成為現實，被廣泛應用于包括物聯網在內的眾多領域。但大量數據傳輸對于存儲能力和帶寬有限的傳感器網絡，是一個很大的挑戰。這必然要求優化數據傳輸架構和數據傳輸的能力，建立可靠的優化模型，以滿足對感知數據的完整性、準確性、安全性和及時性的要求[9]。

本文試圖構建異構傳感設備的數據采集網絡，通過網關傳輸到服務器，并通過Flume 實時傳輸給Kafka，作為大數據存儲系統的數據采集通道。

3 物聯網數據采集與傳輸技術現狀

3.1 努力實現物聯網數據格式統一

物聯網信息具有大量、冗余、多源、異構的特征，因此需要將其轉化為統一標準格式的信息[10]。同時，為了解決物聯網傳感設備數據采集協議、傳輸協議異構的問題，很多場景在物聯網數據實時感知與處理模型中引入云服務架構[6]。朱和林等[9]對智慧園區異構數據的統一技術進行了分析，認為要將大數據采集與大數據存儲、處理、分析、學習技術相銜接，要從協同供應商修改通信協議和統一數據庫選型兩方面入手，因此提出采用數據集成方法實現異構數據的統一標準接口。何朝陽[10]在滑坡實時監測預警系統中定義了一套地質災害監測數據格式標準，聯合設備商在設備端對數據傳輸模塊進行升級，實現了基于MQTT 協議的數據傳輸模式。李睿[11]選用無線ZigBee 和有線ModBus 兩種協議作為接入端，通過MQTT 消息代理，解決多協議統一的問題。

3.2 傳感器設備接入有多種方式

羅家文[8]對移動平臺設備通過ZigBee 進行無線通信，將信息傳輸給對應網關，網關通過有線的形式連接到上位機來采集。周辰宇等[12]通過智能網關模塊在網絡層以上實現網絡互連，采用TCP/IP 協議，通過Socket 編程實現協調器串口數據的網絡傳輸，將數據通過Wi-Fi 路由器轉發給網絡。李成豪[13]在森林消防車上搭載微環境實時監測系統，把采集到的數據進行打包并存在本地SD 卡中，通過單片機接收北斗模塊的定位信息并且將數據傳給北斗模塊進而使用衛星通信將數據上傳到服務器。

3.3 優化數據傳輸模型

近年來，很多學者致力于設計高效的無線傳感網絡優化模型，提高傳感網的可靠性。孟超等[7]設計了傳感網大數據采集和傳輸的仿真架構，實現了對移動車輛感知節點的實時定位和監控。謝添[5]認為物聯網底層的傳感器節點和大數據工具缺乏有效的融合，由此提出了采用物聯網終端與通信設備來進行數據采集，通過大數據技術來存儲海量工業數據。張前進[4]采用Apache Flume日志系統實現各種實時感知數據源的快速接入。許多研究人員采用Flume 和Kafka 項結合的方式，通過Flume 從終端設備、網關、邊緣計算服務器等采集數據，然后通過將數據發送至Kafka 消息隊列系統，進而傳遞給大數據實時處理或存儲系統，實現物聯網大數據的實時傳輸與歷史數據存儲。

綜上所述，目前物聯網技術從數據采集、傳輸上存在通信協議不統一、數據格式多樣、數據具有異構性、數據量大、傳統數據存儲方式難以適應物聯網大數據的要求等問題。構建涵蓋物聯網數據采集、傳輸、存儲、處理、學習、展示，并能進行設備控制的物聯網體系，從而搭建適應于智慧城市、智慧園區、智慧農業、智能樓宇、智能交通等物聯網應用領域的大數據平臺是比較合理的解決方案。接下來本文試圖從兼容多種協議、網關程序開發、充分與大數據系統銜接的角度架構物聯網數據采集、傳輸、接入系統。

4 物聯網大數據采集與傳輸架構

本物聯網大數據采集與傳輸架構分為設備組網方式、協議轉換統一與數據融合技術、數據傳輸3 部分。設備組網方式提供異構設備多協議通信支持，對于不同設備采用不同的協議，直接與設備進行通信。設備管理模塊啟動后，就會在網關上開放多個通信端口，每個端口對應一個通信協議。這些端口負責監聽設備的連接請求，當接收到設備向該端口發起的連接請求后，就會建立連接，等待設備上傳數據。無線傳感網絡層中的傳感器節點中產生的原始數據每隔固定的采集間隔就會被通過接口或無線通信發送到網關，網關識別特定的數據包然后進行處理并通過以太網將數據以指定格式轉發給邊緣計算服務器。然后由Flume采集數據并匯總，傳輸給Kafka，以作為大數據存儲系統的數據來源（見圖1）。

圖1 物聯網大數據采集與傳輸架構

4.1 設備組網方式

網關的功能就是實現協議的轉換和數據的分發。通過網關能夠實現不同網絡協議的轉換，將數據轉換為統一的格式進行封裝，從而解決異構網絡間的互聯互通問題。網關還可以實現對傳感設備的控制，包括獲取傳感器設備的狀態和屬性信息，以及遠程喚醒、控制和維護等。此外，為保證系統的完善和自動化處理能力，需要傳感網絡層和大數據平臺之間添加相關軟件及腳本以完成不同網絡和模塊間的銜接[15]。又由于無線節點入網時要在網關上進行注冊，記錄相關的設備信息：網關識別、處理、傳輸數據包。這就需要將設備數據的處理模塊加入到網關的原程序中。

本文擬采用ZigBee 無線組網與ModBus 有線組網相結合。ZigBee 作為比較典型的無線傳輸方式，具有低成本、低功耗、自組網、接入設備快、支持設備多等特點。ModBus 是最常見的有線傳輸方式，支持多種電氣接口和簡潔的幀格式，已經在多種領域廣泛使用。在組網過程中，可以加入ZigBee 中繼器提升網絡傳輸性能。ZigBee 協調器匯聚來自傳感設備或中繼器的數據，然后數據通過串口接入物聯網網關，而ModBus 則通過串口與物聯網網關進行連接[16]。同時設計與實現網關服務器的應用軟件，負責ZigBee 協議、ModBus 協議與MQTT 協議的轉換，以及傳感器數據的接收和存儲。

4.2 協議轉換統一與數據融合技術

本文根據MQTT、ZigBee 和ModBus 協議的具體情況，自己定義數據幀格式，通過協議解包和封包實現不同通信技術的協議轉換，即ZigBee 與MQTT 的協議轉換以及ModBus 與MQTT 的協議轉換。在數據采集時，網關可以將來自不同傳感器網絡的數據封裝成統一的標準格式，再通過通信網絡發送給邊緣計算服務器。在對設備進行控制時，網關將通過網絡接收到的數據信息解析成標準幀格式，再根據不同的底層感知網絡轉換成對應通信協議的數據和命令，最后通過網絡將這些數據和命令發送給終端設備，從而實現控制功能[17]。

4.3 數據傳輸

數據傳輸負責為數據處理集群快速接入數據源。

阿帕奇Flume 是一個分布式、可靠，易用的高效數據采集系統，它能夠從各種不同的數據源聚集大量日志數據，并把它們移動到一個中央數據倉庫。Flume 的數據來源可以定制，除了收集日志文件，它還可以收集網絡流量數據、社會媒體數據、郵件消息等數據，甚至可以說是任意來源的數據。

針對實時數據流量較大，數據處理模塊的處理能力可能無法達到的問題，采用阿帕奇Kafka 集群進行物聯網大數據接入與分發。阿帕奇Kafka 系統是一個開源、分布式事件流平臺，適合處理大規模實時數據，成千上萬的公司采用它來作為高性能數據管道、流分析工具，進行數據集成以及關鍵技術應用[18]。

本文采用數據采集系統Flume 作為收集物聯網大數據的工具，通過不同的分支節點采用不同網關或邊緣計算服務器上的數據，然后匯集到中樞Flume 節點，并將其作為Kafka 的數據生產者，將實時物聯網大數據傳入Kafka 計算集群的代理，將分布式大數據存儲平臺HDFS 作為Kafka數據的消費者。Kafka 的事件流能夠確保數據的持續流通和解析，保證任何一個主題分區的消費者可以按照消息產生順序原封不動對它進行讀取，這樣不僅不會丟失數據，還能實現數據的實時傳輸。

5 總結

本文在分析物聯網特征、對數據采集與傳輸的要求，以及現有數據采集與傳輸方式優缺點的基礎上，提出通過使用網關及開發網關程序通信協議轉換，采用MQTT 協議、Flume 數據采集工具、Kafka 發布訂閱系統進行傳感器數據采集與傳輸的架構，為將來物聯網大數據存儲、處理做好數據來源準備。可為物聯網大數據采集、傳輸、存儲、分析、學習、展示以及設備控制的物聯網平臺體系做好數據源的基礎，并可結合Cesium 數字孿生技術，將此方法體系推廣應用到智慧城市、智慧園區、智能樓宇、智慧農業、智能交通等多種物聯網相關領域。