探析面向大數據物聯網的中間件技術

摘 要：物聯網IoT技術棧獲得快速的發展，將傳感器的感知數據與云端平臺相耦合，廣泛應用于社會各個領域，然而隨著大量感知數據的產生，傳統的物聯網技術難以進行大數據環境下的機器學習，為此要重點關注和探討面向大數據物聯網的中間件技術，設計和應用一種通用、輕量級的面向大數據的IoT中間件平臺，打造端云一體化的界面，滿足用戶的使用需求。

關鍵詞：大數據;物聯網;中間件;技術

一、 引言

物聯網中間件技術通過鏈接智能硬件設備和云端，能夠對感知層物聯網智能硬件進行靈活擴展和動態更新，實現物聯網的實時感知和云端耦合，充分展示端云一體化的局面，體現出其高效穩定性的功能。

二、 ?MDM-IoT中間件平臺總體方案設計

（一）MDM-IoT中間件平臺架構設計隨著智能硬件終端的數量激增，MDM-IoT體現出高效穩定數據承載能力和大數據訓練能力，該平臺主要實現以下幾個功能。

1. 海量數據處理功能。大數據服務器集群集成有多種算法，如：分布式哈希負載均衡算法、加權輪詢負載均衡算法，實現多任務的并行運行。并采用分區存儲的方式，將單個大數據服務器劃歸為一個區，實現對海量數據的處理。

2. 動態算法擴展功能。利用算法服務器的注冊接口，實現數據分析。并在容器技術的支撐下，實現定制算法的靈活快速擴展、部署和管理。

3. 遠程監控功能。利用長連接機制實現智能硬件終端和MDM-IoT中間件的鏈接，并添加自主設計的心跳數據，實時監控智能硬件終端的狀態，并完成智能硬件終端應用程序升級、工作狀態切換等功能。

（二）大數據服務器架構設計

1. 通信長連接方案設計。要建立并保持服務通信長連接方案，由信道進行后續信息請求的發送和傳輸，能夠有效實現高并發、大流量條件下的負載均衡。

2. 負載均衡算法設計。可以采用源地址Hash算法，當采集物聯網終端的IP信息后，由服務器進行Hash計算，預先設置好每一個服務器的最大連接數，實現服務器與智能終端的IP綁定和鏈接，當超出其閾值時即更換其他服務器完成響應。也可以采用加權輪詢算法，以時間較長的某臺物聯網智能終端數據量為重，數據量最小的為輕，通過增添權重概念的方式，減少數據量大的終端所需等待的時間，提高系統負載的均衡與穩定。通過上述兩種算法進行負載均衡，實現數據傳輸和固件升級服務。

3. Node節點設計。引入一致性Hash的理念進行Node節點故障的自動排查和擴展，體現出平衡特性、單調特性、分散特性和負載特性。

4. 數據分區分級緩存設計。按照優先級別采用異步隊列，多進程并行執行信道數據的分級緩存、解析和封裝處理，包括心跳數據、監控數據、感知數據等，為算法服務器提供數據支持。

5. 遠程IoT終端固件升級設計。要改變傳統物聯網終端功能單一的狀態，必須在大數據服務器的支持下進行重新定制開發，將Hex固件直接遠程下發至物聯網終端，進行自身功能的更新和固件升級。

（三）云計算算法服務器的設計引入容器技術，利用Docker鏡像做算法鏡像，方便算法更新，減少系統資源的無謂損耗，體現出極其輕量、秒級部署、移植簡便、彈性伸縮的特性，實現大數據訓練的高效可靠性擴展。同時，在進行算法鏡像打包、建立、認證、部署、命名等操作時，要依循如下兩大標準：算法運行標準和算法鏡像標準。

三、 ?MDM-IoT在感知層的耦合設計

MDM-IoT支持主流串口、網絡和無線等多種協議，并設計有自主研發的數據不丟包耦合協議，實現丟包數據的及時補發和處理，確保大數據處理的穩定高效性。

（一）MDM-IoT大數據服務器網絡模型設計

MDM-IoT的消息推送技術主要是依據TCP/IP協議進行重新封裝和優化處理，利用其內核特性重點監控活躍的fd，并構建IO多路復用模型，打造高并發的消息中間件系統。

（二）MDM-IoT大數據服務器通信協議設計

基于物聯網的智能硬件設備作為Client端，要對通信整體數據流進行解碼、校驗、數據完整性查看、數據分類、數據分析和數據展現，之后再進行Cache域感知數據的發送和及時清空，設定三次重新數據發送機制，當三次心跳數據傳輸均沒有獲得 MDM-IoT中間件響應數據時，即視為傳輸網絡出現故障，默認自動重新鏈接。

四、 ?MDM-IoT在應用層的耦合設計

（一）應用層耦合框架設計在Web前部分采用Tornado異步服務，快速響應MDM-IoT數據中轉信息。在Web部分則采用Django和BootStrap兩種架構，以更好地適應快速部署和應用服務擴展升級。

（二）遠程升級終端應用服務框架設計MDM-IoT集成遠程應用升級服務，對遠程可控的物聯網設備進行應用升級，并采用反向追蹤算法，查找設備fd并下發更新指令，完成設備自動升級。主要包括有：云端追蹤終端服務架構、云端升級終端服務架構。

（三）云端算法服務器算法注冊更新設計MDM-IoT集成算法注冊接口，采用Kuberbetes平臺管理算法服務器數據流，用戶可以根據自己的算法文件進行上傳綁定，實現大數據下的訓練模擬。

五、 結語

綜上所述，隨著物聯網的快速發展，要進行大數據服務器網絡架構和算法服務器架構的設計，實現智能硬件與云端技術的一體化融合，通過將物聯網MDM-IoT中間件技術與智能硬件相對接，并配合云端算法服務器的接入，提高系統的可擴展性和安全穩定性，擺脫傳統物聯網在本地的局限性，使整套物聯網架構更加具有生命力。

參考文獻：

[1]聶祥.軟件定義物聯網分布式控制機制研究[D].長沙：湖南大學，2019.

[2]張衡.藍鴿校園版物聯網管控軟件交互設計研究與實踐[D].長沙：湖南大學，2019.

作者簡介：王練練，中博信息技術研究院有限工程。