構建電信物聯網開放數據服務體系的思考

趙 鈞

（中國電信股份有限公司上海研究院 上海200122）

1 引言

物聯網被視為“物物相連的互聯網”，通過傳感設備將物體與互聯網連接起來，進行信息交換和通信，實現智能化識別、定位、跟蹤、監控和管理。隨著政府智慧城市的大力推進以及傳感設備的普及和廣泛部署，未來將會有海量的物聯網數據需要采集、匯總、存儲和分析處理，如何對這些數據進行管理和使用并最終服務客戶，成為一個值得關注的問題。

在物聯網產業鏈中，電信運營商負責提供數據傳輸通道，但僅作管道提供者是不夠的。電信運營商多年來數億用戶的運營經驗和品牌服務信用，使其有條件、有能力構建一個開放的物聯網數據服務體系，封裝物聯網數據智能處理過程，最終成為數據服務的平臺提供者，讓第三方合作伙伴（包括個人開發者）能夠通過標準開放的服務接口，實時訪問真實、可靠的物聯網數據，并基于這個平臺提供數據服務，構建自己的物聯網應用。

2 物聯網數據服務需求分析

2.1 電信運營商現有物聯網服務模式

現階段，全球范圍內的物聯網應用都處于起步階段，國內電信運營商也非常重視物聯網帶來的產業發展機遇，都申請了用于物聯網的專用號碼段，并積極建設自己的物聯網運營平臺，在提供終端監控、數據轉發等基礎通信服務的基礎上，集成類似電力抄表、車輛調度等的行業應用模塊，面向行業應用提供物聯網服務。目前的這種服務模式聚焦在企業客戶，針對不同行業甚至同一行業的不同企業根據客戶需求開發個性化物聯網行業應用，但電信運營商本身對行業的認識和理解存在局限，因此多通過集成行業內其他成熟解決方案為客戶提供一站式服務，扮演軟件集成商的角色，雖然短期有利于獲取客戶，但長期來看存在被管道化的風險，而且一站式服務成本也很高。

2.2 未來物聯網開放數據服務需求

隨著企業需求驅動的物聯網逐漸走向成熟，未來出現跨企業的行業數據開放、面向公眾服務的物聯網應用將是必然的發展趨勢，不少專家也認為物聯網應用正從企業走向公眾，物聯網的最好運用是服務公眾。公眾服務的一個特點是數據的開放性，不存在隱私保護問題，這讓電信運營商可以基于海量的物聯網數據提供數據服務，無需針對每個客戶提供從終端、通信、平臺到行業應用的整套集成解決方案，而是可以專注于提供物聯網數據的采集、分類、融合、分析等相關的標準化服務，讓產業鏈上游的物聯網應用開發商可以基于電信運營商的開放物聯網數據服務開發物聯網應用服務，同時也能吸引產業鏈下游傳感器廠商通過生產部署傳感終端、上傳數據，從數據服務調用中獲取利潤分成，從而形成一個良性的物聯網產業生態環境。

3 物聯網數據服務體系設計

3.1 數據服務內容設計

為匯聚物聯網數據，服務于產業鏈上下游，電信運營商首先要規劃物聯網數據服務的內容，即開放的服務目錄，從數據自身封裝和服務的角度來看，可以分為以下幾大類服務。

（1）數據采集轉換服務

根據已注冊終端上傳的數據，進行數據關聯和格式轉換，實現數據分層組織和并行加載，使不同終端上傳的數據能夠按標準格式進行存儲和使用。

（2）數據存儲服務

支持存儲空間大小的申請，可根據預設的規則對存儲空間大小進行動態調整。

（3）數據查詢服務

可根據傳感終端號碼、時間、位置、事件等信息，對原始數據、分析結果數據進行單個/批量、實時/非實時查詢，如在頁面實時顯示環境監控數據，具體可根據物聯網行業數據特征或應用功能需求設計各種參數的查詢服務。

（4）數據統計服務

根據地域、終端類型、時間段等維度，輸出數據統計結果，如截止當前一天某區域的車流總量，具體可根據物聯網行業數據特征或應用功能需求設計各種參數的統計服務。

（5）數據融合服務

多傳感器在空間或時間上觀察的冗余或互補信息可以依據某種規則，通過融合算法進行組合，形成對被觀測對象的一致性刻畫，如從不同角度觀測數據的合成。

（6）數據挖掘服務

通過數據清理和集成，生成并分析相關的數據，選擇不同的數據挖掘算法，設定不同的參數建立挖掘模型，進行數據挖掘操作，輸出挖掘結果，可根據需要提供定時或實時挖掘服務。數據挖掘算法包括決策樹算法、貝葉斯算法、聚類算法、時間序列算法、關聯規則算法、序列聚類算法等，通過對算法的選擇和參數配置，可實現分類和預測、異常和趨勢發現等應用挖掘需求。

（7）數據分析服務

支持對物聯網數據的多維分析，提供數據切片、切塊、鉆取、旋轉等服務，如按時間、地域等維度對大氣監測數據進行分析。

（8）數據可視化服務

為方便數據應用，還可以提供數據可視化支持服務，如車輛行駛路線的電子地圖展現、數據分析統計結果的圖表展現服務等。

實際中，由于傳感數據不同、行業間存在差異以及未來潛在物聯網應用的不可預測性，基于物聯網數據的服務數量可以說是無限的，這就需要在服務設計時進行合理裁剪和分類規劃，防止數據服務數量泛濫，難以管理和使用，如針對一個安裝傳感芯片的車輛，可能需要實時查詢其位置，也可能需要繪制某段時間的行車路線，在設計服務時可針對單個車輛提供實時查詢服務，物聯網應用開發者基于實時查詢的數據可自行繪制行車路線。除了數據服務外，電信運營商也可以利用現在為客戶提供的物聯網行業應用，向上拓展，封裝和開放流程服務、應用服務，為第三方開發物聯網應用提供更多的便利。

3.2 數據服務體系結構設計

為提供3.1節設計的數據服務內容，物聯網數據服務體系結構應包括終端管理模塊、數據預處理模塊、數據存儲模塊、實時分析模塊、離線分析模塊、數據服務模塊、數據接口模塊、應用管理模塊和其他附屬模塊，如圖1所示，實現與傳感終端的通信、第三方物聯網數據提供商數據庫的集成以及物聯網應用對數據服務的訪問，同時對用戶通過物聯網應用訪問數據服務的情況進行記錄，以提供給電信運營商運營支撐系統進行計費。

·終端管理模塊：提供終端注冊、監控、資源管理等功能，對傳感終端等物理設備進行統一管理。

圖1 物聯網開放數據服務體系結構

·數據預處理模塊：接收終端上傳的數據，進行數據轉換，屏蔽不同廠商傳感器硬件數據的差異性，生成統一的標準數據格式。

·數據存儲模塊：實現原始采集數據、清洗轉換數據、分析挖掘結果數據、元數據等各類物聯網數據的存儲和備份功能。

·實時分析模塊：通過對實時數據的統計分析，可對數據進行分析處理，輸出分析結果。

·離線分析模塊：對大量非實時數據進行統計、分析挖掘，定時生成分析結果數據，當用戶調用相關分析數據服務時，可以直接輸出已分析的結果，提高服務效率。

·數據服務模塊：提供服務注冊、服務發現、服務組裝服務，將服務開放給外部物聯網應用。

·數據接口模塊：與第三方物聯網數據提供商的數據庫接口，實現對外部數據源的訪問。

·應用管理模塊：對訪問數據服務的物聯網應用進行注冊、注銷管理。

·其他附屬模塊：可以根據需要增減輔助模塊，如數據可視化模塊、計費數據采集模塊、流程管理模塊、安全管理模塊、系統管理模塊等。

4 物聯網開放數據服務關鍵技術

構建開放的物聯網數據服務體系，對于電信運營商來說，是從關注產品轉向關注數據和平臺，可以說是一個新的領域，因此必然會面臨一系列技術問題，其中涉及的關鍵技術主要包括以下幾種。

4.1 數據融合技術

物聯網多傳感器部署情況下，有時需要利用不同時間與空間的多個傳感器數據，按照一定規則進行分析和綜合，獲得對被測對象的一致性描述，這需要數據融合技術。這一技術廣泛應用于工業過程控制、醫療診斷、圖像處理、遙感等眾多領域，是傳感技術、數據處理技術、人工智能技術、并行計算技術等相關技術的一種綜合應用。數據融合技術的關鍵是融合算法的選擇，融合算法包括加權平均法、卡爾曼濾波法、多貝葉斯估計法、神經網絡、粗集理論等。

4.2 數據存儲和分析挖掘技術

針對物聯網數據采集點分散、數據量大、時間相關和位置相關、存儲和計算能力邊緣化的特點，在數據架構設計上，可采用分層、分布式或基于網格的數據存儲和分析挖掘架構，以提高數據處理效率，例如要對分散在各地的傳感數據進行存儲、統計、分析，如果統一上傳到全國集中的數據中心進行處理，一般很難滿足數據處理性能上的要求，因此可以采用分布式存儲、分布式并行計算、內存計算等技術提高數據處理效率。

對于簡單可通過排序解決且數據量不大的數據服務，可以通過內存NoSQL數據庫進行存儲和計算，在物聯網數據存儲節點實現快速實時分析；對于可進行并行處理的數據服務，如趨勢分析、流量統計、數據聚類、關聯規則、依賴關系等挖掘算法，可以基于MapReduce技術實現并行計算，提高分析效率，同時還可針對各類數據挖掘算法進行服務封裝，供外部物聯網應用調用。在挖掘算法方面，Apache Mahout開源項目提供了一個可借鑒的基于Hadoop實現各種機器學習與數據挖掘的算法庫，通過與Hadoop庫結合，能夠實現挖掘算法的并行處理。另外考慮到海量物聯網數據挖掘的計算密集、不同分析挖掘應用對性能要求存在差異，還可引入彈性負載、動態任務遷移等技術對計算任務進行均衡處理，以有效利用資源。

4.3 云計算相關技術

云計算是通過互聯網將動態、易擴展且被虛擬化的計算資源提供出來的一種服務，涉及虛擬化、彈性擴展等技術，分為基礎設施即服務（IaaS）、平臺即服務（PaaS）、軟件即服務（SaaS）3種服務模式。本文提出的電信物聯網開放數據服務體系是一種PaaS服務模式，上文提到的分布式存儲和并行計算就是PaaS層涉及的關鍵技術。另外，在服務的實現層面也可以應用到IaaS層和SaaS層技術，如針對個性化數據分析挖掘服務需求，可提供云主機服務，自動為客戶生成具備物聯網數據分析架構的虛擬機，方便客戶自行定制開發。

4.4 面向服務架構

開放數據服務體系需要將物聯網數據以服務的方式開放給外部用戶調用，基于Web服務的SOA實現是目前流行的一種技術，是面向服務架構的一種，采用基于可擴展標識語言（XML）的服務描述語言（WSDL）定義和描述服務，服務間利用XML Schema定義的消息進行通信，通過通用描述、發現與集成（UDDI）服務注冊服務，實現服務的定義、封裝、查找。

5 物聯網數據服務體系實施策略

目前各電信運營商在物聯網發展戰略上，主要關注兩個方面：一是與電信傳統核心網結合的物聯網基礎通信，二是面向不同行業客戶的應用解決方案。因此在規劃和建設物聯網運營平臺時，實現的功能也主要是終端監測、通信能力封裝以及行業應用開發接口，忽視了對物聯網最重要的資源——“數據”的利用，因此本文結合電信運營商提出的“做綜合平臺的提供者”的企業戰略以及物聯網數據量大和服務公眾的特點，提出了構建物聯網開放數據服務體系的思路，希望電信運營商能夠將數據資源封裝成服務提供給第三方使用，逐漸實現角色轉換，成為物聯網數據服務的平臺提供者。在具體實施策略上有如下建議。

5.1 統一規劃目標架構，分步推進平臺建設

由于物聯網數據服務體系對電信運營商來說是一個新的服務模式，因此電信運營商首先要做好規劃，明確商業盈利模式、數據服務內容、目標體系架構、分階段演進路徑，解決好數據服務體系與現有內部物聯網運營平臺、IT支撐系統以及外部上下游合作伙伴之間的關系。在系統建設上，可先從傳感原始采集數據的查詢和統計服務入手，逐步向分析挖掘服務延伸，從提供通用基礎數據服務向提供行業個性化數據服務延伸，從提供數據服務API調用向提供高層流程集成、數據可視化等應用服務領域延伸，分階段、分步驟實施。

5.2 從公共基礎數據服務切入，發掘和拓展數據開放領域

電信運營商以往在提供物聯網傳輸通道和行業應用產品時，關心的是產品功能而不是數據，因此要構建數據服務體系，需要觀念和行動上的轉變，在與政府或行業客戶的合作中，要注重發掘數據價值，尋找數據開放的突破口。現階段電信運營商在大力拓展物聯網行業應用時，應加強對政府公共服務數據開放性的關注，如環境監測數據就是公眾關心且非隱私的數據，通過與政府相關部門合作提供這類數據的開放服務，能夠快速吸引第三方合作伙伴基于開放的數據服務開發專業化、個性化物聯網應用，而電信運營商在一個領域形成成功案例后，也能夠更加方便地向其他領域拓展，迅速形成規模效應。

5.3 建立數據質量管控體系，保障數據準確可靠

在將海量的物聯網數據經過采集、存儲、加工處理后共享給外部應用的過程中，如何保證數據質量是必須面對的問題，因為沒有質量的數據也就沒有了價值。要保證數據質量，首先應制定物聯網電信企業數據標準，如數據采集接口標準、數據存儲標準、元數據標準等，指導平臺對數據的規范化處理，避免數據混亂；其次還要建立數據全生命周期的管控流程和制度，輔以IT技術手段的支持，實現全流程端到端數據狀態和質量的追蹤。

5.4 合作共贏，促進產業鏈形成和健康發展

電信物聯網數據服務體系不是一個孤立的系統，需要上下游合作伙伴的加入，通過專業化分工合作，共同服務客戶，其中下游傳感終端廠商通過生產部署終端與電信運營商對接，借助電信運營商將數據自動包裝成服務提供給物聯網應用開發商，自己不用開發應用就能獲得收入分成；而應用開發商也無需自己部署終端，只需從電信運營商獲取數據，就能方便快捷地開發物聯網應用。在物聯網數據服務初期，電信運營商還應采用靈活的合作策略，如激勵分成機制等，讓上下游都能從中獲得最大利益，以便快速建立平臺優勢，促進產業規模發展。

6 結束語

本文在分析電信運營商物聯網經營現狀和未來物聯網發展的基礎上，提出了基于物聯網數據建立電信物聯網開放數據服務體系的思路，希望通過開放數據服務體系的建設，使電信運營商能夠掌控物聯網中核心的數據資源，擺脫在物聯網發展過程中可能被管道化的風險，同時由有著數億客戶運營和管理經驗的電信運營商來構建開放的物聯網數據服務體系，為政府提供一個可控、可管、可用的公眾服務平臺，有利于整個國家物聯網產業的發展。

1 嚴懷成,黃心漢,王敏.多傳感器數據融合技術及其應用.傳感器技術，2005，24(10)

2 ZDNet.大數據時代下的數據分析-Hadoop架構解析.http://server.zdnet.com.cn/server/2001/0901/205586.shtml,2011

3 高陽,楊育彬,商琳.基于Hadoop平臺的并行數據挖掘算法工具箱與數據挖掘云.http://wenku.baidu.com/view/8959ae6ba 98271fe910ef952.html,2011

4 Shen Bin,Liu Yuan,Wang Xiaoyi.物聯網數據挖掘模型的研究.http://wenku.baidu.com/view/05a38a0bbb68a98271fefa64.html