物聯網終端評測體系發展研究

謝金鳳，嚴涵琦，鄧炳光，張炎

專題：移動通信（5G）測試

物聯網終端評測體系發展研究

謝金鳳1，嚴涵琦1，鄧炳光2，張炎1

（1. 重慶信息通信研究院，重慶 401336；2. 重慶郵電大學，重慶 400065）

針對物聯網（internet of things，IoT）技術大規模商用，現有終端評測體系無法滿足海量、多種類、多形態的物聯網終端評測新需求的問題，開展面向物聯網終端的評測體系發展研究，從基礎性、應用性、安全性3個維度并結合測試手段的發展趨勢，提出物聯網終端評測體系方法，以促進物聯網終端質量提升，保障終端和網絡良好的互通性，提升端到端業務質量。

物聯網；物聯網終端；測試工具；評測體系

1 引言

隨著全球城市智能化管理、制造業信息化與智能化、終端融合化趨勢的加快推進，大數據、云計算、人工智能、5G等新一代移動通信技術等核心關鍵技術的持續演進，物聯網規模化應用加速，全球物聯網產業正以碎片化、孤立化應用為主的起步階段邁入“重點聚焦、跨界融合、集成創新”的新階段，行業滲透率持續提高，全球物聯網終端設備連接數保持強勁增勢。GSMA發布的《2020年移動經濟》報告顯示，預計到2025年，全球物聯網總連接數規模將達246億，年復合增長率高達13%。

物聯網終端作為面向應用底層的基礎設施，是各類智能應用的基礎，必須保證聯網設備的穩定可靠，所采集的數據真實有效。隨著新型網絡和物聯網的快速發展，對物聯網終端尤其智慧城市典型應用物聯網關鍵終端設備評測的需求與日俱增。面向海量、多種類、多協議的物聯網終端的特性，終端評測行業也向多功能、自動化、智能化方向迅速發展，我國現有評測系統評測能力暫不能完全滿足評測需求，需從終端兼容性、標準一致性、可靠性、安全性等方面，開展研究及能力建設，形成較為完整先進的評測體系，從而支撐物聯網終端的研發、制造及應用的成熟。

2 物聯網終端發展趨勢

物聯網終端由于應用領域廣泛，應用場景復雜，形態類型也多種多樣。隨著物聯網技術和微電子技術的發展，物聯網終端在相同功能范圍內向更加小型、輕量化的方向發展，在相同體積范圍內向功能更多、功耗更低、性能更高的方向發展。物聯網更加開放，促使終端融入更加智能化的算法，不同物聯網終端設備之間的協作逐漸成為常態，物聯網終端逐步呈現小型化、低功耗、多傳感融合以及智能化處理等發展趨勢。

依據GSMA發布的《物聯網終端（IoT）安全指南》，將物聯網終端定義為“一種物理計算設備，作為連接至物聯網產品或服務一部分執行功能或任務”，并按計算能力和功能類型，分為輕型終端、復雜終端、網關型終端3類。另外，按照終端是否有操作系統，又可劃分為含操作系統的終端和無操作系統的終端。

（1）輕型終端

輕型終端通常是傳感器或簡單的物理設備（如智能門鎖、可穿戴設備、傳感器終端等），可以為物聯網服務系統或消費者提供數據。通常采用成本較低的處理單元，使用短距離個人局域網或窄帶蜂窩網絡進行連接（例如ZigBee、NB-IoT、LoRa、eMTC等）。輕型終端功率往往較低，通常通過物聯網服務網關和用戶端設備網關連接至后臺服務系統。

（2）復雜終端

復雜終端通過蜂窩等長距離通信鏈路或Wi-Fi、以太網經用戶端設備網關持續連接至后端服務器。通常內置基本處理器，能夠運行更穩定的處理單元（例如智能家用電器、工業控制系統、網聯汽車跟蹤和監測設備等）。

（3）網關型終端

網關型終端通常連接專用電源，管理輕型終端及其驅動后端系統之間的通信。網關用于管理長距離通信鏈路（例如蜂窩、衛星、固定線路、光纖或以太網）。物聯網網關的主要功能是為輕型終端傳輸信息，同樣也具有發現設備、部署網絡驅動、管理功能等功能。

（4）含操作系統終端

具有操作系統的終端（如RFID讀寫器、攝像頭、具有讀卡功能的智能手機等），通常具有較強的安全功能。

（5）無操作系統終端

不具有操作系統的感知終端集成有采集和/或指令執行功能模塊、中央處理功能模塊和網絡通信功能模塊，這類感知終端通常安全功能有限，但為攻擊者提供的攻擊途徑也有限。

3 物聯網終端評測需求與挑戰

隨著物聯網技術的大規模商用，物聯網終端設備呈現種類繁多、大小形式功能不一、網絡連接方式多樣化等特性，如短距離、自組織、蜂窩等。物聯網終端從周圍物質世界獲取的數據具有多源異構性、海量性、多粒度、多維度等特點。同時，物聯網終端的能力正逐步向云化管理、統一決策、控制執行、終端間協同等方面轉變。物聯網終端的發展趨勢，對物聯網終端性能的測試評估方法提出了新的需求，主要體現在3個方面，包括基于模擬場景的物聯網終端評測需求、多制式復雜網絡融合評測需求、物聯網終端的安全可靠性評測需求。

3.1 基于模擬場景的物聯網終端評測需求

物聯網終端在實際部署環境的性能表現是使用者較為關注的，目前實驗室測試還不能提供相應的測試解決方案，主要問題在于物聯網終端實際部署環境的信道模型較為復雜，體現在：物聯網應用場景多，不同場景采用的通信技術和傳播環境各不同；物聯網應用場景終端呈現超大規模、多元異構特點；物聯網終端種類多、極致成本和對效率的訴求。

為適應物聯網終端新的評測需求，需面向物聯網應用場景多樣化、復雜化，物聯網終端超大規模性、多元異構性、系統動態性等特點，結合5G技術的商用和演進可支持每平方千米百萬級的終端接入能力，研究物聯網應用場景信道模型關鍵技術，仿真高壓力、大規模的流量條件以及語音、視頻和數據應用混合形成的各種環境，構建適用于海量物聯網終端應用場景的網絡性能評估模型，支撐物聯網終端市場新的評測需求。

3.2 多制式復雜網絡融合評測需求

與傳統互聯網通信協議較為單一、集中不同，物聯網中短距離、長距離，蜂窩2G、3G、4G、5G，非授權頻段，移動物聯網等多類無線通信技術并存，同時針對不同的應用場景，通信組網方式也不相同。為確保物聯網設備高效地通信，不會因為支持多種無線技術而承受過重負擔，需考慮通過將多種測試手段有機結合，保障測試平臺能夠支持多種網絡接入，優化設備的耗電、信號或電源完整性測試，物聯網設備互操作測試以及與日俱增的無線技術和諧共存測試，以便加快對多模物聯網設備和系統的性能驗證和故障診斷。

3.3 物聯網終端的安全可靠性評測需求

近年，物聯網終端安全事件頻發，安全隱患凸顯，物聯網終端被破壞、被控制、被攻擊以及物聯網卡被濫用，不僅影響應用服務的安全穩定，導致隱私數據泄露、生命財產安全受損，更會危害網絡關鍵基礎設施，甚至國家安全。主要原因在于：部分物聯網終端設備自身安全防護能力較弱，受限于低成本、低功耗等特性，一些有效、成功的安全策略和算法不能直接被應用；物聯網終端工作區域的無監督性、一些設備使用周期長，安全敏感數據長時間使用，更新能力弱，也使物聯網終端安全管理難度較大；不同廠商、不同型號和不同協議的物聯網設備難以統一控管或整合；傳統網絡安全領域的典型防空措施如分隔、域等已不能完全適用于物聯網安全新挑戰。故需研究物聯網終端安全與風險評估評測方法，解決物聯網安全性的量化評測問題。

4 物聯網終端評測體系建議

結合物聯網終端評測需求以及測試系統發展趨勢，本文提出物聯網終端測試體系的參考方法，旨在推動物聯網終端測試的標準化，并指導測試工具、測試儀表的開發驗證。

從總體上來看，物聯網終端測試體系可包括基礎性、功能性、安全性以及物聯網典型應用4個部分，如圖1所示。

4.1 基礎性要求

基礎性主要是指一系列在物聯網終端測試體系里被普遍使用、具有廣泛指導意義的指導性文件及測試工具。主要包括3個部分：一是與測試相關的需求分析與術語；二是用于測試的參考模型，包括數據采集模型、信道模型、業務模型、安全分析策略模型等；三是關鍵測試流程和方法，包括終端測試流程、云測試流程、海量接入的并行測試、自適應評測等測試和流程方法的說明。

圖1 物聯網終端測試體系

4.2 功能性要求

基于物聯網系統架構，結合物聯網終端業務功能邏輯，功能性部分重點關注感知類、網絡類、業務類評測要求3個方面。

感知類測試主要針對物聯網終端在數據采集能力，涉及傳感器、二維碼、射頻識別、實時定位及多媒體信息采集等方面的評測。參照國標GB/T36468-2018《物聯網系統評價指標體系編制通則》，對終端感知類指標主要包括感知精確度、控制精確度、感知成功率、控制成功率、持續工作時長（電池供電）、能耗、終端監測覆蓋率、感知終端在線率、喚醒時間等，物聯網終端感知類評測指標如圖2所示。

網絡類測試主要實現各種網管標準和接入網絡、自組織性、異構網融合等承載網支撐技術，是為感知層信息進行廣域范圍應用和服務提供所需基礎的承載網絡（公網、專網、短距離通信），對滿足未來不同內容傳輸需求具有重要意義。物聯網終端分為兩類，一類是支持TCP/IP而能直接接入物聯網（如Wi-Fi、2G/3G/4G/5G等）；另一類是其未能支持IP而需要網通過協議轉換接入物聯網（如ZigBee、藍牙等設備）。針對此兩類終端，網絡類測試體系主要包括國內進網檢測、CCC、型號核準要求的強制性認證測試項目，另外還包括生產廠商、終端使用客戶普遍關注的可靠性測試（如射頻性能、電磁兼容性、環境可靠性、協議一致性、功能、電氣安全測試、功耗、卡接口、終端天線性能、吞吐量、分組丟失率、時延等測試指標），物聯網終端網絡類評測指標如圖3所示。

圖2 物聯網終端感知類評測指標

業務類測試主要實現互操作性、控制執行能力，兼容性，主要包括設備管理、連接管理、應用使能、業務分析等指標。

4.3 安全性要求

物理安全方面，物理攻擊時常發生，如攻擊者對傳感器等實施的物理破壞，其使物聯網終端無法正常工作，攻擊者也可能通過盜竊終端設備并通過破解獲取用戶敏感信息，或非法更換傳感器設備導致數據感知異常，破壞業務正常開展。故從選址、供電、防破壞、防盜方面對物理安全提出要求。

接入安全方面，時常發生利用物聯網終端的安全漏洞，攻擊者獲得節點的身份和密碼信息，假冒身份與其他節點進行通信，進行非法的行為或惡意的攻擊，如監聽用戶信息、發布虛假信息、發起DoS攻擊等。同時還存在攻擊者對物聯網中傳輸的數據和信令進行攔截、篡改、偽造、重放，從而獲取用戶敏感信息或者導致信息傳輸錯誤，業務無法正常開展。同時，RFID標簽、二維碼等的嵌入，使物聯網接入的用戶不受控制地被掃描、定位和跟蹤，極容易造成用戶隱私泄露。故在接入安全方面，提出接入認證網絡、訪問控制網絡的安全評估要求。

通信安全方面，目前物聯網中采用了現有的多種網絡接入技術，使得物聯網在通信網絡環節所面臨的安全問題異常復雜，主要涉及各種無線網絡協議本身以及傳輸數據的安全，故評測指標從無線電安全和完整性傳輸兩個方面提出。

數據安全方面，物聯網的各種應用數據分布存儲在云計算平臺、大數據挖掘與分析平臺以及各業務支撐平臺中進行計算和分析。其云端海量數據處理和各類應用服務的提供使得云端易成為攻擊目標，容易導致數據泄露、惡意代碼攻擊等安全問題。在物聯網應用服務中，會涉及大量用戶、企業等諸多方面數據，存在隱私泄露風險。故從威脅檢查、數據保密、數據完整、數據新鮮、訪問控制等方面提出安全評估要求。

系統安全方面，物聯網終端通常采用通用、開源的操作系統，或直接調用未做任何安全檢測的第三方組件，軟件漏洞和缺乏安全有效的更新機制給物聯網終端帶來了極大的安全風險，故在系統安全方面，主要從標識鑒別、訪問控制、日志審計、失效保護、軟件安全方面提出安全指標要求。

圖3 物聯網終端網絡類評測指標

結合物聯網終端在物理安全、接入安全、通信安全、數據安全、系統安全方面所面臨的風險，本文提出物聯網終端安全評測體系。同時體系采用“將安全思想貫穿物聯網終端全生命周期”的思路，需形成覆蓋物聯網終端安全需求分析、安全設計、安全開發、安全測試、安全交付和維護等全生命周期各階段的安全防護體系。

4.4 建立物聯網終端在實際業務場景中的評測要求

根據具體行業的物聯網應用系統的特點，從物聯網終端在應用系統里的適用性、可用性、兼容性情況出發，并基于“云－管－端”物聯網系統典型應用、網絡性能和終端特性測試方法，建立面向典型應用物聯網終端評測方法體系，可為物聯網應用系統終端部署提供綜合測試驗證和服務。

基于上述分析，本文提出物聯網終端評測體系框架，物聯網終端評價指標框架如圖4所示，評價指標主要由3個一級指標、16個二級指標、31個三級指標組成。

評測框架主要分為功能類、性能類、安全類三大類指標。功能類指標主要包括終端的通用功能（如自描述、可管理性、自配置、準確性、靈活性、實時性等），感知控制（如感知精確度、控制精確度、感知成功率、控制成功率、喚醒時間等），以及終端在典型應用場景中的特定功能驗證；性能類指標主要面向終端的通信性能、可靠性能、功耗、安全、協議一致性等方面；終端安全類指標主要從終端的物理安全、接入安全、設備安全、通信安全、數據安全提出。

5 物聯網終端評測技術發展趨勢

開展物聯網終端評測需滿足模擬大規模并發場景、行業應用場景以及低測試成本要求等市場需求，物聯網測試系統架構正逐漸向一體化平臺、云架構等方向發展，并結合物聯網標識、人工智能、用戶數據治理等技術，進一步提高測試準確度及效率，并滿足新興測試需求。

（1）測試架構云化趨勢明顯

針對物聯網終端測試系統處理能力要求高、測試資源不能共用、測試效率低等問題，可采用基于云網絡架構的分布式測試平臺，突破傳統測試儀表架構，采用硬件功能軟件化和軟件功能構件化技術，可支持針對多種類、多數量物聯網終端的云測試方案；同時，利用集成于云服務器中的測試工具動態分配性，實現后續功能的可擴展、易用性，提高有限測試工具資源的利用率。

（2）測試技術向自動化、可擴展的能力發展

針對傳統自動測試系統故障檢測率不高、虛警率、不能復現的問題以及物聯網終端系統結構復雜性、模型的嚴重非線性、測試方法的多樣性的問題，結合物聯網終端的功能和性能特點，建立高效通用且可擴展的自動測試標識體系，結合物聯網標識命名技術、物聯網標識尋址技術、物聯網標識發現技術，構建合理的標識管理體系。

圖4 物聯網終端評價指標框架

根據物聯網終端的真實應用環境，根據終端的測試性能，對終端的功能完整性、性能符合性、協議標準符合性、兼容性、可靠性、協議一致性、互操作性、標識符合性等方面的測試進行分類標識。從終端自身特征自動適配測試項目、測試標準、測試方法、測試流程子集出發，采用基于標識的自動測試方法，實現對測試設備和被測設備的高效控制、測試流程集成化，提高測試效率和降低測試成本，使物聯網終端在測試過程中，可被唯一識別、追溯和控制，實現自動適配測試指標、方法、流程，同時測試系統可自動化部署評測工具及負載，保障終端評測的高度自動化、可擴展性，有效降低終端測試成本。

（3）需具備海量接入模擬測試能力

針對未來物聯網面臨海量用戶終端連接的性能問題，需研究物聯網終端數據模擬方法以及海量用戶并發測試技術，實現對真實物聯網用戶數據進行錄制、清洗和回放，提高物聯網應用平臺性能的測試能力和效率。

（4）基于復雜應用場景的建模及復現

物聯網應用面向多種場景，應用場景與傳統移動通信相比更加復雜多樣。針對物聯網終端多應用場景的特點，需解決測試場景難模擬的問題，研究重點需聚焦在構建不同物聯網場景空間信道模型方法，突破物聯網多維信道建模關鍵技術，建立適用于智慧城市等物聯網場景下的三維空間信道，實現對真實應用場景傳播環境的準確模擬，支撐終端評估。

（5）安全防護策略技術

綜合考慮物聯網終端本身及其所面臨的安全威脅特點，需從硬件、接入、操作系統、業務應用等方面著手，對設備的資產、威脅、脆弱性等要素進行分析及識別，研究采取適當的安全防護措施和安全解決方案，需采用“將安全思想貫穿物聯網各個終端全生命周期”的思路，研究物聯網終端安全評測技術，形成覆蓋物聯網各個終端安全需求分析、安全設計、安全開發、安全測試、安全交付和維護等全生命周期各階段的安全評測方法和安全防護體系，確保物聯網終端安全乃至物聯網整網安全。

6 結束語

本文基于物聯網終端多應用、多形態、多制式的特點，結合市場對物聯網終端測試技術和安全防護需求出發，同時著眼物聯網終端評測平臺呈多元化、差異化、開放性、成長性的縱橫多維發展趨勢，從基礎性、功能性、安全性、應用測試方面，提出物聯網終端評測體系，為物聯網終端安全快速接入物聯網系統，以及促進物聯網產業的健康發展，提供有力支撐。

[1] 王琳. 物聯網無線通信產品國內外認證要求解析[J]. 電子產品世界, 2020, 27(2): 63-66.

WANG L. Analysis of certification requirements for IOT wireless communication products at home and abroad[J]. Electronic Engineering & Product World, 2020, 27(2): 63-66.

[2] 朱偉弟. 物聯網時代：如何做好安全防御?[J]. 單片機與嵌入式系統應用, 2018, 18(1): 89-90.

ZHU W D. Internet of things era: how to do security defense well?[J]. Application of Single Chip Microcomputer and Embedded System, 2018, 18(1): 89-90.

[3] 物聯網系統評價指標體系編制通則: GB/T36468-2018[S]. 2018.

Internet of things-General principles of stipulation on evaluation indicator system: GB/T 36468-2018[S]. 2018.

[4] 肖清旺, 王錦華, 朱易翔. 物聯網智能終端設備識別方法[J]. 電信科學, 2017, 33(2): 3-8.

XIAO Q W, WANG J H, ZHU Y X. Intelligent terminal device identification method of internet of things. Telecommunications Science, 2017, 33(2): 3-8.

[5] 戴彬, 曹園園, 莫益軍. 未來網絡場景及需求分析綜述[J]. 電信科學, 2019, 35(8): 39-48.

DAI B, AO Y Y, MO Y J. A survey on future networks: application scenarios and requirements analysis[J]. Telecommunications Science, 2019, 35(8): 39-48.

[6] 李晶, 張明明, 鄭永豐, 等. 物聯網終端性能與網絡協議綜合測試解決方案[J]. 計算機測量與控制，2019, 27(10): 12-13.

LI J, ZHANG M M, ZHENG Y F, et al. Comprehensive test solution for IoT terminalper for mance and network protocol[J]. 2019, 27(10): 12-13.

[7] 錢燕萍. 面向NB-IoT終端的性能評價體系設計[J]. 電信快報, 2020(7): 12-14.

QIAN Y P. Design of performance evaluation system for NB-IoT terminal[J]. Telecom Express, 2020(7): 12-14.

Development research of terminal evaluation system of internet of things

XIE Jinfeng1, YAN Hanqi1, DENG Bingguang2, ZHANG Yan1

1. Chongqing Institute of Telecommunications, Chongqing 401336, China 2. Chongqing University of Posts and Telecommunications, Chongqing 400065, China

Under the large-scale commercial application of internet of things technology, the existing terminal evaluation system can not meet the new requirements of massive, multi-type and multi-form internet of things terminal evaluation. The research on the development of evaluation system for internet of things terminal was carried out, and the suggestions and methods of evaluation system for internet of things terminal were put forward from three dimensions of foundation, application and security, combined with the development trend of testing means, so as to provide reference for future development, promote the quality of IoT terminals, ensure the good interoperability between terminals and networks, and improve the end-to-end service quality.

internet of things, internet of things terminal, test tool, evaluation system

TN929

A

10.11959/j.issn.1000?0801.2021037

2020?11?20；

2021?02?03

國家重點研發計劃項目（No.2018YFB2100200）

The National Key Research and Development Program of China（No.2018YFB2100200）

謝金鳳（1985? ），女，重慶信息通信研究院高級工程師，主要研究方向為物聯網測試關鍵技術及標準體系。

嚴涵琦（1986? ），女，重慶信息通信研究院高級工程師，主要研究方向為物聯網測試關鍵技術及標準體系。

鄧炳光（1978? ），男，重慶郵電大學副教授，主要研究方向為通信網測試技術。

張炎（1982? ），男，重慶信息通信研究院高級工程師，主要研究方向為電子信息、物聯網等相關測試技術、應用技術及標準化研究。