基于Web信息的物聯網設備指紋生成方法研究

張莉紅

（1.四川大學計算機學院，成都610065；2.西藏藏醫藥大學，拉薩850000）

0 引言

物聯網技術的飛速發展給我們的工作、生活和學習等都帶來了新的變革。據研究發現到2030年物聯網設備的數量將達到1250億[1]，物聯網設備穿插于社會各個層面，為改善生活和加快社會發展做貢獻，但同時也帶來了新的安全問題[2-4]。為了減少物聯網設備接入風險，必須對設備進行訪問安全控制。但是，傳統的互聯網安全訪問控制必須依賴復雜的認證和加密協議機制來完成，不適用于計算資源有限且功能比較單一的物聯網設備。設備指紋識別等技術則為解決上述問題提供了新思路，通過網絡流量或協議報文的方式獲取設備指紋特征，能唯一標識某一品牌類型及型號的物聯網設備。

機器學習算法被廣泛用于設備識別中，常常關注于提升分類模型識別的準確率，而在發現新設備上卻沒多少進展，本文針對上述問題，提出了一種基于Web響應信息的物聯網設備指紋生成方法，能大大提升對物聯網設備識別的準確性，并在此基礎上結合監督數據提取距離閾值利用層次聚類算法發現新設備，適合用于大規模物聯網識別。

1 相關工作

設備識別起源于上世紀90年代，依據獲取方式的劃分主要有被動指紋識別和主動指紋識別兩種方式，被動指紋識別流量數據來源于監聽，由于不向網絡發送數據包所以入侵小不易被發現，但受監聽網絡大小控制，識別設備僅限于監聽網絡。主動指紋識別方式主要運用探測手段，需要發送探測數據包，會對網絡造成一定影響，但由于其目的性強，準確度高越來越受研究人員的青睞。

Shah等人[5]提出通過服務標識Banner來識別Web服務器軟件信息和版本信息的方法，但由于某些設備HTTP響應包中并不包含此信息，因此該方法在識別上有局限性。趙建軍等人[6]提出一種綜合的網絡空間終端識別設備框架，從Banner和Web指紋兩個角度來提取設備識別指紋，但沒有驗證其準確性。Li Q等人[7]通過設備登錄頁面的特征，提出一種GUIDE的設備識別框架，能對視頻監控設備進行識別，但未對識別方法和效果進行詳細討論。Yang等人[8]通過對大量網絡流量分析總結出一系列特征來進行設備識別，但由于涉及多層報文的提取不適用于大規模物聯網識別。

隨著設備識別方法的不斷總結提出，如何用最簡單有效的特征提取方法在有線標的設備中發現無標的設備是本文研究的重點。本文從物聯網設備為方便用戶使用都會開放Web管理服務這一前提出發，采集HTTP報文響應信息提取有效特征的方法進行物聯網設備分類識別，分類準確率達到99.6%，并結合帶閾值的層次聚類來發現新設備。

2 基于Web信息的物聯網設備指紋生成識別框架

2.1 方案概述

本文提出的基于Web信息的物聯網設備指紋生成識別框架如圖1所示。

圖1 基于Web信息的物聯網設備指紋生成框架

（1）特征提取模塊。特征提取模塊從本地網絡向遠端網絡發送探測包獲取開放端口及協議的遠端IP地址及端口號存入數據庫，向數據庫中的所有地址發送HTTP-get請求，獲取到每個地址的響應信息，同時隨機提取一部分地址設備進行物聯網設備和非物聯網設備標記并用人工方式進行驗證。通過卡方校驗物聯網設備和非物聯網設備的響應信息，提取固定格式的特征向量作為設備指紋，為后續分類識別打好基礎。

（2）分類器選擇模塊。分析現有機器學習中的多分類器，對于不同特征提取適用的分類器不一樣，因此我們在這個模塊中選取四類常用多分類器來對標記設備進行分類識別，最終選擇分類器效果最好的分類器作為我們的目標多分類器，并比較其他文獻采集特征的分類準確性，證明我們特征提取的有效性。

（3）發現新設備模塊。利用有監督的數據設置閾值用層次聚類的方法在導入的數據集中又發現上百種新設備類型。

2.2 特征提取

（1）設備發現數據獲取：負責在指定IPv4地址空間內進行端口掃描，獲得開放Web服務的無標記設備的IP地址集，向地址集中所有地址發送HTTP-get請求，獲得響應狀態碼為200ok的完整的響應信息作為原始待處理樣本信息。具體采集到兩部分信息，形式如圖2所示。

圖2 左部為響應頭部信息右部為響應主體信息

（2）提取統計特征：物聯網設備服務器經常采用一些公用的輕型網絡服務器，如micro_httpd、lighttpd、Boa/0.93.15等，而某些物聯網設備廠商則會在此嵌入與設備品牌型號相關的信息，因此可以通過Server字段初略的判定某些設備的品牌類型或排除掉一些非物聯網設備，利用正則表達式提取頭部Server字段、主體title信息以及頁面版權信息等標識物聯網和非物聯網設備集，隨機提取物聯網設備集中部分設備通過人工鑒定的方式為其打上品牌類型型號標簽，完成有標記設備采集。通過觀察比較物聯網設備響應頭部字節長度，響應頭部屬性字段數目和響應主體的＜head＞...＜/head＞及＜body＞...＜/body＞內字節長度，發現不同品牌設備類型所顯示的這四個值都不盡相同，而相同品牌設備類型所顯示的這四個值都大致相同。因此提取此四個統計特征作為第一部分特征。如圖3所示，用PCA在二維平面上進行降維分析此四個特征可以看出能夠很好地區分設備品牌類型。

圖3 部分帶標簽設備統計特征向量分布

（3）提取協議特征：觀察協議響應報文的Header屬性值，我們發現相同設備一般具有相同屬性值，不同設備屬性值則不完全相同，因此在這部分中我們提取Header屬性中的每一個鍵名作為研究對象，通過圖4四格圖表法和卡方校驗的方法選取已標記的物聯網和非物聯網設備各一萬個，我們先假設某鍵名M不屬于物聯網設備，然后通過四格表觀察值確定p行q列的理論值，見公式（1），帶入卡方公式計算偏差值，見公式（2），通過公式（3）自由度查卡方分布表查概率值大小來驗證假設是否成立，成立則屬于非物聯網設備屬性，否則為物聯網設備屬性。通過卡方比對每一個鍵名獲得屬于物聯網設備的所有鍵名屬性特征，計算屬性特征出現的頻率最終選擇33個鍵名作為協議部分特征。

圖4 四格圖表法

（4）整合特征：整合統計特征和協議特征，形成特征向量集，如表1所示。

表1 統計和協議特征集合

提取物聯網地址集里面所有地址的統計特征和協議特征。對統計特征進行歸一化，對協議特征進行one-hot編碼，即設備特征頭部字段中有協議特征字段則標為1，沒有協議特征字段則標為0，最終形成具有37維特征的物聯網設備特征向量，部分設備特征集提取處理后效果如圖5所示。

圖5 部分設備特征集提取處理集合

2.3 相似性度量及新設備發現

通過對比決策樹（DT）、隨機森林（RF）、K近鄰（KNN）和邏輯回歸（LR）四類分類器對標注物聯網設備進行分類，并對比文獻[9]特征提取方法，證明我們特征提取的有效性。

由于我們的特征向量是基于響應報文提取的偏向于用文本相似性去度量兩個樣本的異同，因此本文采用余弦距離作為相似性度量。結合文獻[10]可知余弦距離也可表達與歐氏距離一樣的意義，歐氏距離d（x,y）、余弦相似度cos（x,y）、余弦距離D（x,y）三者關系如公式（4）所示：

每一類設備代表一個分類簇，用余弦距離找出各簇已標記設備品牌類型中心點，每一個簇代表一類設備，計算各簇中心到簇內最遠點余弦距離D，計算平均余弦距離Dˉ。導入新數據集用Dˉ作為閾值進行層次聚類來發現新設備。

2.4 算法描述

根據Web信息的物聯網設備指紋生成框架，給出實驗的相應算法步驟如下：

（1）掃描IPv4空間中開放web端口服務的IP地址，形成IP地址集；

（2）獲取IP地址集的原始響應信息，包括響應頭部信息和響應主體信息；

（3）隨機選出樣本集進行物聯網和非物聯網標記并通過人工驗證的方式為物聯網設備打上品牌類型標簽；

（4）對原始響應信息中物聯網和非物聯網設備頭部信息進行卡方校驗提取適合物聯網設備使用的協議特征并加入統計特征形成總體樣本集I={a1,a2,…,an}，其中ai代表第i個樣本的37維特征向量；

（5）對樣本集進行特征提取、預處理和歸一化；

（6）對比決策樹（DT）、隨機森林（RF）、K近鄰（KNN）和邏輯回歸（LR）四類分類器，選擇分類準確率最高的KNN分類器作為設備分類器，并比較其他文獻提取特征的分類準確率；

（7）輸入已知設備集合X，按品牌類型劃分為k簇，在每簇中間利用公式（4）代入計算簇內余弦相似度的和,則和值為極大時表示此點為本簇中心O，得到K簇中心為Y；

（8）計算各簇中心到各簇點的余弦距離，并記錄下各簇余弦距離最大值D，求出余弦平均值Dˉ：

（9）導入新數據集M個，其中包含已標注數據集N個，設置當前聚類簇個數為M，計算兩兩之間的余弦距離，設置距離閾值為2Dˉ，選擇AGENS算法進行聚類，當余弦距離小于2Dˉ則合并，直到所有距離都大于2Dˉ時停止聚類。

3 實驗與評估

3.1 數據采集

本文采用主動采集的方式，為避免對IP網段造成干擾，通過對在線設備運用了IP隨機化探測的方式向網絡中一段IP地址進行隨機化端口開放探測，探測到開放IP地址端口的設備上百萬個，并對探測到的特定端口（如80-85、8080、8090等）發送HTTP-get訪問請求，獲取到如圖6所示的響應狀態碼分布情況信息，其中200ok表示請求已成功，請求所希望的響應頭或響應體將隨此響應返回，出現此狀態碼是表示正常狀態，基于只有直接暴露在互聯網中的設備才容易被利用和攻擊的假設，我們提取響應狀態碼為200ok的設備響應信息作為我們的研究對象，我們提取了占采集數據46.11%的響應信息。

圖6 響應狀態碼基本分布情況

3.2 實驗結果分析

本實驗基于“相同品牌相同類型相同型號的設備的響應信息會大致相同”作為假設來進行，通過隨機提取部分響應狀態碼為200ok的設備數據124708個作為我們的實驗數據，經篩選字段后用人工校驗的方式為目標設備添加品牌類型標簽，標記后有標簽的品牌類型設備有二十幾種，如表2所示。其中包含路由器、網絡攝像頭、網絡電源交換機、網絡存儲器、工控設備等多種物聯網設備，結合標簽設備數目選擇其中標記數目大于500的11種品牌設備每種取樣500個作為下一步機器學習的數據集，至此完成有監督設備數據集的提取。

表2 標記的帶標簽品牌和數目

選擇決策樹（DT）、隨機森林（RF）、K近鄰（KNN）和邏輯回歸（LR）分類器來做分類器對比實驗，并設置其參數在其分類器上表現最優，經過十折交叉驗證后的F1-Score值分別為RF-99.82%、DT:99.70%、KNN:99.91%、LR:93.06%，圖7混淆矩陣清楚的展示了四類分類器的分類效果，可以看出KNN分類器效果最佳。

圖7 DT、RF、KNN、LR各分類器混淆矩陣

利用KNN分類器對比文獻[9]提出的特征方法，如表3所示，經對比在各品牌上的召回率、準確率和F1-Score值，本文提取的特征都更加有效。針對分類器錯誤分類的品牌設備進行分析，導致分類錯誤的原因主要有兩個：一是某些品牌設備在后期會被其他品牌收購兼并冠上新設備品牌名稱；二是我們在標記的時候籠統的把品牌類型作為主要目的而沒有去關注型號。

表3 文獻[9]與本文特征提取算法的設備分類效果

計算距離閾值，用帶閾值的層次聚類算法在未標記的數據集中進行新設備類型發現，經人工校驗后發現上百種新品牌類型，經人工檢驗后部分新設備品牌類型如圖8所示。

圖8 新發現部分設備品牌

4 結語

本文提出了一種基于頭部字段Header和統計相結合的設備指紋特征生成方法。該方法便于提取，易于實現。通過比較分類器，實驗結果表明此方法在設備品牌類型上能很好進行設備品牌及類型的提取和分類，最后應用基于距離閾值的層次聚類方法發現諸多新品牌類型設備，便于開展大規模設備探測。