基于行為足跡的多模態融合身份認證

林夢琪，張曉梅

（上海工程技術大學電子電氣工程學院，上海 201620）

0 概述

隨著移動互聯網和移動設備的不斷發展，以智能手機和平板電腦為代表的便攜式移動電子設備在很大程度上改變了人們的生活方式，也成為現代人生活中不可或缺的工具。現有研究表明，92.8%的用戶習慣將隱私信息存儲至智能手機中，并且有62%的用戶并沒有為智能手機設置密碼［1-3］。移動設備通常存在著較大的安全隱患，隱私信息的泄露會造成個人經濟財產的損失，因此需要給移動設備實施安全認證［4-5］。傳統的移動設備認證方式［6-8］主要包括圖形密碼認證、指紋認證、面部識別等，但這些認證方式較為頻繁，每次喚醒設備都要進行驗證，給用戶帶來了極大的不便，而且安全性較低，容易被攻破［9-10］。除了傳統認證方式之外，基于生物行為特征的持續隱式認證也是近年來研究的熱點，通過采集用戶的行為特征等信息識別出當前使用者的身份，并且對用戶進行持續不間斷的隱式認證，能夠兼顧用戶體驗度與設備安全性［11-12］。文獻［13］利用手機觸摸屏采集用戶的滑動行為，調用手機自帶的傳感器，通過用戶與觸摸屏之間的交互行為特征進行認證。文獻［14］結合長文本和自由文本，提出基于動態擊鍵的用戶認證方式。文獻［15］使用可穿戴式的加速度傳感器進行步態認證和識別，將加速度傳感器附著在受試者褲袋上采集步態特征。文獻［16］介紹聲音行為，根據用戶的說話方式和模式來識別和認證用戶。

在實際應用場景中，由于環境的不可預測性，單模態的身份認證受到限制，同時單模態特征由于特征單一，容易被仿造或攻擊［17］。目前，研究人員逐步將單模態認證轉換為多模態認證，與基于單一交互信息源的身份認證方式不同，基于多模態特征的隱式身份認證具有更高的準確率且難以被偽造。文獻［18］通過用戶使用設備時的時空、環境、步態、生物和行為特征，提出一種基于多特征融合的隱式身份認證方案。文獻［19］通過在智能手機上挖掘能持續認證的行為習慣提出身份認證方案，使用Wi-Fi、藍牙、活動、位置、應用程序、呼叫和短信數據來構建用戶交互行為，得到了98.3%的認證準確率。雖然目前生物行為特征的連續身份驗證應用越來越廣，但基于單一交互信息源的單模態認證方法只適用于特定操作或場景。為解決這一問題，本文提出基于用戶行為足跡的多模態特征融合的隱式認證方法，采用多模態生物特征來適應不同環境，并從移動設備中獲得不同的傳感器數據，通過多特征融合模型得到最終的身份認證結果。

1 多模態特征融合模型

在用戶使用手機的過程中，手機自帶的眾多傳感器會產生大量與用戶身份有關的數據。利用這些原始數據提取出多種有效特征，并通過機器學習算法對特征進行訓練和融合，得到多模態特征融合模型，實現對用戶身份的持續認證。本文主要采集觸摸屏、加速度傳感器、GPS 傳感器、陀螺儀傳感器、壓力傳感器和磁場傳感器數據。

1.1 用戶與觸摸屏的交互

文獻［13］通過實驗證明簡單的觸摸動作就能驗證用戶身份，所收集的數據包括屏幕上的壓力、手指覆蓋的屏幕面積、手指相對于屏幕的方向和位置。本文將觸摸屏數據與壓力傳感器數據歸類為用戶與觸摸屏的交互數據。

1.2 用戶使用手機的移動模式

在用戶使用手機的過程中，手機自帶的加速度傳感器主要用于捕捉手機的運動模式，記錄3 個軸上的加速度，如圖1（a）所示。加速度傳感器用于檢測手機向某一個軸方向的線性變化，而陀螺儀傳感器可以全方位得到手機在空間上位移的變化。陀螺儀傳感器也有3 個軸，每個軸都帶有一個角度分量，如圖1（b）所示。通過加速度傳感器和陀螺儀傳感器可以確定用戶移動模式。

圖1 手機移動模式Fig.1 The movement mode of moblie phone

1.3 用戶經常所處的物理位置

GPS 傳感器用于記錄位置信息。文獻［20］提出一種基于用戶歷史位置信息的主動認證方案，通過實驗證明該方案可與其他模式的特征進行融合來提高認證性能。對于利用磁場傳感器數據進行認證的情況較少，并且本文通過實驗發現磁場傳感器數據與用戶身份的相關性較小，因此本文采用GPS 傳感器數據作為用戶所處的物理位置。

2 數據采集

采用自建數據集，在不同型號的3 部手機上對5 名女性和7 名男性進行實驗，其中有2 名用戶為左利手。基于Android Studio 平臺開發一款電子書e-book 軟件，讓用戶選擇自己感興趣的文章導入電子書，采集真實有效的閱讀數據。數據采集過程如圖2 所示，軟件會在用戶滑動手機時調用內置傳感器，同時后臺記錄用戶在手機屏幕上滑動時所產生的一系列特征數據。為保證數據有效性并減少誤差，要求每位用戶至少進行8 次數據采集，每次采集時長不小于30 min，至少獲得3 000 條軌跡信息。

圖2 數據采集過程Fig.2 Process of data collection

在實驗中采集的數據為原始數據，需要經過處理后才可進行數據分析。例如，在閱讀過程中選擇章節、退出等操作時會產生很多點動數據。這些點動數據往往是無序隨機的，并且與用戶的相關性較小，因此需要將點擊屏幕的數據判斷為異常值。

實驗采用拉依達準則［21］剔除異常值，主要操作步驟如下：

1）假設數據是通過等精度的設備得到，將其定義為x1，x2，…，xn。

3）按貝塞爾公式計算標準差σ：

4）判斷該組數據xb的殘差vb(1≤b≤n)，若滿足，則認為xb是含有較大誤差的異常值，將其剔除。

在去除異常值后，得到部分用戶的滑動軌跡如圖3 所示，可以看出不同用戶的滑動軌跡明顯不同，相同用戶的滑動軌跡走向非常相似。

圖3 部分用戶的滑動軌跡Fig.3 Sliding track of some users

3 特征選擇

實驗采集的原始數據包括在觸摸時的所有傳感器數據以及產生每條數據的用戶ID 信息。本文將傳感器數據分為用戶與觸摸屏的交互、用戶使用手機時的移動模式、用戶經常所處的物理位置3 類特征，經過特征分析處理后得到新特征，然后剔除無用的特征，得到最終選擇的特征。

3.1 原始特征

實驗通過調用手機的內置傳感器進行數據采集，記錄用戶操作手機時所產生的一系列行為，選出一部分常用且便于理解的數據作為原始特征。用戶與觸摸屏的交互行為包括手指接觸屏幕的壓力、滑動過程中的x和y方向的速度、每條滑動軌跡經過的點坐標。在數據采集過程中，利用手機在空間移動產生的加速度表示用戶使用手機時的移動模式，采用經度和緯度表示用戶在使用手機時的物理位置。原始特征設置如下：

1）Time，表示采集時間。

2）TouchType，表示觸摸類型，其中，0 代表按下，1 代表抬起，2 代表滑動。

3）XCoordinate，表示x坐標。

4）YCoordinate，表示y坐標。

5）Pressure，表示壓力。

6）XVelocity，表示x方向的速度。

7）YVelocity，表示y方向的速度。

8）X_ACC，表示x方向的加速度。

9）Y_ACC，表示y方向的加速度。

10）Z_ACC，表示z方向的加速度。

11）X_GYRO，表示x方向的陀螺儀數據。

12）Y_GYRO，表示y方向的陀螺儀數據。

13）Z_GYRO，表示x方向的陀螺儀數據。

14）X_MAG，表示x方向的磁場數據。

15）Y_MAG，表示y方向的磁場數據。

16）Z_MAG，表示z方向的磁場數據。

17）Latitude，表示緯度。

18）Longitude，表示經度。

3.2 經過處理的特征

將通過手機傳感器得到的原始數據按照不同特征進行可視化處理，對于區分度明顯的特征予以保留，區分度不明顯的特征則需要進行處理，形成具有明顯區分度的新特征再加以使用。

如圖4 所示，YCoordinate 和Z_ACC 特征對于用戶原始數據進行可視化后區分度極低，不同用戶對于該特征所表現出的結果相差不大，不能很好地表征不同的用戶，因此需要對該特征進行處理得到新的特征。

圖4 部分用戶的YCoordinate 和Z_ACC 特征Fig.4 YCoordinate and Z_ACC feature of some users

由于相同用戶的滑動軌跡偏轉角度相似，不同用戶的偏轉角度相差較大，因此需要對偏轉角特征進行處理得到新的特征。如圖5 所示，為獲得一條軌跡起點到終點的偏轉角θ，計算該條軌跡的起點和終點的坐標之間的向量A1An，使用向量A1An的余弦值來表示偏轉角Angle。

圖5 滑動軌跡示意圖Fig.5 Schematic diagram of sliding track

假設起點和終點在手機屏幕上的坐標為A1(x1，y1)和An(xn，yn)，則有：

將部分用戶的數據以滑動軌跡的偏轉角可視化顯示，如圖6 所示，可以看出相同用戶的點基本分布在一個范圍內，而不同用戶的點所在范圍差異較大，因此滑動軌跡的偏轉角特征可以較好地區分不同的用戶。

圖6 部分用戶的偏轉角特征Fig.6 Deflection angle feature of some users

在計算向量A1An余弦值的過程中發現，不同用戶滑動軌跡的向量A1An長度也有所差異，因此可作為一個新的特征來區分用戶。

由圖5 可知，一條軌跡由很多個離散的點構成，為求得一條軌跡的長度，可以按照式（6）計算每兩個連續的點之間的歐氏距離，然后進行累加得到軌跡長度Track_Length。

將部分用戶的數據以滑動軌跡的長度可視化顯示，如圖7 所示，可以看出相同用戶的點基本分布在一個范圍內，而不同用戶的點所在的范圍差異較大。在實際生活中，不同用戶的手指長度也有所差異，且手持手機的方式不同，會造成滑動軌跡的長度不同，因此滑動軌跡的偏轉角特征可以較好地區分不同用戶。

圖7 部分用戶的軌跡長度特征Fig.7 Track length feature of some users

3.3 其他特征

在實驗中發現，通過對編號為3～13的原始特征（以XCoordinate 為例）計算每次滑動過程的均值（XCoordinate_Average）、方差（XCoordinate_Std）、最大值（XCoordinate_Max）、最小值（XCoordinate_Min）、起始點（XCoordinate_Start）、終止點（XCoordinate_End）、波動范圍（XCoordinate_Range）共獲得77 個新特征，更能體現用戶的差異性，其中XVelocity和YVelocity在滑動結束時為0，整段滑動過程中的最小值也為0，屬于無效特征，需要剔除，因此共得到73個新特征。加上每次滑動的持續時間（Time）和用戶所處位置的經度（Longitude）、緯度（Latitude）以及偏轉角（Angle）、向量長度（Vector_Length）、軌跡長度（Track_Length），共得到79個特征。其中，屬于用戶與觸摸屏的交互的特征有35個，屬于用戶使用手機時的移動模式的特征有42個，屬于用戶經常所處的物理位置的特征有2個。

4 基于用戶行為足跡的多模態融合身份認證

本文選擇3個維度的特征共同對用戶進行識別和認證，分別是用戶與觸摸屏的交互、用戶使用手機時的移動模式、用戶經常所處的物理位置。由于這3 個維度包含不同類型的特征，為起到共同認證用戶的作用，因此需要對這3個維度的特征進行融合。

4.1 身份認證框架

為實現用戶身份識別，本文構建基于行為足跡的多模態融合身份認證框架，如圖8所示。

圖8 多模態特征融合的身份認證框架Fig.8 Identity authentication framework of multi-modal feature fusion

身份認證過程具體如下：

1）數據采集。在用戶滑動手機時調用內置傳感器，包括觸摸屏、加速度傳感器、GPS 傳感器、陀螺儀傳感器、壓力傳感器和磁場傳感器，同時后臺記錄用戶在手機屏幕上滑動時所產生的一系列特征數據。

2）特征選擇。對小樣本數據進行調研，選擇與用戶身份相關度較高的特征，并從選出的特征中提取出新的特征，通過互信息法計算特征與用戶ID 之間的互信息量，去除低互信息量的特征。

3）模型訓練與特征級融合。特征級融合是先將所有特征放在一起，再選擇分類器對特征進行訓練。決策級融合是先將不同維度的特征進行訓練得到一個可信分數，再將不同維度返回的分數融合在一起，最終得到基于行為足跡的多特征融合模型。

4）持續隱式身份認證。用戶在使用手機的過程中，若要訪問更高權限的內容，需在移動端獲得傳感器數據，將數據存入生成模型中得到認證結果，若認證通過則可以繼續訪問手機，若不通過則需要使用顯示的認證方式，如輸入密碼。

4.2 特征級融合

特征級融合發生在特征分類之前，主要利用特征選擇技術，從融合的所有特征中找到能最大限度提高分類器性能的特征，最終采用分類器獲得分類結果。

互信息［22］是度量兩個事件集合之間的相關性。假設有兩個離散的隨機變量X和Y，它們之間的互信息量可以定義如下：

其 中：p(x，y)是X和Y的聯合概率分布函數；p(x)和p(y)是X和Y的邊緣概率分布函數。

若X和Y是兩個連續的隨機變量，則互信息量可以表示為二重定積分的形式：

其 中：p(x，y)是X和Y的聯合概率密度函數；p(x)和p(y)是X和Y的邊緣概率密度函數。

為得到能最大限度提高分類器性能的特征，先計算各維度中特征之間的互信息量，若兩個特征之間具有強相關性，只選擇其中一個特征作為表征用戶的特征。在篩選完特征后，計算特征與用戶ID 之間的互信息量，去除低信息量的特征。通過熱度圖的方式表現特征之間的互信息量，并將特征與用戶ID 之間的互信息量從大到小排序，部分結果如圖9所示。

圖9 各維度中特征及特征與用戶ID 之間的互信息量Fig.9 The mutual information between features and between features and user ID in each dimension

通過計算各維度中特征與用戶ID 之間的互信息量可以得出，Pressure_Start 和Pressure_End 與用戶ID的互信息量為0，說明它們不能提供任何信息量，在本文中選擇刪除該特征，而YCoordinate 提取出的所有新特征與用戶ID 之間的信息量都比較高。采用互信息法進行優質特征選擇后，直接將這些特征進行融合，再選擇一個分類器對用戶進行識別和認證。

4.3 決策級融合

決策級融合指的是對于不同維度的特征，選擇使用不同的分類器進行分類，得到基于每個維度選擇的分類器結果后將所有結果進行融合，最終得到唯一的分類結果，如圖10 所示。

圖10 決策級融合過程Fig.10 Process of decision-level fusion

在圖10 中，F1、F2和F3表示本文提出的3 個維度的特征，C1、C2和C3表示選擇的分類器，分別得到一個二元分類結果[ -1，1]，通過融合中心進行計算，最終得到唯一的認證結果。文獻［23］提出一種決策級融合規則，具體表示如下：

其中：ui表示通過分類器Ci得到的分類結果。融合中心通過最小化全局貝葉斯風險來結合這些局部分類結果。決策級融合規則進行如下似然比檢驗：

其中：H1和H0分別表示合法用戶和非法用戶；P1和P0表示判斷用戶為合法的概率和判斷用戶為非法的概率。在該情況下，得到最終的決策級融合結果為：

其中：PMi表示錯誤拒絕率（False Rejection Rate，FRR），即不該拒絕的樣本中拒絕的比例；PFi表示錯誤接受率（False Acceptance Rate，FAR），即不該接受的樣本中接受的比例。根據式（13），最終得到[ -1，1]的二元分類結果。決策級融合方式適用于不同維度的數據，尤其是數據不統一的情況。

5 實驗與結果分析

利用兩種融合方式對12 名用戶進行身份認證實驗。采用樸素貝葉斯分類器對用戶進行分類識別，圖11 給出了兩種不同融合方式下的ROC 曲線，可以看出在只有物理位置特征的情況下，認證準確率很低，說明僅依據物理位置特征無法對用戶進行認證，而在特征級融合和決策級融合兩種方式下，準確率分別為98.2%和98.7%，AUC 值幾乎達到1。與單一模態下的識別結果不同，融合3 個維度的特征后能夠得到更優的分類結果。通過計算認證結果的等錯誤率（Equal Error Rate，EER）證明，在單一模態的驗證下EER 均在15%以上，而融合后的多模態認證模型的EER 下降至1.7%左右。

圖11 兩種融合方式下的ROC 曲線Fig.11 ROC curve under two fusion modes

兩種融合方式下的F1 分數如圖12 所示，特征級融合和決策級融合的認證效果相差不大，但均比單一模式的認證效果好。

圖12 兩種融合方式下的F1 分數Fig.12 F1 score under different fusion modes

圖11 與圖12 均是在三星Galaxy C5 手機上所得的實驗結果，本文還分別在VIVO Y83 和華為mate7 手機上對相同用戶采集數據進行實驗，結果數據如表1 所示，可以看出不同設備在單模態下的各指標認證結果波動較大，魯棒性較差，而多模態特征融合下的認證結果明顯優于單模態，各手機設備的特征融合認證結果較穩定，并且決策級融合方式略微優于特征級融合方式。

表1 單一模態與多模態融合身份認證性能對比Table 1 Performance comparison of identity authentication of single-modal and multi-modal fusion

然而，在不同數據集和不同用戶上進行實驗，不同特征的表現會有所不同，例如文獻［24］介紹了對于應用程序使用、Web 瀏覽和GPS 定位的認證性能，通過實驗得出性能最好的是基于物理位置的認證模型，而本文在基于物理位置的模式下對用戶進行認證并沒有得到最好的結果，計算得到的EER 為35.5%，說明這一特征不具有很好的穩定性，因此若只選用單模態下的特征進行認證，結果可能存在偶然性，在不同數據集中會有不同的表現。為使認證模型具有更強的適應能力，采用多模態融合的身份認證是更好的選擇。

6 結束語

本文提出基于用戶行為足跡的多模態特征融合身份認證方法，采集移動設備的觸摸屏、加速度傳感器、GPS 傳感器、陀螺儀傳感器、壓力傳感器和磁場傳感器數據，利用這些原始數據提取多種有效隱式特征，并通過機器學習算法對特征進行訓練和融合得到多模態特征融合模型，實現對用戶身份的持續隱式認證。實驗結果表明，與單模態特征身份認證方法相比，該方法具有更高的認證準確率和穩定性，且難以被偽造和攻破。下一步將優化本文多模態特征融合模型并對其進行跨設備應用，以實現同一用戶在不同設備上的身份認證。