智能化的安卓手勢密碼取證關鍵技術

裘佳浩，邱衛東，王楊德，查言，謝宇明，李巖

智能化的安卓手勢密碼取證關鍵技術

裘佳浩1，邱衛東1，王楊德1，查言1，謝宇明1，李巖2

（1. 上海交通大學網絡空間安全學院，上海 200240；2. 司法鑒定科學研究院上海市司法鑒定專業技術服務平臺司法部司法鑒定重點實驗室，上海 200063）

在電子數據取證中，如何對手機等移動設備進行屏幕解鎖一直是亟待攻克的難題。將手勢圖形密碼這種廣泛應用于手機屏幕解鎖以及軟件訪問授權的密碼防護機制作為研究對象，針對已有的手勢圖形密碼還原技術存在的隱蔽性差、實用性低、非智能化、場景單一等弊端，從肩膀沖浪、監控攝像、現場取證等場景中抽象出兩個基本的威脅模型，提出一種多場景下的手勢圖形密碼側信道攻擊技術方法。該方法以監控攝像頭或人工拍攝視頻數據為基礎，采用智能視覺識別技術，實時而動態地對視頻中目標設備和解鎖生物關鍵點進行識別、選擇與跟蹤；隨后采用空間映射和剪枝算法，將離散的跟蹤軌跡進行整合，使用降噪算法對跟蹤軌跡進行去冗余和優化，定位出視頻中繪制手勢圖形密碼的關鍵轉折點；最后將精簡的軌跡與手勢圖形密碼的規則進行比對和匹配，根據置信度對實際繪制的手勢圖形密碼進行猜測和還原。實驗結果表明，在監控攝像場景中，即設備屏幕可見場景下，所提技術對手勢圖形密碼的10次嘗試成功率為89%，20次嘗試成功率為99.3%；在面對面拍攝場景中，即屏幕和手部關鍵點被遮擋情況下，10次嘗試成功率為82%，20次嘗試成功率為89.3%；拍攝水平距離的增加在監控攝像場景下對成功率的影響較明顯，但隨著嘗試次數的增加影響逐漸降低；復雜密碼在所提技術中無法起到更好的保護作用，在20次嘗試內，復雜密碼的破解成功率始終高于簡單密碼；拍攝角度偏轉在5°以內對破解成功率幾乎沒有影響。

手勢圖形密碼；智能視覺識別；電子數據取證；側信道攻擊

0 引言

隨著移動互聯網時代的到來和發展，手機如今已經是人人必備的互聯網終端設備。由于其承載著大量個人數據以及用戶隱私，以手機為代表的移動設備安全防護技術以及取證技術一直是安全領域的研究熱點之一。在對手機等移動設備的取證過程中，如何對手機進行屏幕解鎖是一個難題。本文希望找到一個更加快捷、隱蔽、智能的方法幫助解決這一問題。

手勢圖形密碼是一種基于圖形的密碼。手勢圖形密碼早期應用場景是安卓手機的屏幕解鎖，后來擴展到軟件應用內部的身份認證和訪問授權。一般來說，手勢圖形密碼是連接3×3網格中一系列點構成的一筆畫圖案。

研究表明，相對于PIN碼或基于文本的密碼，手勢圖形密碼具有更加易于記住和回憶的特點[1]，因而其在移動設備上的使用范圍較PIN碼及文本密碼更廣。根據2017年的一項調查[2]，73%的受訪者在移動設備上選擇使用手勢圖形密碼進行屏幕解鎖或者常見應用的訪問授權，如PayPal、支付寶、郵箱等。因此，如何對用手勢圖形密碼保護的涉案設備進行取證，是非常值得討論和研究的課題。

近年來，研究者指出了一些手勢圖形密碼潛在的安全威脅，提出并論證了一些破解手勢圖形密碼的攻擊方法的有效性，這些技術可以應用在對手機等涉案移動設備的取證中。常見的破解手勢圖形密碼的技術通常是側信道攻擊，即通過解密時用戶或者設備本身泄露出來的一些信息進行非侵入式地還原手勢密碼，如Aviv等[3]提出的涂抹攻擊、Zhang等[4]提出的無線信號攻擊、Abdelrahman等[5]提出的熱學攻擊、Zhou等[6]提出的聲學攻擊等。但是大部分包括上述攻擊在內的針對手勢圖形密碼的還原方法在實際應用中面臨著許多限制，存在著對攻擊環境要求較高、實施攻擊設備要求較高等問題。

2017年，Ye等提出了一種基于視頻的手勢圖形密碼破解算法[2]，攻擊者在拍攝一段用戶繪制手勢圖形密碼的視頻后，人工對視頻進行剪輯、標注目標設備和指定繪制密碼指尖，然后對指尖的軌跡進行跟蹤，從而還原出手勢圖形密碼。這種攻擊方法的優勢是不需要接觸受害者的手機設備，拍攝過程隱蔽不會引起受害者的警覺而導致更換密碼。在該研究中，作者定義了基于視頻的攻擊場景，即基于攝像頭視角的、關鍵部位可見場景。該工作嚴重依賴于指尖的捕捉和連續跟蹤，一旦視線遮擋或者跟蹤目標丟失就會導致攻擊失敗。除此之外，攻擊過程中大量的人工干預是其難以在實際場景中應用的原因，包括視頻剪輯、手動定位指尖、判斷起始結束時間等。

為了探究手勢圖形密碼存在的安全隱患，以及探討如何將其作為電子取證中的一個突破點，本文分析并總結了多種在實際應用場景下針對手勢圖形密碼的威脅模型。同時，結合人工智能領域前沿的計算機視覺算法，本文提出并實現了對手勢圖形密碼更實用且更有效的破解和取證方法。通過捕捉手部其他關鍵點的運動軌跡，在更一般、更真實、更廣泛的遮擋場景下，即無法捕獲繪制手勢圖形密碼指尖的情況下，也能實現對手勢圖形密碼的破解。

1 相關工作

1.1 威脅場景

隨著互聯網的普及，手機等移動設備的使用場景越來越多，面臨的攻擊威脅也越來越多。在實際生活中，攻擊威脅不僅來自手機內部各種惡意軟件的非授權訪問和數據竊取，同樣來自手機外部環境中。手機等移動設備的安全性和隱私性面臨著以下幾個經典的威脅場景。

（1）肩膀沖浪

肩膀沖浪攻擊指的是在未經他人同意的情況下，觀察他人手機等移動設備上的個人數據和隱私信息等行為[7]。在這種場景下，觀察者難以觀察到實際有用的信息（文獻[7]中收集的189個攻擊樣本，僅有13個樣本包含PIN碼或密碼），并且容易引起被攻擊者的警覺，因此被認為是低風險的[2]。盡管如此，仍然有一些研究[8-10]針對肩膀沖浪攻擊提出了防御手段。

（2）監控攝像

隨著監控攝像在各種場合的廣泛分布和清晰度的日益提升，其對個人隱私的威脅也在逐步增加。針對監控攝像和個人隱私之間的矛盾[11-13]，部分學者提出了一些解決方案[14-15]，但是監控攝像存在的威脅仍然不能忽視。

（3）現場取證

現場取證行為通常是隱蔽的，指的是攻擊者在受害者不知情的情況下，通過設備對用戶行為進行記錄，進而分析獲得敏感數據的行為。不同于肩膀沖浪容易引起察覺，這一類攻擊通常有專業工具的輔助，并且能夠在遠距離的情況下實施攻擊。前人的工作證明可以通過智能手表等可穿戴設備實現密碼竊取等攻擊[16-18]，可以在5 m甚至8 m的距離下通過視頻取證的方式進行現場取證[19]。

1.2 基于視頻的密碼破解與取證技術

近年來，計算機視覺算法的發展使針對手機等移動設備的視頻取證技術得到進步，安全從業人員也提出了許多基于視頻的破解移動設備身份認證機制的取證方法。

在文獻[20-22]中，研究者提出了基于視頻破解手機PIN碼的方法，在此基礎上，文獻[23-25]將破解的密碼從數字PIN碼擴展到基于文本的密碼。但是這些取證技術都是在成功捕獲手機屏幕的基礎上進行的，一旦拍攝視角受限，或者用戶在鍵入密碼時有意識遮擋屏幕，取證就容易失敗。

與本文的研究十分相似的是Shukla等在文獻[19]中提出的針對文本密碼的破解技術。他們的方法可以在較遠距離的情況下，不引人注目地拍攝一段5～10 s用戶輸入密碼的視頻片段，在不需要捕獲手機屏幕的情況下破解用戶文本密碼。與Ye等在文獻[2]中的研究對應，Shukla等對基于視頻的攻擊場景進行擴展，提出了關鍵部位遮擋情況下，面對面拍攝視頻的攻擊場景。

1.3 手勢圖形密碼破解

在Android 6.0以前的版本中，系統會根據用戶設置的密碼類型生成對應的key文件，將手勢圖形密碼按照點線順序轉為序號，計算SHA-1散列值并存儲為gesture.key文件。取證人員可以采用兩種方法破解或者繞過手勢圖形密碼：使用root權限刪除或者替換gesture.key、提前計算包含所有手勢圖形密碼哈希值的彩虹表進行碰撞。在Android 6.0之后的版本中，Google引入了Gatekeeper等一系列安全機制，上述方法在新的系統中幾乎很難生效。

研究者提出了從其他角度破解手勢圖形密碼的思路。2010年，Aviv等[3]嘗試用手機屏幕上的油性殘留物來破解手勢圖形密碼。這種攻擊方法需要在理想化的環境下進行，手機設備在解鎖前和解鎖后必然都有其他手指活動的痕跡。2016年，Zhang等[4]提出繪制手勢圖形密碼期間無線信號的差異可以重建手勢圖形密碼，但是需要訪問目標設備連接的路由器并進行復雜配置才能攻擊，而且受環境中其他移動物體的影響較大，很難真正在實際場景中應用。2017年，Abdelrahman等[5]將熱成像設備引入手勢圖形密碼的破解中，取得了不錯的效果。但是熱成像需要專業的設備近距離拍攝用戶解鎖后的屏幕，成功率隨著時間的推移下降。而他們的攻擊對于有重疊線段的手勢圖形密碼來說無計可施，成功率僅為16.67%。Zhou等[6]發現聲音信號也會受到手勢圖形密碼繪制過程的影響，因此提出了一種聲學攻擊方法，但是這種方法甚至需要在手機上安裝特定的軟件獲取揚聲器和麥克風權限。

2017年，Ye等[2]提出了基于視頻的側信道攻擊方法，通過拍攝一段攻擊者繪制手勢圖形密碼的視頻，成功從視頻片段中還原出手勢圖形密碼，這種方法使手勢圖形密碼在公共環境下受到的攻擊威脅大大增加。該方法是目前基于視頻的手勢圖形密碼還原的最佳方案，但是這種方法仍然存在缺陷，即需要捕捉手機屏幕和手指軌跡。

2 方法設計

2.1 概述

相較于前人的工作，本文提出的破解手勢圖形密碼的方法有以下幾點貢獻。

（1）本文綜合了前人在基于視頻的手勢圖形密碼側信道攻擊方案中提出的兩種攻擊場景（Ye2017[2]和Shukla2019[19]），首次在多場景上實現了手勢圖形密碼的破解還原，豐富了針對移動設備手勢圖形密碼的取證技術。

（2）本文創新性地提出了一種更簡潔、更有效的、基于跟蹤軌跡的啟發式手勢密碼還原算法，實現了從跟蹤軌跡到最終手勢圖形密碼的映射。

圖1 方法工作流程

Figure 1 Methodwork flow

（3）前人提出的攻擊和取證方法大多需要人工強干預，本文的取證方法通過目標檢測算法YOLOv3識別設備出現與否，代替人為裁剪視頻尋找攻擊起點；使用人體姿態識別算法OpenPose自動輸出手部關鍵點坐標，代替人工標注視頻幀中的關鍵點；使用啟發式手勢密碼還原算法代替人工判定或者暴力破解，從而實現整個破解流程的自動化。實驗結果表明，通過自動化處理方式在兩種攻擊場景下的識別成功率均可達到89%以上，與人工干預下的識別效率持平。

本文提出的手勢圖形密碼破解方法與其他文獻中提出方法的特征對比如表1所示，該方法有4個關鍵步驟：視頻拍攝、關鍵點檢測與跟蹤、軌跡生成與優化、候選手勢生成。圖1展示了整個方法的工作流程。

表1 手勢圖形密碼攻擊方法的特征對比

2.2 視頻拍攝

對用戶繪制手勢圖形密碼的過程進行視頻拍攝是整個方法的基礎和起點。在視頻拍攝過程中，場景的選擇和視角的選擇是這一步的重點。

基于監控攝像頭分布日益廣泛[26]和手機、平板等便攜式設備拍攝能力日益增強的現狀，本文提出的方案可以應用在兩類典型的場景中。

場景1 監控攝像

監控攝像頭的數量呈逐年增長趨勢，監控攝像的視角范圍和清晰度也在逐漸提升。由于監控攝像頭廣泛存在，被攝像者不會感到特別警惕。在涉及案件調查時，執法人員在取證過程中可以調取各類監控攝像的數據。在實際場景中，監控攝像布置位置離地約3 m，可以捕捉到手機屏幕和手指指尖。

場景2 面對面拍攝

與場景1最大的區別在于，拍攝者與被拍攝者面對面，視線南向手機背部，無法直接捕捉屏幕顯示內容和正在繪制手勢圖形密碼的指尖。

2.3 關鍵點檢測與跟蹤

采集到合適的視頻片段后，系統會自動選取合適的關鍵點進行跟蹤，以還原出形變最少、噪聲最小的軌跡。

2.3.1 關鍵點檢測

目標在視頻中的位置通常是隨機的，每個人手持手機的高度不統一，人在監控攝像視角下站立的位置也不固定，因此從視頻中檢測并定位手部關鍵點是一個難題。本文結合人工智能領域的相關算法，通過手機檢測、感興趣區域擴展、手部關鍵點檢測3個模塊實現手部關鍵點的檢測。為了防止視頻幀中非繪制密碼手的干擾，本文引入目標檢測算法YOLOv3[27]，訓練神經網絡使其能夠識別并定位圖像中手機的所在區域。接下來，算法對手機區域按比例適當向兩邊擴展放大，如式(1)～式(4)，在擴展區域內捕獲到的手就是繪制密碼手。裁剪擴展后的手機所在區域圖像，輸入開源人體姿態識別算法OpenPose[28]中，該模型能夠從圖像中輸出21個手部關鍵點的位置，如圖2所示。

Figure 2 21 key points of a hand

2.3.2 關鍵點選擇

在場景1及以場景1為代表的威脅模型中，手機屏幕與繪制手勢圖形密碼的指尖始終都是可見的。因此，在場景1中，算法只需要選擇指尖對應的關鍵點序號進行跟蹤即可。對于場景2，當指尖在視頻取證過程中無法被捕獲時，算法選擇運動軌跡和指尖同步的其他手部關鍵點進行跟蹤。在所有手部關鍵點中，部分關鍵點在繪制手勢圖形密碼過程中，其運動狀態和指尖幾乎是同步的，基于此算法選擇其他可見的手部關鍵點進行跟蹤。

2.3.3 關鍵點跟蹤

選定需要跟蹤的關鍵點后，本文使用CSRT[29]來跟蹤關鍵點的移動，并對手機角進行同步跟蹤用以校準。CSRT適合短期跟蹤場景，其跟蹤精度相較于其他跟蹤算法更高[29]，并且跟蹤過程自動化，不需要人為干預。

2.4 軌跡生成與優化

跟蹤算法能夠輸出目標在每一幀中的位置，將關鍵點的坐標通過當前幀中手機角的坐標進行校準后，逐幀繪制出來即原始軌跡。

圖3是跟蹤算法得到的原始軌跡，從圖中可以看出，原始軌跡通常是包含噪聲的，這些噪聲可能來自于繪制密碼時的冗余動作、拍攝者的抖動以及跟蹤算法本身精度上的缺陷。從原始軌跡中直接得到手勢圖形密碼是困難的，為此需要對軌跡進行優化。

圖3 原始跟蹤軌跡

Figure 3 Original trajectory from tracking

2.5 候選手勢生成

如何將優化后的關鍵點軌跡映射成可能的手勢圖形密碼是本節需要解決的問題。

如圖4所示，在所有可能的手勢圖形密碼中，線段長度和轉折點角度只能從固定的集合中取值。將圖4中同一行列的相鄰兩點之間的距離定義為1，長度可能取值集合如式(5)所示，角度集合如式(6)所示。

(6)

Figure 4 All possible segment lengths and turning angles of pattern locks

計算實際軌跡與標準手勢圖形密碼指尖角度特征的相關系數、長度特征的相關系數，以及標準手勢圖形密碼中角度與長度兩個特征之間的相關系數，結果如表2所示。實驗證明：① 兩個變量都可以用作映射的有效特征；② 角度特征對于映射的相關性較長度更高；③兩個特征之間的相關度很低，不能相互替換。

表2 相關系數計算結果

3 實驗分析

3.1 實驗設置

3.1.1 手勢圖形密碼選擇

對于手勢圖形密碼，是連接點的個數，是手勢圖形密碼長度，是交叉點的數量，是重疊線段的數量。根據式(13)，密碼強度與上述變量都呈正相關，并且所有合法手勢圖形密碼中，強度最高為46.8。本文實驗選用的150個手勢圖形密碼強度分布如圖5所示。

Figure 5 Distribution of pattern complexity score

3.1.2 取證場景模擬

2.2 節中聲明了應用本文取證技術的兩個場景，實驗時進行如下環境模擬。

1) 監控攝像：將錄像設備固定在2 m高的三腳架上模擬監控攝像，志愿者繪制手勢圖形密碼時，與錄像設備的水平距離設置為1 m、2 m和3 m。志愿者將手機放置在桌子上進行實驗，拍攝角度為前方和左側。

2) 面對面拍攝：兩名志愿者面對面進行實驗，一名志愿者手持拍攝設備，另一名志愿者手持手機，兩者間隔的水平距離分別是1 m、2 m和3 m，兩個設備位于同一高度。

3.2 實驗效果

整體的實驗效果如圖6所示。通常情況下，手勢圖形密碼有3～5次初始嘗試機會，此后每次嘗試需要等待一定的時間，等待時間隨著嘗試次數的增加而增加。從OPPO Reno 2為例，5次嘗試之后需要等待30 s，10次嘗試后需要等待5 min，具體數據會隨系統和軟件而異，本文選取20次作為最大嘗試次數。

在場景1的模擬實驗中拍攝了300個視頻樣本，包含150種手勢圖形密碼。在所有樣本中，10次嘗試成功率為89%，20次嘗試成功率為99.3%。

在場景2的模擬實驗中拍攝了150個視頻樣本，包含150種手勢圖形密碼。本文選擇小拇指根部作為跟蹤目標，即圖2中的第17號關鍵點。在所有樣本中，10次嘗試成功率為82%，20次成功率為89.3%。

圖6 不同嘗試次數下的破解成功率

Figure 6 Success rate of cracking pattern locks with different number of attempts

由于Ye等在文獻[2]中的工作不支持在無法捕捉手機屏幕和繪制密碼指尖的情況下破解手勢圖形密碼，并且文獻[2]中所用到的算法與數據集并沒有公開，因此本文的實驗結果無法與其進行全面對比。在場景1中，Ye等在文獻[2]中所做的工作為目前在相同場景下最好的手勢圖形密碼破解算法，在他們的數據集中，手勢圖形密碼的破解成功率超過95%；本文提出的取證技術能夠在無須人工干預的前提下，對于手勢圖形密碼的20次破解成功率達到99.3%，與文獻[2]中的實驗結果持平。對于場景2，Ye等的方案不能實現手勢圖形密碼的破解，無法進行對比。

3.3 水平距離的影響

水平距離對成功率的影響如圖7和圖8所示。在兩個場景中，垂直距離都是固定不變的。場景1中垂直距離為2 m，場景2中垂直距離為0，主要變化的是水平距離。

圖7 場景1水平距離對破解成功率的影響

Figure 7 Impact of filming distance on cracking in scenario 1

圖8 場景2水平距離對破解成功率的影響

Figure 8 Impact of filming distance on cracking in scenario 2

在場景1中，破解成功率隨距離增加降低。當水平距離為1 m時，5次嘗試可以破解70%的手勢圖形密碼，并且在所有嘗試次數中成功率始終高于2 m和3 m。20次嘗試后，3個距離的成功率相對接近。

在場景2中，3 m的5次以內嘗試成功率明顯高于1 m和2 m兩個距離，在5次及以上嘗試次數中，3 m的成功率不如1 m和2 m。總體來說，場景2在合適距離內，成功率受距離變化的影響不明顯。

3.4 密碼強度的影響

3.1節中討論了密碼強度公式，本文按照得分將手勢圖形密碼分為簡單、中等和復雜3類。密碼強度對破解成功率的影響如圖9所示。

圖9 密碼強度對破解成功率的影響

Figure 9 Impact of pattern complexity on cracking

一般來說，密碼越復雜，其安全性越高，抗攻擊能力越強。但是實驗結果證明，密碼強度對于本文的破解方法影響不大，即復雜密碼并不能有效抵抗本文提出的方法，甚至在所有嘗試中，復雜密碼的破解成功率一直高于簡單密碼。

分析其原因，本文提出的方法進行軌跡到手勢圖形密碼的映射時，將每一個手勢圖形密碼進行3個點為一組的拆分，因此長度、連接點的個數對于本文的取證方法影響不大。除此之外，繪制復雜手勢圖形密碼時用戶傾向于更加細致，動作變形更少，并且視頻中泄露的手勢圖形密碼信息會更多，因此復雜密碼破解成功率比簡單密碼有少量提升，這與Ye等在文獻[2]中的研究結果一致。

3.5 拍攝角度的影響

在場景1中，選取了前方和左側兩個拍攝角度，并且讓志愿者坐在左、中、右3個不同的位置，即共計6種拍攝角度。算法通過檢測人臉方向來自動判斷監控攝像和手機設備之間的方位關系，并對軌跡進行對應方位的旋轉處理。實驗結果表明，監控攝像在左側的破解成功率更高，可能是一般用戶習慣用右手繪制手勢圖形密碼，左側視角拍攝遮擋更少造成的。

在場景2中，由于手機是被拍攝者手持的狀態，一般無法精確地以垂直于手機屏幕的視角拍攝。實驗發現，當拍攝路徑與手機屏幕的垂面夾角度數在5°以內時，對成功率幾乎沒有影響。

4 結束語

本文提出了一種智能化的基于視頻的多場景手勢圖形密碼分析與還原技術方法，在特定場景下能夠實現對手勢圖形密碼的有效破解。雖然前人提出了手勢圖形密碼可以被一些側信道方法破解，但是本文的實驗證明，在合適的威脅模型下，手勢圖形密碼這種身份認證機制被破解的概率會大大增加。有經驗的取證人員可以用本文方法，在較短時間內實現手勢圖形密碼的破解。

本文提出的方法仍然存在一定的局限性。一方面，受拍攝條件的限制，監控攝像的清晰度并不總能為本文方法提供有效支持。另一方面，個人習慣會對破解成功率造成影響，如在輸入手勢圖形密碼時僅移動手指而不是整個手部，將會顯著降低場景2中的破解成功率。

此外，本文的思想可以擴展到其他應用場景，如擴展到對PIN碼、手寫輸入、鍵盤觸碰等移動設備的其他輸入內容的破解和猜測上，這對相關取證技術的研究提供了新的方向和思路。

[1] WEISS R, DE LUCA A. PassShapes: utilizing stroke based authentication to increase password memorability[C]//Proceedings of the 5th Nordic Conference on Human-computer Interaction: Building Bridges. 2008: 383-392.

[2] YE G X, TANG Z Y, FANG D Y, et al. Cracking android pattern lock in five attempts[C]//Proceedings 2017 Network and Distributed System Security Symposium. 2017.

[3] AVIV A J, GIBSON K L, MOSSOP E, et al. Smudge attacks on smartphone touch screens[J]. Woot, 2010, 10: 1-7.

[4] ZHANG J, ZHENG X L, TANG Z Y, et al. Privacy leakage in mobile sensing: your unlock passwords can be leaked through wireless hotspot functionality[J]. Mobile Information Systems, 2016, (2016): 8793025.

[5] ABDELRAHMAN Y, KHAMIS M, SCHNEEGASS S, et al. Stay cool! understanding thermal attacks on mobile-based user authentication[C]//Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems. 2017: 3751-3763.

[6] ZHOU M, WANG Q, YANG J X, et al. PatternListener: cracking android pattern lock using acoustic signals[C]//Proceedings of the 2018 ACM SIGSAC Conference on Computer and Communications Security. 2018: 1775-1787.

[7] EIBAND M, KHAMIS M, VON ZEZSCHWITZ E, et al. Understanding shoulder surfing in the wild: stories from users and observers[C]//Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems. 2017: 4254-4265.

[8] WIEDENBECK S, WATERS J, SOBRADO L, et al. Design and evaluation of a shoulder-surfing resistant graphical password scheme[C]//Proceedings of the Working Conference on Advanced Visual Interfaces. 2006: 177-184.

[9] KUMAR M, GARFINKEL T, BONEH D, et al. Reducing shoulder-surfing by using gaze-based password entry[C]//Proceedings of the 3rd Symposium on Usable Privacy and Security - SOUPS '07. 2007: 13-19.

[10] ROTH V, RICHTER K, FREIDINGER R. A PIN-entry method resilient against shoulder surfing[C]//Proceedings of the 11th ACM Conference on Computer and Communications Security. 2004: 236-245.

[11] WINKLER T, RINNER B. User-centric privacy awareness in video surveillance[J]. Multimedia Systems, 2012, 18(2): 99-121.

[12] GELBORD B, ROELOFSEN G. New surveillance techniques raise privacy concerns[J]. Communications of the ACM, 2002, 45(11): 23-24.

[13] WINKLER T, RINNER B. Security and privacy protection in visual sensor networks: a survey[J]. ACM Computing Surveys, 2014, 47(1): 2.

[14] SCHIFF J, MEINGAST M, MULLIGAN D K, et al. Respectful cameras: detecting visual markers in real-time to address privacy concerns[M]//Protecting Privacy in Video Surveillance. 2009: 65-89.

[15] KORSHUNOV P, EBRAHIMI T. Using warping for privacy protection in video surveillance[C]//Proceedings of 2013 18th International Conference on Digital Signal Processing (DSP). 2013: 1-6.

[16] GUERAR M, MIGLIARDI M, PALMIERI F, et al. Securing PIN-based authentication in smartwatches with just two gestures[J]. Concurrency and Computation: Practice and Experience, 2020, 32(18): e5549.

[17] LU C X, DU B W, WEN H K, et al. Snoopy[J]. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 2018, 1(4): 1-29.

[18] WANG C, GUO X N, CHEN Y Y, et al. Personal PIN leakage from wearable devices[J]. IEEE Transactions on Mobile Computing, 2018, 17(3): 646-660.

[19] SHUKLA D, PHOHA V V. Stealing passwords by observing hands movement[J]. IEEE Transactions on Information Forensics and Security, 2019, 14(12): 3086-3101.

[20] SHUKLA D, KUMAR R, SERWADDA A, et al. Beware, your hands reveal your secrets![C]//Proceedings of the 2014 ACM SIGSAC Conference on Computer and Communications Security. 2014: 904-917.

[21] CHEN T, FARCASIN M, CHAN-TIN E. Smartphone passcode prediction[J]. IET Information Security, 2018, 12(5): 431-437.

[22] BALAGANI K S, CONTI M, GASTI P, et al. SILK-TV: secret information leakage from keystroke timing videos[M]//Computer Security. Cham: Springer International Publishing, 2018: 263-280.

[23] BALAGANI K, CARDAIOLI M, CONTI M, et al. PILOT: password and PIN information leakage from obfuscated typing videos[J]. Journal of Computer Security, 2019, 27(4): 405-425.

[24] XU Y, HEINLY J, WHITE A M, et al. Seeing double: reconstructing obscured typed input from repeated compromising reflections[C]//Proceedings of the 2013 ACM SIGSAC Conference on Computer & Communications Security. 2013: 1063-1074.

[25] YUE Q G, LING Z, FU X W, et al. Blind recognition of touched keys on mobile devices[C]//Proceedings of the 2014 ACM SIGSAC Conference on Computer and Communications Security. 2014: 1403-1414.

[26] Barrett D. One surveillance camera for every 11 people in Britain, says CCTV survey[J]. The Telegraph, 2013, 10.

[27] REDMON J, FARHADI A. YOLOv3: an incremental improvement[J]. arXiv preprint arXiv:1804.02767, 2018.

[28] SIMON T, JOO H, MATTHEWS I, et al. Hand keypoint detection in single images using multiview bootstrapping[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. 2017: 4645-4653.

[29] LUKE?IC A, VOJíR T, ZAJC L C, et al. Discriminative correlation filter with channel and spatial reliability[C]//Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition. 2017: 4847-4856.

[30] DOUGLAS D H, PEUCKER T K. Algorithms for the reduction of the number of points required to represent a digitized line or its caricature[J]. Cartographica: the International Journal for Geographic Information and Geovisualization, 1973, 10(2): 112-122.

[31] KENDALL M G. Rank correlation methods[J]. Biometrika, 1957, 44(1/2): 298.

[32] SPEARMAN C. General intelligence, objectively determined and measured[J]. The American Journal of Psychology, 1904, 15(2): 201-292.

[33] SUN C, WANG Y, ZHENG J. Dissecting pattern unlock: the effect of pattern strength meter on pattern selection[J]. Journal of Information Security and Applications, 2014, 19(4/5): 308-320.

Intellectualized forensic technique for Android pattern locks

QIU Jiahao1, QIU Weidong1, WANG Yangde1, ZHA Yan1, XIE Yuming1, LI Yan2

1. School of Cyber Science and Engineering, Shanghai Jiao Tong University, Shanghai 200240, China 2. Key Laboratory of Forensic Science, Shanghai Forensic Service Platform, Ministry of Justice, Academy of Forensic Science, Shanghai 200063, China

In the field of digital forensics, how to unlock mobile devices such as phones has always been an urgent problem to overcome. As a special kind of password, pattern lock is widely used in mobile phone screen unlock and software access authorization. Existing pattern lock cracking techniques have several non-negligible disadvantages, such as poor concealment, low practicability, non-intelligence and single application scenario. Two basic threat models were abstracted from shoulder surfing, surveillance camera, and real-time forensics, and a multi-scenario side channel attack on pattern locks was proposed. Based on the data of surveillance camera or manual video, intelligent vision recognition algorithms were adopted to identify, select and track the target device and biological key points in the video dynamically. Then, discrete tracking points were integrated by spatial mapping and pruning algorithm. The denoising algorithm was used to eliminate redundancy and optimize the trajectory. Through procedures above, the original trajectory was simplified into regular polylines defined by several key turning points. Finally, the simplified pattern was compared and matched with the rules of legal pattern locks to inference and retort its actual pattern. Possible candidates will be sorted in the output according to their confidences. Results show that in the surveillance camera scenario, where the device screen is always visible, the cracking success rate of our technique is 89% for 10 attempts and 99.3% for 20 attempts. In the face-to-face scenario, where the subject consciously blocks the screen and his drawing finger, the success rate was 82% after 10 attempts and 89.3% after 20 attempts. In the surveillance camera scenario, the increase of shooting horizontal distance can significantly decrease the cracking success rate. But this effect diminishes with the increase of the number of attempts. Results show that the cracking success rate of the complex password is always higher than that of the simple password during 20 attempts, which means a complex pattern lock cannot play a better protection role if the proposed technique is applied. Shooting angle deflection within 5° has little effect on the success rate of cracking.

pattern lock, intelligent vision recognition, digital forensics, side channel attack

Fundamental Research Funds for the Central Scientific Research Institutions(GY2019G-2, GY2020G-6)

裘佳浩, 邱衛東, 王楊德, 等. 智能化的安卓手勢密碼取證關鍵技術[J]. 網絡與信息安全學報, 2022, 8(1): 118-127.

TP309

A

10.11959/j.issn.2096?109x.2022005

裘佳浩（1999? ），男，浙江杭州人，上海交通大學碩士生，主要研究方向為計算機取證、密碼安全。

邱衛東（1973? ），男，江西修水人，上海交通大學教授、博士生導師，主要研究方向為計算機取證、密碼分析、人工智能安全、大數據隱私保護。

王楊德（1987? ），男，遼寧沈陽人，上海交通大學博士生，主要研究方向為計算機取證、密碼分析。

查言（2000? ），男，安徽安慶人，上海交通大學碩士生，主要研究方向為人工智能、密碼安全。

謝宇明（1996? ），男，湖北武漢人，上海交通大學碩士生，主要研究方向為人工智能、密碼安全。

李巖（1985? ），男，湖北老河口人，碩士，司法鑒定科學研究院高級工程師，主要研究方向為電子數據、聲像資料鑒定技術及標準化。

2021?07?09；

2021?10?29

李巖，liyan@ssfjd.cn

科研院所公益研究專項（GY2019G-2，GY2020G-6）

Format: QIU J H, QIU W D, WANG Y D, et al. Intellectualized forensic technique for Android pattern locks[J]. Chinese Journal of Network and Information Security, 2022, 8(1): 118-127.