基于單攝像頭的手勢(shì)識(shí)別身份認(rèn)證方案設(shè)計(jì)*

胡 衛(wèi)，趙文龍，王圣超

（海軍工程大學(xué)，湖北 武漢 430033）

0 引言

在信息技術(shù)高速發(fā)展的今天，智能設(shè)備普及到了生活的方方面面，正深刻地影響著人們生活方式。智能設(shè)備中存儲(chǔ)了大量的用戶隱私數(shù)據(jù)，如照片、社交、交易賬戶等，一旦被破解，將對(duì)用戶的隱私、財(cái)產(chǎn)安全帶來(lái)巨大的威脅。身份認(rèn)證是保護(hù)手機(jī)中隱私信息和敏感數(shù)據(jù)的基本安全機(jī)制。目前移動(dòng)端除傳統(tǒng)的口令密碼外，使用的主流身份認(rèn)證方式主要為人臉識(shí)別、指紋識(shí)別、語(yǔ)音識(shí)別等，在新冠疫情爆發(fā)的當(dāng)下，現(xiàn)有認(rèn)證方式在現(xiàn)實(shí)應(yīng)用中受到了一定的掣肘。例如人臉識(shí)別在佩戴口罩后識(shí)別難度大大增加，指紋識(shí)別在佩戴手套后無(wú)法使用，而基于手勢(shì)識(shí)別的身份認(rèn)證鑒于其隔空控制的特性凸顯了應(yīng)用價(jià)值，同時(shí)基于手勢(shì)識(shí)別的身份認(rèn)證技術(shù)在虛擬現(xiàn)實(shí)、無(wú)人系統(tǒng)的認(rèn)證操控中具有廣闊的前景。本文提出的基于單攝像頭的手勢(shì)識(shí)別身份認(rèn)證能夠在復(fù)雜的背景環(huán)境下利用單攝像頭對(duì)手勢(shì)數(shù)據(jù)進(jìn)行采集，同時(shí)運(yùn)用機(jī)器學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)提高識(shí)別精度生成手勢(shì)模型，通過(guò)對(duì)圖形密碼的選擇完成認(rèn)證功能。

1 相關(guān)技術(shù)

1.1 手勢(shì)識(shí)別技術(shù)

手勢(shì)識(shí)別技術(shù)是近幾年發(fā)展起來(lái)的一種人機(jī)交互技術(shù)，是利用計(jì)算機(jī)技術(shù)使得機(jī)器對(duì)人類表達(dá)方式進(jìn)行識(shí)別[1]的一種方法，根據(jù)設(shè)定的程序和算法，使得工作人員和計(jì)算機(jī)之間通過(guò)不同的手勢(shì)進(jìn)行交流，再用計(jì)算機(jī)上的程序和算法對(duì)相應(yīng)的機(jī)器進(jìn)行控制，使其根據(jù)工作人員的不同手勢(shì)做出相應(yīng)的動(dòng)作。手勢(shì)識(shí)別盡可能使用戶擺脫對(duì)環(huán)境和輸入設(shè)備的束縛，與環(huán)境進(jìn)行自然而有效的手勢(shì)交互，具有更廣闊的交互空間、更高的靈活度、更好的交互體驗(yàn)，圖1是手勢(shì)識(shí)別的一些生活應(yīng)用。

圖1 手勢(shì)識(shí)別的生活應(yīng)用

一個(gè)基于視覺(jué)的手勢(shì)識(shí)別系統(tǒng)應(yīng)該包括：圖像的采集、預(yù)處理、特征提取和選擇、分類器的設(shè)計(jì)以及手勢(shì)識(shí)別這幾部分。流程圖如圖2所示。

圖2 手勢(shì)識(shí)別流程圖

1.2 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）是一種前饋神經(jīng)網(wǎng)絡(luò)，人工神經(jīng)元可以響應(yīng)一部分覆蓋范圍內(nèi)的周圍單元，在一些大型圖像處理中卷積神經(jīng)網(wǎng)絡(luò)表現(xiàn)出色。卷積神經(jīng)網(wǎng)絡(luò)是一種由卷積層、池化層和全連接層[2]等部分組成的深度神經(jīng)網(wǎng)絡(luò)，輸入數(shù)據(jù)通過(guò)卷積提取出其特征，然后進(jìn)行池化減少冗余數(shù)據(jù)，最大限度保留特征，最后通過(guò)全連接層將特征送給分類層進(jìn)行分類判決。

卷積層：卷積運(yùn)算的目的是提取輸入圖像的不同特征，第 1層卷積層可能只能提取一些低級(jí)的特征，如邊緣、線條和角等特征，第2層的卷積網(wǎng)絡(luò)從低級(jí)特征中提取更復(fù)雜的高級(jí)特征。

池化層：實(shí)際上是一種形式的向下采樣。有多種不同形式的非線性池化函數(shù)，而其中最大池化和平均采樣最為常見(jiàn)，相當(dāng)于把一張分辨率較高的圖片轉(zhuǎn)化為分辨率較低的圖片，可進(jìn)一步縮小最后全連接層中節(jié)點(diǎn)的個(gè)數(shù)，從而達(dá)到減少整個(gè)神經(jīng)網(wǎng)絡(luò)中參數(shù)的目的。

全連接層：一般在最后幾層，負(fù)責(zé)根據(jù)卷積提取的特征來(lái)判別具體的手勢(shì)。

最后1層Softmax層[3]負(fù)責(zé)最終判別手勢(shì)的類別。

1.3 圖形密碼

圖形密碼是利用人們對(duì)圖形記憶要優(yōu)于對(duì)文本記憶[4]的特點(diǎn)設(shè)計(jì)的一種新型密碼。用戶不用記憶冗長(zhǎng)的字符串，而是通過(guò)識(shí)別或記住圖形來(lái)進(jìn)行身份驗(yàn)證。并且，如果可能的圖形數(shù)量足夠大，圖形密碼的密鑰空間可以遠(yuǎn)遠(yuǎn)超過(guò)文本密碼，這樣可以更好地抵抗暴力破解和字典攻擊等。圖形密碼能夠提供比文本密碼更強(qiáng)的安全性。

圖3 基于CNN的手勢(shì)識(shí)別架構(gòu)

鑒于人們對(duì)圖形記憶要優(yōu)于對(duì)文本記憶的特點(diǎn)，圖形密碼作為一種新型密碼代替文本密碼將是未來(lái)的一大趨勢(shì)。

2 方案模塊組成與功能設(shè)計(jì)

基于單攝像頭的手勢(shì)識(shí)別身份認(rèn)證方案，由手勢(shì)識(shí)別模塊和身份認(rèn)證模塊組成，通過(guò)利用單攝像頭采集的手勢(shì)數(shù)據(jù)生成手勢(shì)模型完成身份認(rèn)證操作實(shí)現(xiàn)認(rèn)證功能。其中，手勢(shì)模型包括獲取手勢(shì)、圖像預(yù)處理、建立特征庫(kù)和卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練四個(gè)部分；身份認(rèn)證則包括了登錄與注冊(cè)、認(rèn)證應(yīng)用、信息驗(yàn)證、hash變換以及后臺(tái)數(shù)據(jù)庫(kù)。模塊組成如圖4所示。

圖4 基于單攝像頭的手勢(shì)識(shí)別身份認(rèn)證方案模塊組成

3 基于單攝像頭的手勢(shì)識(shí)別身份認(rèn)證方案

結(jié)合手勢(shì)識(shí)別技術(shù)、卷積神經(jīng)網(wǎng)絡(luò)和圖形密碼設(shè)計(jì)了基于單攝像頭的手勢(shì)識(shí)別身份認(rèn)證方案，主要包括手勢(shì)模型的訓(xùn)練以及身份認(rèn)證兩部分。

3.1 手勢(shì)模型訓(xùn)練

使用OpenCV獲取攝像頭權(quán)限顯示實(shí)時(shí)圖像，然后根據(jù)圖像特點(diǎn)采用高斯濾波對(duì)圖像進(jìn)行去噪處理，進(jìn)行圖像色彩空間轉(zhuǎn)換，將RGB空間轉(zhuǎn)化為灰度圖減少環(huán)境對(duì)手勢(shì)的影響，強(qiáng)化手勢(shì)的特征，再截取處理后的實(shí)時(shí)圖像做數(shù)據(jù)集。在Tensorflow上加入數(shù)據(jù)集對(duì)圖像進(jìn)行預(yù)處理，生成訓(xùn)練集、測(cè)試集，然后在卷積層和池化層對(duì)其進(jìn)行特征提取、采樣[5]，再通過(guò)全連接層輸出，再通過(guò)softmax分類器對(duì)手勢(shì)進(jìn)行分類生成訓(xùn)練模型，最后使用測(cè)試集對(duì)其進(jìn)行效果測(cè)試，若其識(shí)別精度達(dá)到標(biāo)準(zhǔn)，則可以生成手勢(shì)模型[6]。系統(tǒng)的整體流程圖如圖5所示。

3.1.1 RGB空間轉(zhuǎn)化為灰度圖

通過(guò)高清攝像頭或網(wǎng)絡(luò)攝像頭捕獲到的圖像都是彩色的，含有的信息量比較大，若直接用于手勢(shì)圖像處理會(huì)占用大量?jī)?nèi)存資源，計(jì)算量大，會(huì)導(dǎo)致系統(tǒng)處理難度大，運(yùn)行速度非常慢。而且RGB擁有3個(gè)通道，只符合光學(xué)原理，不符合人類視覺(jué)要求，對(duì)物體的顏色特征描述效果也不是很好。因此，為了簡(jiǎn)化計(jì)算、縮減占用的內(nèi)存資源，更好地滿足手勢(shì)識(shí)別對(duì)圖像的要求，在對(duì)輸入圖像進(jìn)行預(yù)處理時(shí)，必須先將其灰度化[7]。灰度圖像是用不同飽和度的黑色來(lái)表示每個(gè)圖像點(diǎn)，RGB值和灰度的轉(zhuǎn)換實(shí)際上是人眼對(duì)于彩色的感覺(jué)到亮度感覺(jué)的轉(zhuǎn)換。RGB模式與灰度模式的對(duì)比，如圖6所示。

圖5 手勢(shì)模型訓(xùn)練流程

圖6 RGB模式與灰度模式的對(duì)比

3.1.2 通過(guò)樣本訓(xùn)練完善手勢(shì)模型

運(yùn)行卷積神經(jīng)網(wǎng)絡(luò)對(duì)采取樣本進(jìn)行訓(xùn)練[8]，對(duì)其識(shí)別的正確率進(jìn)行測(cè)試，如果訓(xùn)練精度達(dá)不到要求，則可能是收集的圖片存在問(wèn)題，例如圖片里包含的特征不夠，或者圖片模糊等因素，需要重新收集數(shù)據(jù)集進(jìn)行訓(xùn)練，而在其正確率達(dá)到標(biāo)準(zhǔn)后，可以得到手勢(shì)模型。如圖7所示，經(jīng)過(guò)一定次數(shù)的訓(xùn)練后，手勢(shì)模型正確率穩(wěn)定達(dá)到了99%以上。

3.1.3 手勢(shì)模型

通過(guò)攝像頭捕獲手勢(shì)圖像，對(duì)圖像進(jìn)行去噪、轉(zhuǎn)化為灰度圖等操作強(qiáng)化手勢(shì)圖像的特征保存作為數(shù)據(jù)集，再運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)對(duì)手勢(shì)樣本進(jìn)行訓(xùn)練達(dá)到穩(wěn)定的識(shí)別精度生成如圖8所示的手勢(shì)模型。可以利用訓(xùn)練得到的手勢(shì)模型進(jìn)行翻頁(yè)、選擇、確認(rèn)等操作，用以控制身份認(rèn)證應(yīng)用，達(dá)到手勢(shì)控制的效果。

圖7 手勢(shì)模型訓(xùn)練正確率

3.2 身份認(rèn)證方案

該方案針對(duì)用戶身份認(rèn)證的方法是采用的what you know，通過(guò)用戶在應(yīng)用上產(chǎn)生的信息與用戶事先注冊(cè)的信息比對(duì)來(lái)判定身份的真實(shí)性。首先，用戶在程序上注冊(cè)自己的ID及認(rèn)證信息，用戶利用手勢(shì)模型識(shí)別手勢(shì)操控認(rèn)證應(yīng)用選擇認(rèn)證圖片與數(shù)字屬性，然后與用戶事先注冊(cè)的認(rèn)證信息進(jìn)行匹配，兩者一致則用戶身份認(rèn)證通過(guò)。認(rèn)證流程如圖9所示。

圖8 部分手勢(shì)模型圖

3.2.1 用戶注冊(cè)模塊

用戶的注冊(cè)頁(yè)面中主要有用戶名、密保問(wèn)題、設(shè)定認(rèn)證信息3個(gè)部分。首先需要?jiǎng)?chuàng)建一個(gè)用戶并為其綁定一個(gè)頭像用于登錄操作；密保問(wèn)題是從題庫(kù)中可以選擇3個(gè)問(wèn)題并輸入正確的答案用于后期找回密碼、更改設(shè)置等操作；最后在對(duì)用戶完成認(rèn)證信息設(shè)定后即可注冊(cè)成功，用戶數(shù)據(jù)經(jīng)Hash變換后被保存在后臺(tái)數(shù)據(jù)庫(kù)中。

3.2.2 圖形密碼設(shè)置

如圖10所示，在圖形密碼的設(shè)置環(huán)節(jié)中，可以看到圖片的選擇界面上共有9頁(yè)。每一頁(yè)上存在9張圖片，用戶可以在這81張圖片中選擇一張心儀的圖片作為認(rèn)證圖片，同樣也可以將對(duì)自己有特殊意義的圖片作為認(rèn)證圖片加入圖片庫(kù)中。隨后用戶對(duì)數(shù)字屬性進(jìn)行選擇，在表盤上有1～12的刻度，順時(shí)針轉(zhuǎn)動(dòng)數(shù)值為正，逆時(shí)針則為負(fù)，用戶根據(jù)個(gè)人喜好選定數(shù)值，完成圖形密碼的設(shè)置。在圖形密碼設(shè)置環(huán)節(jié)可以在注冊(cè)時(shí)后臺(tái)輸入認(rèn)證信息，同樣可以在確認(rèn)用戶身份合法性后通過(guò)手勢(shì)操作直接來(lái)更改圖形密碼，實(shí)現(xiàn)更好的密碼管理。

圖9 認(rèn)證流程

圖10 圖形密碼設(shè)置頁(yè)面

3.2.3 圖形密碼驗(yàn)證

用戶進(jìn)行登錄操作，在認(rèn)證應(yīng)用中隨機(jī)從后臺(tái)數(shù)據(jù)庫(kù)中產(chǎn)生包括認(rèn)證圖片在內(nèi)的18張圖片，以每個(gè)頁(yè)面6張圖片的形式隨機(jī)分布在3個(gè)頁(yè)面，可以通過(guò)手勢(shì)模型對(duì)頁(yè)面進(jìn)行翻頁(yè)操作，遍歷圖片庫(kù)找到注冊(cè)的認(rèn)證圖片并且進(jìn)入數(shù)碼盤通過(guò)手勢(shì)控制指針旋轉(zhuǎn)選擇正確的數(shù)字。認(rèn)證應(yīng)用產(chǎn)生的認(rèn)證信息經(jīng)過(guò)Hash變換后同后臺(tái)數(shù)據(jù)庫(kù)中存儲(chǔ)的Hash值做比對(duì)，如果兩者一致則認(rèn)證成功，否則認(rèn)證失敗。

3.2.4 口令散列存儲(chǔ)

直接將圖片及其屬性存儲(chǔ)是極不安全的。該方案采用了SHA-256哈希算法對(duì)口令進(jìn)行了哈希變換，將口令的散列值存儲(chǔ)于數(shù)據(jù)庫(kù)中。口令驗(yàn)證時(shí)，重新計(jì)算一次散列值與數(shù)據(jù)庫(kù)中存儲(chǔ)的散列值進(jìn)行比較。

哈希算法又叫散列算法，是一種只能加密，不能解密的密碼學(xué)算法，具有單向不可逆性，可以將任意長(zhǎng)度的信息轉(zhuǎn)換成一段固定長(zhǎng)度的字符串。因?yàn)槠洳灰悦魑男问酱鎯?chǔ)信息的特性，將用戶信息經(jīng)過(guò)哈希變換后保存到數(shù)據(jù)庫(kù)中，即使數(shù)據(jù)庫(kù)被破譯，黑客也不可能通過(guò)hash值直接得出用戶信息，對(duì)用戶信息進(jìn)行了有效的保護(hù)。

4 方案安全性分析

（1）方案結(jié)合手勢(shì)識(shí)別技術(shù)操控認(rèn)證應(yīng)用完成身份認(rèn)證功能，突出用戶實(shí)體的操作，杜絕了機(jī)器的學(xué)習(xí)和攻擊，增大了黑客破譯的時(shí)間成本和攻擊難度。

（2）方案采用了圖形密碼有效緩解了用戶對(duì)密碼記憶困難的現(xiàn)狀，在圖形數(shù)量足夠大的情況下圖形密碼的密鑰空間可以遠(yuǎn)遠(yuǎn)超過(guò)文本密碼，能夠更有效抵抗暴力破解和字典攻擊，能夠提供比文本密碼更強(qiáng)的安全性。方案在數(shù)據(jù)傳輸存儲(chǔ)的環(huán)節(jié)中使用了Hash算法，所有信息都是以Hash值進(jìn)行存儲(chǔ)，即使后臺(tái)數(shù)據(jù)庫(kù)被攻破，用戶的真實(shí)信息也不會(huì)泄露。

（3）方案中采用了3×6的圖形界面作為密碼選擇，同時(shí)增加了數(shù)碼盤輔助認(rèn)證，在現(xiàn)有條件下通過(guò)3次選擇即可以實(shí)現(xiàn)的密鑰空間為67 682 304（18×17×16×24×24×24），足夠滿足日常認(rèn)證安全需求。同時(shí)可以視情況通過(guò)增加圖片數(shù)量，數(shù)碼盤取值范圍或者增加選擇操作次數(shù)進(jìn)一步擴(kuò)大密鑰空間。

5 結(jié)語(yǔ)

本文提出的基于單攝像頭的手勢(shì)識(shí)別認(rèn)證方案，采用了手勢(shì)識(shí)別技術(shù)完成身份認(rèn)證功能，實(shí)現(xiàn)了認(rèn)證方式上的創(chuàng)新，也為手勢(shì)識(shí)別技術(shù)應(yīng)用于信息安全領(lǐng)域提供了一些參考案例。基于手勢(shì)識(shí)別的身份認(rèn)證是對(duì)當(dāng)下認(rèn)證方式的一種補(bǔ)充，可以有效滿足新冠肺炎等傳染性疾病情景下的非接觸式安全認(rèn)證需求。同時(shí)隨著虛擬現(xiàn)實(shí)技術(shù)的發(fā)展，現(xiàn)實(shí)和虛擬世界之間必然需要一個(gè)良好的認(rèn)證接口，基于手勢(shì)識(shí)別的身份認(rèn)證則可以很好地實(shí)現(xiàn)這一需求。