融合手勢識別和終端用戶評估的交互控制①

張 寧, 王衛星, 胡寧峰

1(貴州大學 現代制造技術教育部重點實驗室, 貴陽 550025)

2(貴州大學 機械工程學院, 貴陽 550025)

人機交互(human-computer interaction, HCI)是關于設計、評價和供人們使用的交互式計算機系統. 在人機交互的發展過程中, 經歷了從命令行界面交互階段、圖形用戶界面(GUI)交互階段到自然和諧的人機交互階段. 目前基于穿戴設備的手勢識別需要用戶佩戴或觸摸設備以感知人的手勢變化[1,2], 其約束性使得人們對更友好的人機交互方式提出需求. 隨著人工智能及計算機技術的快速發展, 基于視覺識別的人機交互是利用計算機輸入命令形成成像系統, 替代人體視覺感知進行圖像處理和分析任務. 該技術對環境的適應性較強, 也為手勢識別提供了一個更加自然的人機交互接口.

手勢是人與人之間最為自然的交流方式, 作為人機交互的手段具有靈活、直觀的特點. Karam等人[3]通過對手勢交互系統的研究將手勢劃分為了5類: 即指示性手勢、示意性手勢、操作性手勢、信號性手勢和手語性手勢, 讓手勢交互系統的交互手勢有了意義上的歸屬. 雖然手勢識別在技術和方法上不斷提升, 但在設計基于手勢識別的交互系統時, 大多數研究是優先考慮實現交互系統的方便性, 即提高手勢識別率而忽略了實際的用戶需求和偏好, 導致最后交互系統可用性較低. 本文研究的目的是從優化手勢的膚色分割和手勢識別過程出發, 融合用戶認知偏好, 為設計一個更有效的手勢識別交互系統奠定基礎.

1 交互手勢設計理論

如今, 人機交互設計已經不僅僅是以完成交互任務為目的, 而是在這基礎上更多地考慮用戶的交互過程及交互體驗. 婁澤華等人[4]采用自頂向下的方法從用戶、交互過程和交互系統3個方面總結出了12條手勢設計原則, 為手勢交互系統中的手勢設計提供了一個立足點, 并為已設計的手勢集提供一個綜合評估標準.

雖然在現有的研究中總結出了一系列手勢設計原則, 但交互設計師在設計交互手勢時缺乏系統性, 用戶體驗感較差. 而在交互設計的早期通過了解用戶的偏好和行為, 可以為設計者提供更有價值的信息, 可以實現交互系統的有用性和高效性. 因此, 用戶參與式的研究被引入到手勢設計之中, 減少設計師與最終用戶的認知差距. 在手勢設計階段, 我們通過用戶參與手勢的引出來建立手勢的共識集. Nacenta等人[5]研究發現用戶定義的手勢更容易被用戶所記憶. Nielsen等人[6]提出了一種引出和開發用戶定義手勢的程序, 使用用戶引導的程序對所研究的手勢設計和整個交互設計過程提供了貢獻. 根據手勢設計的原則, 本文構建了8種經常使用手勢的交互任務如表1: 開始、暫停、完成、放大、縮小、上一步、下一步和旋轉. 這8類交互命令通常應用在智能家居環境、智能機器人/無人機操作的移動設備、車載輔助駕駛任務等領域. 對于每個交互任務, 通過大量的用戶參與進行手勢設計. 最終, 相同的手勢被分為一組, 選擇手勢相同的最大組來建立手勢的共識集, 該方法的流程如圖1所示.

圖1 交互任務的共識手勢設計

2 RGB圖像的手勢分割和識別方法

基于計算機視覺計算的圖像處理在手勢識別過程中有兩個階段: 手勢分割和手勢識別[7]. 目前, 手勢分割是手勢分析的第1步. 對于手勢分割, 主要目標是將手部區域與背景分開. RGB圖像的手勢估計對設備要求低且成本低廉, 在人機交互領域得到了廣泛應用[8]. 王龍等人[9]提出了一種結合膚色模型和卷積神經網絡的手勢識別方法. 袁敏等人[10]采用閾值分割模型來提取手勢的膚色, 通過直接選定Cr, Cb的閾值范圍(133≤Cr≤173, 77≤Cb≤127)確定膚色范圍, 這種提取方式簡單快速, 但誤檢率較高. 楊紅玲等人[11]提出一種基于YCrCb顏色空間的膚色分割法, 去除背景后結合卷積神經網絡進行手勢識別, 但大多針對簡單的場景且網絡運算量較大. 當手勢圖像受到交互環境光干擾時,簡單的膚色分割模型并不能準確地分割出手勢的區域.在手勢識別階段, 隨著深度學習的不斷發展, 大多數目標識別網絡, 諸如Fast R-CNN[12]、Faster R-CNN[13]和Mask R-CNN[14]等都是在全卷積神經網絡(FCN)基礎上更新發展而來的網絡模型. 由于這些卷積神經網絡在進行目標檢測時會伴隨著生成大量的候選區域, 最后對候選區域進行分類和回歸, 計算量較大, 對數據集及設備的要求較高.

為了提高實際手勢交互系統, 本文提出了橢圓膚色建模結合輕量化卷積神經網絡(MobileNet-V2)的方法來識別交互手勢. 以手勢區域的二值化灰度信息為輸入, 降低原始RGB圖像信號噪聲的同時利用輕量化卷積神經網絡的深度可分離卷積參數少、計算量小的特點減少手勢識別模型的運算量. 手勢分割和識別框架如圖2所示.

圖2 手勢分割和識別框架圖

2.1 RGB圖像色彩平衡處理

普通相機采集圖像過程中, 由于成像設備不具備從變換的環境光照下維持圖像原本顏色的功能, 導致采集的RGB圖像顏色與真實顏色存在一定程度的色彩偏差, 選擇合適的色彩平衡校正算法將有效避免光照環境對RGB圖像顏色偏差的影響. 本文選用灰度世界算法(gray world theory, GWT)[9]平衡RGB手勢圖像. GWT算法將R、G、B三個分量對光線平均反射的均值趨于同一灰度值, 從而可以減弱環境光的影響,達到RGB圖像色彩的平衡. GWT表達公式如下:

其中, R、G、B分別為RGB圖像的3個通道, RAVG、GAVG 、B AVG 為R、G、B三通道平均值, K為R、G、B三個通道的增益系數.

2.2 橢圓膚色分割模型

膚色分割是利用顏色空間的轉換分離膚色區域與背景區域的方法. YCrCb顏色空間是一種正交顏色空間, 可以減小RGB顏色空間中的冗余信息. 由于YCrCb顏色空間可以獨立統計各個顏色成分, 從而用于優化彩色信號的傳輸. RGB圖像的膚色信息轉化到YCrCb顏色空間時, 膚色像素點映射在CrCb的二維空間中近似呈現橢圓分布, 且膚色區域的色度與亮度成非線性函數關系. 因此, 為了使膚色聚類時不受亮度Y的影響, 從RGB顏色空間轉換到YCrCb顏色空間時去除了高光和陰影部分(即Y的最大值和最小值), 將色度Cr、Cb進行非線性變換, 最終建立CrCb的橢圓膚色統計模型. 如果該模型判斷RGB圖像對應的每個像素點值在橢圓內則為膚色像素點, 否則為非膚色像素點[15].通過橢圓膚色模型分割手勢區域, 我們得到手勢的二值圖像. 橢圓模型計算公式為式(5)和式(6), 膚色判別公式為式(7).

2.3 手勢輪廓的重建

經過上述膚色分割過程得到手勢的二值圖像, 但手勢區域邊緣可能會存在大小不一的空洞或者是其他非手勢區域的現象, 這將會影響手勢特征地提取, 因此我們重建手勢膚色區域. 由于現實中使用相機采集手勢時, 用戶做出的手勢常常位于身體前方, 且靠近相機的攝像頭, 因此手勢區域在整個圖像中占比較大. 首先,采用OpenCV中cv2.findContours函數查找二值圖像中所有輪廓; 其次, 用lambda表達式對輪廓區域面積大小進行排序, 以輪廓面積為參數找到最大輪廓并繪制最大輪廓的外接矩形; 最后, 利用形態學的閉運算,設置結構為3×3的全1矩陣對二值圖像進行先膨脹后腐蝕的過程, 將最大輪廓區域填充為白色, 其余區域為黑色, 并平滑區域邊界.

2.4 基于二值化手勢圖像的手勢識別網絡

在手勢識別階段, 采用輕量級卷積神經網絡MobileNet-V2對分割后的手勢進行特征提取和識別,相比于傳統的卷積神經網絡在確保正確率的前提下大大減少了模型的參數和運算量, 可以實現在移動設備或者嵌入式設備上運行手勢識別模型. MobileNet-V2網絡是在MobileNet-V1網絡的基礎上改進的[16]. 它的主要優點是可以有效地降低參數和計算復雜度. 除了中等深度的可分離結構, 它還包括一個擴展層(expansion layer)和一個投影層(projection layer). 因此, MobileNet-V2網絡的整個過程由“投影層→特征提取卷積層→擴展層”變為“擴展層→特征提取卷積層→投影層”.MobileNet-V2網絡選擇了Linear Bottleneck代替nonlinearities非線性激活函數直接輸出, 進一步防止提取的特征被ReLU函數壓縮破壞. MobileNet-V2的網絡模塊如表2所示.

表2 MobileNet-V2網絡模塊

表2中, H×W為通道大小, t為通道擴張倍數, K為卷積核大小, s為步長. K′表示輸出通道數.

3 實驗設計

3.1 以用戶為中心的共識手勢調研

實驗選取了平均年齡在26歲的50名被試(25男,25女)進行交互手勢的設計實驗. 被試的慣用手為右手, 其中35位被試使用過手勢交互系統的相關經驗,另外15位僅僅了解過這方面的知識. 通過向被試口頭描述本實驗的流程及構建的8個任務命令, 讓被試為其設計1個可執行的手勢. 最后我們通過拍攝視頻方式收集50名被試引出的手勢.

對于每個交互任務, 將用戶引出的相同手勢分為一組, 提取相同手勢數量的最大組為該交互任務的共識手勢, 最后8類交互任務得到了8個共識手勢. 在得到共識手勢后, 50名被試還需要對該8類共識手勢進行主觀評價進一步分析手勢的可用性. 首先, 本文確定了4個手勢的評價指標及相關描述: (1)記憶性: 一個手勢被設計一段時間后, 用戶再次使用時的記憶率[5];(2)舒適度: 執行一個手勢后, 用戶身體上的難易程度感知, 以及是否會產生疲憊感[17]; (3)直觀性: 看到這個命令是否會很容易地想到與之對應的手勢[6]; (4)匹配度: 當引出一個手勢時, 人們認為手勢與交互任務匹配度的主觀評價[18]. 其次, 進行問卷調查. 問卷包含8個題目, 每個題目有5個選項, 每項采用Likert量表(非常不符合(1分)、不太符合(2分)、不確定(3分)、符合(4分)以及非常符合(5分))收集被試對手勢可用性的主觀評價.

3.2 模型驗證

3.2.1 數據采集

本文的實驗數據采用500萬像素的微軟LifeCam相機采集得到, 相機模擬交互平臺中的攝像頭, 采集面積設置為[900, 900].實驗數據處理采用TensorFlow 1.14.0環境和OpenCV-Python 3.4.2.16的開發平臺.

50名(25名男性和25名女性)被試者再次被邀請參加了手勢的采集實驗, 實驗中, 被試者需要執行8類共識手勢, 每位被試要求在操作每一種手勢時變換2個不同角度, 每個角度的手勢需采集2張, 共計采集的圖像數據800張. 在收集手勢實驗中, 攝像機被放置在實驗者的正前方150 cm, 與視平線夾角15°位置, 采集過程如圖3所示. 實驗前, 所有被試者被要求抬頭挺胸正視前方, 胳膊放松平放在桌面上. 實驗中, 被試者根據工作人員對手勢特征的口頭描述做出相應的手勢.被試者做每一個手勢時, 手臂需要從桌面抬起60°對準相機攝像頭. 然后, 保持手臂不動, 相同的手勢要求以舒適的姿勢變換兩個角度. 每個手勢角度持續2 s, 變換不同手勢動作操作間隙休息1 min, 以避免肌肉疲勞.身體其他部位盡量保持靜止, 便于相機能夠準確采集手部姿勢.

圖3 手勢數據采集圖

3.2.2 數據處理

大規模數據集是卷積神經網絡成功應用的前提[19].在訓練模型之前, 需要對手勢數據進行擴增, 以提高網絡的泛化能力. 擴增階段采用了Keras的圖像數據生成器策略(image data generator). 圖像生成器對每類訓練的手勢圖片適時地進行數據增強處理, 本文采用了8種數據擴增處理方法: 分別是旋轉變換、翻轉變換、隨機裁剪、偏移變換、隨機噪聲、調整對比度變換、USM銳化增強和直方圖均衡化變換.

對50名被試采集的800 (50×8×2)張手勢圖像進行數據擴增得到6 400個手勢圖像. 其中6 000張圖像用于模型的訓練, 400張圖像用于模型的測試. 為了保證后期算法模型處理的速度以及不過度影響圖像失真,在手勢圖像從RGB顏色空間轉換到YCrCb顏色空間時, 將手勢圖像統一歸一化到32×32尺寸大小.

4 結果與分析

4.1 共識手勢及主觀評價

對50位被試進行手勢設計調研后, 通過統計相同手勢的分組情況, 得到最大組的手勢即為該任務命令的共識手勢, 本文構建的8個任務命令的共識手勢分別如表3所示.

表3 交互任務與共識手勢

在對手勢進行主觀評價調查中我們共發放50份調查問卷, 得到有效問卷50份, 調查統計結果如圖4所示. 根據樣本量我們統計了交互手勢的記憶性、舒適度、直觀性及匹配度的平均分, 采用Jarque-Bera檢驗法結合P值計算對樣本數據進行正態性檢驗, 結果如表4所示.

從圖4中可以看出, 被試者對于手勢4個指標符合程度的接受度較好. 從表4中可以更具體的看出: 記憶性指標中“開始執行”手勢D與“完成”手勢F (P<0.05)呈現出顯著性, 不具有正態分布特質, 原因是勝利的手勢與OK的手勢在日常生活中有相似的語義,因此被試者認為這兩個手勢不易區分記憶; 匹配度指標中“完成”手勢F呈現出顯著性, 不具有正態分布特質, 原因是“開始執行”手勢D也可以匹配“完成”命令的交互任務; 舒適度指標和直觀性指標中所有手勢都沒有呈現出顯著性, 表明被試者對手勢的符合度評價較為一致. 綜合來看, 用戶引出的手勢在實際交互任務中具有較高的符合度.

圖4 交互手勢的可用性評價

表4 交互手勢主觀評價及P值

4.2 膚色分割與手勢識別結果

圖5展示了手勢的膚色檢測和分割過程. 經過色彩均衡處理和橢圓膚色模型, 原始RGB圖像圖5(a)轉換到YCrCb顏色空間, 得到二值化圖像圖5(b), 原始圖像中的膚色區域被很好地提取出來; 通過計算二值化圖像中的所有輪廓的面積, 為最大輪廓繪制矩形框進一步定位手勢區域如圖5(c); 通過形態學閉運算處理將最大輪廓填充為白色, 其余區域填充為黑色, 平滑手勢輪廓后結果如圖5(d)所示. 圖6展示了本文經過處理后的8類共識手勢的二值化手勢圖像.

圖5 手勢膚色分割過程

經過膚色分割處理后, 將6 000張手勢圖像輸入到MobileNet-V2網絡中進行訓練, 400張手勢數據被用于測試. 本文使用0.000 1學習率、Adam優化器和交叉熵損失函數來分析訓練集中手勢的準確性和損失率, 并且采用精確率、召回率、調和平均數來表示模型對8種不同手勢的識別性能, 如圖7所示.

圖7 共識手勢識別率

4.3 方法對比結果

將本文模型與另外4種方法進行比較, 第1種是王龍等人[9]提出的CNN結合膚色模型的方法. 該方法在Marcel-Train標準手勢數據庫中對模型進行測試,Marcel-Train數據庫共有7種不同的手勢, 每種手勢包含了3種不同背景(亮、暗、復雜背景)下的圖像. 首先利用膚色的高斯模型分割手勢區域, 然后利用CNN識別手勢. 第2種方法是楊波等人[20]提出的復雜背景下基于手勢空間分布特征的手勢識別算法HDF. 該方法利用高斯模型的分割手勢的膚色區域, 綜合手勢特征向量的相似性來識別手勢, 在環境光相對穩定下進行了手勢識別實驗. 其次, 我們還增加了單獨MobileNet-V2網絡和VGG16網絡的識別率對比. 圖8顯示了上述方法在本文構建的8種手勢數據集中識別率的比較.從對比結果看出, 文本的橢圓膚色模型結合MobileNet-V2網絡在基于RGB彩色圖像的手勢識別中有較好的識別率和穩定性.

圖8 5種方法的識別率曲線

5 結論

針對基于手勢識別的人機交互系統, 存在用戶對交互手勢容易產生的認知偏差導致交互系統的有用性低, 本文的貢獻在于從終端用戶(參與者)出發引出交互的共識手勢, 根據記憶性、直觀性、舒適度和匹配度指標得到用戶對交互手勢的主觀評價結果. 并將橢圓膚色分割模型和MobileNet-V2手勢識別網絡創新性結合, 優化了手勢分割和識別過程. 從結果看出優化后的方法對RGB彩色手勢圖像有較好的分割和識別效果, 在確保識別率的前提下大大減少了網絡參數和運算量, 這也為基于RGB手勢識別的交互系統更廣泛地走入人們生活提供技術和理論基礎.

下一步的工作包含兩個方面: (1)本文構建的交互任務較少, 因此, 在未來的工作中將進一步擴展交互任務和手勢的類別; (2)使用本文引出的共識手勢來實際開發交互界面系統, 并以實際交互任務模擬實驗進行基于手勢識別的交互控制系統評估.