基于靜態手勢識別的智能交互系統研究

王育陽,古玉鋒,肖子葉,陳孟偉

長安大學道路施工技術與裝備教育部重點實驗室,陜西 西安 710064

0 引言

隨著物聯網、深度學習等技術的快速興起與應用,車輛逐漸向智能化、網聯化方向發展,車載人機交互系統的智能化是實現車輛智能化的關鍵一環,對加快實現自動駕駛、發展智能交通具有重要意義[1]。手勢作為信息傳遞最自然的方式之一,在人機交互領域受到廣泛關注[2-3],但當前手勢識別應用存在普及程度不高、識別精度較低等問題,此外,基于手工特征提取的傳統手勢識別模型易受客觀因素如光照、遮擋和復雜背景等干擾,導致手勢識別較為困難[4]。因此,本文搭建了基于SSDLite-MobileNetV2的離線手勢識別智能交互系統,模型通過離線識別用戶手勢指令,即可完成對車輛行進方向、加減速、制動等功能以及車載多媒體、車載電器等設備的控制,提高了交互的便捷性和人性化,具有廣闊的應用前景。

1 智能交互系統架構

本文設計的車輛手勢識別智能交互系統框圖如圖1所示。靜態手勢識別算法采用基于SSDLite-MobileNetV2的目標檢測模型搭建,并使用Light-HaGRID公開手勢數據集進行訓練和測試。將訓練完成后的手勢識別算法部署在嵌入式設備上,輸入用戶手勢圖片進行正向推理,將輸出的手勢類別及位置結果轉化為控制指令并發送給智能交互終端,智能交互終端響應用戶指令完成車載多媒體設備的控制或利用STM32完成對車輛動力系統、制動系統、車載電器(燈光、空調)等設備的調整。其中,智能交互終端界面軟件基于Qt開發,用于顯示車輛當前狀態信息,用戶可通過在智能交互終端上觸控實現上述功能的控制。

圖1 智能人機交互系統框圖

2 基于SSDLite-MobileNetV2的手勢識別算法

2.1 手勢數據集介紹

本次算法訓練及驗證所用數據集源自大型公開手勢數據集HaGRID[5],該數據集中的手勢用于設計設備控制系統和提供符號學功能,本文使用HaGRID子集Light-HaGRID進行訓練,該子集包含13 000張彩色圖片,手勢背景復雜多樣,數據集所含手勢類型及示例如圖2所示,其中包括13種日常生活常見手勢,每種類型手勢共1 000張,此外還包含1個名為no-gesture的自然手部動作類,訓練與測試集數量比例為7：3。為提高深度學習模型的泛化性,本文采用隨機裁剪、水平翻轉和色調變換等數據增強手段。

圖2 數據集中的手勢類型及示例

2.2 SSDLite-MobileNetV2模型結構

SSDLite-MobileNetV2算法是目前主流的單階段目標檢測算法之一,具有識別精度高、識別速度快等優點,由前端網絡、附加提取網絡、回歸檢測頭和損失函數等部分組成。其核心思想是采用多尺度的特征圖對不同大小的目標進行檢測,通過前端網絡MobileNetV2[6]結合額外特征提取層,自底向上生成包含不同語義信息的預測特征圖。淺層特征圖感受野較小,用于檢測小目標;深層特征圖感受野較大,用于檢測大目標。獲得不同尺度的預測特征圖后,分別在每個特征圖上逐點生成不同尺寸、寬高比的先驗邊界框,隨后將特征圖送入目標預測層,對每個邊界框進行softmax分類及邊界框參數回歸,通過邊界框回歸參數將邊界框調整到目標真實邊界附近,最后通過非極大值抑制算法(NMS)濾除重合度較高的檢測框,從而實現目標檢測。

與單發多邊框檢測(single shot multibox detector,SSD)算法[7]不同的是,本文使用的算法利用MobileNetV2替換VGG16前端網絡,在降低模型規模的同時,有效提高了模型的推理速度,使其更好地在嵌入式、移動端設備上運行。同時,本文算法使用深度可分離卷積構建檢測頭結構,對于3×3卷積來說,理論上使用深度可分離卷積的參數量與計算量可以達到普通卷積的1/9,極大地降低了模型的復雜度[8]。SSDLite-MobileNetV2網絡結構如圖3所示。

圖3 SSDLite-MobileNetV2模型結構

2.3 模型訓練過程及結果

本文采用PyTorch深度學習框架搭建SSD Lite-MobileNetV2網絡,試驗計算機CPU型號為Intel? Core(TM) i5-11260H,GPU型號為NVIDIA GeForce RTX3050。利用CUDA11.2加速訓練,并使用PyCharm軟件平臺完成程序編寫。訓練過程采用Warm-up熱身訓練方式,在網絡訓練初期將學習率從較小值逐漸增大到預設值,可防止出現因訓練初期學習率設置過大而造成的訓練不穩定現象。batch_size大小設置為16,學習率采用等間隔調整策略,初始學習率設為0.001,采用SGD算法更新網絡參數,動量參數設為0.9,權重衰減設為0.000 5。

訓練過程的精度及學習率曲線如圖4所示,精度曲線如圖5所示。由圖可知,訓練時模型平均精度(mAP)隨損失的下降而逐步上升至0.93附近,模型收斂性較好。此外,為直觀驗證模型的可靠性及精度,本文將室外不同場景下采集的用戶圖像輸入網絡進行預測,結果如圖6所示。可以看出,該手勢識別算法對具有單一、復雜背景的不同手勢,均達到了99%以上識別精度和精確的定位效果,模型具有良好的泛化性能,可保證在復雜背景下手勢識別的準確性。

圖4 訓練損失及學習率曲線

圖5 訓練過程精度曲線

圖6 復雜背景手勢圖像識別效果

3 智能交互終端界面軟件開發

人機交互界面(human-machine interface,HMI)可有效提高用戶交互效率和系統的靈活性[9],本文選擇圖形化UI界面設計,與傳統的命令行、文字界面相比,圖形化界面具有直觀易懂、用戶友好、可視化展示、交互性強等優點[10],能夠更好地滿足用戶的需求,提供更好地交互體驗,用戶可通過觸控或語音實現不同功能的控制。

本文基于Qt平臺完成上位機程序開發及人機交互界面設計,并集成至計算機上,該軟件界面主要包括用戶登錄、行車控制、界面設置、影音娛樂、車輛狀態顯示、歷史數據查詢等模塊,圖7為智能交互終端界面的軟件架構。

圖7 智能交互終端界面軟件架構

1)用戶登錄模塊。通過驗證操作者用戶名和密碼完成用戶身份驗證和權限分配,防止非專業操作人員非法操作車輛,同時記錄用戶每次操作行為并上傳至數據庫,方便后續檢查和維修,登錄成功后進入主界面。該人機交互終端主界面如圖8所示。

圖8 人機交互終端主界面

2)行車控制模塊。用于控制車輛的行駛和車載電器設備,包括加速、剎車、換向等行車控制功能和燈光空調開啟、模式切換等功能。用戶可以通過界面上的按鈕或語音來控制車輛的運動。

3)界面設置。用于設置人機交互界面的主題、背景及字體,同時用于配置與車輛整車控制器的連接方式。

4)影音娛樂模塊。該模塊提供播放音樂、視頻觀看和其他娛樂功能。用戶可以通過界面上的控制按鈕來選擇和播放音樂、視頻等媒體內容。

5)車輛狀態顯示模塊。該模塊用于實時顯示車輛的各項狀態信息,包括電機轉速、車載電器狀態等。用戶可以通過界面上的圖表、數字或指示燈來查看車輛的當前狀態,界面如圖9所示。

圖9 車輛狀態顯示界面

6)歷史數據查詢。用戶登錄云端數據庫可下載車輛歷史操作信息、狀態信息等車輛的歷史數據記錄,如車輛速度、電機轉速、行駛軌跡等,用戶可通過選擇日期、時間范圍等條件進行數據查詢和分析。

4 仿真驗證

交互系統由Jetson Nano、智能交互終端、STM32組成。首先利用攝像頭實時采集用戶交互圖像,其次將圖像縮放并轉成Tensor格式后送入部署在Jetson Nano的手勢識別算法進行特征提取、手勢類型識別及位置坐標輸出,最后將檢測結果轉化為控制指令,通過USB數據線上傳至交互終端完成手勢交互控制。

仿真試驗過程如圖10所示:用戶通過手勢完成了燈光的控制。通過試驗可知,利用該交互系統進行手勢交互,每次交互和系統響應平均時間約0.1 s,部署在Jetson Nano上的手勢識別算法能夠準確快速地識別當前手勢及其位置,并發送相應控制指令,且影音娛樂應用、被控設備能夠按照用戶操作意圖快速響應并執行相應動作,控制過程通信狀況穩定,系統工作狀態正常,實現了預期的手勢交互目標。

圖10 仿真試驗

5 結論

本文設計的手勢識別智能人機交互系統以深度學習和Qt集成開發環境為平臺,實現了手勢凌空控制,用戶無需與按鍵產生視覺交互即可完成控制,提高了交互效率及其便捷性,通過SSDLite-MobileNetV2模型檢測手勢,識別精度達99%,同時模型對不同環境背景下的手勢均具有較好的識別效果。此外,上述交互系統不僅可用于車輛領域,而且在工業控制、智能家居等領域具有廣闊的應用前景。

在后續的研究中,將通過擴充手勢、采用動態手勢與靜態手勢相結合的方式,進一步豐富車載場景下的手勢識別內容,提高人機交互系統的性能。