基于靜態手勢識別的視力檢測系統設計

摘" 要：基于計算機視覺的手勢識別是人機交互的熱點，文章提出一種自助式視力檢測系統設計方案。核心算法是采用基于HOG特征提取和SVM分類的靜態手勢識別技術，對視力檢測中上下左右方向的手勢進行判別。軟件設計以Windows系統為平臺，采用Python3.7語言，調用OpenCV開源庫進行編程實現。經系統測試，本系統運行穩定，操作簡單，可實現視力檢測過程。

關鍵詞：靜態手勢識別;HOG特征提取;支持向量機;視力檢測

中圖分類號：TP391.41" " " " 文獻標志碼：A" " " " "文章編號：2095-2945（2021）13-0083-04

Abstract： Gesture recognition based on computer vision is a hot topic in human-computer interaction. This paper presents a design of the self-service vision detection system. The key algorithm is the static gesture recognition technology based on HOG feature extraction and SVM classification， which is used to distinguish up， down， left and right hand gestures in vision detection. The software is built on Windows system， and programmed with Python3.7 and OpenCV library. The system test shows that the software runs stably， is easy to operate， and can realize the vision testing process.

Keywords： static gesture recognition; HOG feature extraction; support vector machine; vision detection

對于兒童及青少年進行視力定期檢測，可以盡早發現孩子的視力變化，從而盡可能防止近視的發生或發展。但是目前視力檢測服務通常需要到眼科機構、眼鏡店等場所。對于視力處于快速變化中的兒童及青少年，當前的視力檢測服務不夠方便快捷，難以滿足經常性的定期檢測需求。傳統的標準對數視力表視力檢測方法，需在醫師輔助下完成，無法實現自助式及智能化檢測，且缺乏人機交互體驗。隨著計算機技術的不斷改進與發展，將基于視覺的手勢識別應用于視力檢測過程中，將帶來人機交互新的體驗[1]。本研究采用高清攝像頭采集靜態手勢方向信息，利用基于HOG特征提取和SVM分類的靜態手勢識別算法進行視力檢測過程手勢方向的判別，代替傳統依靠人工識別的檢測方式，實現視力檢測的自助式操作，提高檢測效率以及提升便捷性。

1 硬件系統

硬件平臺是基于Windows操作系統的立式一體機，包括Windows系統主機、觸控液晶顯示屏、高清攝像頭、語音播報器、報警裝置、通信模塊等，產品實物如圖1所示。主機是控制整個視力檢測系統的核心，負責控制視力檢測的全流程。觸控液晶顯示屏的尺寸為32寸，屏幕分辨力率1080×1920，顯示亮度為500cd/m2，顯示屏發光均勻、亮度恒定。屏幕為電容式觸控，靈敏度高。高清攝像頭用于采集靜態手勢方向信息，像素為500萬，分辨率為1920×1080。語音播報器主要用于語音提示，提高人機交互的便捷性。報警裝置用于故障報警和防盜、防破壞報警。通信模塊用于網絡的連接，實現遠程數據傳送和存儲。

2 算法設計

一般情況下，一個完整的基于計算機視覺的手勢識別系統由5個部分構成：手勢采集、手勢分割和圖像預處理、特征提取、手勢分類器設計算法和手勢識別。其中手勢分割和圖像預處理、特征提取，以及手勢分類器設計算法這三個環節是設計的關鍵步驟。

2.1 手勢分割和圖像預處理

人手的一個最顯著的表觀特征就是膚色特征，盡管不同的人種膚色也各不相同，但是在排除了亮度對膚色的干擾后，皮膚的色調大體上相差不多，因此膚色分割是一種可行的方法[2]。本研究將采集到的手勢圖像轉換到對人體膚色聚類明顯的YCrCb顏色空間，然后運用OSTU動態自適應閾值分割算法分割出目標手勢。該方法在不同背景下具有較好的分割效果，可為后續的手勢識別與分類提供更好的準確性與魯棒性。然后對分割后的圖像進行尺度歸一化到同樣像素大小300×300，接著將得到的二值化圖像進行形態學處理，即膨脹與腐蝕，通過形態學處理后能消除手勢二值化圖像中的噪點，使手勢邊緣處變得平緩，圖像變得更加飽滿與完整。圖2顯示為經過手勢分割算法和預處理后的效果對比圖，第一排四幅圖是未經過任何處理的手勢原圖，第二排是經過本文手勢分割算法處理之后的效果圖。

2.2 手勢特征選取

手勢特征選取是否恰當直接關系到分類器的識別正確率和處理速度[3]。常用的手勢特征提取算法有Haar-like、HU幾何不變矩及HOG特征提取。HOG（方向梯度直方圖）特征提取既擁有幾何不變矩的特性，又能夠直接適應光照的變化，對于光照和手勢旋轉都具有一定的魯棒性，在戶外各種目標檢測及分類方面中使用廣泛，為各種目標物體的特征提取提供了很好的解決策略，因此本文選取HOG特征作為手勢提取的特征。HOG特征提取過程如圖3所示。

HOG特征向量的維數W是由圖像的尺寸（w，h），cell大小（c，c），每個cell的梯度方向的數目bin以及block大小（b，b）和移動步長（l，l）決定[4]。其計算如公式（1）所示：

（1）

在本文中圖像窗口大小256×256，塊大小128×128，塊步長32×32，那么窗口中塊的數目是（（256-128）/32+1）×（（256-128）/32+1）=5×5=25個塊。塊大小為128×128，胞元大小為64×64，那么一個塊中的胞元cell數目是（128/64）×（128/64）=4個胞元。把每一個胞元投影到9個bin，窗口維數W=25×4×9=900。

2.3 手勢分類器設計

本文選用SVM作為分類器。SVM通過核函數將樣本映射到能夠進行線性可分的高維空間，在高維空間進行點積運算即可得到判別結果，魯棒性較好，可以解決小樣本情況下的機器學習問題[5]。SVM分類器基于結構風險最小化原則，具有良好的泛化能力，同時以統計學理論為基礎，針對有限樣本分類情況，SVM具有明顯的優勢。

目前SVM常用的核函數以多項式核函數、高斯徑向基核函數和Sigmoid核函數三種類型為主。面向的問題不同，支持向量機核函數的選用也有所不同。本文中的手勢方向判別可以歸為分類問題，通過對比集中核函數的特點，高斯徑向基核函數在處理非線性高維空間中的分類時有著較好的能力，參數較少，模型比其他核函數簡單，且具有較寬的收斂域[6]。因此，本文在手勢分類中采用高斯徑向基核函數，其具體函數的表達式如公式（2）所示，

式中：？酌為徑向基函數的核寬度，決定訓練樣本在高維特征空間中分布的復雜程度，以及支持向量機的分類精度。

訓練SVM分類器的步驟：先設置SVM參數和迭代終止條件，當迭代滿1000次或誤差小于FLT_EPSILON時停止迭代。選擇RBF徑向基函數，使用C_SVC，并設定松弛變量為0.01進行線性訓練。然后使用SVM.train函數進行訓練，輸入訓練數據和相應參數對分類器進行訓練，通過訓練找到最優超平面。最后使用SVM.save函數將得到的分類器保存。

3 算法驗證

從學校學生中隨機抽取250名學生進行手勢圖像采集，每名學生根據測試軟件要求選擇左手和右手，分別采集上、下、左、右四種手勢圖片共計16張，即可采集圖片共計250×16=4000張。隨機抽取其中3000張圖片作為訓練樣本集，剩下的1000張圖片作為測試集。經過測試后，通過統計得到手勢識別的正確率為94.8%。圖4顯示的是手勢識別算法驗證過程中的軟件界面效果圖。由于受檢者在視力檢測過程中有時未必完全按照提示規則操作，導致靜態手勢圖像未呈現在指定的手勢采集框中，例如食指超出框外或者手臂信息過多的出現在采集框內，從而導致手勢判別錯誤。所以后續可考慮采用動態手勢識別和靜態手勢識別相結合的方式，進行手勢信息的精確跟蹤定位，進一步提高手勢識別的準確率。

4 軟件實現

4.1 軟件設計

本視力檢測系統是建立在Windows主機系統上，采用Python3.7語言進行軟件開發，IDE開發環境為Pycharm，集成OpenCV開源庫，采用自主設計的靜態手勢識別算法，實現智能自助式視力檢測。視力檢測過程中的軟件界面如圖5所示。視力檢測的總體過程如下：啟動視力檢測后，視力受檢者在提示下輸入自己的身高，主機控制顯示屏在受檢者身高相應的高度水平上隨機跳出某一級別視力水平的“E”字型視標，視標的排序是隨機的，可防止出現記憶視標的情況;視標下面的箭頭會隨機指向一個視標，視力受檢者根據箭頭指向的“E”字型視標方向，在指定的手勢采集框中做出相應的靜態手勢，并保持1到2秒的時間。主機開啟攝像頭采集相應區域的圖像信息，根據軟件設計的算法判斷手勢方向，從而對單次視力檢測做出正確或錯誤的判斷;重復上述檢測步驟，直至檢測出視力受檢者能夠看清楚的最小視標。

4.2 視力檢測流程

為了縮短視力檢測時間，提高視力檢測效率，本文設計二分法進行視力水平檢索。具體流程：在視標數組E[14]=[4.0，4.1，4.2，4.3，4.4，4.5，4.6，4.7，4.8，4.9，5.0，5.1，5.2，5.3]元素中檢索出受檢者的當前視力水平Ec。具體步驟如下：

步驟（1）：初始化參數，視標起點索引Low = 0，視標終點索引High=14-1;視力檢測成功與否返回標志Flag，1：表示成功，0：表示失敗，初始狀態Flag=1;測試者的當前視力水平Ec=4.0。

步驟（2）：如果Low？燮High，取Low和High的中間值

，取視標E[Mid]在液晶屏上顯示、調用基于HOG特征提取和SVM分類的靜態手勢識別算法對本視標水平進行3次檢測。

步驟（3）：查看基于HOG特征提取和SVM分類的靜態手勢識別算法的返回值，判斷手勢檢測過程是否有操作異常和超時，如果檢測過程成功，則執行步驟（4）;如果檢測過程失敗，則返回Flag=0并結束視力檢測。

步驟（4）：調用單級別的視標識別判定規則，判定測試者是否可以看清楚該級別的視力水平。如果測試者可以看清楚該級別的視標E[Mid]，則需要進一步向更小級別的視標區域進行檢索，故縮小搜索區域，令Low=Mid+1，并更新當前視力水平Ec=E[Mid];如果測試者看不清楚視標E[Mid]，則需要進一步向更大級別的視標區域進行檢索，同樣縮小搜索區域，令High=Mid-1。

步驟（5）：重復步驟（2）-步驟（4），直到Lowgt;High 時，視力水平檢索完成，返回測試者的視力水平Ec和返回標志Flag=1。

在步驟（4）中所述的單級別的視標識別判定規則，是指具體到某一級別視力水平測試者能否看清楚的判斷標準采用如下規則：對于某一級別的視標識別，如果測試者連續2次辨認正確或者在3次辨認中，只有1次失敗則認定為可看清楚該級別視標;如果連續2次辨認錯誤或者在3次辨認中，只有1次成功，則認定為不能看清該級別視標。

普通的視力檢索方式視標從4.0到5.3順序檢索，平均需要檢測7個級別水平，而采用二分法檢索逐步逼近的方式可以縮短為4個級別，可以縮短檢測時間，大幅提高檢測效率，提升用戶體驗度。

4.3 軟件特點

本視力檢測軟件中設置的視標大小可以根據測試距離進行同等比例的縮放，視標高度可調，與受檢者的視線保持水平。視標方向是隨機產生，多種模式可選，防止受檢者記憶視標。此外，本軟件設定了一套完整的模擬人工視力檢測的流程，全程均有語音提示，用戶根據語音提示操作即可完成整個視力檢測流程，快捷方便。

5 結束語

本視力檢測儀采用基于HOG特征提取和SVM分類的靜態手勢識別技術代替了傳統的人工檢測，可實現視力自助式檢測和共享檢測，再利用二分法檢索視力水平，提高視力檢測運行效率，軟件系統運行可靠穩定，實時性高。但是由于采集樣本數偏少，加上檢測周邊環境的復雜性和人體手勢的靈活性等諸多原因，導致手勢識別的準確率還需要進一步提高。后續的工作研究中可考慮將動態手勢跟蹤技術和多特征融合的靜態手勢識別技術相結合，提升容錯機制，以減小手勢方向判別的錯誤率。

參考文獻：

[1]張圓圓.基于視覺的手勢識別技術及其應用研究[J].計算技術與自動化，2015，34（1）：131-135.

[2]韓笑.基于視覺和幾何特征的靜態手勢識別的研究[D].天津：天津工業大學，2019.

[3]楊述斌，潘偉，蔣宗霖.基于HOG特征與手部多特征信息融合的靜態手勢識別[J].自動化與儀表，2020，35（8）：47-51.

[4]王文秀.基于單目視覺的靜態手勢識別技術研究[D].杭州：浙江工業大學，2019.

[5]緱新科，王瑤.基于特征融合的靜態手勢識別[J].計算機與數字工程，2018，46（7）：1336-1340.

[6]吳健健，陳瑋.基于多特征融合與支持向量機的手勢識別[J].電子科技，2015，28（5）：127-131.