基于低分辨率視頻圖像的手語識別方法

嚴　焰　劉　蓉

1(湖北師范學院教育信息與技術學院　湖北 黃石 435002)2(華中師范大學物理科學與技術學院　湖北 武漢 430079)

?

基于低分辨率視頻圖像的手語識別方法

嚴焰1劉蓉2

1(湖北師范學院教育信息與技術學院湖北 黃石 435002)2(華中師范大學物理科學與技術學院湖北 武漢 430079)

實際環境中常遇到大量低分辨率手語視頻圖像需要識別,但其只含有相對有限的判別信息，識別效率不高，因此提出一種手語識別方法。該方法在采用實時皮膚顏色特征提取目標區域的基礎上，計算目標區域形心、邊界鏈碼兩種識別特征值，利用動態時間規整算法依次識別手勢起始幀與結束幀，結合識別結果還原手語單詞。在南佛羅里達大學公共手語數據集進行實驗，采用該方法與現有方法比較,識別出正確手語單詞增加21個，錯誤手語單詞減少1個，消除了手語單詞殘缺干擾,證明該方法的有效性。

手語識別動態時間規整算法數字圖像處理

0　引　言

低分辨率圖像識別是在分辨率低于320×240圖像數據中進行自動目標內容識別的過程。該類圖像中目標內容尺寸占整個圖像像素10%以下，并伴有一定噪聲和運動模糊[1]。

與高分辨率圖像識別系統相比，低分辨率圖像識別系統需要克服圖像信息量小、噪聲多、較少的可利用方法與工具等特殊難點。傳統基于高分辨率圖像識別算法直接應用于低分辨率圖像中性能大多不理想。目前基于低分辨率圖像識別方法有：1) 超分辨率增強。首先對低分辨率圖像進行增強得到高分辨率圖像，然后利用傳統的高分辨率識別方法進行識別[2，3]。該種方法需要冗長的圖像重建時間，并且所應用的算法并非針對低分辨率圖像識別設計。2)分辨率穩健特征表達。直接從低分辨率圖像上提取識別特征信息，根據識別對象本身特點設計識別器[4,5]。

基于低分辨率視頻圖像手勢識別是手勢識別中一個研究熱點。雖然科學工作者在低分辨率手勢識別系統設計方面做了大量工作，但在實際應用中，尤其在手語視頻中仍然存在一些挑戰性難題。本文針對以下兩個難題進行研究：1) 分辨率穩健特征提取。廣泛應用高分辨率手勢識別系統中的有效特征如顏色、紋理特征[6,7]，對光照變化比較敏感，手部與人臉、背景區分度不高，將其直接應用于低分辨率條件下性能有待提高。2) 基于多幀圖像的手語自動識別。已有算法大部分關注單幀自定義手勢指令識別[8,9]，而手語作為一種以手勢變化為表達形式，具有完整語法規則的日常交流語言[10]，其識別技術有待發展。

1　手語圖像特征提取

在低分辨率圖像手勢識別過程中，靜態全局皮膚顏色特征易受到場景光線變化、手與身體其他部分相互遮擋影響，不能有效提取目標區域。而手語中手勢動作既有手部相對于頭部的位移信息又有手形變化信息，如何在低分辨率圖像中計算合適的識別特征值是一個難題。

1.1目標區域檢測

本文采用相鄰幀差分法，快速去除背景，檢測運動目標，然后在運動目標中提取皮膚顏色特征，從低分辨率圖像中提取需要目標區域。由于每一幀提取目標區域所使用的顏色模版都是由該幀與后一幀進行差分運算提取的運動目標顏色特征構建，因此有效地避免了整個視頻中不同光照對皮膚顏色特征的影響，并減小如背景、臉部等運動幅度小的區域顏色對顏色模版構建過程的干擾。整個目標區域檢測算法流程如圖1所示。圖2是該目標區域提取方法在低分辨率公共手語數據集進行實驗的結果。

圖1　目標區域檢測算法流程圖

圖2　目標區域提取結果

1.2手勢特征提取

(1)

手形變化主要體現在手部像素邊界的改變，而八連通鏈碼與常用四連通鏈碼相比較，更符合局部細節像素分布情況，因此采用八連通鏈碼簡化手部邊界描述。

2　基于低分辨視頻圖像的手語識別器設計

2.1手語的運動學特點

手語單詞是構建手語這門獨立語言的最小、完整、有意義的要素[11]，因此識別手語單詞是計算機在手語交互應用發展中必須解決的難題。從手勢識別角度分析，手語單詞是一種變形類手勢，具有運動區域多變、運動快慢不同的特點。因此手語識別器設計過程需要充分研究手語自身語言特點。在人機交互應用中，已有的預定義靜態手勢指令識別器識別自然手語性能不佳。

通過對不同手語視頻分析，手語句言簡意賅、語素完整，手語單詞分布均勻，無“省略”、“倒裝”等復雜語法。一個完整手語單詞包括手形、位置和運動三個要素。手語單詞內部由一系列連續變化的手勢動作組成，手語單詞之間由明顯起始、終止動作區分。

2.2目標手語單詞識別

常見手語識別器大多利用全局檢索方法在人工構建的手語詞典上進行手語識別。例如中科院設計的中國手語識別系統[12]，利用HMM算法將數據手套采集信息轉換成手語特征數據，然后進行全局檢索手語識別。復雜的算法計算和全局檢索方式直接應用在數據規模較大的低分辨率手語視頻中效果不一定理想。

在實際應用中，手語單詞包含豐富運動軌跡、手形變化信息，視頻幀數受到攝像機采集速率、用戶表達習慣、詞語使用場景等因素影響而造成不同。動態時間規整(DTW)算法是一種能夠消除不同時空表示模式之間時間差異的簡便有效算法。為了快速識別手語，通過識別手語單詞的起始幀和終止幀特征信息，減少手語識別過程計算量，并利用起始幀與終止幀之間約束關系縮小檢索范圍，提高識別效率。

具體步驟如下：

1) 在起始幀識別過程中，利用條件迭代模式，計算一條手語短句每一幀與同組其他手語短句各幀之間BTW距離。將每幀BTW距離與該條手語短句所有幀BTW距離和的比值作為目標手語單詞起始幀的后驗概率，根據后驗概率分布，構建起始幀備選集。

2) 在結束幀識別過程中，由于完整手語短句在語法上包括主語、謂語、賓語，同一人表達語速平穩，因此將起始幀備選集各幀作為步驟2)搜索的起點，沿時間軸向后搜索三分之一總幀長。然后按照步驟1)在搜索范圍內構建目標手語結束幀備選集。

3) 因為需要考慮所還原手語單詞應符合人們觀察認知習慣，所以在步驟1)、步驟2)識別出的起始幀前、結束幀后各取一幀作為過渡幀，與識別結果組合還原完整目標手語單詞。

3　手語識別實驗與結果分析

本文選擇的實驗素材(http://marathon.csee.usf.edu/ASL/)滿足低分辨率視頻識別實驗要求。視頻分辨率為24位，184×176；視頻流幀率為15.00 fps；視頻比特率為436 kbps。該手語視頻數據集由136條機場出行常用手語短句的視頻序列組成，分為動詞、名詞兩大類共10組手語單詞。本文實驗識別結果如表1所示。

表1　實驗仿真結果

在相同手語數據集進行實驗，本文提出的方法與文獻[13]相比較，識別結果：完整正確手語單詞增加21個，錯誤手語單詞減少1個，消除了手語單詞殘缺干擾。鄭韡等[14]利用數據手套采集10種美國單詞的動態手勢,其平均識別率為87%。本文采用的方法識別效果與之相當，但低分辨率攝像機拍攝與數據手套采集方式比較，在外部設備成本與用戶體驗方面具有一定的優勢。

4　結　語

本文針對手語識別在低分辨率視頻條件下遇到的兩個難題展開研究，在識別過程中結合手語手勢內在特性，提高識別效率。并與國內外的相關成果進行比較，證明本文提出手語識別方法的有效性。在進一步工作中，尋找描述目標區域各部分之間層次關系的有效特征，解決左右手之間位置關系不明顯、頭部和手部邊界重合問題，提高識別效率。

[1] Fookes C, Lin F,Chandran V,et al. Evaluation of image resolution and super-resolution on face recognition performance[J].Journal of Visual Communication and Image Representation,2012,23(1):75-93.

[2] Xiang Ma,Junping Zhang,Chun Qi.Hallucinating face by position-patch[J].Pattern Recognition,2010,43(6):2224-2236.

[3] Yu Hu,KinMan Lam,Guoping Qiu,et al.From local pixel structure to global image super-resolution:A new face hallucination framework[J].IEEE Transactions on,Image Processing,2011,20(2):433-445.

[4] Zhen Lei,Ahonen T,Pietikainen M,et al.Local frequency descriptor for low-resolution face recognition[C]//IEEE International Conference on,Automatic Face & Gesture Recognition and Workshops, 2011:161-166.

[5] Jae Young Choi,Yong Man Ro,Plataniotis K N.Boosting color feature selection for color face recognition[J].IEEE Transactions on,Image Processing,2011,20(5):1425-1434.

[6] 張彤,趙瑩雪.基于膚色與邊緣檢測及排除的手勢識別[J].軟件導刊,2012,11(7):151-152.

[7] Vasilis Papadourakis,Antonis Argyros.Multiple objects tracking in the presence of long-term occlusions[J].Computer Vision and Image Understanding,2010,114(7):835-846.

[8] 林水強,吳亞東,陳永輝.基于幾何特征的手勢識別方法[J].計算機工程與設計,2014,35(2):636-640.

[9] 楊波,宋曉娜,馮志全,等.復雜背景下基于空間分布特征的手勢識別算法[J].計算機輔助設計與圖形學學報,2010,22(10):1841-1848.

[10] 姜華強,潘紅.基于關鍵幀的多級分類手語識別研究[J].計算機應用研究,2010,27(2):491-493.

[11] 肖曉燕.歐美手語語言學研究[J].中國特殊教育,2011(8):41-46.

[12] 張良國,高文,陳熙霖，等.面向中等詞匯量的中國手語視覺識別系統[J].計算機研究與發展,2006,43(3):476-482.

[13] Nayak S,Sarkar S,Loeding B.Automated extraction of signs from continuous sign language sentences using Iterated Conditional Modes.[C]//IEEE Conference on,Computer Vision and Pattern Recognition, 2009:2583-2590.

[14] 鄭韡,沈旭昆.基于連續數據流的動態手勢識別算法[J].北京航空航天大學學報,2012,38(2):273-279.

SIGN LANGUAGE RECOGNITION METHOD BASED ON LOW RESOLUTION VIDEO

Yan Yan1Liu Rong2

1(College of Educational Information and Technology,Hubei Normal University,Huangshi 435002,Hubei,China)2(CollegeofPhysicalScienceandTechnology,CentralChinaNormalUniversity,Wuhan430079,Hubei,China)

In practical environment,there are a lot of recognition requirements in regard to low resolution sign language video,but only relatively limited discrimination information are contained,thus the recognition efficiency is low.In light of this,we proposed a sign language recognition method.Based on the extraction of target area using real-time skin colour feature,the method calculates two recognition feature values of centroid and boundary chain code of target area,uses dynamic time warping algorithm to recognise the starting frame and ending frame of hand gestures in turn,and restores the sign language words in combination with recognition results.In experiment using the public sign language dataset of the University of South Florida,the use of the proposed method has been compared with current method.The correctly recognised sign language words were increased by 21,and the wrong words was decreased by 1.It eliminated the interference of crippled sign language words,and this proved the effectiveness of the method.

Sign language recognitionDynamic time warpingDigital image processing

2015-03-25。國家社會科學基金項目(12BTQ038)。嚴焰，助教，主研領域：人機交互，圖像處理。劉蓉，副教授。

TP3

A

10.3969/j.issn.1000-386x.2016.09.036