基于移動終端的漢語手語識別技術研究

許天然 吳垚 蘇紅旗

摘 要:文中使用圖像輪廓填充圖形作為手語手勢的特征參數進行靜態手語識別。關鍵是提取出圖像邊緣輪廓,并做出輪廓填充圖形,根據這個特征參數對待測圖像進行手語手勢的特征匹配。該方法對圖像亮度、縮放、平移、旋轉具有不變性,而且該方法計算簡單、快速,可以用于基于移動終端(Android手機操作系統平臺下)的手語識別系統。

關鍵詞:手語識別圖像輪廓匹配移動終端

中圖分類號:TP391.4 文獻標識碼:A 文章編號:1672-3791(2012)07(a)-0024-02

隨著計算機技術和通信技術的迅速發展,多模式人機交互技術研究也有很大進展。手語識別作為多模式人機交互技術的重要研究方向,其主要目標是使特殊用戶(例如聾啞人)可以用更加方便、自然和符合其生理特點的方式來使用計算機、手機等現代化信息設備。總之,手語識別的研究和實現不僅是一門有價值的研究課題,而且具有更加廣泛的社會意義和實際應用前景。

目前這種方法對圖像的亮度、縮放、平移、旋轉具有不變性,具有很高的識別率,而且識別快速、方便。其缺點在于只能處理靜態的單個的手語圖像。但相比以前的電腦平臺下的手語識別,這種方法更加的方便,用很廣闊的前景。

據國外媒體報道,美國華盛頓大學的工程師正在測試一款名為MobileASL的工具,這款工具能利用運動感知技術去識別美國手語,并通過手機發送圖像。這是目前唯一可查的研究手語識別技術在移動終端應用的項目。

1手語識別建模與實現

通過移動終端(這里主要指手機)獲取一幅待測圖片,經過預處理后提取圖像輪廓填充圖形作為特征參數,將特征參數與標準庫進行對比,從而識別出改圖片對應的手語含義。原理與模型如圖1所示。

通過手機獲取26張“A-Z”標準手語手勢的圖片,針對每張圖片我們采取以下處理步驟,以建立標準庫:獲取圖片→灰度處理→圖像裁剪。

本文采用canny算子進行邊緣提取。Canny算子是一個具有濾波、增強、檢測的多階段的優化算子,在進行處理前,Canny算子先利用高斯平滑濾波器來平滑圖像以除去噪聲,Canny分割算法采用一階偏導的有限差分來計算梯度幅值和方向,在處理過程中,Canny算子還將經過一個非極大值抑制的過程,最后Canny算子還采用兩個閾值來連接邊緣。

對提取的圖像邊緣進行填充,得到圖像邊緣輪廓填充圖形。將待測圖像的填充圖形在旋轉-15°～+15°條件下與標準庫參數進行對比,以得到的相關系數最大的角度下的圖像作為識別結果。這樣就能解決因圖像旋轉而造成的識別錯誤的問題。彌補了邊緣方向角直方圖參對數旋轉敏感的不足。

2仿真實驗結果與分析

根據上面所述方法,文中采用如圖所示的手語識別系統進行實驗。實驗以白色為背景,用數碼相機采集手語的手勢圖片, 采用不同的光照,拍攝了26種不同手勢, 將待識別的手語圖片建立了一個小型的靜態手語庫,圖像大小歸一化為512×512,其中一部分作為訓練使用。

通過以上的實驗我們得出,在手機環境下手語的識別是可以實現的。在對26個英文字母的手勢的測驗中,19張手語手勢可以識別為最相似目標,5張手語手勢可以識別為次相似目標,2張手語手勢不可以識別,識別率為92.31%。與以往的手語識別方法相比較,這種方法更加的方便,簡單。但與此同時,這種方法也有其自身的缺點,它只適用于靜態的,單個的手語手勢。

3結語

文中的創新點是結合采用圖像邊緣輪廓圖形這個特征參數進行靜態手語識別。圖像邊緣輪廓圖形的特點是對圖像旋轉不敏感。該方法計算簡單、快速、識別率高。本文的另一個創新點是基于移動終端的手語識別。充分利用了3G手機的極高的數據傳輸速率的特點,以及支持多媒體通信的優勢,因而該技術具有潛在的巨大的現實意義。

參考文獻

[1] 郭彩龍.中國靜態手語識別的研究[D].碩士論文,西安建筑科技大學,2009.

[2] 翟俊海,趙文秀,王熙照.圖像特征提取研究[D].河北大學,2009,1.

[3] Von Agris U,Zieren J,Canzler U, etal.Recent developments in visual sign language recognition[J].Universal Access in the Information Society,2008,6(4):323～362.

[4] 胡友樹.手勢識別技術綜述[J].中國科技信息,2005(2):42.

[5] 張良國,高文,陳熙霖,等.面向中等詞匯量的中國手語視覺識別系統[J].計算機研究與發展,2006,43(3):476-482.

[6] Yiqiang Chen,Wen Gao,Changshui Yang,Dalong Jiang,Multi-Model Behavior Synchronizing Prosody Model in Sign Language Synthesis.Chinese Journal of Computers,2006(5).

[7] Desmond E.van Wyk,James Connan. High Quality Flexible H-Anim Hands for Sign Language Visualisation[J].

[8] 姜華強,潘紅.基于關鍵幀的多級分類手語識別研究[J].計算機應用研究, Jan.2010,27(2):491-493.