面向聾啞人群的無障礙交流輔助系統(tǒng)設(shè)計(jì)研究

李 帥，吳玉蓉

（南京理工大學(xué)，江蘇 南京 210000）

0 引 言

由于生理上的障礙，很多情況下聾啞人很難表達(dá)自己的想法和情感，而聾啞人在工作和生活中經(jīng)常需要與正常人交流，因此聾啞人與正常人的交流障礙問題亟待解決。隨著科技的進(jìn)步，很多新興技術(shù)逐漸走進(jìn)人們的生活、惠及民生。手勢(shì)識(shí)別技術(shù)、情感識(shí)別技術(shù)和增強(qiáng)現(xiàn)實(shí)技術(shù)的出現(xiàn)能夠?yàn)榻鉀Q聾啞人的交流問題提供新的方法。本文基于這三種技術(shù)構(gòu)建出一套無障礙交流輔助系統(tǒng)，并提出終端設(shè)備的設(shè)計(jì)策略，以幫助聾啞人更好地融入社會(huì)。

1 課題背景

1.1 我國聾啞人現(xiàn)狀

全國人口普查和殘疾人抽樣調(diào)查結(jié)果顯示，我國言語殘疾人數(shù)有130萬，聽力殘疾人數(shù)更是達(dá)到了2 054萬[1]。聾啞分為先天性聾啞與后天性聾啞。先天性聾啞人大多完全喪失聽力與語言能力，后天性聾啞人可能具有語言能力或通過佩戴助聽器能夠恢復(fù)聽力。由于聾啞人與他人交流困難，且容易遭受異樣眼光，因此大多數(shù)聾啞人存在自卑、抑郁傾向，嚴(yán)重的甚至?xí)a(chǎn)生自殘或犯罪行為。

1.2 手勢(shì)識(shí)別技術(shù)

手勢(shì)識(shí)別技術(shù)[2]基于將人類運(yùn)動(dòng)識(shí)別為輸入形式的基本原理，在終端設(shè)備上設(shè)置有攝像頭或傳感器，可以識(shí)別用戶的手勢(shì)動(dòng)作或肢體移動(dòng)。當(dāng)設(shè)備檢測(cè)到與指令相對(duì)應(yīng)的運(yùn)動(dòng)時(shí)，會(huì)按照要求進(jìn)行響應(yīng)。手勢(shì)識(shí)別技術(shù)在人機(jī)交互方面極為重要，目前已應(yīng)用到智能監(jiān)控、手語識(shí)別、虛擬現(xiàn)實(shí)等各個(gè)領(lǐng)域[3]。

1.3 增強(qiáng)現(xiàn)實(shí)技術(shù)

增強(qiáng)現(xiàn)實(shí)技術(shù)[4]是將虛擬信息疊加到用戶所在真實(shí)世界的一種新興技術(shù)。利用攝像頭等輸入設(shè)備采集當(dāng)前的真實(shí)場(chǎng)景，通過對(duì)當(dāng)前真實(shí)場(chǎng)景的信息處理和移動(dòng)互聯(lián)網(wǎng)來觸發(fā)虛擬信息，并將虛擬信息在真實(shí)場(chǎng)景中進(jìn)行顯示。

1.4 情感識(shí)別技術(shù)

情感識(shí)別技術(shù)[5]指計(jì)算機(jī)通過觀察人的表情、行為和情感產(chǎn)生的前提環(huán)境來推斷人的情感狀態(tài)，基本目的在于使計(jì)算機(jī)能夠與人進(jìn)行情感交流，從而構(gòu)造出友好的人機(jī)界面。

1.5 情感化設(shè)計(jì)

情感化設(shè)計(jì)[6]是將用戶的情感作為設(shè)計(jì)的中心點(diǎn)，情感化設(shè)計(jì)三要素包括本能層、行為層、反思層。運(yùn)用情感化設(shè)計(jì)的產(chǎn)品往往更能抓住用戶的心、理解用戶的感受、緩解用戶的負(fù)面情緒，更加注重用戶的情感體驗(yàn)。

2 課題調(diào)研

2.1 現(xiàn)有產(chǎn)品調(diào)研

目前，市面上出現(xiàn)了一些針對(duì)聾啞人與正常人無障礙交流的技術(shù)和產(chǎn)品。例如國外有團(tuán)隊(duì)開發(fā)出了名為“Enable Talk”的手語手套，通過手套內(nèi)置的傳感器感應(yīng)手語信號(hào)，通過藍(lán)牙連接麥克風(fēng)傳出聲音信號(hào)；國內(nèi)的學(xué)者也設(shè)計(jì)出雙向交流手語翻譯器[7]，利用傳感手套與手機(jī)APP連接，將手語轉(zhuǎn)換為文字和聲音信號(hào)，并將聲音信號(hào)轉(zhuǎn)換為手勢(shì)動(dòng)畫在APP上播放。這些設(shè)計(jì)在很大程度上幫助了聾啞人，使其能與他人進(jìn)行簡單地交流，但仍存在體積大、效率低、使用體驗(yàn)差等缺點(diǎn)。因此要求無障礙交流輔助系統(tǒng)和終端設(shè)備的設(shè)計(jì)更加便攜、效率更高、使用體驗(yàn)更好。

2.2 正常人與聾啞人的交流情況調(diào)研

由于涉及倫理等方面的原因，不適合對(duì)聾啞人群體直接進(jìn)行調(diào)研，因此本文從正常人角度入手，通過問卷的方式對(duì)曾與聾啞人有過接觸的50位正常人進(jìn)行調(diào)研，得到表1所列的數(shù)據(jù)。

表1 與聾啞人交流情況統(tǒng)計(jì)

從曾與聾啞人有過接觸的50位正常人的調(diào)研數(shù)據(jù)中可以發(fā)現(xiàn)，正常人中手語的普及率很低，聾啞人幾乎無法通過手語與正常人進(jìn)行交流；有一半的正常人在與聾啞人交流時(shí)通過手勢(shì)比劃表達(dá)自己的想法，另一半則借助手機(jī)等設(shè)備通過打字等方式與其進(jìn)行交流。在交流過程中，由于聾啞人無法通過語調(diào)語氣表達(dá)自己的情緒，因此絕大多數(shù)的正常人無法準(zhǔn)確感受到聾啞人在交流時(shí)的個(gè)人情緒。此外，對(duì)于絕大多數(shù)正常人來說，他們非常愿意或者說至少不反感通過某種翻譯設(shè)備與聾啞人進(jìn)行交流。

通過以上調(diào)研，可以發(fā)現(xiàn)聾啞人無障礙交流輔助系統(tǒng)的研究非常必要。無障礙交流輔助系統(tǒng)不僅需要將聾啞人的手語轉(zhuǎn)換為正常人可以理解的形式，也需要能將正常人的語音轉(zhuǎn)換為聾啞人可以理解的形式。除了這種雙向的交流需要順暢外，聾啞人的情緒情感也需要通過該系統(tǒng)進(jìn)行強(qiáng)化傳遞。只有這樣，才有利于聾啞人更好地融入社會(huì)生活和被人們所接受。

3 課題研究

3.1 研究問題

研究主要圍繞“如何解決聾啞人與正常人的交流障礙”這一問題進(jìn)行，其中包含了四個(gè)方面：交流過程中聾啞人如何表達(dá)自己的想法、聾啞人如何表達(dá)自己的情感、聾啞人如何理解對(duì)方想法、通過怎樣的終端設(shè)備進(jìn)行交流。

研究通過構(gòu)建一種聾啞人無障礙交流輔助系統(tǒng)解決主要問題，該系統(tǒng)主要針對(duì)完全喪失聽力和語言能力的聾啞人群體。對(duì)于只喪失聽力仍具有語言能力或只喪失語言能力仍具有聽力的后天性聾啞人來說，該系統(tǒng)只能發(fā)揮部分功能，但仍然有效。

3.2 研究內(nèi)容

3.2.1 聾啞人的語言表達(dá)問題

聾啞人的語言表達(dá)問題的實(shí)質(zhì)就是如何將表達(dá)聾啞人想法的手語轉(zhuǎn)換為正常人能理解的語音或文字。解決這一問題的關(guān)鍵是如何識(shí)別手語，這就需要利用手勢(shì)識(shí)別技術(shù)構(gòu)建手語識(shí)別系統(tǒng)[8]。

基于視覺的手勢(shì)識(shí)別通常包含數(shù)據(jù)處理、手勢(shì)分析、識(shí)別分類三個(gè)過程。將其原理應(yīng)用于手語識(shí)別系統(tǒng)的設(shè)計(jì)中，可以得到以下手語識(shí)別流程：（1）數(shù)據(jù)處理：首先對(duì)攝像頭采集來的聾啞人手勢(shì)視頻圖像進(jìn)行數(shù)據(jù)處理，將手勢(shì)圖像從視頻中一幀一幀分離出來，并對(duì)圖像進(jìn)行平滑、銳化、背景分離等預(yù)處理；（2）手勢(shì)分析：對(duì)手部節(jié)點(diǎn)的空間三維坐標(biāo)、手指的方向矢量以及運(yùn)動(dòng)趨勢(shì)等信息進(jìn)行特征參數(shù)的提取，并在這個(gè)過程中不斷通過手勢(shì)建模，估算出相應(yīng)的模型參數(shù)[9]；（3）識(shí)別分類：將得到的特征參數(shù)和模型參數(shù)進(jìn)行分類，然后與建立的手語特征庫進(jìn)行比對(duì)，最終得到手語含義進(jìn)行輸出。手語識(shí)別系統(tǒng)流程如圖1所示。

圖1 手語識(shí)別系統(tǒng)流程

手語識(shí)別系統(tǒng)的建立能夠?qū)⒚@啞人的手語轉(zhuǎn)換為可以被正常人理解的語音或文字。整個(gè)手語轉(zhuǎn)換過程由視頻圖像采集設(shè)備、手語識(shí)別系統(tǒng)、語音模塊和顯示模塊共同完成。視頻圖像采集設(shè)備采集手勢(shì)動(dòng)作，手語識(shí)別系統(tǒng)對(duì)其進(jìn)行分析處理，最終結(jié)果由語音模塊和顯示模塊進(jìn)行輸出，聾啞人的手勢(shì)即可被他人理解，如圖2所示。

圖2 手語轉(zhuǎn)換過程

3.2.2 聾啞人的語言理解問題

聾啞人的語言理解問題的實(shí)質(zhì)就是如何將正常人的語音轉(zhuǎn)換成聾啞人可以接收的通道信號(hào)。情感化設(shè)計(jì)理論中的本能層指人的認(rèn)知感官體系，包括視覺、觸覺、聽覺、嗅覺、味覺，處于支配地位，負(fù)責(zé)對(duì)外界進(jìn)行感知。但由于聾啞人聽覺通道受損，因此輔助系統(tǒng)需要將聽覺信號(hào)轉(zhuǎn)換為其他通道的物理信號(hào)，需要利用聾啞人完好的視覺通道、觸覺通道等代償聽覺通道。出于效率、準(zhǔn)確率和可實(shí)現(xiàn)性的考慮，視覺通道是最佳的補(bǔ)償通道。因此，將正常人的語音轉(zhuǎn)換為可視化的文字或手語動(dòng)畫，是解決聾啞人語言理解問題的關(guān)鍵。

在語音轉(zhuǎn)換過程中，語音識(shí)別環(huán)節(jié)是其中的重點(diǎn)。語音信息首先轉(zhuǎn)換為文字信息，再將文字信息與手語特征庫中的手勢(shì)進(jìn)行比對(duì)，然后將含義匹配的手勢(shì)進(jìn)行提取，最后將文字和手勢(shì)進(jìn)行輸出。語音轉(zhuǎn)換過程分為語音輸入、設(shè)備采集、識(shí)別分析、終端輸出四個(gè)步驟，如圖3、圖4所示。

圖3 語音識(shí)別流程

圖4 語音轉(zhuǎn)換過程

語音轉(zhuǎn)換過程的終端輸出方式對(duì)聾啞人與正常人的交流過程的效率和體驗(yàn)會(huì)產(chǎn)生很大影響。現(xiàn)有的產(chǎn)品多通過手持翻譯器或手機(jī)APP對(duì)文字和手勢(shì)動(dòng)畫進(jìn)行顯示。但在實(shí)際使用中，這種輸出方式經(jīng)常需要聾啞人低頭看屏幕，雖然也能達(dá)到交流的目的，但效率大大降低，不僅影響聾啞人的使用體驗(yàn)，還會(huì)使交談的雙方感到不自在。此外，由于需要經(jīng)常低頭，眼神和表情交流會(huì)大大減少，這就使本就無法通過語音表達(dá)情感的聾啞人更難將自己的情感傳遞給對(duì)方。為了優(yōu)化語音轉(zhuǎn)換過程的終端輸出方式，采用增強(qiáng)現(xiàn)實(shí)技術(shù)將手勢(shì)動(dòng)畫與文字信息通過穿戴式顯示器進(jìn)行實(shí)時(shí)顯示[10]。

3.2.3 聾啞人的情感表達(dá)問題

聾啞人的情感表達(dá)問題的實(shí)質(zhì)就是如何將聾啞人在交流時(shí)流露的情緒進(jìn)行增強(qiáng)。由于聾啞人無法通過語音語調(diào)表達(dá)情感，而且在使用手語時(shí)可能會(huì)遮擋面部表情，因此準(zhǔn)確表達(dá)情感非常困難。然而一個(gè)良好的無障礙交流過程不僅需要雙方能夠順暢地交換信息，情感的交流也極其重要。此研究目的就是幫助聾啞人將交流時(shí)產(chǎn)生的情緒實(shí)時(shí)傳遞給對(duì)方。

為了解決這一問題，可以運(yùn)用情感識(shí)別技術(shù)。情感識(shí)別技術(shù)有多種不同的手段和方式，而考慮到需要應(yīng)用于聾啞人這類非常特殊的群體，通過反復(fù)調(diào)查研究，最終決定采用多模態(tài)特征融合的非接觸手段的情感識(shí)別技術(shù)[11]。情感識(shí)別技術(shù)的準(zhǔn)確率很大程度上依賴于人們說話時(shí)語音語調(diào)的狀態(tài)，但是聾啞人無法發(fā)聲講話，因此為了提高情感識(shí)別的準(zhǔn)確率，采用多模態(tài)特征融合的方式。將基于視頻數(shù)據(jù)的面部表情神態(tài)、肢體動(dòng)作和基于毫米波的心率信號(hào)相融合，從多方面多特征對(duì)聾啞人進(jìn)行情感識(shí)別。同時(shí)，采用非接觸式手段，不僅具有測(cè)量方式簡易方便、測(cè)量過程對(duì)使用者無干擾等優(yōu)勢(shì)，還能使終端設(shè)備更便于攜帶和使用[12]。

在情感識(shí)別過程中，利用設(shè)備采集聾啞人的面部變化和肢體運(yùn)動(dòng)，然后對(duì)運(yùn)動(dòng)進(jìn)行預(yù)處理和特征提取；通過心率傳感器采集心率信號(hào)，根據(jù)毫米波數(shù)據(jù)分析得到基本情感分類，并將以上數(shù)據(jù)與情感數(shù)據(jù)庫進(jìn)行比對(duì)，從而得出情感結(jié)果，情感識(shí)別流程如圖5所示。最后，將情感信息加工融入到語音輸出中，使與聾啞人交流的正常人可以更加準(zhǔn)確快速地識(shí)別聾啞人的情感狀態(tài)，使聾啞人也能夠通過語音來表達(dá)自己的情感。

圖5 情感識(shí)別流程

3.2.4 終端設(shè)備的設(shè)計(jì)要求

在終端設(shè)備的設(shè)計(jì)中，需要運(yùn)用到情感化設(shè)計(jì)理論。本能層方面，由于聾啞人大多心理敏感自卑，因此輔助設(shè)備的物理特征設(shè)計(jì)需要使聾啞人“無異于常人”，避免造型突兀并因此招致異樣目光。行為層方面，以功能為主，以聾啞人為中心，要切實(shí)滿足聾啞人在與他人交流過程中的需求。反思層方面，要安全可靠，增加聾啞人在使用輔助設(shè)備時(shí)的信心，帶來踏實(shí)愉悅的使用體驗(yàn)，滿足精神層面需求。

終端設(shè)備可以采用穿戴設(shè)備如AR眼鏡的方式進(jìn)行設(shè)計(jì)。設(shè)備需要具有以下模塊：三個(gè)可調(diào)節(jié)模塊化攝像頭，分別用來采集手勢(shì)和肢體動(dòng)作、面部表情和真實(shí)場(chǎng)景；語音輸出模塊和語音接收模塊，用于雙向交流；心率傳感器，用于輔助情感識(shí)別；顯示器，用于實(shí)現(xiàn)AR顯示。此外設(shè)備還需要具有電池、觸控模塊、通信模塊等。

3.3 研究結(jié)論

通過以上研究構(gòu)建出一種聾啞人無障礙交流輔助系統(tǒng)。在聾啞人有表達(dá)需求時(shí)，設(shè)備將采集其手勢(shì)動(dòng)作、肢體動(dòng)作、心率信號(hào)和面部表情，利用手勢(shì)識(shí)別技術(shù)和情感識(shí)別技術(shù)將其轉(zhuǎn)換為具有情感的語音進(jìn)行輸出，讓溝通對(duì)方了解聾啞人語意的同時(shí)更加準(zhǔn)確地感受到他們的情感。同時(shí)，對(duì)方的語音也會(huì)被設(shè)備接收，通過語音識(shí)別技術(shù)轉(zhuǎn)換為聾啞人可以看到的文字和手勢(shì)動(dòng)畫，并利用增強(qiáng)現(xiàn)實(shí)技術(shù)顯示在設(shè)備的屏幕上，實(shí)現(xiàn)了聾啞人與正常人之間的無障礙交流。此外，研究還運(yùn)用情感化設(shè)計(jì)理論得出無障礙交流輔助系統(tǒng)終端設(shè)備的設(shè)計(jì)要求，對(duì)該輔助系統(tǒng)的落地有一定的指導(dǎo)意義。

4 結(jié) 語

文章從聾啞人群體與正常人交流的需求出發(fā)，利用手勢(shì)識(shí)別技術(shù)、增強(qiáng)現(xiàn)實(shí)技術(shù)和情感識(shí)別技術(shù)構(gòu)建了一種聾啞人無障礙交流輔助系統(tǒng)，并在情感化設(shè)計(jì)理論的指導(dǎo)下提出了該系統(tǒng)終端設(shè)備的設(shè)計(jì)要求，體現(xiàn)了對(duì)聾啞人群體的人文關(guān)懷。但是研究也存在一些問題，比如該系統(tǒng)的技術(shù)實(shí)現(xiàn)問題、手語特征庫和情感數(shù)據(jù)庫的建立問題、可穿戴設(shè)備的體積和續(xù)航問題等，都有待進(jìn)一步研究和解決。