中國(guó)手語(yǔ)指動(dòng)作的標(biāo)記體系

倪訓(xùn)博，高雅利，丁剛毅，金乾坤，倪訓(xùn)然，李紅松，李鵬，劉棟

(1.北京理工大學(xué)軟件學(xué)院，北京100081;2.北京理工大學(xué)計(jì)算機(jī)學(xué)院，北京100081;3.洛陽(yáng)理工學(xué)院電氣工程與自動(dòng)化系，河南洛陽(yáng)100124;4.哈爾濱醫(yī)科大學(xué)結(jié)核病防治院，黑龍江哈爾濱150081)

手語(yǔ)是通過(guò)人體的上肢運(yùn)動(dòng)來(lái)表達(dá)和傳遞信息的肢體語(yǔ)言，對(duì)聾人等聽(tīng)覺(jué)有障礙的殘疾人士參與社會(huì)活動(dòng)起到了十分重要的作用.手語(yǔ)也是由人體上肢運(yùn)動(dòng)衍生出來(lái)的、具有規(guī)律性的動(dòng)作語(yǔ)言.因而從不同的語(yǔ)言與手語(yǔ)的共同特性角度出發(fā)，依據(jù)人體上肢運(yùn)動(dòng)的限制條件和手語(yǔ)所表達(dá)的語(yǔ)言信息，構(gòu)建人體上肢運(yùn)動(dòng)的描述框架是十分重要的，而手指動(dòng)作是其中重要的組成環(huán)節(jié).對(duì)于靜態(tài)手形的標(biāo)記，國(guó)內(nèi)外研究者一直以來(lái)都采用本國(guó)手語(yǔ)進(jìn)行研究［1］.這些靜態(tài)手形的標(biāo)記體系是根據(jù)本國(guó)手語(yǔ)的特征構(gòu)建的，不同國(guó)家的不同形態(tài)的手語(yǔ)手形標(biāo)記體系之間無(wú)法相互對(duì)應(yīng)，因而上述靜態(tài)手形的標(biāo)記體系擴(kuò)展性很差.本文依據(jù)人手解剖構(gòu)造模型，提出了基于手指動(dòng)作的新的標(biāo)記體系，在此基礎(chǔ)上對(duì)手形動(dòng)作進(jìn)行了系統(tǒng)的分類(lèi)和相應(yīng)標(biāo)記規(guī)則;本研究依據(jù)人體上肢運(yùn)動(dòng)的生物力學(xué)模型，將不同手語(yǔ)的動(dòng)作標(biāo)記體系進(jìn)行統(tǒng)一，這是不同手語(yǔ)標(biāo)記統(tǒng)一到同一標(biāo)記框架下不可或缺的重要環(huán)節(jié).

對(duì)不同國(guó)家的手語(yǔ)標(biāo)記體系，本文提出了新的、統(tǒng)一的手語(yǔ)標(biāo)記記號(hào)體系;并從改變各手指指形的動(dòng)作和改變手指之間相互關(guān)系的動(dòng)作來(lái)考慮手指動(dòng)作的標(biāo)記記號(hào):1)將拇指和拇指以外的動(dòng)作分別進(jìn)行處理，2)將拇指以外的動(dòng)作和改變指形的動(dòng)作的標(biāo)記為主特征，相應(yīng)的動(dòng)作為主要?jiǎng)幼鳎渌麆?dòng)作為次要?jiǎng)幼鳎?)對(duì)于主要?jiǎng)幼鞯闹感谓M合及其指關(guān)節(jié)的動(dòng)作變化進(jìn)行了標(biāo)記，4)在動(dòng)作標(biāo)記的仿真實(shí)驗(yàn)的標(biāo)記列表中，按照拇指以行為序，其他手指以列為序進(jìn)行手指動(dòng)作的標(biāo)記組合.根據(jù)上述原則對(duì)手語(yǔ)指動(dòng)作進(jìn)行了標(biāo)記和歸納總結(jié)，最終以列表的形式給出了新標(biāo)記體系中各手語(yǔ)指動(dòng)作的仿真實(shí)驗(yàn)結(jié)果，并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行了有效性的分析.

1 基于人手解剖結(jié)構(gòu)模型的手指動(dòng)作標(biāo)記記號(hào)

本文參考了人手的解剖構(gòu)造模型，本文的指1～5分別表示拇指、食指、中指、無(wú)名指、小指.將拇指(指1)、食指(指2)、中指(指3)、無(wú)名指(指4)、小指(指5)的伸展和彎曲、外展和內(nèi)收、拇指(指1)的旋轉(zhuǎn)動(dòng)作進(jìn)行排列組合，總結(jié)出手語(yǔ)手指運(yùn)動(dòng)的所有可能情況，圖1為手指各關(guān)節(jié)運(yùn)動(dòng)簡(jiǎn)圖.

圖1 手指各關(guān)節(jié)的運(yùn)動(dòng)Fig.1 Movement of the joints of the fingers

圖1中用空心的圓圈表示手指關(guān)節(jié)，用黑色的實(shí)現(xiàn)表示手指的指骨，由上述的抽象符號(hào)圖形描述的手指運(yùn)動(dòng)動(dòng)作可以變化出手語(yǔ)的各種手形.以圖1(b)所描述的手指伸展動(dòng)作為例，手指運(yùn)動(dòng)的初始狀態(tài)用實(shí)線表示，完成狀態(tài)則用虛線表示.圖1(b)中手形的變化是依靠承載著手指指骨的手指各關(guān)節(jié)來(lái)實(shí)現(xiàn)的，因此指關(guān)節(jié)的標(biāo)記對(duì)于手語(yǔ)手形乃至手語(yǔ)指運(yùn)動(dòng)都是至關(guān)重要的.掌指(metacarpophalangeal joint，MP)、中心端指間關(guān)節(jié)(proximal interphalangeal joint，PIP)、末梢指間關(guān)節(jié)(distal interphalangeal joint，DIP)都存在于指2～5中.MP關(guān)節(jié)能夠做伸展和彎曲的動(dòng)作，也可以做以指3為中心參照的內(nèi)收和外展的動(dòng)作.指2～5內(nèi)收和外展的動(dòng)作是以指3為中心參照，其他手指向指3靠攏或遠(yuǎn)離的動(dòng)作.指3的回轉(zhuǎn)動(dòng)作分為:向橈骨方向轉(zhuǎn)動(dòng)的動(dòng)作稱(chēng)為橈骨彎曲，向尺骨方向轉(zhuǎn)動(dòng)的動(dòng)作稱(chēng)為尺骨彎曲.PIP關(guān)節(jié)和DIP關(guān)節(jié)只有伸展和彎曲的動(dòng)作.

在指 1中分別有腕掌關(guān)節(jié)(carpometacarpal joint，CM)、MP以及指節(jié)間關(guān)節(jié)(interphalangeal joint，IP)，共3種關(guān)節(jié).CM關(guān)節(jié)的轉(zhuǎn)動(dòng)動(dòng)作是與手掌在同一平面上進(jìn)行的，根據(jù)旋轉(zhuǎn)的方向可分為:內(nèi)收和外展.與手掌的在同一平面方向上的內(nèi)收和外展的手指動(dòng)作又可分為尺側(cè)內(nèi)收和橈側(cè)外展;而與手掌平面垂直方向上的內(nèi)收和外展的手指動(dòng)作又可分為掌側(cè)內(nèi)收和掌側(cè)外展.MP關(guān)節(jié)和IP關(guān)節(jié)在CM關(guān)節(jié)的相應(yīng)的平面上僅有伸展和彎曲的手指動(dòng)作.

2 食指、中指、無(wú)名指、小指的動(dòng)作分類(lèi)

對(duì)于手指動(dòng)作的標(biāo)記，本文按照如下的原則進(jìn)行手指動(dòng)作的分類(lèi)與標(biāo)記:

1)指1雖然與其他的4個(gè)手指有相同數(shù)量的關(guān)節(jié)，由于指1關(guān)節(jié)自由度較大和連接位置的不同，因此指1的獨(dú)立運(yùn)動(dòng)的類(lèi)別較多.所以在指2～5動(dòng)作的基礎(chǔ)上，還要對(duì)指1附加一些特有的動(dòng)作.并把指1的指動(dòng)作做為其他4個(gè)手指的起始標(biāo)記.

2)本文將前述的動(dòng)作分為:改變指形的動(dòng)作(如伸展和彎曲)，改變指間關(guān)系的動(dòng)作(如內(nèi)收和外展)，并根據(jù)這些動(dòng)作的不同組合來(lái)確定手指動(dòng)作的類(lèi)別.

依據(jù)上述原則本文先對(duì)指2～5的動(dòng)作進(jìn)行編排分類(lèi).

2.1 改變指形的動(dòng)作

本文將改變指形的動(dòng)作的基準(zhǔn)狀態(tài)設(shè)定為MP關(guān)節(jié)、PIP關(guān)節(jié)和DIP關(guān)節(jié)完全伸展開(kāi)的狀態(tài)，并根據(jù)上述關(guān)節(jié)的彎曲程度分為鉤狀、半角、角形、半握拳、握拳:

1)鉤狀:MP關(guān)節(jié)保持伸展?fàn)顟B(tài)，PIP關(guān)節(jié)和DIP關(guān)節(jié)呈現(xiàn)彎曲狀態(tài).

2)半角:PIP關(guān)節(jié)和DIP關(guān)節(jié)保持伸展?fàn)顟B(tài)，MP關(guān)節(jié)呈現(xiàn)半彎曲狀態(tài).

3)角形:PIP關(guān)節(jié)和DIP關(guān)節(jié)保持伸展?fàn)顟B(tài)，MP關(guān)節(jié)呈現(xiàn)完全彎曲狀態(tài).

4)半握拳:MP關(guān)節(jié)呈現(xiàn)半彎曲狀態(tài)，PIP關(guān)節(jié)和DIP關(guān)節(jié)也呈現(xiàn)半彎曲狀態(tài).

5)握拳:MP關(guān)節(jié)呈現(xiàn)彎曲狀態(tài)，PIP關(guān)節(jié)和DIP關(guān)節(jié)也呈現(xiàn)完全彎曲狀態(tài).

需要注意的是，MP關(guān)節(jié)的伸展?fàn)顟B(tài)和完全彎曲狀態(tài)之間，存在的MP關(guān)節(jié)半彎曲狀態(tài)仍然可以細(xì)分出更多的彎曲狀態(tài)，這是MP關(guān)節(jié)的靈活自由度較大所致，這是此類(lèi)運(yùn)動(dòng)難于控制的原因，但也是非特定人手語(yǔ)手指動(dòng)作產(chǎn)生差異性的原因之一，但在標(biāo)準(zhǔn)的手語(yǔ)詞典中這樣不規(guī)范的動(dòng)作是不存在的，本文對(duì)不規(guī)范的手指動(dòng)作做符號(hào)化的表示.

2.2 改變手指間相互關(guān)系的動(dòng)作

在指間相互關(guān)系的動(dòng)作中，本文將手指內(nèi)收成閉合的狀態(tài)(指3做為中心參照)做為基準(zhǔn)狀態(tài)，因此指間相互關(guān)系的動(dòng)作可分為外展和交叉:

1)外展:2根以上的手指從基準(zhǔn)狀態(tài)向外與手掌同平面的方向向外伸展，即遠(yuǎn)離指3的動(dòng)作，不是橈骨彎曲或尺骨彎曲的方向.

2)交叉:指2和指3由初始的伸展?fàn)顟B(tài)，指2做內(nèi)收的動(dòng)作，指3做橈骨彎曲的動(dòng)作交叉搭在指2上，指3的PIP關(guān)節(jié)和DIP關(guān)節(jié)也呈現(xiàn)略微彎曲的狀態(tài).

3 拇指動(dòng)作的分類(lèi)

指1動(dòng)作同指2～5的分類(lèi)一樣，也分為改變指形的動(dòng)作和改變手指間相互關(guān)系的動(dòng)作.

3.1 改變拇指形的動(dòng)作

指1的基準(zhǔn)狀態(tài)為所有關(guān)節(jié)均完全伸展，CM關(guān)節(jié)向尺骨內(nèi)收方向回轉(zhuǎn)，手掌為伸展?fàn)顟B(tài).根據(jù)MP關(guān)節(jié)和IP關(guān)節(jié)的不同彎曲狀態(tài)，可分為鉤狀、半握拳、握拳:

1)鉤狀:CM關(guān)節(jié)與手掌同平面的方向向外伸展，MP關(guān)節(jié)伸展，IP關(guān)節(jié)呈現(xiàn)彎曲狀態(tài).

2)半握拳:CM關(guān)節(jié)與手掌同平面的方向半內(nèi)收，MP關(guān)節(jié)和IP關(guān)節(jié)垂直于掌方向半彎曲狀態(tài).

3)握拳:CM關(guān)節(jié)與手掌同平面的方向完全內(nèi)收，MP關(guān)節(jié)和IP關(guān)節(jié)垂直于掌方向呈彎曲狀態(tài).

與指2～5的情況一樣，呈半握拳狀態(tài)的指動(dòng)作的許多細(xì)節(jié)不規(guī)范，本文對(duì)此忽略不計(jì)并且不做符號(hào)化的表示.

3.2 改變手指間相互關(guān)系的動(dòng)作

改變手指間相互關(guān)系的動(dòng)作，將基準(zhǔn)狀態(tài)做為初始狀態(tài)，可分為橈側(cè)外展、掌側(cè)內(nèi)收、掌側(cè)外展、交叉、接觸:

1)橈側(cè)外展:CM關(guān)節(jié)向橈骨方向外轉(zhuǎn)，MP關(guān)節(jié)和IP關(guān)節(jié)呈現(xiàn)伸展?fàn)顟B(tài).

2)掌側(cè)外展:CM關(guān)節(jié)沿手掌同平面的方向向外伸展，MP關(guān)節(jié)和IP關(guān)節(jié)呈現(xiàn)伸展?fàn)顟B(tài).

3)掌側(cè)內(nèi)收:CM關(guān)節(jié)沿手掌同平面的方向向里內(nèi)收，MP關(guān)節(jié)和IP關(guān)節(jié)呈現(xiàn)伸展?fàn)顟B(tài).

4)交叉:指1與指2～5之間相互接觸的動(dòng)作，指1的CM關(guān)節(jié)沿掌同平面的方向向里內(nèi)收，MP關(guān)節(jié)彎曲向掌心靠攏，指1壓在指2～5之上.

5)接觸:指1與指2～5中的1根或幾根手指靠在一起，其中分別包括2種情況:指1呈半彎曲狀態(tài)與指2～5中的1根或幾根手指相接觸的情況;指1掌側(cè)外展與指2～5中的1根或幾根手指相接觸的情況.

這里需要注意的是，可以有半彎曲狀態(tài)的指1和握拳狀態(tài)的指2～5相接觸的情況存在，也可以有掌側(cè)外展?fàn)顟B(tài)的指1和半彎曲狀態(tài)的指2～5相接觸的情況存在.此外，指1和指5做交叉動(dòng)作，分離時(shí)CM關(guān)節(jié)和MP關(guān)節(jié)的彎曲程度很大，該手指動(dòng)作比較接近握拳動(dòng)作，因而該動(dòng)作不歸類(lèi)于交叉動(dòng)作，僅歸類(lèi)于握拳動(dòng)作.

4 手指動(dòng)作的標(biāo)記符號(hào)體系

根據(jù)以上手指動(dòng)作的分類(lèi)規(guī)則，本文提出了新的手指動(dòng)作標(biāo)記體系.本文用每個(gè)動(dòng)作的英文首字母或縮寫(xiě)來(lái)標(biāo)記該手指動(dòng)作，一些特別的動(dòng)作本文使用習(xí)慣性的特征字母來(lái)表示;指動(dòng)作完整地完成，本文用相應(yīng)的大寫(xiě)字母進(jìn)行標(biāo)記，指動(dòng)作處于半完成狀態(tài)，本文用相應(yīng)的小寫(xiě)字母進(jìn)行標(biāo)記.手指動(dòng)作的標(biāo)記及其實(shí)例總結(jié)在表1中.

表1 手指基本動(dòng)作的標(biāo)記分類(lèi)及實(shí)例Table 1 Classification of finger basic actions，and examples of their notation description

本文將上述指動(dòng)作的記號(hào)，按照手指序號(hào)的順序進(jìn)行組合來(lái)形成新的標(biāo)記體系規(guī)則，具體標(biāo)記的規(guī)則如下:

1)手指的序號(hào)是由小到大，從左到右進(jìn)行標(biāo)記的，每個(gè)指動(dòng)作的記號(hào)均在相應(yīng)手指序號(hào)之后.

2)改變手指關(guān)系的指動(dòng)作記號(hào)標(biāo)記在改變指形的動(dòng)作記號(hào)之后.

3)伸展動(dòng)作(E)不做標(biāo)記.

4)對(duì)于“鉤狀”、“半角”、“角形”、“半握拳”的動(dòng)作中，有2根及以上的手指動(dòng)作是相同的，本文將這些具有相同動(dòng)作的手指用左括號(hào)“(”標(biāo)記這些手指序號(hào).

5)單一手指的彎曲本文做為不規(guī)范的動(dòng)作，不進(jìn)行標(biāo)記.只有全部手指彎曲本文用“C”記號(hào)進(jìn)行標(biāo)記，手指記號(hào)左側(cè)用左括號(hào)“(”進(jìn)行標(biāo)記，手指記號(hào)右側(cè)用“C”記號(hào)標(biāo)記.

6)指1的交叉動(dòng)作用“1X”記號(hào)標(biāo)記，其余交叉指用“1X”記號(hào)和右括號(hào)“)”括起來(lái)表示.

7)接觸動(dòng)作用“T”進(jìn)行標(biāo)記.指2345與指1相互接觸時(shí)，指1呈現(xiàn)“半角”動(dòng)作狀態(tài)時(shí)用“c”記號(hào)進(jìn)行標(biāo)記;指1呈現(xiàn)“半握拳”動(dòng)作狀態(tài)時(shí)用“B”記號(hào)進(jìn)行標(biāo)記.其余接觸指用“T”記號(hào)和“)”記號(hào)括起來(lái)表示.

圖2 手指2～5主要運(yùn)動(dòng)的排列組合Fig.2 Movement of the joints of the fingers 2～5

本文根據(jù)上述規(guī)則，將手指2～5主要運(yùn)動(dòng)的排列組合總結(jié)在圖2中.

5 手指動(dòng)作分類(lèi)的有效性分析與仿真實(shí)驗(yàn)

根據(jù)前述的不依賴(lài)于語(yǔ)言的手指動(dòng)作標(biāo)記原則，本文對(duì)不同國(guó)家的手語(yǔ)語(yǔ)言標(biāo)記進(jìn)行了計(jì)算機(jī)仿真實(shí)驗(yàn)和有效性分析.本文從目前一些具有代表性的手語(yǔ)語(yǔ)言標(biāo)記做為實(shí)驗(yàn)對(duì)象，其中包括美國(guó)手語(yǔ)的 Stokoe［2］標(biāo)記19種，F(xiàn)riedman［3］標(biāo)記41種，Liddel等［4］標(biāo)記22種，Sutton［5］標(biāo)記40種，David M P［6］標(biāo)記40種，瑞典手語(yǔ)Bergman［7］標(biāo)記33種，日本手語(yǔ)神田［8］標(biāo)記54種和本名［9］標(biāo)記37種，中國(guó)手語(yǔ)倪［10］基于手語(yǔ)中國(guó)手語(yǔ)字典總結(jié)的手形標(biāo)記78種.

5.1 手語(yǔ)手形動(dòng)作的標(biāo)記實(shí)驗(yàn)和有效性分析

圖3 手形圖形標(biāo)記一覽表Fig.3 Chart of hand shape iconic description

由于不同的手語(yǔ)有重復(fù)和相似的手形，其中美國(guó)手語(yǔ)的5個(gè)標(biāo)記體系有16種重復(fù)和相似的手形動(dòng)作，瑞典手語(yǔ)的標(biāo)記體系有3種，日本的標(biāo)記體系有17種，約有42種手形動(dòng)作在2種標(biāo)記體系內(nèi)重復(fù)，中國(guó)手語(yǔ)中有4種手形動(dòng)作較為相似.本文將上述手形的計(jì)算機(jī)仿真標(biāo)記列在了圖3中.

上述表中共包含73種手形動(dòng)作，這些手形動(dòng)作類(lèi)別均是按照人手解剖結(jié)構(gòu)模型和手指動(dòng)作的生物力學(xué)模型的特性總結(jié)出來(lái)的.

5.2 可能殘留的手形動(dòng)作

圖3中包含手形動(dòng)作占不同的手語(yǔ)標(biāo)記體系所能發(fā)現(xiàn)手形動(dòng)作的5%，在剩余的95%的手形動(dòng)作中應(yīng)包括除美、瑞、日、中其他國(guó)家手語(yǔ)的手形動(dòng)作，由于目前其他國(guó)家手語(yǔ)數(shù)據(jù)和標(biāo)記體系難于獲得，因而僅做了美、瑞、日、中4國(guó)手語(yǔ)標(biāo)記進(jìn)行了抽象的仿真實(shí)驗(yàn).由于手語(yǔ)表達(dá)信息的靈活性，有很大可能地殘留有更多的手形動(dòng)作.

手指3和4做獨(dú)立運(yùn)動(dòng)時(shí)，會(huì)產(chǎn)生出很多復(fù)雜的手形.這是由手部神經(jīng)復(fù)雜的控制結(jié)構(gòu)所造成的.本文以指4為例，將仿真實(shí)驗(yàn)結(jié)果列在了圖4中.由于人手指運(yùn)動(dòng)的復(fù)雜性所致，產(chǎn)生了很多的殘留手形，因而今后更為細(xì)致地總結(jié)整理殘留手形指運(yùn)動(dòng)的研究是必要的.

圖4 手指4和5的主要?jiǎng)幼鞯呐帕薪M合Fig.4 Hand shapes involved in the matrix of fingers 4 and 5 in primary action

6 結(jié)束語(yǔ)

本文依據(jù)手和腕的解剖構(gòu)造模型和生物力學(xué)模型所提出的標(biāo)記體系，可以將不同國(guó)家的手語(yǔ)標(biāo)記體系統(tǒng)一在同一標(biāo)記體系的框架之下.為今后將全部手語(yǔ)進(jìn)行同一標(biāo)記提供了一種良好的基礎(chǔ)性研究的借鑒，同時(shí)為手語(yǔ)詞典的檢索以及計(jì)算機(jī)手語(yǔ)合成等領(lǐng)域提供了支持性的基礎(chǔ)研究.

［1］倪訓(xùn)博，趙德斌，姜峰，等.中國(guó)手語(yǔ)音韻標(biāo)記的建立、實(shí)現(xiàn)及其有效性驗(yàn)證［J］.計(jì)算機(jī)學(xué)報(bào)，2009，32(12): 438-2453.

NI Xunbo，ZHAO Debin，JIANG Feng，et al.Establishment，realization and effectiveness verification for phonological representation of Chinese sign language［J］.Chinese Journal of Computers，2009，32(12):438-2453.

［2］STOKOE W C.Sign language structure［M］.Silver Spring: Linstok Press Inc，1979:1-365.

［3］FRIEDMAN L A.Formational properties of American sign language［M］.New York:New Perspectives on American，1977:11-87.

［4］LIDDEL S K，JOHNSON R E.American sign language:the phonological base［C］//Silver:Linstok Press Inc Spring，1989:195-277.

［5］SUTTON V.Sign writing for everyday use［M］.Boston: Spiral Bind，1981:1-405.

［6］DAVID M.P.Sonority and syllable structure in American sign language［J］.Linguistic Inquiry，1992，23(3): 407-442.

［7］BERGMAN B.Studies in Swedish sign language［Z］.Stockholm:University of Stockholm，1982:169-195.

［8］KANDA.Sign language abbreviation notations of Japanese sign language and handshapes system using phonology notations［C］//Summaries of East Sea Industry Academy.Tokyo，Japan，1986，7:55-70.

［9］HONNNA H S K，KANDA T Y，ODA K H，et al.Notations of sign language［C］//Proceedings of Japanese Sign Language Academic Research Association.Tokyo，Japan，1985，7:2-11.

［10］倪訓(xùn)博，趙德斌，高文，等.非特定人手語(yǔ)數(shù)據(jù)生成及其有效性檢測(cè)［J］.軟件學(xué)報(bào)，2010，21(5):1153-1170.

NI Xunbo，ZHAO Debin，GAO Wen，et al.Data generation and its validity inspection of signer-independent sign language［J］.Journal of Software，2010，21(5):1153-1170.