手語模態對句子加工的影響

摘 要： 手語模態對句子加工具有一定的影響，這是毋庸置疑的。單單針對手勢模態的語義和語音信息來說，它不僅對詞匯的通達過程具有一定的影響，而且對對應的其他條件也同樣如此。因此，本文將從手語模態對句子的加工影響進行入手分析，觀察手勢音韻特征，闡述具體的影響因素和過程，以供參考。

關鍵詞： 手語模態；句子加工；影響

一、 前言

隨著各國學者陸續提出與句子加工相關的理論模型，手語模態得到了一定的發展，基本解決了目前句子加工中的一些難點問題。但在具體問題研究上還存在著一定的不足，很多句子還只是建立在聲音、語言的實驗基礎上，在手語模態方面不能得以有效應用。手語模態的建立還需要做進一步加強，下面本文將細談它在句子加工中的相關影響。

二、 研究對象與方法

（一） 被試

因為是對手語模態進行研究，所以我們找了十八位具有先天性耳聾的志愿者進行了實驗。這十八位被測試志愿者的挑選要求是：年齡相近、男女分配合理、裸眼或矯正視力正常，沒有相關的家族性精神障礙等條件。在具體的選擇過程中，半數為接受過特殊教育的南京市聾人學校學生，另一半則從社會人員中進行挑選。

（二） 材料準備

實驗的進行。被試者事先均已經做了相關的手語測試，且保證能看懂刺激材料的手勢，可以接受實驗中自變量的所有變化。自變量的相關設計為手勢音譯的變化，具體可分為四種：基準手勢、意近手勢、音近手勢和無關手勢。實驗要求所有的手勢都是高頻手勢。實驗人員準備好攝像機，對實驗過程進行拍攝記錄，并保證最后制作視頻的背景顏色和手勢具有較為鮮明的反差，這樣做的目的是方便觀察和記錄。

在實驗進行前，需要準備好測試句子片段——由于一個句子平均分為7個手勢。因此只需要前面的6個手勢與4個水平手勢進行排列組合，構成4個測試片段。這四個水平手勢相關的截取長度，應該從準備進行開始，直到在手部放下，時間為1秒左右即可。在實驗句子準備過程中，一共需要152個句子，分為八個句干和四個水平手勢，一共可以構成32個練習視頻。

（三） 實驗程序

本次我們用EPrime軟件來編寫相關實驗程序。為了更明顯地呈現出刺激效果，我們將其他的所有界面背景選擇呈現出灰色。相關實驗的任務為判斷任務，相關的反應操作鍵，為大家所用游戲手柄的左右鍵，這里要注意一點：被試者事先需要操作手柄進行練習、熟悉程序及實驗步驟，各方面確認無異常后，才能正式開始實驗。

實驗開始后，被試者需要坐在電腦的正前方，對屏幕中出現的手語指導視頻進行閱讀并理解對句子進行判斷。在實驗進行的過程中，刺激材料的呈現具有一定的順序，分別是300ms的注視點“+”，然后是句干視頻，它為1500ms，接著出現的就是300ms的手勢視頻，最后則是4000ms的“？？”。在全部進行完之后，對實驗進行按鍵結束，屏幕會出現灰色，用來讓被試者的眼睛進行休息，如果在此期間被試者做出反應，電腦則會自動進入到下一輪的測試。

三、 實驗結果與討論

（一） N1

我們通過實驗研究發現，在目標手勢出現了之后，時間在100～200ms之內，窗口會出現N1，它的潛伏期一般在130ms左右，在相同基準和音近條件下N1的波峰更尖銳，并會在所有電極上進行顯示，其中尤為突出的是中線和右線的電極上。在200～300ms時，窗口會出現P250——一道連續的更尖銳的波峰，它的潛伏期經我們觀察發現一般是在250ms左右。對這樣的啟動關系進行重復測量和分析后，我們發現這樣啟動關系的進行分別為基準手勢，義近手勢，音近手勢和無關手勢四種，一共有19個電極。從這樣的狀態來看，發現重復啟動的關系，其主效應沒有達到相應的顯著水平，但是電極的主效應卻極為顯著，重復啟動關系和電極之間的交互作用并不顯著。因此，這里的N1可能是類似于視覺詞匯識別的研究結果，它代表了語意變量的激活標志。

（二） N300

在實驗進行到刺激現象呈現之后，可以發現在200～400ms的時候，窗口內約在320ms時，出現了一個腦電反應N300，它的出現誘發了一個負走向并以頂部和中央區域為中心，分布極為廣泛的波動現象——在前幾次的實驗中曾記錄了類似反應但并未加以關注，出現這種情況的原因可能是在于它的波動幅度較小，也可能是因為研究者對它的重視程度較低，相關的研究重點不在于此。在手勢詞匯通達屬性的研究和對電腦反應的調控方面，更加關注于手勢詞匯相關的語義表現特征和一些相對更晚期的N400。對它們的重復啟動關系分別進行4×19的重復測量差并對結果進行分析，從相應的實驗結果可以看出，重復啟動關系的主效應達到了顯著的水平程度，相關的電極主效應也極其顯著，而且，重復啟動關系與電極的交互作用也相對顯著。如果對重復啟動關系的主效應進行下一步的多重比較檢驗，可以發現，基準和音近的啟動效應已經達到了顯著的水平，意近的啟動效應也接近于顯著效果，但是無關啟動效應卻不顯著。但是即使如此，無關手勢也同樣誘發了N400，因此，我們認為交互激活模型，是可以應用于手語模態與句子加工的。

四、 結語

對中國手語模態與句子加工之間的影響關系進行分析，需要對手語模式實驗進行精心設計，充分做好實驗準備，保證每一個環節的正常實施。并在進行實驗的同時，認真觀察實驗數據波動，以便于對數據進行比較和研究，最后才能得出影響關系。

參考文獻：

[1]晏心.長期手語經驗對雙模態雙語者口語、書面語理解系統的塑作用.2011.

[2]黃曉曉.基于情景語料庫的自然手語構詞研究.2012.

作者簡介：

陳燕，江蘇省南京市，南京市聾人學校。endprint