基于聾人案例的空間隱喻語義認知計算

姚登峰，江銘虎，阿布都克力木·阿布力孜，侯仁魁，哈里旦木·阿布都克里木

(1. 清華大學 人文學院計算語言學實驗室，北京 100084；2. 清華大學 心理學與認知科學研究中心，北京 100084；3. 北京聯合大學 北京市信息服務工程重點實驗室，北京 100101；4. 魯東大學 文學院，山東 煙臺 264025；5. 清華大學 計算機科學與技術系智能技術與系統國家重點實驗室，北京 100084)

?

基于聾人案例的空間隱喻語義認知計算

姚登峰1,2,3，江銘虎1,2，阿布都克力木·阿布力孜1,2，侯仁魁1,4，哈里旦木·阿布都克里木5

(1. 清華大學 人文學院計算語言學實驗室，北京 100084；2. 清華大學 心理學與認知科學研究中心，北京 100084；3. 北京聯合大學 北京市信息服務工程重點實驗室，北京 100101；4. 魯東大學 文學院，山東 煙臺 264025；5. 清華大學 計算機科學與技術系智能技術與系統國家重點實驗室，北京 100084)

我們從心理語言學的角度，對空間隱喻進行相似性分類和計算，使用多維量表和聚類方法，以聾人為被試分別進行了兩個實驗。實驗結果表明，聾人為實現空間隱喻理解的計算，使用了地形空間和語法空間的特征信息，同時受手語語言特點的影響，其空間隱喻的認知主題包括手勢者自身參照系、參照物的相對坐標系、手勢空間的飽和度、以手部或胸部為邊界。同時表明由于兩種空間的存在，聾人大腦對空間隱喻的理解存在著層次，并且在長期使用手語交流的過程中，其地形空間和語法空間相互作用，影響了聾人大腦空間隱喻的結構和表征，從而導致了獨特的高效快速空間隱喻計算。

空間隱喻；語義計算；聾人

1 引言

人類自然語言存在著大量的隱喻現象，像漢語中的詩詞歌賦更是大量采用隱喻,例如，“道是無晴卻有晴”，“春蠶到死絲方盡”借用雙關語,隱喻有無情義和思念到死。這些典型的非字面語言現象的機器翻譯——隱喻的計算處理僅僅依靠字面翻譯是不夠的，難以翻譯出其深刻內涵和準確含義。因此隱喻計算成為自然語言處理技術跳不過去的問題之一。由于隱喻是一種基于知識獲取的語言現象，因此目前的隱喻計算主要關注如何人工或自動獲取這些知識，實現隱喻的識別和解釋，這些知識的來源包括語料庫、知識庫、同義詞典等在這些資源基礎讓提出統計模型，是目前的研究方向之一。然而這些模型目前沒有一個可廣泛解決隱喻問題。因為隱喻作為典型的非字面語言，其理解和計算需要更多與背景知識相關的語用信息，這也使得計算機僅僅領先目前的背景知識來理解非字面語言與像人腦一樣理解非字面語言主演存在較大的差距。文獻[2]利用fMRI(核磁共振成像Functional magnetic resonance imaging)實驗發現了涉及語用的世界知識在大腦中的激活區、語義區和句法區，并指出這三個區域是分開的。這個實驗事實表明語言形式和更復雜的因果關系、社會因素等語用信息分別屬于兩個不同的模塊，語用和語言形式間存在著功能的分離。

從目前來看，對隱喻計算所采用的多數方法都基于統計學習理論。然而隱喻是一種認知現象，如果僅僅基于統計方法去處理隱喻的理解，可能會忽略一些關鍵性的細節。因此，我們認為必須要把隱喻的處理納入認知的范疇，將現有的計算模型結合認知的方法，這樣才能更好地處理隱喻問題。因此很多學者提出了新的方向，例如，文獻[3]認為應從隱喻的認知機制出發,結合語言活動中隱喻的產生和理解過程和機理、人類隱喻能力的神經生物學與認知心理學基礎來認識隱喻。現代認知神經科學技術也證明了這一點，例如，EEG(腦電圖Electroencephalo-Graph)、fMRI的模擬和實驗結果表明事物對象在腦皮層諸多分布網絡區域中均有刺激反應，這些區域儲存著諸如形狀、顏色和行為等屬性信息。只要對象概念被喚起，與該對象相關的運動和行為及相關屬性就會被自動激活。這間接證明了隱喻并不是簡單地按照規則來實現字面到非字面意義的映射，而是激活相關語義概念，來進行復雜的推理，最后完成本體到喻體的映射生成。有證據顯示左腦對于大多數語言的經典語言區占主導地位，右腦則參與了敘事建構、話語表征、隱喻以及預測和連貫性的推論等相關處理[4]。此外，實驗結果表明，漢語隱喻理解的認知加工比一般的認知加工更多地激活了左腦和右腦額下回，不僅需要激活所加工詞語的詞義，還要對語義進行延伸，廣泛地搜索與詞義相關的信息，它包含了語義搜索和語義激活的更多加工內容[5]。這些發現表明,為了正確使用隱喻等非字面語言，大腦需要深刻理解漢語詞匯語義，并在大腦里激活相關的隱喻概念網絡。

空間隱喻是指參照空間方位而形成的一系列隱喻概念，它是以空間概念為原域向其他認知域或目標域進行映射，進而獲得引申和抽象意義的認知過程。認知語言學界普遍認為，在所有隱喻中，空間隱喻對人類的概念形成具有特殊重要的意義，因為多數抽象概念都是通過空間隱喻來表達和理解的。如在漢語里，內外的空間關系還用于表示稱謂之間的親疏關系，如有的地方在母系稱謂前加“外”字,如外婆外公外孫等，除了表示與父系的區別，還有幾千年的封建思想，即反映男女不平等。相對于父系是“家里”人，母系為“家外”人。

中國手語是指中國大陸和其他華語地區聾人群體使用的一種包含復雜空間信息的視覺語言。國外學者發現在觀看英語句子時，聾人與健聽人一樣都激活了左腦經典的語言區域——左外側裂腦區周圍，但是聾人大腦還激活了右腦區域，包括右邊外側裂周區。他們認為這是因為手語語法增加了空間處理的需求[6]。研究表明聾人大腦的認知加工包含了空間隱喻和場景加工[7]。因此以聾人為被試，可能有助于我們揭示空間隱喻的本質。為此我們擬從心理語言學的角度，對空間隱喻進行相似性分類和計算，以聾人大腦認知加工為例，探究人類大腦為實現隱喻計算而建立的認知主題和概念結構。

本文按照如下方式組織: 第二節詳細介紹了以聾人為被試所做的空間隱喻認知實驗過程、包括實驗材料、數據的采集處理及調查分析；第三節描述了實驗結果，包括多維量表的分析結果、聚類分析結果，并對實驗結果進行了討論和解釋；最后是全文的總結與討論。

2 空間隱喻認知實驗

2．1 實驗一: 影響空間隱喻加工的屬性調查

研究目的和假設

目前對隱喻認知的研究主要集中在探討非字面語言與直義語言加工的差異上，為此眾多研究人員提出了理論模型。其中文獻[8]提出顯性度假說(GSH)為代表，該假說認為隱喻認知的差異不在于字面意義和非字面意義對的差異，而是來自顯性度的影響。其中顯性度高低主要受語言材料的頻率、熟悉度、約定性、典型性等因素的影響。我們以此為基礎，考察了空間隱喻的各屬性，以及對大腦加工的影響，從而為后期空間隱喻加工機制的實驗研究準備合適的材料，為實驗研究的變量選擇提供依據。我們假設空間隱喻的熟悉度和預測性存在顯著的相關，直義性和透明度存在顯著的相關。

被試和研究內容

實驗隨機抽取了北京聯合大學特殊教育學院60名聾人大學生。男生46名, 女生14名。平均年齡為21.34歲。采取問卷調查形式，考察空間隱喻的四種屬性及其各種屬性的相互關系。四種屬性分別為熟悉度、直義性、預測性和透明度。

研究材料

首先請北京聯合大學特殊教育學院手語社社員設計了三個大類。例如，上/下、前/后、左/右。在這三大類下又設計了200個空間隱喻詞對，例如，好/壞、升/降、成功/失敗、開始/結束、床上/床下、前/后、進/來、遠/近、買/賣、送/退、接受/拒絕、左/右、寬/粗、放開/縮小、關的/開的、離開/聚合、擁擠/空曠等。在此基礎上再設計句子，全部采用“A是B”的表征形式，例如，“好是可貴的品質”。然后請北京手語研究會的兩名研究員(其中一位為聾人，一位為健聽人，聾校教師)進行了核對和修改，篩選出120個空間隱喻詞對和相應的句子，在此基礎上形成了正式調查問卷。

研究程序

由于聾人的母語為中國手語，為了避免第二語言漢語對聾人的影響，所選擇的120個空間隱喻詞對、相應的句子以及實驗指導語已全部拍攝成錄像，其錄像如圖1所示。

圖1 空間隱喻的手勢視頻

將被試隨機分成四組，每組15人，每組分別完成空間隱喻的熟悉性、直義性、預測性和透明度的屬性調查。要求對手語視頻的屬性進行五點量表評定。

研究結果和分析

我們采用SPPS10.0軟件，對空間隱喻的熟悉性、直義性、預測性和透明度的屬性做方差分析，其分析結果如表1所示。

從表1可看出，空間隱喻的各個屬性之間存在著不同的相關。同時雖然相關程度不一樣，但這四個屬性之間相關系數的顯著性檢驗均較顯著。熟

表1 以聾人為被試的空間隱喻屬性的方差分析

悉度與預測性的相關很高，其r=0.87，這暗示著熟悉度和預測性可以相互預測，類似的還有直義性和透明度，但是其他屬性之間的相關并不明顯。

為了直觀地比較，我們之前用同樣的方法，以清華大學手語社社員為被試做了研究，得到的結果如表2所示。

表2 以健聽人為被試的空間隱喻屬性的方差分析

由此可以看出，結果與表1仍然類似，但被試間也存在顯著性差異。具體表現為健聽人在預測性、直義性、透明度三個屬性上比聾人要高。我們認為這與被試的大腦思維有一定的關系。我們曾對2013級入學的大學聾生做過調查，發現大一聾生的水平大致在健聽人高一水平，對抽象知識的理解能力普遍弱于健聽學生。由于中國手語的特殊之處在于僅用一個手勢即可表示具體和抽象的兩個語義，而聾生思維形式是從形象思維逐步向抽象邏輯思維過度。聾生抽象思維在很大程度上仍然難以割舍與感性經驗的直接聯系。因此在理解一部分空間隱喻的手勢時，很多聾生一時無法完成原域到目標域，即從具體到抽象的映射，停留在空間隱喻的具體語義上，因此在熟悉度上聾人強于健聽人，但在其他方面弱于健聽人。此外很多研究表明，實現從具體到抽象的映射過程中間需要經過復雜的計算。因為空間隱喻還需要應用視覺場景來進行管理和排序，因此僅靠傳統的信息處理和計算理論計算空間隱喻已顯然不夠。傳統的機器翻譯方法忽略了隱喻認知的特點，則顯得更不適合。

2.2 實驗二: 空間隱喻的相似度分類

研究目的

通過空間隱喻的分類，考察聾人被試的空間隱喻的概念結構和空間認知主題。

被試和研究內容

隨機抽取北京聯合大學特殊教育學院20名聾人大學生。其中男生14名，女生6名。平均年齡為21.58歲。母語均為中國手語。

研究材料

根據實驗一的結果，我們分別選取熟悉度和直義性高等級的語料各30條。接著在三大類上，每類選取十條空間隱喻詞對，即60個空間隱喻詞匯，打亂順序，使用Matlab編程，使之隨機呈現在電腦顯示器上。其選取的60個空間隱喻詞匯如表3所示。其中床上/床下等手勢并不是簡單的上下關系，而是已發展為獨立手勢，與上午/下午等手勢類似。

表3 空間隱喻實驗詞匯表

研究程序

要求被試對60個空間隱喻詞匯作相似性分類，具體可使用Matlab程序呈現事先拍攝好的指導語視頻，漢語意思如下: “下面是60個手勢錄像，這60個錄像跟空間有關系，請你逐個解釋這60個手勢錄像。認識完60個手勢后，要求根據自己的理解，把60個手勢視頻做個分類。可以按自己的想法分類，認為是相同的或者相近的，就放在同一類。分成幾類，自己定。要求解釋分類的理由，主試會幫你做記錄。一個類別里面有多少數量沒有要求。但是60個視頻，每個都不能重復使用，即一個只能用一次。”實驗完成后，將分類結果引入至Excel，使用Matlab編程，負責讀取每個被試數據，并自動轉換成60*60相異矩陣。其中形成相異數據矩陣的規則是: 在分類過程中，如果兩個手勢被認為是同一類，則在相異數據矩陣中這兩個手勢的交叉點上標記為0，否則為1。最后疊加所有被試數據，輸出Excel數據文件。

數據處理和分析

用多維量表(Multi-Dimensional Scaling)和聚類法進行分析,以確定聾人的空間隱喻認知主題和空間隱喻概念結構。其中多維量表采用歐幾里得直線距離量表模型(Euclidian Distance Scaling Model)可得到一個相異數據矩陣，用于計算空間隱喻的間距離矩陣數據。在得到空間隱喻手勢分類的相異數據矩陣之后,使用Non-metric MDS統計公式[9]得到聾人的空間隱喻概念結構不同維度的解、壓力值以及各個手勢在不同維度中的坐標值。

3 實驗結果

系統使用楊氏第一S-stress公式進行迭代運算，并設置為當S-stress的負增加量小于0.001時，停止迭代運算。其運算結果表明，本例完成了五次迭代運算，最終S-stress值達到0.049，RSQ達到0.93，獲得對應數據矩陣的二維坐標空間圖，如圖2所示。

圖2 60個空間隱喻詞匯的語義空間

由圖2可見空間隱喻的語義空間有兩個維度: (1)參照物本身的空間和狀態/手勢者本身的方位: 橫軸從左到右，左邊的詞表示參照物本身的空間方位，右邊的詞表示手勢者本身的空間方位/狀態；(2)空間/狀態: 縱軸從上到下，上邊是表示空間的空間隱喻，下邊是表示狀態的空間隱喻。

根據劃分聚類圖和平均分類數，可劃分為四個空間認知主題: (1)手勢者自身參照系。包括: 升/降、驕傲/謙虛、開始/結束、浮/沉、進/退、來/去、拒絕/接受、穿/脫、還/借、買/賣，共十個詞對；(2)參照物的相對坐標系。包括: 好/壞、友/敵、成功/失敗、床上/床下、附近/遠方、離開/靠近、結婚/離婚、日出/日落、暗/亮、閉卷/開卷、分/合、開門/關門，共12個詞對；(3)手勢空間的飽和度。包括: 寬/窄、粗/細、放大/縮小3個詞對；(4)以手部或者胸部為邊界。包括: 上午/下午、新/舊、饑/飽、外交/內務、放/抓，共五個詞對；等級相關的分析表明空間隱喻語義空間的維度1和維度2的坐標值相關性不顯著，其rRC=0.28，p>0.05，說明兩個維度相互獨立。文獻[10]以文獻[11]提出的35個詞為基礎，認為英國人的空間認知主題為四個主題，即: 障礙與通道、距離與方向、容量與邊界、垂直維度。文獻[12]認為漢族人有四個認知主題，即三維方位、邊界、空間飽和度、視覺距離。而通過圖2，可以看到聾人對空間隱喻的概念結構未出現障礙與通道、視覺距離等認知主題，而其他均已出現。

從圖2中可以看出，聾人將空間隱喻手勢分成描繪手勢者本身的手勢描繪參照物方位和狀態的手勢居多，為此文獻[13]提出將聾人認知空間劃分的說法，即地形空間(topographic space)和語法空間(syntactic space)。在物理上，地形空間和語法空間的手勢空間完全一樣，但手語使用了這兩種完全不同的方式來表達空間。地形空間再現了真實世界的立體地圖，這是一個表示事物與情況的手勢空間中的空間布局，對應著真實世界的事物與情景。例如，手勢者描述他的餐桌“一塌糊涂。”；“我的碗(右)被打破了，我的食物(中心)灑了，我的玻璃杯(左)是空的。”這種描述用到了地形空間，因為它再現了餐桌上的狀況，正如真實情景一樣。而語法空間產生于語言內部，不會投射到真實世界。再如，為了表達{我的父親愛母親}，手勢者可在左邊的手勢空間打出一個手勢代表父親，然后右手邊打出手勢代表母親，最后再打出“愛”的手勢。這種打法正是基于文本語言來創建的，允許手勢者在空間中引用。因此地形空間表達的是一般意義上，即現實的空間關系，而語法空間反映的則是手語語法。文獻[14]比較了聾人對于兩類句子的認知加工差異，發現聾人在看過地形空間句子之后，對某個詞是否出現過的判斷反應明顯要比其他句子快，這說明聾人對這兩種空間的認知過程存在不同的神經機制。此外大量研究表明聾人大腦對空間特征的加工存在著不同的層次，并不能一概而論。文獻[15]指出并非所有的空間特性都具有容易理解的優勢，像地形空間就容易理解，而語法空間反之。目前對地形空間和語法空間的研究尚不充分，若能解決此問題，將有助于我們建立完整的空間隱喻表征模型。

另外，我們注意到在中國手語中，其空間隱喻的語義是與手勢動作密切相關的。具體來講，與表達詞義的相關位置、手形、方向、運動密切相關，最常見的是需要手部的空間運動來表達空間隱喻的語義，例如，通過上下移動來表達空間隱喻的概念，如好、升、新、明亮、驕傲、友、開始、成功等，類似的還有來回擺動來表達寬/窄、新/舊等概念。在其他手語中，我們常能見到方向、位置也起到很重要的作用。例如，手掌心朝向自己表示請求別人的幫助，手掌心朝向別人表示要幫助別人的意思。此外眾多研究表明，在語音學編碼中，空間位置是唯一基于語義編碼的參數[16]，在手語空間中具有高度任意性，表現為每個手勢動作對應一個空間位置。例如，空間位置都在太陽穴周圍的，通常屬于思想活動的空間隱喻。例如，意識、思維、認識、概念、想念、思想等；而空間位置在胸前心的位置時，通常表達與心理有關的空間隱喻。例如，心理、興奮、難過、生氣、擔心、猶豫等。由此表明空間隱喻是通過改變手部其移動方向、位置等方式來表達實現的，因此手語本身的特性以空間為概念框架，并將空間作為表達中介，本身就更加依賴于高效連貫的空間隱喻。我們在觀察表達抽象概念的手勢可以發現，例如，通過手部往上運動，可以表達出“升”的空間隱喻，聾人平時交流時表達“工作表現好可以升職”多用此手勢，類似的還有股市下跌、登山成功等概念。而且，與漢語分別用兩個詞表示空間隱喻中原域到抽象域的映射不同。例如，開花-春天，在中國手語里，僅用一個手勢，通過空間隱喻的手段，就可以表征原域“開花”和目標域“春天”這兩個域。

多維量表分析結果的意義體現在壓力系數Stress和RSQ兩個統計量上，它們反映分析結果中各點的空間距離和數據矩陣之間的一致性程度。為此，我們計算得到線性擬合散點圖，如圖3所示。

圖3 線性擬合散點圖

坐標圖的橫坐標距離為標準化后的原始數據，縱坐標為相異性距離。由此可以看出所畫出的空間坐標圖與相異數據矩陣的擬合度較好。如果所有的點分散成一條直線，表示多維量表空間圖能完全解釋給定的相異性，即壓力系數為零。此圖表明，所有的各點都均勻落在16條直線的附近，存在單個點的分散現象，說明坐標圖和數據擬合沒有達到100%。若設定多維量表分析只有一維，則其壓力系數為Stress=.290 79，RSQ=.887 91，其一維空間圖如圖4所示。由RSQ可知，雖然一維不能100%代表原始變量，但也表明高達88%的擬合度，且兩個變量應只需一維空間圖，如此才能達到簡化數據與縮減維度的目的。因此就本例而言，一維分析結果較二維佳。

圖4 一維空間語義圖

采用區間測量，以最小變異數和法(Ward’s Method)計算類內的變量和，使同一類內觀測值的變異數之和最小， 不 同 群之間觀測值的變異數之和

圖5 層次聚類的樹狀圖

為進行聚類驗證，使用K-means聚類分析，得到劃分聚類圖，如圖6所示。

由此可看出，這兩類方法得到的結果很接近，表明其結果恰當且可信。聚類分析表明: 聾生能夠按照上/下、前/后、左/右等三大類比較清楚地分別歸為一類，但是像好/壞、上/下等關系聾生似乎不能很好的分類，而將“壞”等個別手勢與“接受”“遠方”等前后關系劃歸為一類。對此有些學者認為， 由于人體生理學結構特性，手勢者往往傾向于沿著橫軸左右移動手勢，而且三個方位也并不完全相互排斥,左、下、后常常聯系在一起,而右、上、前常常聯系在一起[17]。我們認為這是由于聾人在長期手勢交流過程中，眼睛要時刻注視對方手勢，并監控自己的手勢，造成了左下后聯系在一起的空間認知策略，在手

圖6 對被試數據所做的劃分聚類結果

勢上也表現為對自身的關注也多于健聽人。因此文獻[18]認為不同的語言會導致包括空間隱喻認知在內的認知方式和策略的差異， 也影響了認知過程的

難易和結果。講不同語言的人有不同的腦皮層表征和結構,語言對認知有重要的影響。如圖7和圖8表達句子“貓在床下跑”的兩個例子。

圖7 母語為漢語的手語打法(手勢者為清華大學手語社學生，可代表手語初學者)

圖8 母語為中國手語的手語打法(手勢者為北京聯合大學特殊教育學院聾生)

從這個例子可以看出聾人在空間概念組織上與健聽人存在著差異，這些差異應該是由語言導致的。漢語常用“在”來表達上下關系，如“在頭上”、“在山腳下”等漢語句子既可以表達物體的相對位置，也可以表達物體相對于觀察者的位置。但手語并不存在“在”的關系，而是直接用手部表示中介，用中介表示參照物，有可能是以自身為參照，也可能是以物體為方位，強調了空間隱喻表達自身或物體方位的功能，因此聾人在進行空間隱喻的語義計算時還生成了空間認知主題“手勢者自身參照系”。顯然，健聽人在利用空間隱喻詞匯表征空間特征上，比聾人要深刻。根據美國加勞德特大學1996年發布的美國常模數據，聾人18歲的平均閱讀水平只達到小學3.9年級。這驗證了國內一些類似的研究結果: 聽障生在高中畢業時他們的閱讀水平比同齡的健聽生閱讀水平總體相差六到七年,只有3%的聽障生達到健聽生的平均水平。由于漢語語言能力的欠缺，漢語文化和概念體系的缺乏，聾人學習者不大可能像操漢語者那樣能夠對隱喻，特別是常規隱喻，進行自動、下意識地加工。另外聾人本身的中國手語母語知識和概念體系還要發生遷移作用。因此聾人學習者的隱喻理解不同于操漢語者，表現在沒有發現視覺距離的空間認知主題，如外交、內務、附近、遠方等空間隱喻沒有劃歸到物體方位和狀態的認知主題中。薩丕爾-沃爾夫假說認為文化通過語言影響思維，影響人們對于經驗的分類，語言差異將會導致思維差異[19]。

與文獻[10]相比，聾人在空間隱喻的概念結構和認知主題上與健聽人類似，其空間隱喻的概念結構和認知主題都未出現“垂直/水平”維度；但在空間認知主題里，其空間飽和度和邊界完全相同。因此在劃分聚類時，聾人仍能正常地將空間隱喻劃分成三大類下的六小類。聾人除了聽力缺陷以外，其他感官和心智都與健聽人一樣，甚至大腦左半球的語言加工區域、長時記憶上與健聽人沒有本質區別，因此在空間隱喻的概念結構和認知主題上表現極為相似。我們認為，語言的相似性也影響雙語者的不同語言之間的聯系[20-22]。文獻[23]以熟練手語-漢語雙語者為被試，采用雙語Stroop的研究范式，熟練手語-漢語雙語者語言間的隱蔽語義聯想啟動效應，并比較了熟練手語-漢語雙語者語言間與語言內的隱蔽聯想啟動效應。結果發現手語-漢語雙語者的兩種語言的詞匯共享語義表征。

我們認為中國手語的空間隱喻與西方手語相比，還存在著一定特殊性: 1.中國手語植根于漢語大環境下，與漢語——象形文字一樣都是自然物象在大腦中的隱喻產物；2.中國聾人所處的地理環境和由此而長期形成的文化傳統較西方地理和文化都有一定的差異，這種差異必然導致隱喻加工時腦機制的特殊性；聾生之所以更強調空間隱喻所描繪的對象差異，我們認為與其聽力缺陷有關，因為聾人生理上接受信息的聽說器官受阻，如果從小得不到有效康復訓練，語言發育遲滯，影響讀寫能力和思維能力的發展。導致了在對外界的認知上受到障礙，從而使得聾人更多地關注于自己。

4 總結與討論

手語隱喻和漢語隱喻都屬于單模態隱喻，不同的是手語模態是人類通過視覺通道與周圍環境不斷進行信息交換而產生的相應視覺模態，而口語是通過視覺或者聽覺模態來交換信息。手語和口語這兩種模態的感知與產出的不同體系可能導致束縛語言加工本質的差異。

通過以上實驗看出，對于聾人大腦認知加工，其空間認知主題有手勢者自身參照系、參照物的相對坐標系、手勢空間的飽和度、以手部或者胸部為邊界。其空間隱喻的語義空間有兩個維度，即參照物或手勢者本身的空間方位，空間隱喻本身的空間/狀態。對于聾人被試，其特殊的地方還在于空間隱喻的概念結構未出現障礙與通道、視覺距離等認知主題。由此表明，聾人在長期使用手語交流的過程中，其大腦已形成了獨特的空間隱喻認知主題和概念結構。特別是通過對空間的劃分，其地形空間和語法空間相互作用，對空間隱喻的結構和表征產生了影響。這就是所謂的薩丕爾-沃爾夫假說，即不同的語言和文化影響人的空間認知表征。因此聾人大腦表現出高效快速的空間隱喻計算，這個可能與其不同于健聽人的空間隱喻認知主題和概念結構有關。從另一方面證明了語言和文化影響了空間隱喻的計算，影響了空間隱喻的認知結果。

未來應進一步深入探討地形空間和語法空間對空間隱喻的影響。例如，對于空間隱喻同一個概念，地形空間和語法空間如何表達？在何種情況下兩者如何相互影響？另外通過對空間隱喻語義計算的研究，我們期待將來能進一步闡明空間隱喻語義計算的認知神經機制，以便得到更完整的空間隱喻表征模型，并借此實現對空間隱喻的識別和理解，以進行空間隱喻的計算和分析，最終達到計算機可自動識別和理解空間隱喻的目標。

[1] Nerlich B, Clarke D D. Mind, meaning and metaphor: the philosophy and psychology of metaphor in 19th-century Germany [J]. History of the human sciences, 2001, 14(2): 39-61.

[2] Friederici A D, Fiebach C J, Schlesewsky M, et al. Processing linguistic complexity and grammaticality in the left frontal cortex [J]. Cerebral Cortex, 2006, 16(12): 1709-1717.

[3] 周昌樂.作為認知手段的隱喻及其涉身性分析[J].心智與計算,2008,3:272-278.

[4] Kuperberg G, Holcomb P, Sitnikova T, et al. Distinct patterns of neural modulation during the processing of conceptual and syntactic anomalies [J]. Journal of Cognitive Neuroscience, 2003, 15(2): 272-293.

[5] 李瑩,張學新,莫雷.漢語隱喻理解的認知加工過程與神經機制研究[C].第十二屆全國心理學學術大會論文摘要集,2009.

[6] Neville H J, Bavelier D, Corina D, et al. Cerebral organization for language in deaf and hearing subjects: biological constraints and effects of experience [J]. Proceedings of the National Academy of Sciences, 1998, 95(3): 922-929.

[7] Huenerfauth M. Spatial representation of classifier predicates for machine translation into american sign language [C]//Proceedings of the Workshop on Representation and Processing of Sign Language, 4th Internationnal Conference on Language Ressources and Evaluation (LREC 2004). 2004: 24-31.

[8] Giora R. Understanding figurative and literal language: The graded salience hypothesis [J]. Cognitive linguistics, 1997, 8: 183-206.

[9] Kruskal J B. Nonmetric multidimensional scaling: a numerical method [J]. Psychometrika, 1964, 29(2): 115-129.

[10] Pollio H R, Fagan L B, Graves T R, et al. The semantics of space: experiential and linguistic aspects of selected English spatial terms [J]. Journal of Psycholinguistic Research, 2005, 34(2): 133-152.

[11] Tuan Y F. Space and place: The perspective of experience [M]. U of Minnesota Press, 1977.

[12] 張積家,謝書書,和秀梅.語言和文化對空間認知的影響——漢族和納西族大學生空間詞相似性分類的比較研究[J].心理學報,2008,40(7):774-787.

[13] Sutton-Spence R, Woll B. The linguistics of British Sign Language: an introduction [M]. Cambridge University Press, 1999.

[14] Emmorey K, Corina D, Bellugi U. Differential processing of topographic and referential functions of space[M]. K.Emmorey, J Reilly ed. Language, gesture and space. Hillsdale, JN: Erlbaum, 1995.

[15] 劉秀丹.空間性對于聾生手語句義理解的影響[J].特殊教育研究學刊,2008,33(2):71-83.

[16] Baus C, Gutiérrez-Sigut E, Quer J, et al. Lexical access in Catalan signed language (LSC) production [J]. Cognition, 2008, 108(3): 856-865.

[17] Sutton-Spence R. Spatial metaphor and expressions of identity in sign language poetry [J]. Metaphorik. de, 2010, 19: 1-40.

[18] 張積家,劉麗虹,譚力海.語言關聯性假設的研究進展——新的證據與看法[J].語言科學,2005,4(3):42-56.

[19] Kay P, Kempton W. What is the Sapir-Whorf hypothesis? [J]. American Anthropologist, 1984, 86(1): 65-79.

[20] M?giste E. Stroop tasks and dichotic translation: The development of interference patterns in bilinguals [J]. Journal of Experimental Psychology: Learning, Memory, and Cognition, 1984, 10(2): 304.

[21] Chen H C, Ho C. Development of Stroop interference in Chinese-English bilinguals [J]. Journal of Experimental Psychology: Learning, Memory, and Cognition, 1986, 12(3): 397.

[22] Keatley C W, Spinks J A, De Gelder B. Asymmetrical cross-language priming effects [J]. Memory & Cognition, 1994, 22(1): 70-84.

[23] 張積家,張廣巖,陳穗清.熟練手語-漢語雙語者的語言聯系模式 [J].中國特殊教育,2013,5:006.

Semantic Computing of Spatial Metaphor Based on Deaf Persons’ Cognition Cases

YAO Dengfeng1,2,3, JIANG Minghu1,2, Abudoukelimu Abulizi1,2, HOU Renkui1,4，Halidanmu Abudukelimu5

(1. Lab of Computational Linguistics, School of Humanities, Tsinghua University, Beijing 100084, China;2. Center for Psychology and Cognitive Science, Tsinghua University, Beijing 100084, China;3. Beijing Key Lab of Information Service Engineering, Beijing Union University, Beijing 100101, China；4. School of Chinese Language and Literature, Ludong University, Yantai, Shandong 264025, China；5. State Key Laboratory of Intelligent Technology and Systems, Tsinghua National Laboratory for Information Science and Technology, Department of Computer Sci. and Tech., Tsinghua University, Beijing 100084，China)

The metaphor processing is a challenging issuein natural language processing. From the perspective of psycholinguistics, spatial metaphor is made to perform similar classification and computation. We use multidimensional scaling and clustering method, with the deaf as subjects for two experiments, and showe thatthe deaf use the topographic space and syntactic space for computational implementation of spatial metaphor comprehension. At the same time, influenced by sign language, the deaf’s cognitive subjects of spatial metaphor include signers’ own reference frame, references’ relative coordinates and the sign space saturation, within the boundary of the part of hand or chest. It is also revealed from the experiments that, due to the presence of two kinds of space, spatial metaphor understanding in the deaf brain is leveled, as suggested by the the Sapir Whorf hypothesis, with the structure and representation of spatial metaphor influenced by its interaction between topographic space and syntactic space.

spatial metaphor；semantic computing；deaf person

姚登峰(1979—),通信作者,博士研究生,講師,主要研究領域為手語認知與計算。E-mail:yaodengfeng@gmail.com江銘虎(1962—),教授,主要研究領域為語言認知與計算。E-mail:jiang.mh@tsinghua.edu.cn阿布都克力木·阿布力孜(1983—),博士研究生,主要研究領域為語言認知、認知神經科學。E-mail:keram1106@163.com

1003-0077(2015)05-0039-10

2015-08-10 定稿日期： 2015-09-15

國家自然科學基金(61171114、61433015、91420202)；國家社會科學基金(14ZDB154、13&ZD187)； 教育部人文社會科學研究規劃基金(14YJC740104)；北京高校青年英才計劃項目(YETP1753)

TP391

A