語言研究的多模態視角

【摘要】顧曰國在《多模態感官系統與語言研究》一文中界定了“多模態”的概念，梳理了多模態感官系統與語言跨學科研究的主要理論基礎及所研究的三個理論問題，為多模態與語言學的研究提供了理論基礎和新的視角。

【關鍵詞】多模態 多模態感官系統 語言研究

【基金項目】本文為衡水學院2016年教育教學改革課題（項目編號為jg2016093）和2015年河北省高等學校英語教學改革研究與實踐項目（編號：2015YYJG051）的階段性研究成果。

【中圖分類號】G64 【文獻標識碼】A 【文章編號】2095-3089（2017）35-0031-02

《多模態感官系統與語言研究》是顧曰國2015年發表在《當代語言學》上第4期的一篇文章。文章梳理了多模態感官系統與語言跨學科研究的主要理論基礎。全文共分為五個部分：引言、學術背景、以單模態為基點的語言學研究基礎、以多模塊的語言學研究基礎、多模態感官系統與語言研究的三個理論問題。下面對文章每個部分進行介紹和評論：

1.引言部分中，作者對漢語“模態”所對應的英語“mode”和“modality”進行了澄清和區分。術語“mode”對應功能語言學中語境的三要素之一“語言方式”（mode）。Hodge和Kress拓展了韓禮德的社會符號學理論，用其來指非語言方式。Kress后來用它泛指能產生意義的任何符號資源，如文字、圖像、顏色甚至發型等?；旌鲜褂枚喾Nmode的這種呈現方式叫做multimodal，普遍譯為“多模態”。本文所討論的“多模態”源自于腦神經科學中的“感官模態系統”。例如眼睛加上處理視覺信號的神經系統就組成了視覺模態。為了避免混淆，顧曰國將“multi+mode”譯為了“多符號”，將“multi+modality”譯為“多模態感官系統”。

評：顧曰國在澄清定義時還特別指出了多模態話語分析同本文所要講的多模態感官系統之間的關系，前者是包含在本文所研究的多模態感官系統之內的。作者以“五官”為例，舉例說明了本文所要討論的多模態感官系統，并用multimodality的英文釋義分別說明了其在多模態話語分析中（multi+mode）和本文研究中（multi+modality）的不同之處。近年來國內學者對多模態的研究也涉及到了話語分析、教學、隱喻等多個方面，但這些和多模態相關的研究大多都屬于本文所講的“多符號”研究，對本文所定義的“多模態感官系統”和語言學的研究涉及較少也更缺乏系統地說明。

2.學術背景中作者簡要介紹了多模態感官系統研究的七個視角：生物視角、胚胎視角、心理視角、認知科學視角、哲學視角、臨床視角和人工模擬視角，并指出這七個視角的研究是互補的。此部分中，作者還對五官的功能進行了詳細的介紹。中醫依據五官的“望聞問切”推斷出人本身內在的身心狀況，而西方研究多模態感官的重心則是放在了感官主體和外部世界互動的關系上。此外，該部分中作者還介紹了西方胚胎學和神經醫學對多模態感官系統的研究成果（主要是視覺和聽覺），其中最為有影響力的是Kolb和Whishaw以及Sadler歸納了多模態感官系統的共同生物特質。

評：在學術背景中，作者不僅說明了多模態感官研究的七個視角，而且還指出了這七個視角是互為補充的。將該部分與后面介紹單模態和多模態理論的發展相結合，讀者可以縱向看出每個理論的研究視角及缺點，后人的研究理論是從哪個視角進行彌補的。另外，此部分中作者主要按從古到今的順序對“五官”功能進行了中西方研究的對比，特別對多模態感官系統的生物特性進行了詳細的說明。作者為了更好地說明其生物特性采用了生活中的例子（如人的視覺和聽覺感知、動物的視覺和聽覺感知等），使得很重要的該部分變得通俗易懂，且容易和讀者產生共鳴。

3.第三部分作者主要介紹了以單模態為基點的語言學基礎研究。該部分包括喬姆斯基的“語言器官論”、福德的“心智模塊理論”、視覺模態和手語，以及胎兒的聽覺和視覺研究。作者首先就喬姆斯基的“語言器官論”提出了假設然后就福德的“心智模塊理論”進行了說明，接著對該理論和“語言器官論”進行了對比。福德認為人的心智是高度模塊化的，并將心理處理過程分為了轉化器、輸入系統和中央處理器三個功能塊。其中，多模態感知系統在此模塊中起到了轉化器的作用。福德認為人腦處理語言的心智是高度模塊化的，且語言模塊是單獨的模塊，其轉化器是由聽覺模態實施的，獨立于其他感官模態。

喬姆斯基的“語言器官論”是仿照人類其他的器官進行建模的，認為母語不是學來的，而是長出來的。但喬姆斯基對于多模態感官的作用并沒有直接涉及，顧對此進行了分析，指出多模態感官系統通過后天經驗觸發語言器官的成長。

作者還在此部分中分析了福德和喬姆斯基的相同點和不同點，并指出了與下文討論密切相關的兩點：一是“天賦”的時間線；二是，兩者所涉及到的跟語言相關的感官模態都默認為聽覺和相關聯的發音器官的神經控制系統。顧也指出關于先天聾啞人的母語和胎兒聽力的研究使研究者看到了以上兩種理論的局限性。如果“天賦”時間以出生為界，那胎兒聽覺能力如何解釋？如果和語言相關的感官模態默認為聽覺和相關的發音器官，那天生聾啞人的母語又如何解釋？

顧指出手語也是母語，手勢和語音都為語言的載體（Meier， 2002）。因此，作者在這里提出了兩個問題：喬姆斯基的普遍語法是超模態的還是只適合于有聲語言的聽覺模態？隨后又指出有些學者從進化的角度分析了人類語言，指出“語言源自身體”（Armstrong， et al. 1995：4），同時也指出目前尚無定論究竟是有聲在先還是手勢在先，抑或兩者是同步運行。

顧從喬姆斯基的角度，指出聽覺模態的起始時間和外部語言的形成有關，因此外部語言是在出生前就萌發了。但人類的視覺模態卻要等到出生后才開始接受外部的刺激。然后作者就“視覺有沒有先天的東西”從神經學（捆綁難題）和心理學（格式塔）角度的討論。endprint

評：本部分中，作者對以單模態為基點的語言學基礎研究進行了理論梳理。對所涉及到的“心智模塊理論”、“語言器官論”、手語、胚胎學按時間進行了理論梳理。該部分作者不僅有理論描述，還分析了不同理論的優點、與局限性，展現了四大部分的動態演化軌跡。作者為了更好地描述“心智模塊論”中的心理過程時，采用了人對蛇所作出的反應這個例子。雖然在后面，顧也提到舉這個例子是為了讓讀者更好地理解，但例子本身從語言學角度還是不太恰當。

關于手語的討論，作者只指出了“手語也是母語”，但沒有解釋原因也沒有對相關研究進行說明。關于胚胎學的研究，特別是有關嬰兒視覺的研究，作者也從分析了不同的研究視角，并指出了該研究的未解決問題。無論是手語研究還是胚胎學有關聽覺和視覺的研究。

4.第四部分作者介紹了以多模態感官為基點的基礎研究。作者首先指出了多模態感官研究的前提。養育論者認為個體語言的習得都靠后天養育，在其語言學模型中，造義（meaning-making）為語言本體的核心，而非喬姆斯基和福德認為的天賦運算能力。

作為經驗主義的建構人，皮亞杰的行為中心論和感覺運動體驗與多模態感官研究相關。他將“漸成論”擴展到整個生命周期，認為新生兒出生時沒有天賦知識，嬰兒的行為是知識的各種來源而不是多模態感官對外部世界的感知（Piaget 1997）。皮亞杰提出了“體驗時空間”的概念。皮亞杰的第二個核心概念是“感覺-運動體驗”。他以符號表征的出現為界，將符號出現前的兒童行為發展稱為“感覺-運動行為”并認為其是一種當下行為，并將其作為認知智力發展的早期行為進行剖析。顧指出皮亞杰該理論最大的缺陷是他忽略了多模態感知系統在兒童情感發展中的作用。針對這一缺陷，文章繼續討論了鮑比（Bowlby）的“情感依附理論”，并指出情感依附研究中和本文主題相關的是觸覺模態與情感依附的研究。

卡密洛夫-史密斯的“成長理論”認為皮亞杰的理論作為嬰兒習得母語的基礎不充分，需要一定的天賦作為補充，但此“天賦”不同于喬姆斯基和福德。卡氏彌補了皮亞杰自然觀察法的缺陷（被觀察兒童年齡偏大），采用試驗方法將出生的嬰兒作為其理論的實驗基礎。

顧曰國在瓊森的“身構主義”的觀點基礎上提出了“當下行為”并將其與“非當下行為”進行了區分。顧指出，多模態感官系統在當下行為中是同時、同步運作的。這個體驗是具有充盈意義的充盈經歷。顧也同時強調充盈體驗和充盈意義對于構建多模態現場即席話語語料庫有較大的理論價值。

評：在該部分的理論梳理中，作者不僅對相關理論進行了解釋性的說明，還有批判性的觀點。同時也展現出了幾個理論之間的邏輯關系，讓讀者清楚地了解到該理論的起點性研究、發展性和突破性研究，并指出了繼續研究的方向。

作者在解釋每個理論時還說明了該理論中與本文所要討論的主題所相關的研究。如，情感依附研究中的觸覺模態與情感依附研究、卡氏理論中的嬰兒實驗基礎、瓊森所強調的感覺運動體驗；充盈體驗和充盈意義對構建多模態現場即席話語語料庫的價值。

此部分和前面介紹以單模態為基點的研究理論并不是相互孤立存在的，作者清楚地指出了兩個階段之間的關聯性，特別是對前面研究的突破。

5.第五部分作者介紹了多模態感官系統與語言學研究的三個理論問題，即多模態轉換、多模態搭配和多模態過濾，此部分主要通過具體的例子來向讀者進一步闡釋了這三個問題。

評：從第一部分到第五部分，顧在對相關研究或者理論進行說明時并非是線性的描述而是加入了很多例子。這些例子大都是我們在生活中有過的共同經歷（如學術背景中多模態感官研究的七個視角，此部分中多模態轉換和搭配與語言教學的關系等），能夠讓作者的觀點更清晰直白地呈現給讀者。雖然文章分為了五個部分，但每個部分都是相互聯系而非獨立存在的。如此部分中作者指出多模態的搭配與第一部分中提到的中醫“望聞問切”的診斷法就是多模態感官系統研究的應用；第二節提到的荀子的觀點正是“多模態過濾”的一種現象。

參考文獻：

[1]顧曰國.多模態感官系統與語言研究[J].當代語言學， 2015（4）.

作者簡介：

張麗，女，碩士研究生，河北省衡水市人，衡水學院公共外語教學部，講師。主要研究方向：跨文化交際、外語教學。endprint