自閉癥兒童話語多模態個案研究*

何旭良 汪 競 楊 峰

語言的發生與發展、人與人之間的交際、人與外界的交流都需要多模態感官系統的參與，意義的構建、傳遞和理解本質上是由大腦的多模態協同機制支撐的[1]。大腦中的杏仁核具有多模態工作特性，對視覺、聽覺、觸覺、味覺或嗅覺等感官模態發出反應[2]。說話人會話時，大腦多個區域及其信息處理系統協同工作，或補償或支持或溝通，對交流過程中的信息進行多模態處理[3]。從符號學出發，意義借聲音、文字、圖像、顏色、動作等不同方式來表達[4]。自閉癥兒童的語言在語音、詞匯、句法、篇章、語義及語用等方面表現出異質性。國內自閉癥的研究主要集中在醫學、康復治療及教育方面，依據醫學量表描述其語言和使用量表評估其語言[5]。運用多模態的研究方法，可以發現自閉癥兒童語言、非語言的特征及其關系，找到其“癥結”，采用科學的康復手段。

1 理論框架及研究基礎

系統功能語言學理論是多模態話語分析的理論模式的基礎，張德祿[6]在Lim[7]的綜合性多符號模式框架的基礎上，提出了由文化、語境、內容和表達四個層面組成的多模態話語分析綜合理論框架。文化層面，包括文化的主要存在形式的意識形態和話語模式的選擇潛勢的體裁。語境由話語范圍、話語基調和話語方式組成。意義和形式層面構成內容層面。話語意義由概念意義、人際意義和謀篇意義三部分組成。形式層面是意義實現的不同形式系統，包括語言的詞匯語法系統，視覺性、聽覺性和觸覺性的表意形體和各自模態的語法系統及其語法關系。多模態話語形式之間的關系有互補和非互補兩大類。媒體層面是話語最終在物質世界表現的物質形式，有語言的(純語言和伴語言)和非語言的(身體性和非身體性)方面。身體性包括面部表情、手勢、身勢和動作等；非身體性指的是交際過程中所使用的工具，如演示工具、實驗室、網絡平臺、音響、同聲傳譯室等。

在一定的文化語境中，受意識形態的支配和體裁系統的制約，講述人要根據具體的情景語境和交際目的選擇所表達的意義，以合適的模態及其體裁結構體現出來。所選擇的意義可以由視覺模態和聽覺模態體現。在系統選擇中，關鍵因素是利用好不同模態之間的關系，使不同的模態相互配合，從而構建動態多模態話語的整體意義，因為不同的模態體現的意義屬于同一個交際事件，需要整合為一體才具有交際意義。模態之間的關系往往隨著時間的變化而變化，呈現出與交際事件進程密切相關的不同關系。動態多模態話語分析需要探討這種動態性的圖文以及話語與動畫的關系。

故事是一般認知能力、社會認知及語言能力的綜合表現，反映特定文化中重要問題與解決方式，兒童從聽說故事中學習認識世界。故事結構包括背景、啟動事件、內在反映、內在計劃、嘗試、直接后果及反應[8]。兒童的敘事能力在兒童發展、言語-語言病理領域已成為重要論題,已經成為評估正常兒童和語障兒童溝通能力的一種有效方法，也是自閉癥兒童語言訓練的有效手段[9]。講述任務要求兒童將詞和句子連接起來，組成篇章，涉及各類語言知識，能夠反映出他們各個語言范疇的特點及語言整體面貌。伴隨語言交際活動的非語言行為，如面部表情、音量、手勢、體態、距離、時空觀念等，構成其非語言的模態，可能對言語進行強調、補充、修正，甚至替代或否定。在時間上，兩者具有協同性，反映交際的認知[10]。非語言模態可以幫助理解自閉癥兒童真正的語意及思維，他們的手勢、體態、面部表情等對語言發展及康復治療有重要作用。通過閱讀無字書，講述故事，梁丹丹[11]發現弱智兒童敘事情感韻律在音高范圍和元音時長上存在損傷,情感韻律與詞匯、句法發展不同步；指稱引入發展明顯滯后。

現有自閉癥兒童接受性非語言溝通能力的研究多是考察早期自閉癥兒童在理解實現共同注意或在交際中提出請求時，如何使用眼神、手勢等溝通形式的能力，涉及更為豐富的體態理解的研究還基本沒有[12]。以伸手動作為例，自閉癥兒童和正常兒童手勢可能相同，但手勢的本質和意義完全不同[13]。自閉癥兒童敘事中所呈現的這些言語特點對他們在線溝通有怎樣的影響？存在哪些非語言行為伴隨其受損的言語？這些非語言行為和言語有怎樣的關系？這些問題值得研究。本文采用多模態的研究方法，試圖回答這些問題。

本文依據張德祿的“多模態話語分析綜合”框架，對一名正常兒童和兩名自閉癥兒童敘事語言做多模態分析，分析其語言特征及不同模態的形式特征及它們之間的關系，從而提出語言訓練的方法。

2 研究方法

參加講述故事的被試有三位小朋友。小N，男，5歲，幼兒園大班，正常發展小孩。小M和小H，皆為男性，5歲，幼兒園大班；他倆2歲時，在南京腦科醫院確診為中度自閉和高功能自閉，一直在機構進行康復訓練。三名孩子的家長都了解試驗的目的和意圖，同意孩子們參加試驗，試驗所在項目得到了第一作者單位的學術研究倫理委員會的批準。

試驗在第一作者所在單位和南通星辰兒童康復中心成立的“特殊兒童語言發展研究中心”安靜的小教室進行，由特教教師作為主試，如遇注意力不集中，由主試引導。被試看其他研究者經常使用的無字書Frog，whereareyou?(《青蛙，你在哪里？》)[14]，講述故事，無字書共29幅圖片，描述小男孩同小狗找青蛙的過程。陪同實驗的家長用智能手機對講述活動進行拍照并錄音。研究人員運用ELAN軟件對圖片和敘事活動進行標注。

3 被試兒童語言多模態分析

3.1 正常兒童語言多模態特征

正常兒童小N知曉話語的體裁，根據圖片講述故事。能理解故事發生的語境：青蛙不見了，要求找到它。除個別地方外，如爛樹干，小N能夠理解圖片中所涉及的概念意義，清楚圖片所涉及元素之間的關系，明白自己是在向家長講述圖中的故事。各個句子之間連貫得很好，使用時間短語“到了早上”、“然后”、“結果”、“最后”，基本上能夠連句成篇。為了幫助聽眾明白意義，兩處使用了元語言“有一個樹枝。我也不知道是什么”、“然后小主人對狗做了個手語，是噓的手語”。

在圖覺和感覺方面，小N能夠看懂圖片，明白圖片的意義。講述過程中使用了一些心理詞匯，如“小主人、亂找、亂跑、回答、戀愛”等，他理解故事中元素的關系，并進行價值判斷。

表達層面上看，講述故事一共367個字，41個小句。連詞、代詞及語氣詞分別出現13次、10次、2次。問句兩個，其他皆為陳述句。元語言出現兩次，擔心聽眾聽不懂進行解釋。

小N在講述故事過程中，手指圖片并凝視圖片，情感豐富，笑8次，語調上揚11次。

3.2 高功能自閉癥兒童語言多模態特征

從語境層面看，高功能自閉癥兒童小H一張一張地敘述圖片中的前景化的內容，直至結尾也沒有點明主題，不明白圖片可以串成一個完整的故事。他受到主試的激勵：講完故事，有小五角星作為獎賞，能夠完成故事。

話語意義上，小H在講述中，誤解了“靴子、蜂窩、飛、樹干”的概念意義，把靴子誤解成了帽子，把蜂窩誤解成了簍子，認為梅花鹿生活在樹上，能飛，把粗樹干看成了水，認為水能“抱”。人際意義方面，小H不清楚是講述故事，故事中的元素于他似乎沒有關系，故事沒有前因后果，很難表達人物高層次的內心目標、較少提及人物內在反應、省略故事結尾、故事內容較不完整、有些不相干的內容、不能全面述說故事中重要元素，理解故事人物情緒、說明事理的能力較差。所以，敘述的故事，句子之間沒有銜接，基本上不能連圖成篇，故事的結構不完整，沒有點明故事的主題，篇章意義的構建存在困難。

在圖覺和感覺方面，小H除了一些錯誤的概念外，基本上能夠看懂圖片，明白圖片的意思，但不能連圖成故事。講述過程中也使用了一些心理詞匯，如“慌了神、好多、看到、發現”等，小H尚不能完全理解故事中元素的關系，未見價值判斷。

表達層面上，全文共311字，45個小句。代詞“這”或“這里” 6次，“他們”1次；連詞“然后”1次；語氣詞 “呀、啦、啊”各1次。全文都是陳述句。發音不清楚的詞語或詞(畫線部分)：瓶里、水瓶、小朋友、發現、看到、他們、抱水、溪水、簍子。我們發現不清楚的音節集中在后鼻音ing、eng及舌面音x及雙元音上au、ou上面。出現自糾一次“在梅花鹿，從，小朋友掉下去了”；出現不相關的話語一次“梅花鹿，剛剛在文峰公園，動物園看過的”。

小H在講述過程中，自己能用手指指著圖片，看圖；注意力較集中，主試引導的次數5次；2次抬頭看主試，與主試有眼神交流；說到小孩掉水里笑1次，使用語氣詞時語調上揚3次。

3.3 中等程度自閉癥兒童語言多模態特征

中等程度自閉癥兒童小M不知道任務是講述故事，不清楚故事中要素之間的關系，所選擇的圖片能反映故事的粗線條。所述故事，只有短語或很短的小句，不能連句成篇，語言處在詞匯階段，但能夠重復家長的語句。

講述中，小M忽略了大量細節性的信息，只提到小孩、青蛙、鞋子、樹林、水等圖片元素；述說故事時，往往只關注于“關鍵詞”而不能連圖成故事，不能把握故事中呈現的整體信息，更不能試圖揣摩故事人物的心理狀況，了解故事順序以及因果關系等。

敘述中只有16個短語或短句，共99個字。發音模糊，聲音低，聽起來很費勁。

非語言方面，小M極容易走神，需要主試握小孩的手指點圖片，自己不能獨立講故事。講到故事末尾說“再見”，有微笑，但不是“交流”的感情流露。據家長說，是因為故事講完了，因不需要再講故事而高興的狀態。

3.4 正常兒童同自閉癥兒童語言多模態的差異

語言方面，對錄音進行轉寫，分析語音、詞匯、句子、篇章、語用等層面的特征。非語言方面標注被試的面部表情及其肢體動作。正常兒童小N、高功能自閉癥兒童小H及中等自閉癥兒童小M所述故事語言特點的對比見表1。

表1正常兒童小N和自閉癥兒童培訓前后語言特點對比

字數句數連詞代詞語氣詞問句心理詞匯概念錯誤發音錯誤小N36741131022510小H311451730449小M991600000--

筆者進行了系列的卡方檢驗，顯著水平P為0.05，兩兩比較時，調整P值為0.012 5。正常兒童和自閉癥兒童字數[χ2(2)=154.3,P<0.05]及句數方面[χ2(2)=14.5,P<0.05]有顯著差異。高功能自閉癥兒童和正常兒童的字數沒有顯著差別[χ2(1)=4.6,P>0.012 5]，中度自閉癥兒童的字數顯著不及正常兒童[χ2(1)=154.1,P<0.012 5]和高功能自閉癥兒童[χ2(1)=109.6,P<0.012 5]。高功能自閉癥兒童和正常兒童的句子數沒有顯著差別[χ2(1)=0.2,P>0.012 5]，中度自閉癥兒童的句子數顯著少于正常兒童[χ2(1)=11.0,P<0.012 5]和高功能自閉癥兒童[χ2(1)=13.8,P<0.012 5]。正常兒童使用的連詞顯著多于高功能自閉癥兒童[χ2(1)=10.3,P<0.05]。正常兒童使用的代詞[χ2(1)=0.53,P>0.05]、語氣詞[χ2(1)=0.2,P>0.05]、心理詞匯[χ2(1)=0.1,P>0.05]及概念錯誤[χ2(1)=1.8,P>0.05]的次數同高功能自閉癥兒童無顯著差異。中度自閉癥兒童的敘事中沒有代詞、連詞、語氣詞、心理詞匯，很多概念沒有表達出來，發音模糊，錯誤多。自閉癥兒童敘事中沒有問句。從總的趨勢看高功能自閉癥兒童語言狀況要比中度自閉癥兒童好得多。

非語言方面也是如此，講述過程中度自閉癥兒童無法集中注意力，無法獨自完成故事的述說，和主試之間的眼神交流次數少。

4 語訓措施

4.1 中等程度自閉癥兒童語言訓練措施

對于中等程度自閉癥兒童小M，在語言方面，應當控制其多動癥，引導其概念能力的發展，注意細節，從詞發展到句子的水平。小M專注力較短，宜與家長或者言語治療師一起看較短、較少文字的故事書。另外，治療師或家長可根據孩子的狹隘興趣，引導孩子拓寬自身的興趣范圍﹔圖片故事必須要與其他的元素有完美的搭配才能夠有效提升小M的語言康復效果，如孩子最初只閱讀有關“青蛙”的圖片，治療師或家長便可基于“青蛙”，再引入其他元素，包括“綠色青蛙、青蛙呱呱叫、青蛙跳跳”；同時，多運用“填充句”、“描述句”、“控制句”、“指示句”、“肯定句”等基本句式，例如，當看到青蛙在水里游來游去做游戲時，它們會感到“____”。通過這種多元解讀內容的表達方式來吸引他的學習興趣，激發語言學習潛能。

在非語言方面，治療師的創意亦能吸引孩子的興趣，例如，利用實物配合故事內容，或在講述故事時穿插聲音效果。這樣，一個故事重復多次卻從不死板，并且可讓孩子感到耳目一新?？垂适逻^程中可讓小M多參與，治療師或者家長輕捉小孩食指，指著有關插圖，幫助他聯系聽到的和看到的，提升他對內容的專注和理解。因此，所選故事書和講故事的手法也專門為自己的孩子而設了。

4.2 高功能自閉癥兒童語言訓練措施

高功能自閉癥兒童小H隨著年齡的增長，其概念功能可能得到增強；發音方面，有目的訓練卷舌音、舌面音、后鼻音及雙元音；培養連圖成篇、總結中心思想的能力(中心聚合能力)；培養移情能力，增加心理詞匯的使用；培養根據情景，使用不同韻律的能力。為了讓他能夠掌握言語治療師的指示，言語治療師給予的指示要清晰明了，多利用正面的指示，如“請你”、“你要”、“你可以”等，言語治療師盡量避免用否定句式提出要求，如“停止”、“你不可以”、“你不得不”等。

采用“自然情景訓練法”進行功能性學習。根據語境，把不同的學習范疇內容編成有意義的、生活化的活動，盡可能在實際環境中進行學習，把圖片中學習的內容類化到自然情境中，引導他在自然情境中學習，傳統的溝通訓練多是在隔離的結構化情境中進行語言訓練，雖然在此情此景訓練中患兒可能表現良好，但往往應用到真實情境中卻有類化的困難或實際運用的問題?！白匀磺榫秤柧毞ā币虼顺蔀樾語言溝通成功的要素，借以提高理解能力，把學到的知識應用在日常生活中，利用“情景解讀圖片故事”讓高功能自閉癥兒童明白如何保持話題及其重要性。

非語言方面，根據小H的特征表現，在圖畫中增加他喜歡的人物角色或感興趣的內容，允許他選擇自己感興趣的內容作為主題同言語治療師討論，在討論的過程中言語治療師采用啟發式訓練策略來引導他的思維模式，可以制作“分享內容提示卡”把圖片中主人公的喜、怒、哀、樂等情緒表達以圖片的形式展示給受訓對象。同時，運用關鍵詞提示，把圖片故事中的規則、技巧及內隱含義等抽象內容，轉化為讓高功能自閉癥兒童容易記住的提示語句。言語治療師運用關鍵提示，有效地向他們說明圖片故事中的期望及要求，或是做出有效的提醒，利用眼、手、耳、口及心等不同的感官來關注圖片中的情節。把圖片故事內容拆分成小步驟，再因不同步驟為他們設計合適的學習活動，待完成單一圖片描述后，再發出另一項要求。

最后，建立有效的獎勵制度，根據受訓對象的特性，善用獎賞來強化高功能自閉癥兒童的良好行為。自閉癥兒童多有獨特的喜好，不同的患兒對獎賞的反應亦可能有別。因此，言語治療師或家長平日應留意患兒的情況，記錄患兒喜歡和厭惡的事物，包括食物、玩具、物件、活動和人物等，給予患兒合適有效的增強物(獎賞)。

5 結語

本研究是定性研究，對不同程度的自閉癥兒童的語言及非語言做了有益的初步探索性的研究。今后筆者將會擴大樣本量，進行定量研究，證明相關假設，形成理論。雖是個案研究，但也反映了自閉癥兒童敘事語言及非語言的典型性特征；更主要的是：針對這些典型性的特征，筆者將采用所提出的康復措施，進行縱向跟蹤研究，探討其效果。