關于英語多模態理論的認識與思考

張 楠，崔艷輝

(長春工業大學，長春 130012)

多模態話語分析，可以在很大程度上幫助人們克服當前研究的困境，更加關注語言結構與意義系統等方面的研究，實現了對圖象、聲音、顏色、動漫等表現形式的整合，能夠為語言的研究發展提供有利支持，對人類社會發展，以及人類交際有著顯著的促進作用。

一、話語多模態理論研究

傳統的語篇分析一般只注重對語言文字本身的分析，而忽略了對其他符號如圖像、聲音、顏色的研究。

自上個世紀90年代，英語的相關學者以韓禮德系統功能語言學作為相應的英語教學基礎，把原有的英語研究范圍進行一定程度上的擴充，原有的僅分析語言文字的教學模式已被摒棄，包括語言、音樂、圖像、視頻等多內容的模態化英語已成為主流。而所謂的多模態英語，是指除了英語文字以外，還通過各類其他表達形式突出語言內容，讓人們感受多元化的語言表現方式[1]。同時，在實際生活中的表達與交流，也絕非片面化與單一化，各種表達方式并存才是合理的敘述手段。舉例而論，在交流中人們常運用不同的手勢加以輔助，在高度發達的互聯網上時常能看到圖片與音樂輔助文字的表達等。因此，盡管語言是人類交流的最重要手段，但并非僅有的表達方式。

在Kress和Van Leeuween看來，多模態的交流是利用兩種及兩種以上的表達方式來闡述，因此區分多模態和單模態的表述方法最簡便的方法即為找尋不同的表達方式[2]。而顧曰國卻認為，區分模態不能僅以表達方式作為方法，應當結合主客觀的因素來進行甄別[3]。具體而論，人類的主觀感官即聽力、視力、嗅覺等與客觀環境因素即交流對象、動物或物件等共同組成模態。單感官互動的體驗稱為單模態，同樣多種模態的交流稱為多模態，在顧曰國理論中感官的數量決定了模態的形式。綜上所述，無論哪一類理論，多模態的語言手段應當是多感官或多表達方式所組成的。

二、英語多模態理論的認識

(一)英語多模態分析的理論基礎

盡管多模態分析理論是建立在皮爾斯的媒介、對象、解釋的三位一體理念上進行升華，但其主要理論概念基礎卻是來自于Halliday創立的系統功能語言學。具體而論，所謂的英語多模態化理論是建立在系統功能語言學中語言是社會一類符號的概念基礎之上的，同時也保有了一定語言是社會符號與意義的價值觀點[4]。其次，英語多模態化理論吸納了系統理論與純理論功能假說，即語言是一類系統性的概念，但其同時也擁有一定的功能性。再次，英語多模態理論也涵蓋了語域理論，即多模態的英語分析離不開其語境的支持，只有結合語境才能更好地將語言理解。綜上所述，由于英語多模態分析離不開系統功能語言學與符號學的支持，因此也可以將其稱為系統功能符號學。此外，系統功能語言學應當是功能符號學的一個下屬分支。

(二)英語多模態分析的內容、方法與意義

在符號學上研究語言學理論已有很長一段時間的歷史，舉例而論，電影、美術等藝術創作類的研究工作，就利用了語言學理論中的布拉格“前景化”概念。其次，巴黎學派將語言、指代等語言學理論中的概念高度凝練，并運用于攝影與服裝設計之中。

除了藝術創作以外，更貼近實際生活領域的各項行業也能運用語言學理論，如新聞報道、音樂創作與文學紀實等，其中基于語言學派和系統功能符號學派的Halliday系統發揮了很大的作用。學者Simpson在一次權威的世界性語言學理論討論會中總結，多模態的英語分析存在如下的功能。首先，在媒體的表現手法與內容陳述上可運用不同的表達方式即多模態化的具體呈現。其次，為更好提高教育質量，保障人們學習的興趣，烘托不同層次的教育主旨，可采用多模態化的教學手段。第四，在識讀實踐上多模態化也能給予一定的幫助。再次，語料庫的建立離不開語言多模態化的支持。最后，多模態化能夠切實豐富語言方式與其背后的理論問題，幫助學者展開學習與討論。Baldry & Thibault也在會議上提出了一定的課題以供討論研究。首先，英語多模態語篇的定義與實踐運用。其次，在高度發達的電子信息時代，如何將多模態與多媒體有機結合。最后，多模態分析能夠如何進一步幫助教學工作展開[5]。

三、研究的意義

語篇的多模態性是現代人的一種需要。現代語篇的多模態性表現在其同時使用兩種或兩種以上模態、兩個或兩個以上符號系統。模態有視覺模態、聽覺模態、觸覺模態、嗅覺模態和味覺模態。符號系統除了語言文字之外，還有音響、音調、字體、布局等伴語言符號，也包括眼神、面部表情、手勢等身體語言符號及由PPT、音響擴放、網絡等現代科學技術所構成的非身體符號。例如，現代電視廣告話語不僅涉及聽覺模態，還涉及視覺模態，是一種多模態話語；而現代雜志中的廣告話語雖然只涉及視覺模態，但既有語言文字，又有圖畫，也是一種多模態話語。閱讀現代多模態語篇要求讀者必須具有多模態識讀能力，朱永生稱之為多元讀寫能力。Williamson認為，多模態識讀能力指閱讀各種媒體和模態提供的信息的能力。簡單地說，多模態識讀能力就是閱讀各種多模態話語的能力。

英語多模態的意義在于它可以將語言和其他相關的意義資源整合起來，它不僅可以看到語言系統在意義交換過程中所發揮的作用，而且可以看到諸如圖像、音樂、顏色等其他符號系統在這個過程中所產生的效果，從而使話語意義的解讀更加全面、更加準確，進而發現人類如何綜合使用多種模態達到社會交際的目的。可以說，這類話語分析既可以推動我們對語言學的研究，同時也可以加深對符號學的認識。

四、英語多模態理論要求

(一)提高學生感官參與

隨著科技的發展，近些年在教學界微課和幕課備受關注，然而大學生學習英語的主戰場還是英語課堂。教師想要提高教學質量，就應該選擇使用多樣化的教學方式來幫助學生獲取更多知識。根據多模態理論，在大學英語課堂中應該將互聯網等技術充分應用，在課堂中建立一個真實的情境，利用音頻、文本等為學生創建一個輕松學習的環境[6]。比如在學生對英語課文進行朗讀時，可以為學生配上一些輕柔的背景音樂，教師在講解課文時，可以為學生展示出一些相關的畫面和音頻，通過感官刺激來提高學生的學習效果。

(二)思想意識的提高

從學生的整體素質來看，多數學生的識讀能力還比較弱，這與學校將考試作為需求導向有密切的關系，學校將高考作為一切教學的目標，力爭利用最短的時間最大化地提高學生的分數。這樣的教學過程就會影響學生語言能力的培養，多元化語言文化教學更是距離學生較遠。面對這樣的一種情況，高校教育所面臨的責任更加重大。

多元識讀是以多種模態出發對文章內容進行解析理解，這種模態超過了文本所帶來的信息資源。所以，教師要能夠對現代科技發展具有實時的了解，能夠很好地掌握現代教育技術，進而將這種技術應用到實際教學中，結合教學內容來確定使用何種模態形式進行文章內容的學習，進而將教學效率提高到最大化。對于學生，不僅僅是知識的接受者，更是知識的主動學習者。培養學生養成多元識讀的習慣，學習借助新時代教育來提高學習效率，進而更好地吸收教學內容中所蘊含的文化信息。

(三)教材的完善

課堂教學中必備的工具就是教材，教材是整個課堂教學的一個核心，所以想要對學生進行多元識讀能力的培養教學能夠取得良好效果，必須要編制出多模態的教材。

首先，針對多模態教材，設計時需要符合基礎教育原理和準則，根據學生的學習規律和認知水平進行教學內容和結構的設計，同時也要將學生的個性化培養和共性化教育進行結合，進而使得教材內容能夠不斷地激發學生主動學習，學生發揮其在學習中的主體地位，教師發揮其引導作用。

其次，多模態教材的整體設計要具有時代特點，其中包含的內容要與社會共同進步，將一些落后的信息進行更新，將更多多元化的資源引入，使得學生能夠將自己所學應用到實際生活中，進而能夠學有所悟。

最后，多模態教材要具有技術性。隨著科技的進步，現代社會已經成為互聯網時代，傳統的課堂教育被打破，沒有了時間和空間上的嚴格限制，所以教材的設計應該能夠將一些大數據進行引入，進而能夠做好知識的拓展。教材的內容設計要更新傳統的單一圖片化，根據研究表明，學習人員在學習的時候受到各種感官上的刺激時，能夠對知識有更好的掌握[7]。所以教材的內容應該加入一些圖片和動作，可以借助多媒體來進行一些聲音和影像的播放，進而為學生營造一個良好的體驗環境，學生在這個環境中學習到的內容更加真實直接，進而能夠收獲更好的成果。

五、多模態理論下英語課堂設計的改進

調研小組針對如何開展多元識讀教學進行總結，最終得出結論，其中包括了以下幾種方法：

(一)情景操練

情景操練是將課堂中的學生分為幾個小組，根據教材內容所給的主題來創建一個語言場景，利用不同身份角色來對課堂的意義進行闡明。比如，在《新編大學英語》中“新的開始”這篇文章，主要講述了作者入學時遇到的兩次尷尬經歷，雖然語言表達很生動，但是這種單模態很難給讀者一個直觀的感受，這時候可以讓學生模擬文章中的情況，以生活中的食堂為基礎來將故事進行演繹，學生們可以根據自己的理解來選擇角色進行演繹。經過情境操練之后，學生能夠很自如地將文章的語言進行應用，進而對語言進行真正意義上的識讀，這也就將識讀教育的內涵體現出來。

(二)明確指導

明確指導是將教師的主導地位突出出來，教師在教學的過程中要積極干預，引導學生對現有的知識進行積極探索，進而完成對新知識的拓展學習。目前在教育行業中比較受歡迎的教學方式是主題式教學，這是一種多元識讀學習方式。教師根據文章的主題，讓學生自由組成小組，小組制作出一個與文章主題相似的燈片，并且在班級中進行展示。在學生分組制作燈片的過程，教師不可以完全大放手，而是應該積極地走進各個小組中，在學生需要幫助的時候給予指導，引導學生不斷地思考和探索，進而使得學生能夠展示出一個良好的燈片設計效果。

(三)批評性框架

批評性框架是一種學習人員將自己所掌握的社會、文化等多方面的知識進行應用，展開一種批評性的討論和詮釋，比如，在大學英語教學中，精讀文章就可以將這種批評性框架進行應用，進而幫助學生進行深層次的識讀能力的培養。首先第一個層次就是對文本文字的識讀，其次是對文章語言結構的識讀，最后是圍繞著主題結合語境來進行討論，在這個過程中學生能夠將自己的意見發表出來，進行多方面的深層次的批評性分析，進而不斷鍛煉學生的分析、解決問題能力，養成一種批評性思維。

(四)轉換性操練

轉換性操練是指教師將設計原則進行應用，進而為學生構建出一個新的理解意義。這是以前面所說的三種方法作為基礎的一種升華。在這里是以模態符號的應用能力作為核心，在文章主題的基礎之上，幫助學生做一些拓展遷移，在原本的設計上加入一些內容，進而將知識引入到一個新的情境中。這里主要使用的是改寫和改編來創造新的主題，同時學生能夠產生多元化識讀的意識。

(五)明確策略指導

多模態教學主張學生進行學習設計，自主創作，而教師要用通俗的語言解釋不同模態的意義潛勢及意義構建作用，給學生提供幫助。教師在學生進行學習設計前應該對學生進行系統培訓，培訓內容涉及學習資源獲取渠道、學習設計具體步驟、學習方法等。教師在對學生表現進行評價后，要及時給出改進建議，并為學生現場示范，讓學生有更直觀的感受。例如，學生對Love Without Limitation中的情節進行改編表演后，教師應該對學生進行進一步引導、給出具體改進建議。

(六)關注文化語境

教師對學生的多模態作品的評價不應局限于表面的符號，更應關注其文化語境與內涵。在學生進行學習設計前，教師可以通過頭腦風暴讓學生了解新課題涉及的文化背景；教師可以通過文化對比、語言應用情景分析，指導學生對影響意義產出的各個因素進行批判性思考。如，在該課中，教師可以帶領學生對中西文化中，人們對愛情、親情、友情以及生老病死的觀點進行對比分析，以幫助學生理解文章，引導學生思考如果自己遇到類似的事情，該如何積極應對。

六、不足之處與今后走向

多模態話語往往由多種系統構成，而每個系統中又有很多單個的成分。這些成分當中，哪些對解讀有價值，哪些沒有價值，也是不容易確定的因素。

迄今為止，從事多模態話語分析的絕大多數是系統功能語言學家，而多模態話語分析是跨學科的，僅僅依靠語言學的一個流派是遠遠不夠的。只有其他學科的學者共同參與，多模態話語的意義才能得到更加全面而正確的解讀。

研究英語多模態，為英語語用功能研究以及對英語的多元認知提供了理論依據。當前經濟發展背景下，我國與其他國家的經濟、文化交往更為密切，英語作為世界通用語言，無論是其語言多元化的發展與普及，還是其作為國家交流的唯一通用工具，英語多模態研究都顯得十分必要。本文首先對話語多模態理論進行研究，基于這個研究之上，對英語多模態理論、研究方法、意義以及不足進行了剖析，希望能夠為相關學術研究者提供一些建議和參考。