從“描述”到“解釋”
——多模態(tài)語篇的系統(tǒng)功能符號(hào)學(xué)分析法與認(rèn)知詩學(xué)分析法比較

曾方本

(惠州學(xué)院，惠州，516007)

從“描述”到“解釋”
——多模態(tài)語篇的系統(tǒng)功能符號(hào)學(xué)分析法與認(rèn)知詩學(xué)分析法比較

曾方本

(惠州學(xué)院，惠州，516007)

多模態(tài)語篇的社會(huì)符號(hào)學(xué)分析法著力于“描述”構(gòu)建語篇的符號(hào)資源及其意義整合，是目前多模態(tài)語篇分析的主流理論與方法。認(rèn)知詩學(xué)致力于“解釋”語篇結(jié)構(gòu)可引起的語篇效果，它最初主要面向文學(xué)語篇，但也適用于多模態(tài)語篇的分析，它為多模態(tài)語篇分析提供了新的理論與方法。本文從理論基礎(chǔ)、分析方法、分析對(duì)象、主體、語篇依據(jù)及分析模式等方面對(duì)二者進(jìn)行了大致的比較。多模態(tài)語篇的系統(tǒng)功能符號(hào)學(xué)分析與認(rèn)知詩學(xué)分析本質(zhì)不同之處，在于”描述”與“解釋”的區(qū)別。從“描述”到“解釋”，系統(tǒng)功能符號(hào)學(xué)分析法與認(rèn)知詩學(xué)二者具有一定的互補(bǔ)性。

認(rèn)知詩學(xué)，多模態(tài)語篇，功能語法，視覺語法

1.引言

Jewitt(2009:28)將多模態(tài)語篇分析方法總結(jié)歸納為三種:系統(tǒng)功能符號(hào)學(xué)分析法、多模態(tài)互動(dòng)法以及話語分析法。由于Kress和van Leeuwen(1996)借鑒功能語法建立了“視覺語法”，成功解決了非語言模態(tài)在語篇里的地位與功能問題，它成了系統(tǒng)功能符號(hào)學(xué)分析法的核心內(nèi)容，系統(tǒng)功能符號(hào)學(xué)分析法也成為目前多模態(tài)語篇分析的主流方法。20世紀(jì)末，認(rèn)知詩學(xué)直接基于認(rèn)知語言學(xué)和認(rèn)知心理學(xué)建立了起來 ，它特別研究文學(xué)語篇(文本)的結(jié)構(gòu)對(duì)讀者產(chǎn)生的心理和社會(huì)影響(Gavins＆Steen 2003:1)，即語篇效果。當(dāng)代認(rèn)知詩學(xué)領(lǐng)軍人物Stockwell(2002:169)明確指出，認(rèn)知詩學(xué)適用于包括非詩體在內(nèi)的一切語篇。也就是說，認(rèn)知詩學(xué)也適用于多模態(tài)語篇分析。Gibbsons(2012)專門就此開展了研究，為已經(jīng)萌芽的多模態(tài)認(rèn)知詩學(xué)(multimodal cognitive poetics)研究提供了理論視野與思想框架。面向認(rèn)知的多模態(tài)語篇分析，或者說多模態(tài)認(rèn)知詩學(xué)，既是認(rèn)知詩學(xué)理論的應(yīng)用拓展，也是對(duì)系統(tǒng)功能符號(hào)學(xué)分析法的不足的補(bǔ)充。本文擬從理論基礎(chǔ)、分析方法、分析對(duì)象、主體、分析模式等方面對(duì)二者進(jìn)行比較，以祈對(duì)多模態(tài)語篇分析理論與方法有個(gè)更寬視野的把握。

2.功能語言學(xué)對(duì)多模態(tài)語篇分析的借鑒作用與系統(tǒng)功能符號(hào)學(xué)分析法的缺陷

Halliday和Hasan(1976:1)認(rèn)為，語篇是語言的運(yùn)用單位，語篇分析就是要揭示運(yùn)用句子組成語篇的機(jī)理(texture)，具體說就是銜接(cohesion)。傳統(tǒng)的語篇分析是針對(duì)文字語篇的(口頭的與書面的)。盡管可以發(fā)現(xiàn)，語篇分析也注意到了書寫形式、排版、閃現(xiàn)、色彩等對(duì)語篇意義的影響，如對(duì)視覺詩(具象詩或形體詩)的分析與理解(Widdowson 1992: 163;黃國文1987:55;王佐良、丁往道1987:511)，但語篇分析理論對(duì)此的解釋力顯然不夠，因?yàn)檎Z篇的表征形式也表達(dá)意義的命題畢竟不是傳統(tǒng)語篇分析理論所覆蓋的。視覺詩是由文字模態(tài)的形態(tài)變化、排版等構(gòu)建的，是典型的多模態(tài)語篇。隨著計(jì)算機(jī)技術(shù)的發(fā)展與運(yùn)用，多模態(tài)語篇的內(nèi)涵與外延變得異常豐富，人們?cè)絹碓蕉嗟貥?gòu)建并使用包含文字、圖像、聲音等符號(hào)資源的多模態(tài)表征形式。顯然，傳統(tǒng)的語篇分析理論值得完善。

為了解決這個(gè)問題，Kress和 van Leeuwen (1996:1)在語言社會(huì)符號(hào)理論的基礎(chǔ)上將系統(tǒng)功能語法延伸至語言符號(hào)之外的符號(hào)模態(tài)研究中，認(rèn)為“正如語言的語法如何決定小句、句子和語篇一樣，視覺語法是對(duì)描繪的人物、地點(diǎn)和事物如何組成具體不同復(fù)雜程度的視覺陳述”。他們將功能語言學(xué)的純理功能思想延伸到視覺模態(tài)，創(chuàng)建了以再現(xiàn)意義、互動(dòng)意義、構(gòu)圖意義為核心內(nèi)容的分析圖像的“視覺語法”。“視覺語法”與針對(duì)語言模態(tài)的功能語法一起，形成了一套系統(tǒng)性的適用于多模態(tài)語篇的分析方法——系統(tǒng)功能符號(hào)學(xué)分析法。

Kress和van Leeuwen明確指出，“視覺語法”只是一種“視覺陳述”(visual statement)。顯然，包含“視覺語法”在內(nèi)的系統(tǒng)功能符號(hào)學(xué)分析法主要是對(duì)語篇結(jié)構(gòu)或多模態(tài)整合進(jìn)行“描述”，一般不對(duì)不同符號(hào)模態(tài)在語篇內(nèi)的布局謀篇做出解釋。“形式”或結(jié)構(gòu)，本來就是“視覺語法”分析多模態(tài)語篇時(shí)所聚焦的對(duì)象。如Kress和van Leeuwen從基于頁面的“形式”或結(jié)構(gòu)出發(fā)，分析認(rèn)為語篇里各種成分所占位置不同，價(jià)值也會(huì)不同。左邊的往往是已知信息，右邊的為新信息;被置于上方的信息是“理想”的，而下方的則是“真實(shí)”的。“理想”的指信息理想化或概括性，因此它也是信息的顯著部分，“真實(shí)”指更具體的信息，如細(xì)節(jié)。中央與邊緣則表明信息有主次之分。至于說人們對(duì)這些信息價(jià)值的判斷依據(jù)何在，Kress和van Leeuwen(2006:197)則以歐洲教堂里普遍可見的中世紀(jì)三連畫(triptych)為例予以“論證”:畫作中間的往往呈現(xiàn)宗教主題，如耶穌、圣男或圣女，邊沿的則是跪地祈禱膜拜的圣徒，類似的這種“視覺陳述”在當(dāng)前的雜志、報(bào)紙、互聯(lián)網(wǎng)頁面隨處可見。顯然，這只是一番歸納推理，并沒有揭示其深層原因。為此，一些學(xué)者為探討模態(tài)整合的原理做出了嘗試。Baldry和Thibault(2006)認(rèn)為不同模態(tài)的整合或不同模態(tài)群(cluster)的識(shí)別是依靠人的視覺靈感(intuition)實(shí)現(xiàn)的，譬如顏色、事物大小、物體相似性等都可引起感官上的歸類。Bateman(2008)認(rèn)為靈感說太玄秘，他提出建立“多模態(tài)語言學(xué)”(multimodal linguistics)，具體可從模態(tài)成分、模態(tài)布局的變化、排版、修辭、語類等方面對(duì)多模態(tài)語篇進(jìn)行分析。Bateman的研究似乎強(qiáng)調(diào)接受視角或認(rèn)知視域，但認(rèn)知科學(xué)和神經(jīng)科學(xué)的研究不斷表明，人的認(rèn)知處理過程是綜合性的，而不是分割的，人們對(duì)多模態(tài)語篇的識(shí)讀也應(yīng)是如此。Bateman的觀點(diǎn)在整體上還是基于語言學(xué)的結(jié)構(gòu)論。

總之，系統(tǒng)功能符號(hào)學(xué)分析法的主要貢獻(xiàn)是首次系統(tǒng)性提出了適用于多模態(tài)語篇分析的手段或方法，但沒有揭示出采取手段或方法的心理認(rèn)知?jiǎng)右蚴鞘裁矗_(dá)到的效果是什么。“視覺語法”與所有語言學(xué)理論一樣，試圖解釋語篇是如何獲得意義的。當(dāng)代認(rèn)知科學(xué)認(rèn)為，意義存在于人的大腦，所以語篇分析中引入認(rèn)知科學(xué)，既可以為傳統(tǒng)語篇分析提供新的思路，也有助走出“以語言解釋語言”的老思路。

3.認(rèn)知詩學(xué)與多模態(tài)語篇分析

詩學(xué)不是一個(gè)新鮮名詞，可以從兩千多年前的哲學(xué)巨人亞里士多德的著作《詩學(xué)》找到其源頭。語言起源于詩歌，語言的本質(zhì)是詩，詩歌語言原則是語言學(xué)最重要的原則。詩學(xué)原本立足于詩歌，是一種從語言學(xué)角度研究語篇的范式。俄羅斯語言學(xué)家雅各布森曾經(jīng)研究發(fā)現(xiàn)，在19世紀(jì)現(xiàn)實(shí)主義文學(xué)作品中，一般是轉(zhuǎn)喻結(jié)構(gòu)占支配地位，而在浪漫主義作品里，一般則是隱喻結(jié)構(gòu)占支配地位。以俄羅斯形式主義為重要推力的語言學(xué)與文學(xué)研究的聯(lián)姻，開辟了從語言學(xué)角度研究文學(xué)語篇的新思路。Tsur (1992)首先提出了認(rèn)知詩學(xué)(cognitive poetics)這個(gè)術(shù)語，他借用俄國形式主義和法國結(jié)構(gòu)主義理論對(duì)詩歌語言進(jìn)行跨學(xué)科研究，爾后其內(nèi)涵不斷豐富，研究對(duì)象從經(jīng)典詩歌擴(kuò)展至所有的文學(xué)文本以及對(duì)認(rèn)知科學(xué)理論如何運(yùn)用到文學(xué)文本分析進(jìn)行探討，彌補(bǔ)了傳統(tǒng)詩學(xué)研究的不足，認(rèn)知詩學(xué)已成為當(dāng)下跨學(xué)科性質(zhì)的熱門學(xué)科。

Stockwell在其著作CognitivePoetics:An Introduction中提出了利用認(rèn)知科學(xué)或認(rèn)知語言學(xué)理論開展文學(xué)語篇研究的框架，現(xiàn)被廣泛采用。但一些學(xué)者也認(rèn)識(shí)到，概念隱喻、概念整合等諸多理論都是以語言符號(hào)為依據(jù)所得出并囿于純語言學(xué)領(lǐng)域的研究，這肯定是不全面的，因?yàn)檎Z言只是人類眾多交際符號(hào)中的一種，其他如聲音、色彩、線條、空間布局等也可以用來構(gòu)建和表達(dá)概念(Forceville 1996，2006，2008)。因此，既有語言隱喻，也應(yīng)有圖像隱喻、聲音隱喻，它們都是單模態(tài)隱喻。事實(shí)上，在同一個(gè)概念隱喻里，源域和目的域還可能以不同模態(tài)呈現(xiàn)或表征，那就是多模態(tài)隱喻(Forceville 2009: 24)。類似的情況還會(huì)發(fā)生在概念整合過程中，可稱為多模態(tài)概念整合。2012年，英國謝菲爾德大學(xué)Alison Gibbons出版了她的博士論文Multimodality，Cognition，andExperimentalLiterature，她 參 照Stockwell的基本框架對(duì)多模態(tài)文學(xué)語篇的詩學(xué)研究做了系統(tǒng)性探討。結(jié)合 Stockwell和 Gibbons的研究，可以歸納適用于多模態(tài)文學(xué)語篇分析的認(rèn)知理論，主要是:圖形－背景、認(rèn)知指示、認(rèn)知語法、腳本與圖示、文本世界、概念隱喻、概念整合，還可以包括原型理論、語境框架理論、認(rèn)知敘事學(xué)等。

值得指出的是，Gibbons表明自己的相關(guān)研究只是針對(duì)多模態(tài)小說(multimodal novels)語篇而言的，其中不僅包括各種符號(hào)模態(tài)，而且包括不同字體、排版、印刷設(shè)計(jì)、圖像等。她還指出多模態(tài)小說語篇(文學(xué)語篇)具有如下“形式特點(diǎn)”:(1)非常規(guī)的語篇排版與頁面設(shè)計(jì);(2)各式字體;(3)各種色彩; (4)圖形語篇，如視覺詩;(5)關(guān)注語篇本體的手法，包括超小說(meta－fictive writing);(6)腳注;(7)電子動(dòng)畫書;(8)語類混雜，如語詞的圖文對(duì)應(yīng)(Gibbons 2012:2)。顯然，從某種意義上來講，多模態(tài)小說語篇與廣告、海報(bào)等是同質(zhì)的，區(qū)別只在于語篇篇幅的長短。多模態(tài)小說語篇的上述“形式特點(diǎn)”其實(shí)就是它的“視覺特點(diǎn)”，可以納入“視覺語法”的范疇，它們是系統(tǒng)功能符號(hào)學(xué)的關(guān)注內(nèi)容，類似于認(rèn)知詩學(xué)的“語篇依據(jù)(textual evidence)”。但認(rèn)知詩學(xué)所感興趣的不僅是這些顯性的“形式特點(diǎn)”或“語篇依據(jù)”，例如，解讀一首愛情詩可以分析稱謂的語言特征，如代詞、稱呼方式、詞匯的正式度等，對(duì)這些視覺上非顯性的語言特征進(jìn)行識(shí)別后，可以進(jìn)一步從認(rèn)知的角度解釋或領(lǐng)會(huì)這些特征的使用效果(Stockwell、馬菊玲2012)。可見，對(duì)系統(tǒng)功能符號(hào)學(xué)分析法來說，“語篇依據(jù)”主要來自于語篇的上述“形式特點(diǎn)”;認(rèn)知詩學(xué)分析法的“語篇依據(jù)”則不僅包括語篇的顯性“形式特點(diǎn)”，還包括語篇的隱性語言特征。

4.多模態(tài)語篇的系統(tǒng)功能符號(hào)學(xué)分析法與認(rèn)知詩學(xué)分析法比較

綜合以上，可以對(duì)多模態(tài)語篇的系統(tǒng)功能符號(hào)學(xué)分析法與認(rèn)知詩學(xué)分析法做如下觀察:

第一，二者的理論基礎(chǔ)不同。前者基于社會(huì)符號(hào)學(xué)理論、功能語法、“視覺語法”等，后者基于認(rèn)知詩學(xué)理論。

第二，在方法上，二者的本質(zhì)不同之處在于”描述”與“解釋”的區(qū)別。系統(tǒng)功能符號(hào)學(xué)分析法主要是“描述”，這是由它的功能語言學(xué)基礎(chǔ)所決定的，索緒爾建立的現(xiàn)代語言學(xué)的一個(gè)重要原則與特點(diǎn)就是它的“描述性”。認(rèn)知語言學(xué)雖是現(xiàn)代語言學(xué)的分支學(xué)科，但它卻是融合了認(rèn)知科學(xué)的交叉學(xué)科，認(rèn)知詩學(xué)以認(rèn)知語言學(xué)和認(rèn)知科學(xué)為理論基礎(chǔ)，為追究多模態(tài)符號(hào)整合的認(rèn)知心理機(jī)制提供了依據(jù)。認(rèn)知詩學(xué)要“對(duì)讀者如何在當(dāng)時(shí)理解語篇做出合理的解釋”(Stockwell 2002:7)，即解釋語篇的理解是如何產(chǎn)生的。熊沐清(2012)覺得還不止于此，他認(rèn)為認(rèn)知詩學(xué)的分析方法是“從解釋到發(fā)現(xiàn)”，通過解釋從而發(fā)現(xiàn)“別的閱讀方法未能讀出的涵義或未曾關(guān)注的某一側(cè)面”等。顯然，“解釋”是方法，但“發(fā)現(xiàn)”只能是“解釋”的結(jié)果。

第三，系統(tǒng)功能符號(hào)學(xué)分析法關(guān)注語篇結(jié)構(gòu)，包括結(jié)構(gòu)體內(nèi)的多模態(tài)意義資源，探究不同模態(tài)意義的互動(dòng)與整合。語篇結(jié)構(gòu)在某種程度上反映了人們的心理秩序(李榮啟2005:187)，反過來說，這種秩序是由語篇結(jié)構(gòu)表征出來的。因此，通過語篇結(jié)構(gòu)表征的心理秩序其實(shí)就是認(rèn)知詩學(xué)所關(guān)注的語篇效果。

第四，心理秩序、語篇效果的主體是讀者，所以，讀者也是認(rèn)知詩學(xué)的主體。從這個(gè)意義上來講，系統(tǒng)功能符號(hào)學(xué)分析法的主體是作者，因?yàn)樽髡卟攀悄B(tài)資源的使用者和語篇的構(gòu)建者。

第五，系統(tǒng)功能符號(hào)學(xué)分析法所感興趣的模態(tài)資源或語篇的色彩、字體變化、結(jié)構(gòu)變化等“形式特點(diǎn)”或“語篇依據(jù)”在表征上呈現(xiàn)出不同于習(xí)慣或傳統(tǒng)的異化，它們?cè)谝曈X上容易識(shí)別，是顯性的。認(rèn)知詩學(xué)分析法的“語篇依據(jù)”則不僅包括語篇的顯性“形式特點(diǎn)”，還包括語篇的隱性語言特征。

第六，系統(tǒng)功能符號(hào)學(xué)分析法與認(rèn)知詩學(xué)分析法對(duì)于具體的語篇都有一定的分析模式，如表1所示。對(duì)于系統(tǒng)功能符號(hào)學(xué)分析法而言，一般要分析語篇內(nèi)所蘊(yùn)含的模態(tài)類別，然后就是語言模態(tài)、非語言模態(tài)的功能分析，最后是不同模態(tài)的意義整合分析。對(duì)認(rèn)知詩學(xué)分析法而言，通常是以其中的一個(gè)或幾個(gè)理論為工具對(duì)語篇進(jìn)行分析，如圖形－背景理論、隱喻理論、概念整合理論等。

表1

5.結(jié)語

系統(tǒng)功能符號(hào)學(xué)分析法著力于“描述”構(gòu)建語篇的符號(hào)資源及其意義整合，認(rèn)知詩學(xué)則借用認(rèn)知科學(xué)或認(rèn)知語言學(xué)的理論，它是一種基于認(rèn)知的“閱讀”理論，探索語篇所引起的讀者的心智感受，以語篇閱讀效果為目的。認(rèn)知詩學(xué)為多模態(tài)語篇分析提供了新的理論與方法。正如Verdonk(2005)等指出，會(huì)有越來越多的多模態(tài)形式的呈現(xiàn)，這與新時(shí)代的創(chuàng)新思潮(zeitgeist)緊密相關(guān)。借鑒認(rèn)知詩學(xué)理論開展對(duì)多模態(tài)語篇的認(rèn)知分析，這是一個(gè)很有意義的課題，但另一方面，系統(tǒng)功能符號(hào)學(xué)分析法和認(rèn)知詩學(xué)各有側(cè)重，它們之于多模態(tài)語篇分析具有互補(bǔ)性。因此，二者的整合性研究對(duì)多模態(tài)語篇分析理應(yīng)會(huì)更深入、更全面，值得探討。

Baldry，A.＆P.J.Thibault.2006.Multimodal Transcription and Text Analysis:A Multimedia Toolkit and Coursebook［M］.London:Equinox.

Bateman，J.A.2008.Multimodality and Genre:A Foundation for the Systematic Analysis of Multimodal Documents［M］.Basingstoke:Palgrave Macmillan.

Forceville，C.1996.Pictorial Metaphor in Advertising［M］.London＆New York:Routledge.

Forceville，C.2006.Non－verbal and multimodal metaphor in a cognitivist framework:Agendas for research［A］.In G.Kristiansen，M.Achard，R.Driven＆F.Ruiz de Mendoza Ibanez(eds.).Cognitive Linguistics:Current Applications and Future Perspectives［C］.Berlin，New York:Mouton de Gruyter.

Forceville，C.2008.Metaphorsin pictures and multimodal representations［A］.In R.W.Gibbs，Jr(ed.).The Cambridge Handbook of Metaphor and Thought［C］.Cambridge:Cambridge University Press.

Forceville，C.＆E.Urios－Aparisi.2009.Multimodal Metaphor［M］.Berlin/New York:Mouton de Gruyter.

Gavins，J.＆ G.Steen.(eds.).2003.Cognitive Poetics inPractice［C］.London and New York:Routledge.

Gibbons，A.2012.Multimodality，Cognition，and Experimental Literature［M］.London:Routledge.

Jewitt，C.2009.Different approaches to multimodality［A］.In C.Jewitt(ed.).The Routledge HandbooktoMultimodal Analysis［C］.London:Routledge.

Halliday，M.A.K＆R.Hasan.1976.Cohesion in English［M］.London＆New York:Routledge.

Kress，G＆ T.van Leeuwen.1996.Reading Images［M］.London:Routledge.

Stockwell，P.2002.Cognitive Poetics［M］.London＆ New York:Routledge.

Verdonk，P.2005.Painting，poetry，parallelism:Ekphrasis，stylistics and cognitive poetics［J］.Language and Literature14(3):231－244.

Widdowson，H.G.1992.Practical Stylistics［M］.上海:上海外語教育出版社.

黃國文.1987.語篇分析概要［M］.長沙:湖南教育出版社.

李榮啟.2005.文學(xué)語言學(xué)［M］.北京:人民出版社.

Stockwell、馬菊玲.2012.文學(xué)認(rèn)知研究的精妙科學(xué)［J］.外國語文(6):2.

王佐良、丁往道.1987.英語文體學(xué)引論［M］.北京:外語教學(xué)與研究出版社.

熊沐清.2012.“從解釋到發(fā)現(xiàn)”的認(rèn)知詩學(xué)分析方法［J］.外語教學(xué)與研究(3):448－458.

(責(zé)任編輯 鄧夢寒)

H319

A

1674－8921－(2016)06－0019－04

10.3969/j.issn.1674－8921.2016.06.004

曾方本，惠州學(xué)院外語系教授。主要研究方向?yàn)檎Z用學(xué)、多模態(tài)語篇分析、認(rèn)知詩學(xué)。電子郵箱:zfb@hzu.edu.cn