多模態(tài)語篇布局結(jié)構(gòu)研究述評*

楊增成　苗興偉

(北京工商大學(xué)，北京 100048； 北京師范大學(xué)，北京 1000875)

1　引言

語篇是傳遞意義的載體，具有一定的結(jié)構(gòu)，語篇的各個部分位于這個結(jié)構(gòu)中的某個位置，并彼此通過一定的關(guān)系產(chǎn)生關(guān)聯(lián)。語篇結(jié)構(gòu)對語篇意義的傳遞有著重要影響。

語篇都是多模態(tài)的。除語言外，語篇中的圖像、字體和排版格式等都傳遞意義。但是長期以來，學(xué)界只關(guān)注語篇的語言層面，即純語言視角的研究。從純語言視角對語篇結(jié)構(gòu)的深入研究，在語篇的修辭結(jié)構(gòu)、信息結(jié)構(gòu)和語類結(jié)構(gòu)等方面，都有很多研究成果。多模態(tài)語篇中，除這上述結(jié)構(gòu)之外，還有其布局結(jié)構(gòu)(layout structure)。多模態(tài)語篇中的各個視覺成分通過一定的歸組、聯(lián)結(jié)和分離，使多模態(tài)語篇呈現(xiàn)出一定的布局結(jié)構(gòu)。布局結(jié)構(gòu)是多模態(tài)語篇的外在形式，純語言視角下的語篇研究尚未關(guān)注到這種外在的形式結(jié)構(gòu)。布局結(jié)構(gòu)聯(lián)結(jié)著多模態(tài)語篇中的成分，對多模態(tài)語篇的連貫和意義的傳遞都有影響(代樹蘭 2017：5)。多模態(tài)語篇的布局結(jié)構(gòu)至今雖已得到學(xué)者們的廣泛關(guān)注，但相對于其他多模態(tài)問題，布局結(jié)構(gòu)的研究還不夠深入。本文梳理和評析多模態(tài)語篇布局結(jié)構(gòu)研究，并展望未來，以期推動該研究的進(jìn)一步發(fā)展。

2　多模態(tài)語篇的層級性布局結(jié)構(gòu)研究

多模態(tài)語篇是二維的視覺載體，其中的圖像、色彩和圖表等都是視覺模態(tài)，語言以一定字體和字號的形式出現(xiàn)于語篇中，字體和字號也是視覺模態(tài)。不同的視覺單位在頁面上處在一定布局結(jié)構(gòu)中。在布局結(jié)構(gòu)中，布局單位根據(jù)一定的關(guān)系組構(gòu)成更大的視覺單位。

2.1 布局單位

Bateman 在其研究項目“語類與多模態(tài)”(Genre and Multimodality)的基礎(chǔ)上提出用于分析多模態(tài)語篇的GeM模式，該模式明確了多模態(tài)語篇的多個描寫層面(Bateman 2008:15)。語篇是包括GeM基礎(chǔ)層、布局層、修辭結(jié)構(gòu)層、導(dǎo)航層和語類層的多層面人工制品，每一層面都有其單位(同上：108)。其中，布局層的布局單位體現(xiàn)為基礎(chǔ)單位的組合。基礎(chǔ)單位(base unit)是GeM基礎(chǔ)層的單位，基礎(chǔ)單位是出現(xiàn)于多模態(tài)頁面上的基礎(chǔ)性成分，標(biāo)題、圖符、表格中的單元格、清單列表、清單列表標(biāo)簽、腳注、腳注標(biāo)簽、圖像、圖表和圖表中的文本等都屬于基礎(chǔ)單位。其他層面的單位可能比基礎(chǔ)單位大，這是因為這些層面上的單位會體現(xiàn)為基礎(chǔ)單位的組合。(同上: 110-113)

布局成分包括3種：排印性成分(typographical element)、圖像性成分(graphic element )和復(fù)合性成分(composite element)。這3種布局成分各有其布局單位。排印性單位在字體、字號、底紋、字間距和行間距等方面體現(xiàn)出一定的特點。圖像性布局單位是具有一定內(nèi)部結(jié)構(gòu)的視覺性成分，復(fù)合性單位是能把語篇的不同成分歸組到一起的成分。(同上：116-121)

2.2 層級性布局結(jié)構(gòu)

視覺單位通過一定的視覺特點和空間位置關(guān)系組構(gòu)成一定的布局結(jié)構(gòu)。Bateman指出多模態(tài)頁面上的布局單位通過框架 (framing) 和視覺完整性(visual integrity)等原則一步步組構(gòu)成更大的單位，直至組構(gòu)成完整的多模態(tài)頁面(同上：122)。

空間性歸組是實現(xiàn)層級性布局關(guān)系的重要途徑。通過空間性歸組，某些成分聚攏于多模態(tài)頁面的某個區(qū)域，組構(gòu)成更大的視覺單位。Schriver指出語篇中不同的部分歸組到一起(如語篇正文加腳注、程序性說明加圖像)，形成一個修辭簇(rhetorical cluster)，充當(dāng)一個功能單位(Schriver 1997:343)。Baldry和Thibault指出多模態(tài)頁面上的不同成分聚攏于一起，作為一個整體位于頁面的某個位置，形成一個簇(cluster)，簇中的各個成分在功能上相互關(guān)聯(lián)，并且各個成分在功能上與整個簇有關(guān)聯(lián)(Baldry, Thibault 2006:31)。Bateman認(rèn)為無論視覺成分的功能如何，只要這些成分居于一處，組成一定的視覺性構(gòu)型，就可以把該構(gòu)型視為某類簇。反過來，人們不能僅僅因為視覺成分間存在著功能性關(guān)聯(lián)，就將它們視為某個簇，簇必須要有空間性構(gòu)型支撐(Bateman 2008：115)。Reichenberger等學(xué)者用降低分辨率的方式研究頁面成分間的空間性歸組(Reichenberger et al. 1995：5-6)，并用圖1展示歸組過程。在圖1中，豎軸表示分辨率，從上到下分辨率依次降低，隨著分辨率的降低，很多小的成分無法被識別，被融入到一起。

圖1　分辨率與歸組(Reichenberger et al. 1995)

布局結(jié)構(gòu)的層級性還有賴于多模態(tài)語篇的空間分隔機(jī)制。多模態(tài)語篇通過分隔機(jī)制把其整體分隔成不同的布局單位，不同布局單位通過空間性歸組形成一定的層級性布局結(jié)構(gòu)。van Leeuwen分析幾種分隔機(jī)制，認(rèn)為不同成分間的分隔可以通過分離(separation)和隔離(segregation)機(jī)制來完成。分離表示不同的頁面部分由空白區(qū)間分開，比如一個空白區(qū)域把字體或字號不同的兩個部分隔開。分離能表明被分開的兩個部分在某些方面相同，而在另外某些方面不同。隔離表示不同的部分占據(jù)性質(zhì)完全不同的空間區(qū)域(如文字區(qū)域和圖像區(qū)域)。被分離或隔離的視覺部分間可能會存在“押韻”(rhyme)和“對比”關(guān)系?！把喉崱北硎静煌牟糠蛛m然分開，但是還存在共同點，比如共同的顏色或形狀；“對比”表示不同的部分在某些方面(如顏色和字體)呈現(xiàn)出不同。(van Leeuwen 2005:6-13)

3　多模態(tài)語篇布局結(jié)構(gòu)與其他語篇結(jié)構(gòu)間的關(guān)系

多模態(tài)語篇的結(jié)構(gòu)是多重的，既有布局結(jié)構(gòu)，又有修辭結(jié)構(gòu)、語類結(jié)構(gòu)和信息結(jié)構(gòu)。布局結(jié)構(gòu)是多模態(tài)語篇的形式結(jié)構(gòu)，修辭結(jié)構(gòu)、語類結(jié)構(gòu)和信息結(jié)構(gòu)屬于語篇的意義結(jié)構(gòu)。語篇意義與語篇形式間存在著一定的關(guān)系，多模態(tài)語篇的布局結(jié)構(gòu)與修辭結(jié)構(gòu)、語類結(jié)構(gòu)和信息結(jié)構(gòu)間也存在著一定的關(guān)系。

3.1 布局結(jié)構(gòu)與信息結(jié)構(gòu)間的關(guān)系

Kress 和van Leeuwen認(rèn)為視覺載體的水平結(jié)構(gòu)與語言的順序性信息結(jié)構(gòu)間存在著一定的相似性。在一個多模態(tài)頁面上，位于左側(cè)的是已知信息，位于右側(cè)的是新信息。一般來說，新信息表示不確定的、可爭論的和需要關(guān)注的信息，而已知信息表示常識性的、觀看者已知的或已熟悉的信息。他們還指出，根據(jù)讀者群的不同，不同的期刊會在左右結(jié)構(gòu)的處理上有不同的做法，比如有的期刊往往將廣告置于左側(cè)，而有的期刊則置于右側(cè)。他們還指出將廣告置于左側(cè)能間接地表明期刊將廣告視為商業(yè)性的已知信息，不是該期刊的重點，該期刊的主要任務(wù)是傳遞關(guān)于真實世界的信息。(Kress, van Leeuwen 1996：186-192)

3.2 布局結(jié)構(gòu)與修辭結(jié)構(gòu)間的關(guān)系

修辭結(jié)構(gòu)理論是Mann 和 Thompson在20世紀(jì)80年代初創(chuàng)立的理論。該理論認(rèn)為語篇的不同部分間存在著一定的語義關(guān)系，如環(huán)境關(guān)系、條件關(guān)系、闡述關(guān)系、評價關(guān)系、解釋關(guān)系、方式關(guān)系和析取關(guān)系等。被上述關(guān)系聯(lián)結(jié)的語篇部分稱為結(jié)構(gòu)段。結(jié)構(gòu)段可以是句子，也可以是低于句子層級的小句，還可以是高于句子層級的段落。

Bateman認(rèn)為多模態(tài)語篇中也存在修辭結(jié)構(gòu)關(guān)系，在多模態(tài)語篇中，修辭結(jié)構(gòu)關(guān)系存在于某一結(jié)構(gòu)段和在任一方向上與其毗鄰的結(jié)構(gòu)段之間。他詳細(xì)地分析兩例多模態(tài)頁面的布局結(jié)構(gòu)和修辭結(jié)構(gòu)。通過修辭結(jié)構(gòu)，將大結(jié)構(gòu)段分解成小結(jié)構(gòu)段。大結(jié)構(gòu)段由大布局單位體現(xiàn)，小結(jié)構(gòu)段由小布局單位體現(xiàn)。結(jié)構(gòu)段可以是圖像性成分，也可以是文字性成分。在其分析的兩例中，修辭結(jié)構(gòu)和布局結(jié)構(gòu)間存在著不匹配的關(guān)系。 (Bateman 2008：151-174)

3.3 布局結(jié)構(gòu)與語類結(jié)構(gòu)的關(guān)系

Hasan認(rèn)為語類有其語類結(jié)構(gòu)潛勢，語類結(jié)構(gòu)潛勢包括必備成分、可選成分、成分出現(xiàn)的順序和某些成分重復(fù)出現(xiàn)的次數(shù)(Halliday, Hasan 1989：64)。一個語篇的語類結(jié)構(gòu)要體現(xiàn)其所屬的語類結(jié)構(gòu)潛勢(同上：108)。多模態(tài)語篇也有其語類結(jié)構(gòu)，一定的多模態(tài)語類也包含著必備成分和可選成分。

Cheong 提出多模態(tài)廣告語篇包含“首要信息”(lead)“商品展示”(display) “徽標(biāo)”(emblem)“宣告”(announcement)“詳述”(enhancer)“附言”(tag)和“聯(lián)系方式”(call-and-visit information)等成分。并在分析5則多模態(tài)廣告語篇的基礎(chǔ)上，提出多模態(tài)廣告語篇語類結(jié)構(gòu)潛勢為：

首要信息∧(商品展示)∧徽標(biāo)∧(宣告)∧(詳述)∧(附言)∧(聯(lián)系方式)

在該語類結(jié)構(gòu)潛勢中，括號內(nèi)的成分是可選成分，括號外的是必選成分。Cheong詳細(xì)地說明各個成分在多模態(tài)廣告語篇中的體現(xiàn)形式?！笆滓畔ⅰ薄吧唐氛故尽焙汀盎諛?biāo)”主要通過圖像、色彩和圖標(biāo)等視覺方式來體現(xiàn)?！笆滓畔ⅰ笔嵌嗄B(tài)廣告語篇中最凸顯的成分，“商品展示”是展示所宣傳商品的成分，“徽標(biāo)”是表明產(chǎn)品之品牌的成分。“徽標(biāo)”除了可以通過圖像的形式展示外，也可以通過語言的形式來展示?！靶妗薄霸斒觥薄案窖浴焙汀奥?lián)系方式”等通過語言和字號等方式來展現(xiàn)?！靶妗笔亲钔癸@的語言部分，其凸顯源于對色彩、字號或字體的選擇?！霸斒觥辈糠衷敿?xì)闡發(fā)“首要信息”和“宣告”相互影響所產(chǎn)生的意義，它只包含語言成分，且通常以段落的形式體現(xiàn)?！案窖浴辈糠謧鬟f“詳述”部分沒有述及的信息，通常由小字號體現(xiàn)?！奥?lián)系方式”傳遞消費者可以獲取一定產(chǎn)品或服務(wù)的時間、地點和方式。(Cheong 2004：164-176) 這些語類成分的體現(xiàn)形式都是一定的布局單位。

4　多模態(tài)語篇布局結(jié)構(gòu)的意義研究

4.1 概念意義研究

多模態(tài)語篇的布局結(jié)構(gòu)能夠傳遞一定的概念意義。Kress和van Leeuwen分析圖像的結(jié)構(gòu)布局的概念意義。他們認(rèn)為多模態(tài)語篇中的圖像能夠傳遞再現(xiàn)意義，再現(xiàn)意義對應(yīng)于系統(tǒng)功能語法中的概念意義。再現(xiàn)意義分為敘事再現(xiàn)和概念再現(xiàn)兩類，前者包括行動過程、反應(yīng)過程以及言語和心理過程等類別，后者包括分類過程、分析過程和象征過程等類別。表達(dá)敘事再現(xiàn)的圖像和表達(dá)概念再現(xiàn)的圖像有一個重要的布局結(jié)構(gòu)差異：在敘事再現(xiàn)的圖像中，某些視覺成分的位置連接起來形成一條斜線，而概念再現(xiàn)的圖像中不存在這樣的結(jié)構(gòu)。(Kress, van Leeuwen 1996：57；2006：59)

4.2 人際意義研究

多模態(tài)語篇的布局結(jié)構(gòu)除傳遞概念意義外，還能傳遞人際意義。Kress和van Leeuwen認(rèn)為在多模態(tài)頁面的“中心—邊緣”結(jié)構(gòu)中，位于中心的部分傳遞核心信息，位于邊緣的部分傳遞附屬性或從屬性信息(Kress, van Leeuwen 1996:206)。并對中心和邊緣兩個區(qū)域描述的事物進(jìn)行評價：中心區(qū)域的事物重要，處于邊緣區(qū)域的事物則不重要。他們還分析多模態(tài)語篇左右布局結(jié)構(gòu)的信息價值，他們認(rèn)為頁面左側(cè)傳遞的是已知信息，頁面右側(cè)傳遞的是新信息(同上:187)。Kress指出，把信息分為“讀者已知信息”和“讀者的新信息”會賦予讀者一定的地位與身份，會賦予讀者是否掌握一定的信息與知識的社會特征，從而在交際過程中為語篇參與者建立一定的人際關(guān)系 (Kress 2010:92)。

有學(xué)者指出多模態(tài)語篇內(nèi)部的邊框也能傳遞人際意義。邊框是多模態(tài)語篇頁面布局常用的一種手段。邊框會使多模態(tài)頁面呈現(xiàn)出不同的布局結(jié)構(gòu)，在有些多模態(tài)語篇頁面中，圖像處在一定的邊框內(nèi)，文字處在該邊框外；在有些多模態(tài)語篇頁面中，文字和圖像都位于一定的邊框內(nèi)；在有些多模態(tài)語篇頁面中，圖像的周圍沒有邊框，頁面邊沿就是該圖像的邊沿。Painter等學(xué)者分析圖像邊框傳遞的意義，指出若圖像的邊沿與頁面的邊沿重疊，讀者世界與圖像世界間的邊界便會最大程度地變窄，這會使讀者與圖像世界產(chǎn)生關(guān)聯(lián)。并且在這樣的圖像中，可能不展現(xiàn)一定人物所處的環(huán)境，這會觸發(fā)讀者的評價性反應(yīng)。這類沒有展現(xiàn)環(huán)境的圖像可能會出現(xiàn)在讀者需要對圖像人物進(jìn)行評價之時。(Painter et al. 2011：127-129)

4.3 語篇功能研究

語篇功能可以保障概念意義和人際意義得以傳遞。Kress研究多模態(tài)語篇布局結(jié)構(gòu)與多模態(tài)語篇連貫間的關(guān)系。他調(diào)整一個多模態(tài)頁面的布局結(jié)構(gòu)，以此來研究改變頁面布局結(jié)構(gòu)對多模態(tài)語篇連貫的影響。該頁面分為兩欄，左欄是文字，右欄是圖像，Kress 把這兩欄視為第一層級的語篇構(gòu)成單位。文字部分又進(jìn)一步分為3部分，作為第二層級的單位，它又由第三層級的單位構(gòu)成。圖像部分也包含第二層級的單位，第二層級的單位又包含第三層級的單位。他改變這些單位的位置，從而使語篇呈現(xiàn)出不同的布局結(jié)構(gòu)，從中發(fā)現(xiàn)若只是對第一層級單位的位置進(jìn)行調(diào)換，多模態(tài)頁面依然連貫，但是若把文字欄的第三層級的單位與圖像欄的第三層級的單位進(jìn)行位置調(diào)換，多模態(tài)頁面的連貫會受到影響。(Kress 2010:89-91)

5　多模態(tài)布局結(jié)構(gòu)的影響因素研究

多模態(tài)語篇的布局結(jié)構(gòu)受一定因素的影響。這些因素影響著頁面成分的聯(lián)結(jié)、歸組、分隔方式以及在頁面中出現(xiàn)的位置。

5.1 視覺修辭的影響

每個語篇都有其交際目的，旨在對讀者產(chǎn)生某種影響，修辭會有助于語篇作者成功地影響或說服讀者。多模態(tài)語篇也有其交際目的，多模態(tài)語篇的作者也要通過一定的方式影響語篇受眾，多模態(tài)語篇中也有修辭現(xiàn)象。

Kimball和Hawkins分析視覺修辭對多模態(tài)語篇布局結(jié)構(gòu)的影響。他們從文檔設(shè)計的角度提出視覺修辭的概念。視覺修辭不僅關(guān)注文檔中的語言，還關(guān)注文檔的展現(xiàn)方式與用戶需求的對接。他們指出若文檔的設(shè)計滿足文檔讀者的需求和預(yù)期，則該文檔的用戶會更容易說服文檔讀者。(Kimball, Hawkins 2008：62-66) 他們還指出文檔的設(shè)計者須能預(yù)料到讀者閱讀一定文檔的方式，然后進(jìn)行相應(yīng)的頁面設(shè)計來幫助讀者閱讀文檔。比如，如果讀者想要迅速尋找到某個信息，設(shè)計者可能須要凸顯導(dǎo)航類成分(比如標(biāo)題)；如果讀者想要觀覽很多圖像，設(shè)計者須要把圖像和說明性文字放置于呈一致和規(guī)則形狀的框架中。 (同上：120)

5.2 美學(xué)因素的影響

如上所述，多模態(tài)語篇是個視覺載體，不同的視覺載體會給人帶來不同的美學(xué)感受。美學(xué)因素會對多模態(tài)語篇的布局結(jié)構(gòu)產(chǎn)生影響。平衡是取得美學(xué)效果的一個重要方式。Pettersson認(rèn)為一個視覺對象要盡可能呈現(xiàn)出平衡結(jié)構(gòu)，視覺對象中成分的結(jié)合應(yīng)該呈現(xiàn)出美學(xué)效果，體現(xiàn)出和諧的關(guān)系。人們天生具有平衡感，若某個成分太大或太小，整個圖片的效果都會受到影響。不平衡感會給讀者帶來不適，應(yīng)該避免。(Pettersson 2002:136)

Berdan也論述平衡與布局結(jié)構(gòu)間的關(guān)系，指出視覺成分的位置對平衡有重要的影響，人們會下意識地把圖片的中心視為一個支點，若支點一側(cè)較輕的物體離支點遠(yuǎn)，支點另一側(cè)較重的物體離支點近，這兩個物體間會存在一種平衡。他還認(rèn)為對稱結(jié)構(gòu)也是一種達(dá)到平衡的方式。(Berdan 2004)

5.3 文化因素的影響

多模態(tài)語篇的布局結(jié)構(gòu)也受文化因素的影響。Kimball 和 Hawkins從文檔設(shè)計的角度研究多模態(tài)語篇布局結(jié)構(gòu)與文化因素間的關(guān)系。他們指出某些成分在多模態(tài)語篇中出現(xiàn)的位置和其所呈現(xiàn)出的視覺特點受文化規(guī)約的影響。一定文化背景下的語篇參與者對一定成分在語篇中的位置有一定的期待。他們還指出多種文化會影響到文檔的設(shè)計，公司文化、行業(yè)文化、民族文化、甚至某個大洲的文化(如歐洲文化)對文檔的設(shè)計都會產(chǎn)生一定的影響。(Kimball, Hawkins 2008:117-118)

6　未來研究的展望

6.1 布局結(jié)構(gòu)與其他類別語篇結(jié)構(gòu)間的關(guān)系

除布局結(jié)構(gòu)外，多模態(tài)語篇還有信息結(jié)構(gòu)、語類結(jié)構(gòu)和修辭結(jié)構(gòu)等多種語篇結(jié)構(gòu)，針對布局結(jié)構(gòu)與這些結(jié)構(gòu)間的關(guān)系的研究還不夠深入。

首先，在布局結(jié)構(gòu)與信息結(jié)構(gòu)間的關(guān)系方面，還有進(jìn)一步研究的空間，有些研究結(jié)論尚存在爭議。比如，Kress 和 van Leeuwen 認(rèn)為在一個多模態(tài)頁面上，處于左側(cè)的部分傳遞已知信息，處于右側(cè)的部分傳遞新信息(Kress, van Leeuwen 1996：187)，但是該論述沒有得到實驗結(jié)果的支持。Bateman通過解讀一項目光跟蹤實驗的結(jié)果，認(rèn)為人們閱讀文檔時，目光落于文檔各個部分的先后順序。Bateman把Kress和van Leeuwen的觀點轉(zhuǎn)換為：頁面的右側(cè)在閱讀過程中應(yīng)被更早地關(guān)注到，但是實驗結(jié)果并沒有支持這一觀點(Bateman 2008：64)。也就是說，Kress和van Leeuwen關(guān)于左右結(jié)構(gòu)信息價值的論述還存在爭議，有必要進(jìn)一步研究。

Gee從另一個角度研究語篇的信息結(jié)構(gòu)，認(rèn)為語篇中的信息由“行”和 “節(jié)”這樣的信息單位構(gòu)成，“行”是“意義單位”，“節(jié)”是涉及同一主題、視角和事件的語段，通常由若干“行”組成，“節(jié)”又進(jìn)一步組成語篇的宏觀結(jié)構(gòu)(Gee 2000：106-114)。Gee的這種層級性語篇信息結(jié)構(gòu)的分析方法具有重要意義，該方法從信息的角度分析語篇的各個構(gòu)成單位對語篇整體的貢獻(xiàn)。多模態(tài)語篇研究也應(yīng)從這個角度關(guān)注語篇的層級性信息結(jié)構(gòu)，關(guān)注層級性信息結(jié)構(gòu)與層級性布局結(jié)構(gòu)間的關(guān)系，還應(yīng)關(guān)注語篇信息單位與布局單位間的關(guān)系。

第二，在多模態(tài)語篇的布局結(jié)構(gòu)與語類結(jié)構(gòu)的關(guān)系方面，尚存在一些問題需要進(jìn)一步研究。不同的語類有不同的語類結(jié)構(gòu)潛勢，語類結(jié)構(gòu)潛勢既涉及到某一語類中出現(xiàn)的成分，又涉及到各語類成分出現(xiàn)的順序。既往的研究關(guān)注多模態(tài)語類的成分、語類成分的體現(xiàn)形式和語類成分與布局單位間的關(guān)系，但是不同成分出現(xiàn)的順序，以及這種順序與布局結(jié)構(gòu)間的關(guān)系尚未得到關(guān)注。如何發(fā)現(xiàn)和描述各成分在多模態(tài)語篇中出現(xiàn)的順序是研究難題。在純語言模態(tài)中，不同成分在語篇中出現(xiàn)的先后順序容易確定，這是因為語言是線性的，這意味著不同成分的出現(xiàn)有一定的順序性。多模態(tài)語篇是二維的、非線性的，所以各個成分出現(xiàn)的順序不易確定。這個研究難題可以從讀者接受的角度加以研究，即從閱讀路徑的角度。閱讀路徑是人們閱讀多模態(tài)語篇各個部分的先后順序，這個順序不僅與各個部分的位置和視覺特點有關(guān)，也與多模態(tài)語篇的布局結(jié)構(gòu)有關(guān)。學(xué)界有必要研究閱讀路徑與布局結(jié)構(gòu)的關(guān)系，以推動布局結(jié)構(gòu)與語類結(jié)構(gòu)間關(guān)系的研究。

此外，多模態(tài)語篇的布局結(jié)構(gòu)與一些其他類別的語篇結(jié)構(gòu)之間也存在一定關(guān)系，也應(yīng)該得到學(xué)界的關(guān)注。Hoey提出英語篇章中存在“情景—反應(yīng)—評價/結(jié)果”“假設(shè)—真實型”“一般—特殊型”和“匹配比較型”等語篇模式 (Hoey 1983：31)。Labov提出敘事結(jié)構(gòu)中包含“點題”“指向”“進(jìn)展”“評議”“結(jié)果或結(jié)局”和“回應(yīng)”等環(huán)節(jié)(Labov 1972：363)。這樣的語篇模式和敘事結(jié)構(gòu)也存在于多模態(tài)語篇中，并體現(xiàn)在一定的布局單位和布局結(jié)構(gòu)中。目前這些語篇模式和敘事結(jié)構(gòu)與多模態(tài)語篇布局結(jié)構(gòu)間的關(guān)系尚未得到學(xué)者們系統(tǒng)全面的研究，需要學(xué)界進(jìn)一步關(guān)注。

6.2 布局結(jié)構(gòu)的意義與功能

學(xué)者們研究多模態(tài)語篇布局結(jié)構(gòu)傳遞的概念意義和人際意義，并闡述布局結(jié)構(gòu)對語篇連貫的影響。這些研究深化人們對多模態(tài)語篇布局結(jié)構(gòu)的功能的認(rèn)識。目前，對多模態(tài)語篇布局結(jié)構(gòu)的人際意義已有比較深入的研究，但是概念意義的研究卻不夠深入，其語篇功能也需要進(jìn)一步研究。比如，Kress只是證實和說明布局結(jié)構(gòu)的改變會對多模態(tài)語篇的連貫性產(chǎn)生影響，但學(xué)界還未系統(tǒng)研究連貫的多模態(tài)語篇具有的布局結(jié)構(gòu)特征。另外，語篇中不同模態(tài)處在一定的布局結(jié)構(gòu)中，布局結(jié)構(gòu)對模態(tài)間的關(guān)系會產(chǎn)生一定影響，并對語篇傳遞的意義產(chǎn)生影響，但是這方面的研究還未系統(tǒng)開展，需要學(xué)者們關(guān)注。

6.3 布局結(jié)構(gòu)的影響因素

從視覺修辭、美學(xué)和社會因素等方面探討多模態(tài)語篇布局結(jié)構(gòu)的影響因素，對多模態(tài)語篇的生成具有啟示意義，但是這些研究未形成一個完整的理論體系。另外，一定的布局結(jié)構(gòu)可能受兩個或多個因素的共同影響，這也須要建構(gòu)一個涵蓋多種影響因素的理論框架。

上述影響因素可以被涵蓋于語境理論下。視覺修辭因素可以從語境角度得到論述，如上文所述，視覺修辭關(guān)注文檔的展現(xiàn)方式與用戶需求的對接，文檔用戶即語境中的語旨變量。社會因素即社會語境。美學(xué)方面的原因也可以從語境角度解釋，給人以美學(xué)感受的布局結(jié)構(gòu)可以使語篇受眾對語篇和語篇作者產(chǎn)生好感，在語篇作者和受眾間建立起積極的關(guān)系，反之，為了在語篇參與者間建立一定的關(guān)系，語篇作者會使語篇的布局結(jié)構(gòu)呈現(xiàn)出一定的美學(xué)特點。

語境涉及眾多要素，學(xué)界對其研究已相當(dāng)成熟。從語境角度對布局結(jié)構(gòu)的影響因素進(jìn)行研究不僅可以把現(xiàn)有研究成果納入到一個統(tǒng)一的理論體系中，還能發(fā)現(xiàn)其他影響因素，學(xué)界有必要從這個角度進(jìn)一步研究影響因素。

7　結(jié)束語

多模態(tài)語篇的布局結(jié)構(gòu)為概念意義的傳遞提供平臺，并發(fā)揮重要的人際功能，還對語篇的連貫有重要影響。學(xué)者們對多模態(tài)語篇的布局結(jié)構(gòu)進(jìn)行多角度的研究，并已有不少研究成果，然而布局結(jié)構(gòu)研究依然任重道遠(yuǎn)，很多問題有待進(jìn)一步探討，如布局結(jié)構(gòu)與其他類別語篇結(jié)構(gòu)間的關(guān)系、布局結(jié)構(gòu)傳遞的意義和影響因素等方面。對這些方面的探討能進(jìn)一步推動多模態(tài)語篇布局結(jié)構(gòu)研究的進(jìn)展，并有助于人們在交際中更有效地使用多模態(tài)語篇。

代樹蘭. 多模態(tài)話語中各模態(tài)之間關(guān)系的研究[J]. 外語學(xué)刊, 2017(6).

Baldry, A., Thibault, P.J.MultimodalTranscriptionandTextAnalysis:AMultimediaToolkitandCoursebook[M]. London: Equinox, 2006.

Bateman, J.A.MultimodalityandGenre:AFoundationfortheSystematicAnalysisofMultimodalDocuments[M]. New York: Palgrave, 2008.

Berdan, R. Composition and the Elements of Visual Design[OL]. http://photoinf.com/General/Robert_Berdan/Composition_and_the_Elements_of_Visual_Design.htm, 2004.

Cheong, Y.Y. The Construal of Ideational Meaning in Print Advertisement[A]. In: O’Halloran, K.L.(Ed.),MultimodalDiscourseAnalysis:SystemicFunctionalPerspectives[C]. London: Continuum, 2004.

Gee, J.P.AnIntroductiontoDiscourseAnalysis:TheoryandMethod[M]. Beijing: Foreign Language Teaching and Research Press, 2000.

Halliday, M.A.K., Hasan, R.Language,ContextandText:AspectsofLanguageinaSocial-semioticPerspective[M]. Oxford: Oxford University Press, 1989.

Hoey, M.OntheSurfaceofDiscourse[M]. London: George Allen & Unwin, 1983.

Kimball, M.A., Hawkins, A.R.DocumentDesign:AGuideforTechnicalCommunicators[M]. Boston: Bedford/St. Martin’s, 2008.

Kress, G.Multimodality:ASocialSemioticApproachtoContemporaryCommunication[M]. London: Routledge, 2010.

Kress, G., van Leeuween, T.ReadingImage:TheGrammarofVisualDesign[M]. London: Routledge, 1996.

Kress, G., van Leeuwen, T.ReadingImage:TheGrammarofVisualDesign(2ndEdition) [M]. London: Routledge, 2006.

Labov, W.LanguageintheInnerCity:StudiesintheBlackEnglishVernacular[M]. Philadelphia: University of Pennsylvania Press, 1972.

Painter, C., Martin, J.R., Unsworth, L. Organizing Visual Meaning: Framing and Balance in Picture-book Images[A]. In: Dreyfus, S., Hood, S., Stenglin, M.(Eds.),SemioticMargin:MeaninginMultimodalities[C]. London & New York: Continuum, 2011.

Pettersson, R.InformationDesign:AnIntroduction[M]. Amsterdam: John Benjamins Publishing Company, 2002.

Reichenberger, K., Rondhuis, K.J., Kleinz, J., Bateman, J. Effective Presentation of Information Through Page Layout: A Linguistically Based Approach[OL]. http://www.cs.uic.edu/～ifc/mmwsproc/reichen/page-layout.html, 1995.

van Leeuwen, T.IntroducingSocialSemiotics[M]. London: Routledge, 2005.