多模態視角下視頻新聞分析與研究

摘 要：視頻新聞除了語言之外，更多地使用了圖像、動作、聲音等非語言符號資源進行新聞報道。本文以路透社對莫言獲得諾貝爾文學獎的報道為語料，從多模態宏觀結構及多模態符號資源的語義功能兩個層面，對報道中的多模態符號資源進行了簡要分析。從分析中可以看出，資源塊的時長、圖像的凸顯程度、畫面的持續時間、鏡頭拍攝角度承載著不同的語義。在報道中，路透社借助評論家的訪談傳遞著媒體立場，但是訪談中的視覺符號、服飾符號的出現以及采訪話筒上路透社圖標的缺失卻揭示了新聞報道隱藏的真正意圖。

關鍵詞：多模態；資源塊；已知信息；全新信息

中圖分類號：H0 文獻標識碼：A 文章編號：1003-6822（2016）06-0002-09

1. 引言

視頻新聞借助畫面、聲音等多種表現元素營造出其報道的強烈現場感，使事件與敘事之間的距離完全消失，從而將新聞報道的“真實性”推向極致（蔡騏、歐陽菁，2006）。新聞報道視頻作為最直觀、最重要的表現形式，無論是在電視新聞還是網絡新聞中都更受到民眾的關注和青睞，已經成為人們生活中越來越不可或缺的信息源（劉波，2010： 192）。

但是，視頻新聞有時也會憑借其“眼見為實”的報道方式讓人們誤以為其報道是純客觀的。有些西方媒體在對2008年發生的西藏“3.14”打砸搶燒事件的報道中，將照片和視頻張冠李戴捏造“藏人被毆打”以及“中國警察打人”等事件，進行虛假報道。由于視頻新聞報道所具有的視覺沖擊力，這些虛假報道對中國造成了惡劣的影響。

由此可見，信息傳播獲得的價值大小及傳播效果與其運用的傳播符號有著密切的關系（羅以澄、黃雅堃，2007： 74）。而對于視頻新聞這樣的采用不同語義符號的傳播方式，單純依靠分析語言是難以揭示不同語義符號資源所發揮的作用。

多模態研究作為話語研究發展的新領域，注重多種語義符號在話語中的相互作用，主張在分析語言特征的同時注重聲音、圖像、顏色、視頻、動作等視覺、聽覺和行為模態符號在話語中的作用。對視頻新聞報道中不同模態的符號資源進行分析，有助于揭示新聞媒體是如何通過不同語義符號傳播其主觀態度及真實意圖。

2. 新聞語篇多模態研究

2.1 多模態研究

多模態研究以一種新的視角來看待語篇及意義的產生過程，它將意義的來源擴展至所有的符號資源。在多模態分析領域，語言不再被看作是信息傳遞的唯一渠道，非語言符號（如圖像、音樂、空間安排等）也不再像傳統語言學認為的那樣在交際中只是扮演著輔助語言的角色，它們和語言一同成為符號資源，共同表達和傳遞著意義。

“多模態指的是在某一具體語篇的意義制造過程中，以各種方式同時使用不同符號資源系統并將它們同語境化 （co-contextualize）” （Baldry Thibault， 2006： 21）。顧曰國（2013： 2）認為，模態指的是人類通過感官（如視覺、聽覺、觸覺等）與外部環境（如人、機器、物件、動物等）之間的互動方式。用單個感官進行的互動叫單模態，用兩個的叫雙模態，三個或以上的叫多模態。朱永生（2007： 23）進一步提出，多模態話語的識別不外乎有兩個標準：第一是看涉及的模態種類有多少。交際模態根據感知渠道可分為視覺模態、聽覺模態、觸覺模態、嗅覺模態和味覺模態。第二是看涉及的符號系統有多少。例如連環畫雖然只涉及視覺模態，但既有文字又有圖畫，也被看作是多模態話語。

在社會實踐中，人們通常都是使用多種符號進行意義表達的。正如李戰子（李戰子， 2003： 1）所述：“眾所周之，交際和再現意義經常需要多種符號編碼，即多模式，如圖像、手勢、身體語言等”。Kress Van Leeuwen（1996： 1）更明確地提出視覺模態與語言一樣都是具有結構的，“正如語言的語法描述詞是如何組成小句、句子和語篇的，視覺語法描述被刻畫的人物、地點、事物是如何聯合起來組成復雜程度以及延伸意義不等的視覺‘陳述’（statements）”。

由此可見，多模態研究并不是只孤立地研究不同模態在語篇發展中的作用，而是更看重不同符號資源之間的協同與互動，以及這種相互之間的關聯在語篇整體意義建構中的作用。

2.2 新聞語篇多模態研究

Sakai（2011）和Pounds（2012）都曾表示過，雖然新聞報道中的多模態現象是顯而易見的，但是對新聞語篇多模態性質的關注和研究卻才剛剛開始。多模態研究的開創者Kress van Leeuwen（1996）以澳洲《女性周刊》的一篇專題報道的版面設計為例，闡述已知信息與全新信息在多模態語篇中的位置排列。Sakai（2011）分別對一張新聞圖片和一則新聞報道進行了分析，探討視覺符號傳遞的互動意義以及視覺符號和語言符號的銜接與連貫。Pounds（2012）對一則BBC電視新聞進行了分析，認為作者的情感可以通過視覺及聽覺模態表達。

依照研究對象，國外對新聞語篇的多模態研究可分為靜態語篇和動態語篇多模態分析兩大類。靜態語篇主要指以印刷媒介為主體的語篇，包括對報紙及雜志上的印刷廣告、文字、繪畫、照片、海報等的分析；動態語篇以多媒體語篇和超文本電子語篇為主，例如網站及網頁。其中，以靜態語篇的多模態分析居多。就分析方法來看，國外大部分相關研究以定性分析為主，多為描述性分析，即選取單個語篇，分析不同模態符號資源在語篇整體意義構建中的作用。

我國外語界最早出現多模態話語分析的研究是在2003年（李戰子，2003）。在國內第一部多模態研究專著中，韋琴紅（2009）運用Kress van Leeuwen（1996）創立的視覺語法，對泰晤士報上的一則新聞報道中的敘述意義、互動意義以及構成意義進行了多模態分析。羅永勝（2012）對2003-2012年國內15個外語類主要核心期刊發表的論文進行了統計和分析，共查找到有關多模態話語研究的論文51 篇，而在這些論文中針對新聞語篇的分析僅有 1 篇。

綜上，國內外針對新聞報道的多模態研究中，以描述性分析居多，通常是對單個多模態語篇進行分析，而其中又以對靜態新聞語篇的分析為主，主要是報紙、雜志上的新聞報道，主要分析語言符號與圖片的協同作用。由此看來，新聞語篇的多模態研究還有很大的發展空間，而且隨著多媒體技術的普及和多媒體分析軟件的開發，對動態新聞語篇的多模態研究將逐步增多。這也正符合了代樹蘭（2013： 22）對多模態研究發展趨勢的預測：研究對象從紙質媒體到電視、網絡媒體，從對成品的分析到對互動性話語進程的探討，研究方法從經驗性描寫到理性、批評性分析。

3. 視頻新聞的多模態分析與研究

本文所分析的語料選自英國路透社對莫言獲得諾貝爾文學獎的新聞報道，整個視頻報道長度為1分36秒，（http：//www.reuters.com/video/2012/10/11/chinese-author- mo-yan-wins- nobel- for-lit？ videoId =238345173videoChannel=13361）。本文將對視頻中涉及的不同語義符號（如語言、圖像、動作、手勢、社會距離等）進行綜合分析，闡述不同模態語義資源相互之間的關系。

本文擬對以下問題展開研究：

1. 視頻新聞報道如何將不同模態的符號資源進行整合來報道整個新聞事件？

2. 語言與視覺模態之間的意義關系如何？

3. 新聞報道的真實意圖如何通過視覺模態反映出來？

本文基于 Baldry Thibault（2006）的資源綜合原則（resource integration）和Kress van Leeuwen（1996）的視覺語法（visual grammar），提出了如下分析框架，詳見表1。

從表2可以看出，路透社對莫言獲得諾貝爾獎的視頻報道共由5個資源塊組成，其中第1個和第5個資源塊主要是告知觀眾新聞來源，使用了聽覺（背景音樂）和視覺符號模態中的圖像（路透社的標志）；第2個資源塊包括兩個部分：新聞播音員的畫外音（voiceover）和瑞典學院終身主席Peter Englund 宣布莫言為諾貝爾文學獎得主的現場視頻；第3個資源塊是路透社對莫言的評論，由3個次資源塊構成（sub-phase）：對莫言的簡要介紹、對學生的采訪和對評論家的采訪；第4個資源塊為結語；最后一個資源塊與第一個資源塊采用了相同的多模態符號，但是功能是宣告新聞報道的結束。

語言模態在本視頻中主要是通過聽覺符號表現出來的，視頻中的聽覺符號可分為人聲和背景音樂，首、尾兩個資源塊聽覺模態都是背景音樂，伴隨著路透社的logo出現；其它三個資源塊中的聽覺模態均為人聲，分別為：播音員+瑞典學院常任秘書長Peter Englund、播音員+被采訪者、播音員。

3.1 語言與視覺模態在意義上的統一

圖1展示的是：從Peter Englund打開門到站在媒體面前準備公布諾貝爾文學獎得主的畫面，這一系列畫面與播音員的播報內容（The winner of the 2012 Nobel Prize for literature is announced Thursday）是同步的，在Peter Englund站在媒體面前的同時，路透社播音員剛好完成此信息的報道。

當瑞典學院常任秘書長Peter Englund正式宣布諾貝爾文學獎得主為中國作家莫言時，畫面轉變成了對Peter Englund的近距離拍攝（圖2）。Kress van Leeuwen （1996）在《視覺語法》一書中提出，鏡頭大小與社會距離（size of frame and social distance）體現了影像的互動意義。圖2為Peter Englund公布諾貝爾文學獎得主以及宣讀諾獎委員會評語的畫面，影像拍攝的截斷點（cut-off points）在腰部，Kress van Leeuwen將其定義為中近距離拍攝，這也是Hall （1964）所定義的遠私人距離 （far personal distance）。從畫面中還可以看到，Peter Englund的比例大概占到了整個畫面的50%左右，而且位于畫面的中心。根據表1提出的分析框架，此片段對Peter Englund的拍攝為近距離、居中、正面拍攝，攝像機一直是靜止狀態并未移動過，也沒有畫面的變換，畫面一直聚焦在表現者—— Peter Englund身上，畫面持續時間長。這些視覺符號信息均表明Peter Englund是此段視頻的信息焦點。另外，在此段視頻中Peter Englund要么看著手中的宣讀稿，要么轉向在場的媒體，并未注視過觀看者，也就是說，目標不是觀看者，而且說話語速正常。按照表1的分析框架，可以得出結論：Peter Englund是在提供信息（offer）。這也正符合Peter Englund所宣讀的內容\"The Nobel Prize in literature for 2012 is awarded to the Chinese writer Mo Yan， who with hallucinatory realism merges folk tales， history and the contemporary\"。由此可見，視覺模態與聽覺模態（這里指語言）在此片段中所表現的意義是重疊、統一的，兩種模態的地位是平等的。雖然視覺符號與語言符號系統使用的語義資源不同，但都是具有結構性的。

3.2 視覺模態對語言的強化作用

資源塊2到資源塊3的過渡是通過圖3來實現的，資源塊3共包含三個次資源塊，其中次資源塊1是對莫言名字含義的介紹：Mo Yan， who adopted a pseudonym that means“Don’t speak”， 與這一語言信息同時出現的視覺信息為圖3。路透社選用的照片是莫言的近距離正面特寫，人物在畫面的中心，韋琴紅認為（2009： 69）“當事物位于中心時，就表明它傳遞了重要的信息”。

值得注意的是照片中莫言的表情與姿勢（posture），畫面中，莫言沒有直接注視觀看者，Kress van Leeuwen（1996： 124）將這種影像稱為“提供（offer）”，即“把被表現者當成資料項目、沉思的對象，通過非人際方式提供給觀看者，好像它們是展示窗內的標本”。此外，照片中莫言的目光是斜視的，畢繼萬（1999： 24）在討論體態語時提及：“眼睛旁顧，給人的感覺似乎是態度冷淡，漠不關心或心中不滿”。如果將圖3中的莫言與圖4相比較，就會發現兩張圖片展現的姿勢非常相似。汪福祥（1988： 6-7）曾討論過人類常見的四種姿勢（圖4為其中的一種，筆者注），“在社交活動中，大多數人都討厭和持這種姿態（圖4，筆者注）的人談話，因為這種姿勢給人以威脅之感。此外，這一姿勢還可表示驚奇、猶豫和冷淡等”。從以上分析可以看出，路透社對視覺模態的選取其實是為了強化聽覺模態即語言所表達的信息，以突顯莫言名字“Don’t speak”的含義。

另外，圖3照片的右下角帶有“File”信息，Kress van Leeuwen（1996：197）指出，頁面右邊的信息為新信息，下方信息為真實信息。這樣的頁面布局在廣告、新聞報道中比較常見，表達被引用照片、圖片的來源，以表明其真實性。也就是說，路透社通過這樣的信息布局提升報道的客觀性，降低主觀性。

3.3 視覺模態對語言信息的“背叛”

從資源塊的分布比例來看，第3個資源塊包含了3個次資源塊，因此是此則新聞的主體部分，主要是對莫言的評論。由此可以看出，該視頻新聞的主要目的是對莫言獲獎一事發表媒體看法。這一點也體現在時間分配上，第3個資源塊總長度約61秒，占視頻總長度近2/3，用時最多。在第3個資源塊的兩個聲音來源中，新聞播音員的觀點表達用時約為23.6秒，評論家約為27.2秒，可見評論家的觀點占較大比例。雖然第3個資源塊中的第2個和第3個次資源塊也有播音員的畫外音，但由于是對被采訪者話語的翻譯，歸根結底是被采訪者的看法，因此沒有記為播音員的用時。

從第3個資源塊的各個次資源塊的時長來看，第1個和第3個次資源塊分別持續23.61秒和31秒，可以說，第3個次資源塊（采訪）是資源塊3的主要部分，是主體中的主體。由此可見，采訪環節是路透社對莫言獲得諾貝爾獎視頻報道的最主要部分，也就是說，路透社是借他人之口來傳遞自己的立場和觀點。

在第3個次資源塊“評論家”的采訪中，被采訪者一直與記者保持視覺接觸，沒有注視觀看者，而且攝像機的拍攝是正面角度拍攝，根據上文表 1 列出的多模態語義符號的評價功能，評論家是在為觀眾提供信息。另外，被采訪的評論家的圖像在整個畫面中的突顯程度、前景化程度、在畫面中所占的比例及聲音持續時間都表明這段視頻特別突出他的重要性，其實也就是在突出他所表達的看法的重要性。

此外，根據新舊信息的排列位置：頁面左邊為已知信息，右邊為全新信息，“媒體通常將訪問者安排在受訪者左邊（從觀眾角度來看），這樣訪問者就代表觀眾會認同且熟悉受訪者的觀點”（Kress van Leeuwen， 1996： 223）。但是從圖5中可以看到，受訪者被安排在左邊（從觀眾角度看），路透社其實是在傳遞這樣的信息：受訪者的觀點是已知的，是被觀眾所熟知和接受的。

那么，這位“評論家”的觀點到底是什么呢？從評論家的話語可以看出其觀點：“The two words 'Mo Yan' mean 'do not speak'， and they are a very real portrayal of the current political situation in China”（“莫言”兩個字意為“莫要言語”，是中國當前政治現狀的寫照）；“With Mo Yan's winning of the prize， people in China will get the message that you can become an accomplice of an authoritarian government”（莫言得獎向中國人傳遞了這樣一個信息：你可以成為獨裁政府的從犯）；“Morally and politically， I think this will have devastating consequences”（從道德和政治上來講，我都認為這件事情會帶來毀滅性的結果）。在這一長段話語中，表達立場和觀點的語言有：“a very real portrayal of the current political situation in China”，“an accomplice of an authoritarian government”以及“devastating consequences”，而這些無一例外都是對莫言得獎事件的負面評價。雖然新聞來自路透社，但是所表達的觀點卻是出自他人之口，而評論家的“I think”更是讓路透社與這一負面觀點的表達撇清了關系。由此可以看出，路透社一方面借莫言獲獎事件對中國政治進行了批判，同時又成功地在觀點表達中將自己隱藏起來，實現了隱秘表達自身立場和觀點的目的。

以上分析表明“評論家”是此則視頻新聞的關鍵人物，那么他的觀點是否可靠呢？Wikipedia對critic（評論家）的定義是“對各種形式的作品，如藝術、文學、音樂、建筑等表達觀點和評價的專業人士……這些專業的評論家通常會被付與報酬，來替印刷媒體、廣播、雜志、電視、網絡公司發表看法”（http：//en.wikipedia.org/wiki/Critic）。也就是說，“評論家”是“受聘于”路透社，他們的看法就是聘用他們的媒體的立場和觀點，兩者是一致的。

在多模態分析領域，非語言符號和語言共同表達和傳遞著意義，而衣著服飾也是非語言符號的一種。我們來近距離接觸一下這位“評論家”。圖5 是采訪截圖，從中可以看到：評論家留著絡腮胡、身穿帶有卡通豬頭圖案的黑色T恤，這種形象很難讓我們將其與一位專業的評論家聯系起來。此外，視頻報道中也并沒有提及評論家的具體身份，僅用“critic”來指代；而且在采訪中記者所拿的話筒上也沒有路透社的標志，這與正式采訪中要表現出媒體名稱的做法明顯不符。這些多模態非語言語義符號表達出的意義以及一些必要信息的缺失讓我們不得不質疑評論家的身份和他的評論以及路透社的真實意圖。同時，代表路透社的記者在此部分視頻中一直背對著鏡頭，只將“評論家”展現給觀眾，借此撇開媒體自身與“評論家”的關系。

4. 結語

多模態話語研究是一個新興的領域，它認為語言只是眾多語義符號中的一種，其它語義符號（如聲音、圖像、顏色、動作等）的作用同樣是不容忽視的。視頻新聞借助圖片、視頻、聲音等視覺、聽覺模態進行不露聲色的敘述和報道，營造客觀效果，但是視頻新聞中不同模態符號資源所承載的語義，卻揭示了新聞中隱藏的真正意圖。

“評論家”的采訪片段是整個視頻新聞的主體，也就是說，路透社是要借助“評論家”來表達其媒體立場和觀點。“評論家”隨意的衣著、鏡頭的拍攝角度、記者與“評論家”的位置關系、采訪話筒上路透社標志的缺失，這些多模態語義資源中的非語言符號傳遞出的信息卻讓人對所謂“評論家”的身份及其觀點產生了懷疑，路透社的真實意圖也由此可見一斑。

參 考 文 獻

Baldry， A. P. Thibault， Multimodal Transcription and Text Analysis： A multimedia toolkit and coursebook [M] . London： Equinox， 2006.

Kress， G. T. van Leeuwen. Reading images： The Grammar of Visual Design [M]. London： Routledge， 1996.

Hall， E. Silent assumptions in social communication [J]. Disorders of Communication， 1964，（42）： 41-55.

Pounds， G. Multimodal expression of authorial affect in a British television news program [J]. Discourse， Context Media， 2012，（1）： 68-81.

Sakai， M. Newspaper Subjectivity from Multimodal Perspectives [J]. Accents Asia （online）， 2011， 4（1）： 1-19.

畢繼萬.跨文化非語言交際[M]. 北京：外語教學與研究出版社，1999.

蔡 騏、歐陽菁.電視新聞的敘事藝術[J]. 現代傳播，2006，（1）： 75-77.

代樹蘭.多模態話語研究的緣起與進展[J].外語學刊，2013，（2）： 17-23.

顧曰國.論言思情貌整一原則與鮮活話語研究———多模態語料庫語言學方法[J].當代修辭學，2013，（6）： 1-19.

李戰子.多模式話語的社會符號學分析[J]. 外語研究，2003，（5）： 1-8.

劉 波.美國網絡新聞來源狀況分析[J]. 西南民族大學學報，2010，（12）： 192-196.

羅以澄、黃雅堃.論動漫在電視新聞傳播中的敘事價值[J]. 現代傳播，2007，（3）： 72-77.

羅永勝.近十年來中國多模態話語及其應用研究述評[J]. 現代教育技術，2012，（4）： 62-67.

歐陽照.電視新聞敘事化發展趨向的社會動因[J]. 社會科學家，2007，（2）： 34-36.

汪福祥.奧妙的人體語言[M]. 北京：中國青年出版社，1988.

韋琴紅.視覺環境下的多模態化與多模態話語研究[M]. 北京：科學出版社，2009.

朱永生.多模態話語分析的理論基礎與研究方法[J]. 外語學刊，2007，（5）： 82-86.

A Study of Multimodality in Video News

ZHAN Lili WANG Shu

（School of Foreign Languages， Dalian University of Technology， Dalian， 116024；

School of English Studies， Dalian University of Foreign Languages， Dalian， 116044）

Abstract： In addition to language， video reports adopt more non-linguistic resources， such as images， actions and sounds. This article， from the aspects of multi-modal macro-structure and semantic meanings of multi-modal modes， makes a brief study of evaluative functions of multi-modal resources in the video report from Reuters about Mo Yan as a winner of Nobel Prize for Literature. The study has shown that lengths of different phases， salience of images， duration of video， and angles of shots all carry semantic meanings. Reuters tries to convey its stand through an interview of a critic， but the non-linguistic modes which mainly include the clothing symbol and the absence an icon on the microphone have revealed the real attempted purposes.

Key words： Multi-modality； Phase； Given Information； New Information

作者簡介：戰麗莉，女，碩士，大連理工大學外語學院副教授。主要從事語篇分析研究。

王 澍，女，碩士，大連外國語大學英語學院講師。主要從事語用學研究。

通訊地址：遼寧省大連市甘井子區凌工路2號，郵編116024

E-mail：zhan7939@aliyun.com

（責任編輯：柯賢兵）