多模態·融媒體·新實踐

黃鑫 王文浩

【摘要】2022年10月16日，中國共產黨第二十次全國代表大會在北京召開。《人民日報》作為擔負著深入宣傳、闡釋二十大報告任務的主流媒體，推出了系列融媒體作品并在人民網設立“黨的二十大報道專區”和“大型融媒體報道專題”。從內容生產和知覺傳播兩個方面來看，《人民日報》的融媒體創新實踐呈多模態報道模式。以《人民日報》對黨的二十大報道為例，針對出現于文本和傳播事件之中的現象，通過研究多種符號整合為一個整體的新聞作品，考察多模態融媒體新聞的模式屬性及傳播潛力。

【關鍵詞】《人民日報》；多模態；二十大；融媒體

多模態研究視角關注于各種特征模型的交互作用和對信息內容的多模態感知分析，以接收者為導向，強調接收者的選擇、興趣和處理信息的能力。最初多模態研究通過使用語言學模型，將交流中的不同傳播類型歸納為“類型語言”，比如視覺傳播可描述為“圖像的語言”，音樂傳播為“音樂的語言”等。羅蘭·巴特通過設計符號模式概念框架，探索出多模態傳播的一般性原則，并發展為研究文本和圖像與多模態文本的整合方式的理論。圖恩·梵·迪克在《Multimodal Discourse》中則將多模態研究分為四個層次：話語、設計、生產和分布，將媒介視為“不那么系統性組成的符號資源”，依賴文化含蓄意指和經驗性隱喻來生成意義。[1]從多模態視角分析《人民日報》關于黨的二十大報道的融媒體新聞作品，可以從數據資源層、學習感知層、情感增量層三個方面對多模態交流中所使用的素材資源和對使用資源來進行溝通和表達的方式進行研究。

一、數據資源層：集成與細度分解

《人民日報》依托強大的平臺和數據采集勢能，實現了文本、圖像和視頻新聞素材物質與非物質、原生性與再生性的數據資源積累。因此在融媒體產品的完成中，一方面，根據各存儲要素的屬性、特征、表現劃分出不同模態數據之間的潛在關系，再聚合分散的數據存儲要素，使報道深度有序。[2]另一方面，通過文本綜合、平臺分類、主題聚合、時空考量等各類側重點，對不同模態的存儲數據進行特征關聯和意義映射，生成了多樣化、批量化、有效組織和深層意涵的融媒體作品。人民網在關于黨的二十大PC端專題中，除現場報道、聚焦報告等板塊外，還設置了中國共產黨第二十次全國代表大會電子資料中心，包括“跟著總書記學黨史”“經典文獻”“中國共產黨基本知識資料庫”等海量數據集成資源。

視覺數據庫作為圖像和視頻產品的數據來源，為融媒體產品提供基于文本內容補充角度的圖像模態信息。2022年10月18日，《人民日報》在微信、新浪微博等移動媒體端推出海報數據新聞產品《看！這就是2035年的中國》，通過數字、文本、圖表和環形邏輯關系圖，整理國民經濟和社會發展第十四個五年規劃和2035年遠景目標，推送當日新浪微博話題總量為5487萬。通過這種基于文本、模擬搜索關鍵詞引擎的方式，依托元數據完成了文本內容的圖像描述，實現了文字和數字模態的圖像構建，在視覺關系的發現角度和圖像模態信息提取中，形成對元數據和內容本身的關注，避免了海報類新聞產品相對簡單化、碎片化的傳播。這種結構性長圖+邏輯化要點的報道形式，在二十大報道中連續呈現在《人民日報》的《一圖速覽！二十大報告要點要來了》《黨的二十大報告思維導圖》和《數讀二十大報告》等融媒體作品中。通過提煉數據、歸納要點、特征圖形的多模態共同作用，生成了黨的二十大報告“電子版圖”和關于二十大報道的海報矩陣。

聲音模態主要以表示描述實體音頻屬性的形式存在，聲音的模態主要包含語音信號轉換并完成特征向量的提取和提取特征向量的高階表示兩個過程。[3]經由語音信號的數字化采集后，根據新聞產品的需求將其進行存儲并處理離散序列，最后進行聲學特征向量的提取。向量的高階表示對聲音特征向量進行多級非線性映射，學習特征向量中包含不同抽象層次的信息。[4]針對圖片內容偏向顯著性、缺乏描述性的表征，視頻模態將聲音和圖像二者的描述任務結合起來，在理解視覺內容的基礎上，通過聲音的傳遞和語義的表達生成完整的內容。視頻模態通過動態視覺信息集成、交叉使用聲音和圖像模態間的注意機制，最終生成從文本到視覺內容的自然轉換。黨的二十大召開期間，人民網推出系列視頻產品《跟著總書記看中國》，匯集了習近平總書記在全國各個省區市的視頻素材，呈現出總書記和“千家萬戶”的故事——從社區到大灣區，從古都胡同到小村致富路，觀眾與總書記一起見證了個體脫貧，也見證了村寨的“變身”；認識了逐夢的平凡電力人，更領略了大國工匠的藍天夢。總書記同期聲的視音頻采集，結合其他人物采訪與空鏡拍攝，使新聞素材有了藝術感知，原始圖像信息與視覺敘事完成了報道中的視覺增量和受眾需要的語義增量。將新聞信息素材升華為集合場景、人物、事件和意義融合而完整的新聞作品。

二十大召開期間，人民網以吸底導航的形式，連續推出一系列微視頻融媒體產品《中國種·中國糧·中國心》，采用人物傳記的呈現方式，將專業度較高的科研知識通過場景視覺和科學家講述的聲音信息，用受眾所熟知的“飯碗”作為主題符號串聯，將“糧食育種”的專業符碼逐層編入易懂的視覺圖像，采取視聽層級遞進融合的方法，實現復雜時空中對陌生交流目標較為準確的聚焦，解決了受眾與文本本身內容的知識異構問題。此外，《人民日報》還推出了一系列新媒體作品，在問題式短視頻《這是9671.2萬分之一的回答》中，眾多二十大黨代表圍繞同一個問題“你，為什么如此堅定”進行作答，張桂梅的回答是“想讓山里的孩子也能走進最好的學校”，祁發寶的回答是“決不能把祖國的領土守小了、守丟了”，讓受眾直面黨代表的內心。系列視頻《二十大時光——聽聽他們怎么說》中則采訪了醫護人員、三農踐行者、青年學子、海外僑胞、部隊官兵等50余名各行各業的工作者，聽他們關于二十大學習的心得體會，視頻閱讀總量為423萬；在新媒體作品《二十大代表Vlog》中，奧運冠軍、普通公司員工、藝術舞者、邊疆青年等平凡而年輕的二十大代表，用Vlog記錄了自己的日常工作和生活，用第一視角的視音模態講述方式拉近了二十大與受眾的距離。

二、學習感知層：多維度知識獲得

多模態新聞產品在表示學習的層面有兩種基本思路，一種是從自然語言處理角度出發，依賴于傳統文本在知識圖譜上做補充，對實體補充視覺信息并在圖像間進行視覺關系的發現和模式實體橫向鏈接。圖像實體的擴展以及鏈接關系的確定主要取決于文本，比如“一句話海報”“二十大報告金句”等，依托簡單明了的圖片傳播方式傳達信息，可以描述為粗粒度的關系挖掘。另一種是感知性的學習辦法，以計算機技術為依托，通過模擬神經元體感，不僅完成視覺和聽覺知識的捕捉，還可以進一步達到推理學習、場景進入、角色扮演等多維度的學習感知體驗，把抽象的文本概念識別鏈接為實體場景圖譜，甚至達到親身參與的沉浸式學習體驗，實現細粒度的對齊關系。

黨的二十大勝利閉幕后，人民網在PC端和移動端同時上線了H5產品《黨的二十大報告學習工具》。通過熱搜關鍵詞如“共同富裕”“中國式現代化”“社會主義發展強國”等知識概念，生成思維導圖和知識網絡，挖掘初始概念的表征提取和域間概念表達融合，一鍵生成二十大思維導圖。點擊思維導圖即可抵達二十大原文章節，同時附英文全文報告。《學習工具》對大型會議進行了關鍵詞識別和數據集中，操作便捷、權威準確，依托文本模態直接完成知識獲得。

除此之外，人民網聯合百家紅色展館，采用感知學習思路設立“紅色云展廳”。借助5G技術匯集全國31個省區市紅色展館，包含重大歷史事件、特征性地點、英雄事跡、革命人物等各類紅色資源，根據不同模態的傳播特質，一次性在網絡頁面和移動端綜合呈現作品，實現文本、圖像、視頻、音頻的同頻發布，滿足受眾的多元化觀賞需求。“紅色云展廳”中設計的視音頻簡介，相當于遠程導覽，使受眾在展廳瀏覽的過程中獲得參觀指南，自覺結合所具有的知識水平和人生經驗，達到個性化的觀展目的，“紅色云展廳”通過多模態融媒體作品完成了夯實紅色記憶的傳播效果。在黨的理論和黨史知識學習的研究和應用中，《人民日報》設立了多個學習渠道。“黨章黨規”以電子書架的形式呈現，在保持特定模式意義完整性的同時集中于文本描述，詳盡的識別模態間的信息關聯；“黨史”微課上線25個微課視頻，諸多專家學者為受眾解讀、闡釋中國共產黨為什么“能”、中國特色社會主義為什么“好”的深刻意涵；“好書薦讀”建立全年電子書單；“理論研究”嵌入中共中央黨史和文獻研究院網，為受眾打造權威理論學習陣地。《人民日報》基于全網關于黨的二十大期間的報道和黨史知識學習，將多源異種結構的黨史知識結構化，促進黨史、黨建知識的顯在沉淀和關聯，形成具有重大意義的黨史黨建數據集。[5]

除此之外，人民網PC端還提供了黨員學習自測板塊。通過記憶獲得的知識，以問答形式完成思維強化的能力。自測題目旁設計了7個“電子積木”，用積木結構、視覺文本、問答測試作為知識子能量，設計成行之有效的學習方法。這些子能量又構成了知識譜系的總和，為學習者豐富了記憶，提高了學習能力。

三、情感增量層：宏觀與微觀相結合

黨的二十大召開前夕，《人民日報》視頻客戶端“視界”推出了作品《新千里江山圖》，以我國北宋名畫《千里江山圖》為背景、《只此青綠》舞蹈詩劇為串聯，使用實景+CG、三維建模、場景CG復現等技術，在4分33秒的時長里將現代中國的發展和人民的時代精神融入傳統文化當中。產品上線一日，《人民日報》新媒體平臺的閱讀播放量即超過1.46億次，總點贊量超210萬次。《新千里江山圖》“爆款”的出現，可以從以下幾個方面進行分析。

首先，《新千里江山圖》為觀眾提供了還原歷史的宏觀情景體驗。依靠實體資料和原景再現的方式，為受眾提供了擬真的穿梭感。由于展示的情境有客觀存在的歷史畫作、真實的舞者、船舶和水流，也有固定存在的現代建筑如港珠澳大橋、國家公園等，讓受眾能夠在熟悉的模擬動畫環境中認識和理解作品，縮短了古今和時空之間的距離感。其次，放大具有視覺沖擊力的細節元素，為受眾帶來新的體驗視角。稻田里的袁隆平院士、學校前的張桂梅校長、田間的黃文秀書記、攀登珠峰的測量隊，都以原音重現的形式與受眾見面，結合靜態的山水圖和動態的生活情景，用“一句話”放大新時期人物的精神細節，無需向受眾進行引導和暗示，只需關注藝術形態的直觀表現，就能使觀眾以聯系已有的信息積累理解作品。再次，動畫制作形式拓展了信息的獲取。用特效手段帶領受眾進行數字化“看中國江山”，實現了跨越地域和時間的串聯，將不同位置、不同時期的人物和景物置于一張動態圖譜之中。《新千里江山圖》的基本布景和工具都是根據真實場景復原的，但在動態鏈接的過程中營造了具有中國特色的虛擬過渡元素，如飛翔的白鶴，高山流水，荷塘景色等。設計者恰當的發揮，營造出作品的古典意蘊，也串聯起情節的連貫性和場景的完整性，對作品內容進行了藝術化的補充。

《新千里江山圖》可以視為多模態新聞產品的范例模型，內含圖像生成器、信息表示器和情感編碼器三個模塊。具有統一視覺特征的CG圖像與真實存在的原始圖像合成后，仍完成原始圖像的最終指令，并借助受眾的記憶信息推理歷史視覺信息，保持了“千里江山圖”的視覺增量，使得畫面調性統一，融今景于古色。另外，作品表達了“江山就是人民，人民就是江山”的情感內涵。多模態情感分析中，文本模態大多占據主要地位，然而《新千里江山圖》的文本卻以人物同期聲的方式存在，寥寥數語，本來不存在邏輯上的關聯性，但在人類情感交往中，可以通過“聆聽”識別情感信息，進行情感的代入和共融。受眾在收看作品之前，已經對袁隆平院士、張桂梅校長等人物完成了情感構建，在視覺模態的同時作用下，輕量級文本也能夠達到情感編碼的要求。人物群像類型化同期聲的使用形式，也滿足了一致性的接收信息特征，提升了語音模態的識別能力。圖像生成器、信息表示器和情感編碼器三種模態表示之間，任務相關性的增強形成了模態的融合。《新千里江山圖》作品的情感敘事，通過圖像生成的邏輯合理性和受眾信息的增量連接保證了文本和圖像的相互作用。

四、融媒體報道作品的發展要求

模態融合的目的是將不同單模態中提取的信息整合到一個緊湊的多模態表示中。[6]新聞作品早期的報道模態主要是特征的疊加，隨著技術的不斷進步和媒介環境的變化，各類單模態元素可以迅速達到模態間的信息交互。從《人民日報》推出的黨的二十大系列報道作品來看，不僅傳播了信息，還加入了情感交互，增加了接收者感知的權重。展望未來，多模態新聞作品仍然有巨大的發展空間。

（一）從融媒體報道作品中能夠進行多任務學習

多任務學習是機器學習的一個子領域，其訓練過程中包含多個學習任務，通過利用不同任務間的共性和差異來提高模型的泛化能力和預測準確率。新聞報道和產品傳播的過程也是學習達到的過程。在新聞產品中宣傳黨的大政方針，要能夠通過簡明有效的方式進行學習訓練。《人民日報》的“數讀報告”用9個關鍵詞表述做引擎，闡述二十大報告原文；“二十大報告”思維導圖，用一張圖厘清報告邏輯。同時，融媒體新聞報道還要注重學習任務的可完成性，人民網在二十大報道中采取“百秒說”的播報方式，每次報道100秒，各領域記者以“快、準、新”的評述，聚焦黨和國家事業發展，碎片化的傳播方式更能適應移動端受眾的觀看習慣，讓學習隨時隨地發生。

（二）融媒體報道要挖掘作品的多模態設計

通過將不同類型模態嵌入具有傳播目的的結構或模型里，或呈現出不同的形式、或產生特定的關系，最終實現統一的編碼。《閱讀圖像》提出，根據作品元素所處的位置——或左或右、或高或低，在中間或邊緣，為它們賦予了不同的信息價值。作為新聞報道的融媒體作品，其傳播目的不僅僅是要把各類元素聯系起來，更重要的是把受眾定位為已經掌握部分信息但還需新知識的接收者。因此，新聞報道和融媒體產品的設計模式，要能綜合運用文本、圖片、視頻、聲音、互動等模態，共同表達文化和歷史。值得注意的是，人群的自然屬性劃分也應當作為設計參考，比如趣味性的互動和沉浸式體驗可以為不同年齡職業、不同需求的受眾提供個性化的使用與滿足。

（三）融媒體報道要堅定不移地引領價值取向

黨的二十大是我們黨進入全面建設社會主義現代化國家、向第二個百年奮斗目標進軍新征程的重要時刻召開的一次十分重要的代表大會，是黨和國家政治生活中的一件大事。[7]宣傳黨的二十大，以《人民日報》為代表的主流媒體肩負著夯實主流價值觀的重任。2022年中國新媒體大會上，人民日報社副總編輯王一彪用“六個堅持”來闡述新時期媒體之責：堅持聚焦首要政治任務，切實擔當起最重要的政治責任，精心做好習近平總書記活動報道，繼續深化習近平新時代中國特色社會主義思想宣傳闡釋，努力做到平實務實，做到天天見、天天新、天天深；堅持以人民為中心，積極探索“新聞+服務”模式，讓《人民日報》離人民更近，做到《人民日報》為人民；堅持講好中國故事，努力塑造可信、可愛、可敬的中國形象，展示真實、立體、全面的中國；堅持做有品質的新聞，充分發揮在輿論上的導向作用、旗幟作用、引領作用，努力推出更多有思想、有溫度、有品質的新媒體產品；堅持尊重互聯網傳播規律，積極推進傳播理念、內容、形式、方法、手段、機制創新，與用戶實現共鳴、共情、共創；堅持以技術創新驅動融合發展，扎實推進新型主流媒體的智能化升級。[8]

黨的二十大蘊含著偉大的精神力量，在宣傳報道的過程中，一方面應著眼于全景式報道，全面展現會議精神，宣傳好黨和國家事業取得的歷史性成就；另一方面也要善于發現細節，充分發揮先進人物、典型事件的主流價值觀導向，宣傳好新時期各族人民奮發向上的精神風貌。不斷提升新聞資源聚合與整合能力，打造面向未來的主流媒體新聞陣地和全媒體信息傳播網絡。

五、結語

傳播效能的前置因素分析和驗證發現，多模態聚合的媒體信息最終呈現是由符號、情緒、情境這三維度信息的疊加得以表征。[9]《人民日報》的多模態報道旨在將黨的二十大相關內容和知識資源以更具傳播效能的形式綜合呈現，通過建立各類表達模型，達到數據層的集中和細度劃分、學習層的多維感知和情感層的增量，將數據、文本、圖片、視頻、聲音、互動協同融合，重視信息傳播中的情感體驗。作為自主全媒體矩陣，《人民日報》在傳播層面現有十余種新聞呈現載體，綜合覆蓋用戶超13億人次，在黨的二十大宣傳報道中，提供12種外語、5種少數民族語言版本。除自有平臺端，《人民日報》在新浪微博、抖音、微信和海外媒體等平臺面向全球播報，真正實現全媒體覆蓋、多終端向世界展示二十大會議盛況。在資源整合方面，《人民日報》與各級廣播電臺、高校、紅色紀念館、企業聯合產出新聞素材和產品，整合新聞資源、實現優勢互補、完成作品轉化，形成既有深度又具廣度的系列融媒體作品。然而，面對復雜多變的國際傳播態勢，多模態新聞產品內容設計和傳播機制還需進行進一步探索，在全面建設社會主義現代化國家的征程中提升主流媒體宣傳效能，講好中國故事，不斷完善融媒體新聞作品的創作和實踐。

[本文為2020國家哲學社會科學基金重大項目“百年中國馬克思主義新聞觀話語的歷史建構與實踐研究”（20&ZD323）成果]

參考文獻：

[1]TeunA.van Dijk.Discour Studies：A Multidisciplinary Introducition[M].重慶：重慶大學出版社，2015：108.

[2]徐晨飛，包平，張惠敏，姜霖.基于關聯數據的方志物產史料語義化知識組織研究[J].大學圖書館學報，2020（6）：78-88.

[3]劉建偉，丁熙浩，羅雄麟.多模態深度學習綜述[J].計算機應用研究，2020（6）：1604.

[4]劉建偉，丁熙浩，羅雄麟.多模態深度學習綜述[J].計算機應用研究，2020（6）：1605.

[5]李鑫.融媒體視域下黨史傳播的創新實踐：以人民網“紅色云展廳為例”[J].新聞戰線，2021（7下）：65.

[6]Zhang C，Yang Z，He X，et al. Multimodal Intelligence：representation learning，information fusion，and applications.IEEE Journal of Selected Topics in Signal Processing，2020，14（3）：478–493.

[7]中國共產黨第十九屆中央委員會第六次全體會議公報[EB/OL].www.gov.cn/xinwen/2021-11/11/content5650329.htm.

[8]2022中國新媒體大會丨王一彪：讓人民日報離人民更近[EB/OL].https：//baijiahao.baidu.com/s？id=1742574853503078775&wfr=spider&for=pc.

[9]喻國明，胥偉嵐.多模態融合：媒體傳播的效能提升及其研究模式[J].傳媒觀察，2021（12）：18.

[黃鑫為復旦大學新聞學院在讀博士；王文浩（通訊作者）為長春人文學院副教授]

編校：董方曉