多模態視域下中國數字展會吉祥物形象研究

姚劍平

(福建商學院 外國語學院，福建 福州，350012)

吉祥物是人們用以祈求萬事吉祥如意的象征物。從古至今，吉祥物不僅有民族性更具地域性，在一定程度上反映并傳遞了一個民族或地域的悠久歷史、豐富文化內涵和社會意識形態等。吉祥物發展到現代，文化內涵不斷疊加，以更具創意的圖文和色彩等視覺符號表現形式呈現于重要場合或重大盛事中，具有重要意義和廣泛影響。學界也越發關注對吉祥物的研究，多從吉祥物設計[1-2]、吉祥物文化及傳播[3-4]、吉祥物推廣與應用[5-6]等視角展開研究，所研究的吉祥物類型也多為體育賽事吉祥物[7-8]、高校吉祥物[9-10]和城市吉祥物[11-12]等。然而目前針對展會吉祥物的研究較少，數字展會吉祥物的相關研究更是不足，僅有少量關于傳統博覽會吉祥物的研究。如Mahatmi 和Satyagraha[13]運用思維導圖法等方法研究后提出適合2020年迪拜世博會印尼館吉祥物的設計構想；王艷芳、楊建杰[14]對2010年上海世博會吉祥物—海寶，劉彬[15]對青島世園會吉祥物—海精靈“青青”，從再現意義、互動意義和構圖意義上研究吉祥物這種多模態語篇的構成方式和圖像的意義。這些研究注重從社會符號的多模態視角對傳統博覽會吉祥物及其形象做初步闡釋，但停留在對吉祥物表層含義的探討，未從視覺圖像更深層機理去剖析，或未借助圖像分析的專業軟件對吉祥物進行可視化、精細化、數據化解讀，造成研究不夠深入、主觀性較強，未能深入解釋吉祥物形象為何能適切傳達各類博覽會主題，體現其文化內涵或傳遞其精神、理念。

由上述分析可知，目前鮮有針對數字展會吉祥物的相關研究。數字展會作為數字時代人類社會的經濟、科技、文化發展需求的綜合體現，是展現“數字中國”建設成果的重要窗口。數字展會吉祥物不僅寄托著人們對展會圓滿成功的期盼，更蘊含著豐富的展會理念和社會意義，對其展開研究，不僅能幫助人們了解新時代數字展會所傳遞的理念和意義，更能提升數字展會的形象和內涵，促進展會經濟發展和展會意圖的實現。鑒于此，本文選定數字中國建設峰會吉祥物“數娃”和中國國際數字經濟博覽會吉祥物“數寶”進行比較。這兩個吉祥物具有相似的名字和卡通形象特征，皆代表目前國內較大影響力且展會類型及理念極其相似的數字展會，研究結果具有代表性。

本研究以Kress和van Leeuwen 的視覺語法理論為指導，運用Kay O’Halloran團隊研發的多模態圖像分析軟件(Multimodal Analysis Image)中的分析指標，對吉祥物“數娃”和“數寶”進行可視化解讀和比較，并探討兩個問題：(1)數字展會吉祥物形象具有哪些特征？(2)吉祥物形象承載怎樣的設計理念和社會意義？通過客觀闡釋吉祥物(圖像)作為社會符號具有的特征、傳遞的理念和承載的意義，力求研究結果能為將來展會吉祥物形象的設計提供幫助，進一步拓展數字人文展會的多模態話語研究。

一、多模態話語分析范式——視覺語法理論框架

多模態話語(Multimodal Discourse)是運用聽覺、視覺、觸覺等多種感覺，通過語言、圖像、聲音、動作等多種手段和符號資源進行交際的現象[16]4。多模態話語分析(Multimodal Discourse Analysis)則是將人類交際活動中的多種符號模態進行系統的分析[17]。多模態話語分析的標志性著作《閱讀圖像:視覺設計語法》[18]問世以來，國內外學者基于視覺語法理論，做了較深入的理論探討和拓展實踐[19-22]。尤其在圖文和視頻圖像的視覺分析上，國內學者也有較多的研究成果，研究對象涉及廣告圖像[23-24]、新聞語篇[25-26]、政治漫畫[27]、雜志封面[28]、兒童繪本[29]，以及上述的吉祥物圖像分析[14-15]等。上述基于視覺語法理論的眾多研究成果為本研究提供借鑒，由此可作為本研究的理論指導。視覺語法理論重在探討社會符號學視角下的多模態話語分析。Kress和van Leeuwen[30]41-42認為韓禮德提出的語言三大元功能(概念功能、人際功能和語篇功能)并非僅限于語言或寫作，同樣適用圖像、聲音、顏色、版式等所有的符號模式，并對照韓禮德的三大元功能理論，提出視覺語法理論框架，即理解視覺傳達與溝通的社會符號學方法，指出圖像等視覺符號在社會、文化語境中可以體現三種意義：再現意義(Representational Meaning)、互動意義(Interactive Meaning)和構圖意義(Compositional Meaning)。

再現意義是指視覺符號表征圖像中人物、地點和事物之間的互動關系和概念關系[30]114，前者體現敘事再現，后者體現概念再現。敘事再現主要包括行動過程、反應過程、言語過程和心理過程。行動過程和反應過程都有及物性和不及物性之分[21]，與參與者個數及其動作、視線等所指方向(矢量)等密切相關。言語過程和心理過程通過投射的方式間接表現出來。概念再現包括分類、分析、象征三個過程。分類過程體現兩個以上的參與者間上下級關系的顯性與隱性分類形式。分析過程以整體—部分的結構將參與者聯系起來，一般包括兩種參與者：一種是一個載體(整體)，另一種是任意數量的表示所屬關系的屬性(部分)[30]87。象征過程是關于參與者的意義或本質，分為象征限制和象征暗示。象征限制有兩個參與者，一個為代表意義或身份的參與者，另一個為載體，載體在與另一參與者關系中建立自身意義或身份，其意義來自外部賦予。象征暗示過程只有一個參與者，即載體，其意義和身份來自內部，來自載體自身的品質[30]105-106。

互動意義體現參與者(圖像中描繪的人物、地點和事物)與觀看者之間的特定關系，主要通過(目光)接觸、(取景)社會距離、(視角)態度 和(色彩)情態等共同作用來建構。接觸是指參與者與觀看者通過矢量(目光)、面部表情、手勢等視覺符號建立起來的互動關系。當參與者目光直接注視觀看者時，觀看者被要求與參與者建立某種聯系，屬于索取類圖像；當參與者不與觀看者產生任何聯系，只是提供某種信息或觀看者冷靜審視對象時，屬于提供類圖像[30]117-119。社會距離通過鏡頭取景的框架大小，近、中和遠景之間的選擇暗示參與者與觀看者之間的不同社會關系。視角主要體現態度意義和權力關系。如果參與者被觀看者從高處俯視，說明觀看者地位高，權力大；如果參與者被觀看者從低處仰視，說明參與者地位高，權力大；如果兩者視線持平，為平等關系，沒有權力差異。情態則強調了圖像世界反映現實的真實度。Kress 和 van Leeuwen認為，情態與色彩的飽和度、區分度、協調度、語境化、再現、深度、照明和亮度息息相關[31]。

構圖意義由信息值、顯著性、框架，以及版面設計、圖文關系等來體現。圖像的上下、左右、中心和邊緣分別傳遞出不同的信息值。顯著性指圖像要素通過前景或背景位置、相對尺寸、色調值(或色彩)對比、鮮明度差異等方式不同程度地吸引觀眾；框架指圖像中有無空間分割線條將圖像要素分離或連接起來[30]177。綜合Kress 和 van Leeuwen在《閱讀圖像:視覺設計語法》[30]41-214中對上述相關概念的闡釋，我們繪制視覺語法理論框架圖(圖1)，以明晰相關概念之層級關系，并將下文中多模態圖像分析軟件的分析指標對照框架圖展開數字展會吉祥物形象分析。

圖1 視覺語法理論框架Fig.1 The grammar framework of visual-image analysis

二、數字展會吉祥物形象的多模態話語分析及闡釋

(一)多模態圖像分析軟件對吉祥物圖像的分析原理

為了捕捉“數娃”(圖2[32])與“數寶”(圖3[33])圖像所傳達的視覺效果、豐富形象特征及其內涵，本文運用多模態圖像分析軟件(www.multimodal-analysis.com)對兩個吉祥物圖像進行分析。該軟件由新加坡國立大學互動和數字媒體研究所多模態分析實驗室的Kay O’Halloran和她的團隊研發，是專門為探究文本、圖像等靜態符號如何交互創造意義而設計的軟件應用程序，可用于分析廣告、電影海報、信息報告、新聞報道、新聞特寫、新聞社論、信息圖表等圖文語篇。該軟件的分析指標基于視覺語法理論，通過對圖像進行標注，使多模態話語分析過程精細化、可視化，分析數據及描述可導出Excel表格，便于觀察。使用此專門設計的軟件來分析豐富的多模態符號資源，不僅可以理清不同符號資源之間的復雜關系，還可以將理論、分析和解釋建立在經驗證據的基礎上。我們通過對“數娃”“數寶”圖像的多模態分析(圖4、圖5)，探究數字展會吉祥物形象的特征及其承載的設計理念和社會意義。

圖2 數娃圖3 數寶Fig.2 ShuwaFig.3 Shubao

圖4 “數娃”的多模態分析截圖Fig.4 A screenshot of multimodal analysis of “Shuwa”

圖4與圖5呈現了多模態圖像分析軟件對“數娃”與“數寶”的視覺語法分析過程。兩圖左邊為軟件的編輯功能區，中間區域為可視化分析及特征描述，右邊第一列白色區域為分析指標目錄，第二列各種顏色區域為目錄選項下的具體標注，第三列是對標注的具體描述。三列依據視覺語法理論及圖像設計原理逐層遞進，很好地體現了上述視覺語法理論框架(圖1)中的再現意義、互動意義和構圖意義。由此將選項指標對應放入三種意義框架中，形成本文的分析框架(圖6-8)，并比較“數娃”與“數寶”圖像呈現這些指標的次數，詳見如下分析過程。

圖5 “數寶”的多模態分析截圖Fig.4 A screenshot of multimodal analysis of “Shubao”

(二)基于多模態圖像分析軟件的視覺語法闡釋

1.再現意義。結合圖6，對“數娃”“數寶”圖像的再現意義進行分析。“數娃”與“數寶”作為各自圖像中唯一的行為參與者，其行為過程不指向任何其他參與者/目標，是一種不及物性行動，激發觀看者去想象“數娃”“數寶”圖像代表的概念或含義。由此它們主要再現的是一種概念意義，反映了分析過程中整體(載體)— 部分(屬性)關系。在設計元素中，“數娃”與“數寶”整體圖像(載體)是最大、最突出的主視覺呈現，也是關注的焦點，圖像上的各自屬性特征是部分，體現整體傳達的概念和身份等。

圖6 再現意義分析框架Fig.6 A framework of representational meaning analysis

“數娃”代表的意義和身份來自其屬性特質，具有十分豐富的視覺屬性特征，并形成9處視覺雙關(指代表一個概念或想法的視覺形狀)。“數娃”藍色榕樹葉形帽上的二進制字符“0”“ 1”、醒目的“數”漢字、粉紅色橢圓腮幫、紅色小嘴、點贊的大拇指、六邊形臉、藍色波浪線和藍色腳底，這些都體現象征暗示過程。我們還注意到色彩豐富的“數”標志(Icon)及其與文字形成的整個會徽標識(Logo)，也就是主文本，是圖像中唯一的語言元素，同時也是視覺元素。這些視覺及語言元素傳達出“數娃”熱情好客、開朗自信的形象特征，也傳達出“數娃”作為數字中國建設峰會形象大使的設計理念(源于“數字中國”概念)。“數娃”頭部的榕樹葉形帽代表數字中國建設峰會的舉辦地福建省福州市；二進制字符“0”“ 1”和“數”漢字凸顯峰會的數字屬性；粉紅色橢圓腮幫和紅色小嘴代表福州人民的熱情；點贊的大拇指預示數字中國建設峰會一屆比一屆辦得更好；六邊形臉呈現福建云計算中心建筑六邊形外觀，體現數字福建的建設和發展；藍色部分的色彩源于“海絲藍”，既代表數字浪潮(“數娃”邁開雙腳，昂首踏浪)，也代表作為21世紀海上絲綢之路核心區的福建省，體現數字福建是數字中國建設的思想源頭和實踐起點[32]。

“數寶”代表的意義和身份同樣源于自身的屬性特征，其視覺屬性特征較為簡約，但具有視覺沖擊力。隨風飄動的頭發是“數寶”的獨特造型；頭戴以趙州橋(石家莊人民智慧的象征)為原型、從未來而來的超能VR眼鏡表明遠程物聯互動無壓力；腰系數字榮光腰帶賦予“數寶”服務石家莊正定數博會的至高使命；向上的食指代表“數寶”是解疑小幫手，擁有前沿知識和先進理念[33]。雖然“數寶”身上沒有文字直接表明其為數字展會吉祥物身份，但超能VR眼鏡、數字榮光腰帶和開啟智慧之門的食指都體現象征暗示的視覺雙關，能夠充分體現“數寶”酷帥、喜鉆研的數字使者形象及其設計理念。

由上述分析可知，無論是“數娃”豐富的視覺屬性特征，還是“數寶”簡約的視覺屬性特征，設計者都將本土元素、本區域人文特質、多元概念及數字屬性融入設計理念中，既能展現吉祥物的共性，也體現不同數字展會吉祥物的個性，以代表不同展會的形象，服務不同展會的辦展意圖。互動意義和構圖意義的剖析將更清晰地再現“數娃”與“數寶”形象的共性與個性，及其傳達的身份和意義。

2.互動意義。回到“數娃”“數寶”圖像，結合圖7分析框架闡釋圖像的互動意義。“數娃”“數寶”都以漫畫人物的形象出現，且名字中皆有人類的昵稱“娃”“寶”，可見設計者已將他們視為人類的一員，讓他們通過(目光、面部表情、手勢、體態)接觸、(視角)態度和(色彩)情態與觀看者之間構建互動意義。

圖7 互動意義分析框架Fig.7 A framework of interactive meaning analysis

接觸再現了圖像與觀看者之間的索取與提供關系。先看“數娃”的目光，雖然視位都是對著觀看者，然而一只眼睛直視觀看者，要求觀看者回應他的需求，而另一只眼睛卻瞇起來，非直視觀看者。再看“數娃”的臉部表情，張開的紅色小嘴和粉紅色的小腮幫也是直面觀眾，要求觀眾對他產生喜愛之情，與他建立社會親和力關系。而手勢和邁開的雙腳(體態)則表達提供關系，點贊的大拇指和卷起的小拳頭沒有直接指向觀眾，邁開的雙腳也沒有直奔觀眾，沒有要求觀眾與他形成直接互動關系，而是通過提供信息讓人們思考：“數娃”為何點贊？為何卷起小拳頭？邁開雙腳去往哪里？間接地與觀眾形成互動關系。“數寶”與觀看者之間的接觸相對簡單，主要通過目光、手勢、站姿體現與觀看者之間的索取與提供關系。“數寶”睜大雙眼直視觀眾，眉毛形成內八字形，說明“數寶”聚精會神凝視觀看者，要求觀看者同樣認真關注他，一只手高高舉起，亮出食指，提供智慧，為人們指點迷津，另一只手放下，緊靠身側，與并攏的雙腿形成立正姿勢(體態)，配以VR眼鏡、榮光腰帶，凸顯“數寶”嚴陣以待、不辱使命的數字使者形象。

態度指觀看者對圖像事物所采取的態度，主要通過視角來體現。“數娃”“數寶”平視觀看者，與觀看者形成平等關系，沒有權力差異，這樣拉近了“數娃”“數寶”與觀看者之間的距離，甚至讓觀看者產生想與他們互動、合影的欲望。“數娃”“數寶”的親和力給人們帶來積極的情感感受，也反映出人們對他們的態度，體現為情緒、自尊等。“數娃”通過熱情的面部表情、點贊的拇指、昂首踏浪的身勢給人愉快、激昂的感覺，喚起人們的積極情緒。“數寶”注視前方的目光、開啟智慧的食指、立正的軍勢、飄逸的頭發，配以超能VR眼鏡和數字榮光腰帶，給人以充滿自信和使命感的感覺，同樣喚起人們積極的情緒。由此，人們認為“數娃”“數寶”擁有積極自尊(自尊是人們對一個人或其個性所做的價值陳述)，“數娃”熱情好客、聰明伶俐、開朗自信，“數寶”朝氣蓬勃、積極向上、盡職盡責。

情態再現了“數娃”“數寶”圖像反映現實的真實度。實際細節表現的是特定圖像的寫實程度。數字展會吉祥物用的是漫畫人物形象來表現，而不是用實際的動物或人物的圖像，表面上“數娃”“數寶”不是真實的存在，但卻十分符合人類吉祥物的文化傳統。從遠古時代的龍圖騰，到現今時代的“福娃”“進寶”，吉祥物形象設計都是基于真實世界中的人或物，由此人們看到“數娃”“數寶”的第一眼，認為他們是吉祥物的真實面貌，毫無置疑地接受他們為吉祥物。至于為何將“數娃”“數寶”至于空白背景中，源于本文的寫作目的僅聚焦于二者形象，不考慮其他語境因素，因此特地選取空白背景，使主題更明確。

“數娃”“數寶”圖像中的色彩飽和度、區分度、協調度等再現了色彩情態。色彩是快樂和情感意義的來源，具有表達情感“溫度”的能力[30]165。觀察“數娃”，較大面積的藍色，小面積的紅色、粉紅色，以及色彩繽紛的“數”體現了較高的色彩飽和度(色彩的鮮艷程度)，且在黑色眼睛與灰白底襯托下區分度很高，整體顏色搭配柔和，不會過于飽和或暗淡，協調度也較高，給人的色覺感受較強、視覺印象較深，體現一種高情態，反映出“數娃”熱情好客、可親可愛的形象特征；黑白顏色對比構成“數寶”的主要視覺感受，色彩區分度和協調度也較高。飄逸的黑發、淡藍紫漸變的VR眼鏡和榮光腰帶(配以些許灰色作為消色)，整體上色彩飽和度、鮮艷度都較低，體現一種低情態，反映出“數寶”冷靜、理智、帥氣、酷酷的形象特征，十分符合其數字使者的身份定位。

由“數娃”“數寶”圖像的互動意義分析可知，目光、視角、面部表情、手勢、體態以及色彩的運用能夠很好地再現“數娃”“數寶”形象的人文特質，而這些人文特質與觀看者形成良好互動，喚起人們對其所代言的展會產生積極情感和參與興趣。

3.構圖意義。結合圖8，對“數娃”“數寶”圖像的構圖意義進行分析。首先從信息值來看，“數娃”“數寶”都置于圖像的中心，是所有信息的核心[30]196。在顯著性上，“數娃”“數寶”是圖像中唯一的參與主體，沒有背景、前景之分，但圖像中的視覺吸引力要素再現“數娃”“數寶”的形象特征。

圖8 構圖意義分析框架Fig.8 A framework of compositional meaning analysis

“數娃”圖像的臉部表情有3處黑白對比和3處紅白色彩對比，即白色臉龐上呈現兩只黑眼睛和上翹的黑唇線，以及兩個粉紅色腮幫和紅色小嘴。這些黑色和紅色元素在白底映襯下格外突出，使“數娃”的臉部表情渾然一體，且在圖像中占比最大，成為最鮮明的焦點。此外，還有4處藍白色彩對比，即白底襯托下的藍色帽子、雙腳和波浪線，也成為整張圖像中十分突出的視覺感受。藍色波浪線還將“數”形成的整個會徽凸顯出來；“數寶”圖像中，黑白顏色是貫穿整個圖像的主色調，黑白對比使淡藍紫漸變VR眼鏡成為最鮮明的焦點，也使數字榮光腰帶十分凸顯。這些顯著的視覺特征再現了“數娃”親切、熱情以及海絲藍、數字中國等概念，“數寶”理智、冷靜以及VR、人工智能、數字時代等概念。

此外，“數娃”身上還體現了圖文關系。首先關注字體版面設計，“數”字與展會名稱的中英文本形成整個會徽(圖9[34])。會徽字體設計與風格都寓意深刻，體現了上述概念再現中的象征暗示過程。會徽以漢字“數”為創意出發點，將漢字文化底蘊與國際化現代風格相融合，呈現新時代數字中國的新夢想。會徽具有絢麗的色彩，不同的色彩代表不同的數字應用領域，整體造型既體現數字中國建設峰會的多樣性和共享性，也極具中國特色。“數”字采用明亮的寬、粗、大字體，且筆觸線條極具動感，蒼勁有力，營造出一種隆重、典雅、含蓄、宏大、開放、包容和自信的氛圍，寓意數字中國峰會“以信息化驅動現代化，加快建設數字中國”的主題。會徽“數”字中結合了“中”“好”“海浪”“榕樹葉”等設計元素。其中隱含的“中”字，代表數字中國，突出中國屬性；隱含的“好”字，代表數字經濟的發展給中國及世界未來發展帶來的美好前景；隱含的“海浪”，代表數字浪潮帶來巨大的沖擊和力量；隱含的“榕樹葉”，代表數字中國建設峰會舉辦地福州的市樹榕樹，象征著福州人不屈不撓的精神[34]。再看展會名稱，“數字中國”使用楷體，給人活力，“建設峰會”使用粗體，帶來莊重之感，二者搭配，具有視覺沖擊力。英文字母全部大寫寓意峰會之盛大和莊嚴，無襯線英文字體簡潔、干凈、直接、醒目，具有現代性、技術感和理性氣質，給人一種實用、整潔、輕松的感覺。

圖9 數字中國建設峰會會徽圖10 中國國際數字經濟博覽會會徽Fig.9 The emblem of Digital China SummitFig.10 The emblem of CIDEE

以上對“數娃”圖像中的文本即會徽文字及其內涵的分析可知，“數娃”圖像中視覺和語言元素明顯相互關聯，且互為說明、重復表達相似的設計理念和展會社會意義，呈現圖文關系相似性和一致性，表明了“數娃”圖像的意義及其身份。而“數寶”圖像中不存在圖文關系，沒有會徽或文字語言元素加入圖像本身，則需加以會徽(圖10[33])說明或在展會現場、官網、媒體宣傳等社會語境背景下解讀“數寶”的身份。

三、結果與討論

綜合上述分析可知，“數娃”“數寶”圖像的再現意義、互動意義、構圖意義相輔相成，共同傳達了各自展會吉祥物獨特的形象特征、設計理念和社會意義。“數娃”圖像的視覺特征十分豐富，45個圖文分析特征(圖6-8)共同呈現了“數娃”熱情好客、聰明伶俐、開朗自信、可愛可親的展會小天使形象，以及海絲藍、數字中國等概念與意義；“數寶”圖像的視覺特征較為簡約，19個圖像分析特征(圖6-8)共同再現了“數寶”朝氣蓬勃、冷靜理智、酷愛鉆研、盡職盡責的數字使者形象，以及VR、人工智能、數字時代等概念與意義。同傳統的文本話語一樣，圖像也具有話語的形式、結構、意義和功能[26]。“數娃”“數寶”圖像以文字、畫面、色彩等視覺元素的組合方式傳達圖像話語所承載的意義。Kress和van Leeuwen把圖像看作社會符號[27]，創造性地從傳統的“語言語法”轉向“視覺語法”[23]，為圖像分析提供了理論依據。運用視覺語法分析圖像有利于綜合理解圖像話語，深度挖掘圖像傳達的信息，洞悉圖像產生意義的內在機制[23]。

四、結語

本研究從社會符號學多模態話語分析視角出發，將Kress和van Leeuwen 的視覺語法理論與多模態圖像分析軟件中的分析指標相結合，創建圖像的再現意義、互動意義和構圖意義三個分析框架，可視化解讀并比較了中國數字展會吉祥物“數娃”“數寶”的形象特征、設計理念和社會意義。研究結果顯示，中國數字展會吉祥物作為一個區別于其他展會吉祥物的識別標志，其圖像、文字、顏色、表情、體態等多模態符號共同構建的吉祥物形象蘊含濃重的本土元素、豐富的多元概念、顯著的人文特質、鮮明的數字屬性等，而這正是數字展會為弘揚深厚區域文化底蘊、體現展會價值取向、提升展會形象、實現展會意圖等多方需求共同作用的結果。本研究雖促進了展會吉祥物形象的研究，但也存在僅就吉祥物圖像本身展開分析等不足之處，后續研究可采取問卷調查等形式探討吉祥物形象在展會現場等現實社會語境中，人們對其接受度及其與展會的融合度等情況，深入地挖掘展會吉祥物的社會意義。