圖像與語言

20 世紀初期，匈牙利電影理論家貝拉·巴拉茲就曾預言：“隨著電影的出現，一種新的視覺文化將取代印刷文化。”時間流逝，100 年后的今天，我們日常生活的方方面面包括影視、廣告、景觀、建筑、照片、繪畫、服飾等都與視覺息息相關，圖像已經成為我們獲取信息的最主要媒介，可以說，我們正生活在一個絕對典型的視覺時代中。而在人文和社會科學領域，視覺時代的到來“不僅標志著一種文化形態的轉變和形成，而且意味著人類思維范式的一種轉變”（《圖像轉向》，2002） 1，與 20世紀初的語言學轉向相對應，如今在哲學、社會和文化等學科領域正在經歷米歇爾稱之為“圖像轉向”的變化，學者們紛紛開始以“視覺/圖像”為中心建構方法論和理論框架。

于是，圖像語言學、多模態話語分析等跨學科的研究領域得以開辟，交際被視為一種運用多種模態（如語言、文字、圖像、音樂、動作等）共同完成意義建構的過程，除了有聲語言 / 話語和文字外，其他交流渠道和媒介也在協同傳遞信息。其中，圖像語言學主要研究圖像如何進行信息傳遞、表達意義并建立溝通系統，關注圖像作為符號的語法結構、語義內涵以及與社會文化的互動關系，例如米歇爾提出元圖像的概念，即關于圖像的圖像，由此說明圖像的自我指涉性。以斯坦伯格創作于1964 年的“新世界”系列之一《螺旋》為例，作品描繪一位身穿禮服的紳士在畫一幅畫，作畫者畫出來的圖形是螺旋式的，他身處螺旋中央，外圍是一片鄉村景色，有樹木、云、山頂和一間小屋。米歇爾指出，斯坦伯格將作品解讀為對藝術家生命的映射是一種自我指涉，作品中畫家持筆畫出螺旋線，末端又指向作畫的手本身，形成“創作行為與被創作物”的無限循環。2 與圖像語言學重點關注圖像和語言/文本的相互滲透關系不同，多模態話語分析進一步將關注范圍擴展至圖像、聲音、手勢、空間布局、顏色、字體等各種非語言模態如何共同參與意義的生成與傳遞，國內有學者曾分析《舌尖上的中國》如何通過多模態話語建構文化意義，發現它通過畫面、旁白和字幕突出了中國飲食文化所蘊含的家園認同、“禮”性和諧、歷史傳承、多元共存等傳統文化特征 3 。

由于圖像和多模態話語解讀在一定程度上帶有主觀性，如果要更系統、科學地研究信息傳遞中不同模態符號資源的協同規律，就需要足夠數量并具有系統性的數據支撐，由此激發了各種多模態語料庫的建立。所謂語料庫，是指按照一定規則收集和存儲的大規模真實語言數據的集合，早在 20 世紀 60 年代，美國的語言學家們就建立了世界上第一個語料庫：布朗語料庫，目前英文和中文語料庫有當代美國英語語料庫（COCA）、英國國家語料庫（BNC）、北京大學現代漢語語料庫（CCL）、北京語言大學 BCC 語料庫等。語料庫除了能夠服務語言研究外，還能夠在構建語言模型、開發自動化工具（如機器翻譯、語音識別、文本分類）中發揮重要作用，比如國內多個品牌的翻譯機之所以存在翻譯準確率和翻譯質量上的差別，與其內置的詞庫和語料庫規模有直接關系，而近年來興起的大語言模型（如DeepSeek、ChatGPT、豆包、星火大模型等）因為需要使用規模巨大的參數量（百億到萬億級）和數據（數萬億 token）進行預訓練，語料庫的質量將會直接影響大模型的性能和輸出結果。多模態語料庫是指包含文本、語音、圖像、視頻等多種模態的語言數據集，本次特輯中攝影師曹夢芹參與建立的“中國傳統吉祥寓意圖像多模態語料庫”就收錄了各種中國傳統敘事圖像及雙關諧音圖像，并對圖像的寓意主題、寓意構建機制和相關媒體信息、文獻信息等進行了標注。多模態語料庫的建立能夠為多維度的文化、歷史、語言和社會現象的研究提供重要的數據支持，尤其是在數字人文的發展背景下，它能夠極大地推動文化遺產的數字化和多模態展示，為人文社會學科的跨學科研究提供便利，并進一步推進我們對語言/文本和圖像關系的研究。

展望未來，可以預見的是，不僅在藝術領域，在語言、哲學、社會、思想諸領域，圖像的價值都將進一步體現。在語言研究中，我們常常說“語言是思維的工具”，現在看來，圖像對于思維的重要性或許并不亞于語言，或者說，圖像與語言在未來將越來越緊密地聯系在一起。

Tips

原來這些語言學家和文學家都是攝影師！

劉半農：《半農談影》

新文化運動先驅、語言學家、文學家、教育家劉半農先生，也是中國第一本攝影藝術理論專著《半農談影》的作者。1925年，他從法國巴黎大學畢業，獲得法國國家文學博士學位，回國后任北京大學中文系教授，主持建立國內最早的語音學實驗室“北京大學語音樂律實驗室”。攝影，是劉半農十七八歲時的愛好，也是他留法期間緩解失眠調節心情的辦法。1927 年，加入攝影團體“北京光社”，同年出版《半農談影》和我國最早的攝影年鑒《北京光社年鑒》，劉半農的攝影之路，從追求“自己的快樂”逐漸變為表現“個性”和“中國人特有的情趣與韻調”。

趙元任：《好玩兒的大師》

與劉半農一樣，著名語言學家趙元任也是一位愛好攝影的“斜杠青年”。他在美國留學期間，與同學一起買了一部照相機，從此迷上了攝影。趙元任先生逝世后，他的女兒趙新那和外孫黃家林將家中保存的上萬張底片分類整理，用學術、家庭、風景、伯克利歲月四個篇章呈現這位知識分子的影像人生。2022 年，商務印書館出版《好玩兒的大師：趙元任影記之學術篇》，后續篇章也將陸續面世。“好玩兒”是他對語言學、對學術研究的態度，也是對攝影乃至人生的好奇與熱愛。

約翰·馬克斯韋爾·庫切：《天生異鄉人》

1983 年、1999 年兩度榮獲布克獎，2003 年摘得諾貝爾文學獎的約翰·馬克斯韋爾· 庫切（John Maxwell Coetzee），其作品以“結構精致、對話雋永、思辨深邃”而著稱。在文學創作和研究領域成就斐然的庫切，兒時的夢想其實是成為一名攝影師，他的攝影與寫作實踐相互影響，共同塑造了他。庫切曾言：“從一開始，攝影的痕跡就遍布于我的作品之中，直至所有作品。”《天生異鄉人》是用“光影”來“寫作”的一本圖像自傳，通過黑白攝影作品再現這位小說家的青春。

關于作者

張未然

北京大學、巴黎第七大學雙校博士，中國傳媒大學人文學院副教授、碩士生導師、青年拔尖人才，民盟盟員。主要研究領域為詞匯學、話語分析、國際中文教育，近年來積極探索語言學的跨學科研究，包括多模態話語分析、語言國際傳播研究等。出版專著《基于認知形態學的漢語類詞綴構詞研究》，在《現代傳播》《華文教學與研究》《中國語言生活狀況報告》等發表學術論文十余篇，兩篇研究報告被政府部門采納。曾獲評“北京市第十七屆哲學社會科學優秀成果獎”二等獎、中國傳媒大學高水平專著、北京大學出版社“語言學前沿叢書年度博士論文”優秀論文獎。