范振強,李 莉
文化外譯相關研究一直深受學界關注,近幾年尤其炙手可熱。學者對文化外譯的研究從翻譯倫理學、翻譯符號學、認知語用學等多維視角切入。例如,楊司桂[1]基于翻譯理論視角探討中國少數民族民俗文化翻譯;呂紅周[2]從翻譯符號學視角探索楊柳青木版年畫外譯;谷峰[3]基于概念隱喻認知視角對《傷寒論》中醫隱喻術語英譯進行研究;張鴻彥[4]以翻譯歷史觀為理論基礎探討典籍外譯中的重譯問題。翻譯作為跨文化交流中傳遞文化信息的重要手段,轉化過程中模態過于單一,僅僅聚焦于語言層面上意義的轉移,無法適應數字化時代下多模態業態發展趨勢。
縱觀國外譯界對多模態翻譯的研究發現,國外譯界近年來更多地將關注點置于應用實踐研究,研究領域主要包括視聽翻譯、多模態口譯以及數字化背景下衍生出的新興文本翻譯等。相比之下,國內多模態交際和翻譯研究尚有可以超越的空間,具體表現在:1)當前國內多模態交際與翻譯研究之間的跨學科互動仍處于剛剛起步的狀態,存在著認識不清、研究不足等問題[5];2)多模態研究往往以一個過時的、靜態的翻譯理念作為翻譯問題的研究基礎,對最前沿的多模態翻譯研究理論關注相對不夠充分。
就本文的研究對象而言,《胤禛美人圖》(又名《十二美人圖》《雍親王題書堂深居圖屏》)由宮廷畫家以工筆重彩繪制,細致地重現了清代宮廷的社會生活、服飾、發飾、文物、書畫、陳設、人們的審美趣味等文化和歷史信息,是清代美人圖中最具代表意義的作品之一。由故宮與中央美術學院聯合出品的《胤禛美人圖》應用程序結合多種模態放大畫作中豐厚的文化信息,具有重要的對外傳播價值和學術研究價值。但現有研究存在兩大問題:首先,在數字化文本和紙質文本作為媒介的文化傳播中,國內學者將目光更多地聚焦于后者,如董婉婷和楊子倩[6]的研究集中在明清家具的畫作分析上,而卞向陽和牟金瑩[7]則致力于《胤禛美人圖》中的清代首飾的研究。其次,大多研究以單一的定性研究為主[8-9],定量研究相對不足。
針對上述問題,本文嘗試結合文化外譯數字文本,運用最新的多模態翻譯理論,選取文化外譯應用程序《胤禛美人圖》數字文本為個案,以應用程序內的模態間翻譯為切入點,采取定性和定量相結合的研究方法,探究文化外譯應用程序內模態間翻譯策略的選擇及其功能,論證多模態交際與翻譯的適用性,以期為中華文化外譯突破紙質媒介的禁錮提供新思路。
翻譯學在較長的一段時間里都將關注點置于語言維度的翻譯研究上,直到BАRTНES[10]通過圖像和語言的互動意義闡釋多模態研究的重要性后,多模態翻譯現象的研究才得到重視。此后,譯界紛紛借助多模態的概念對翻譯進行分類[11-12]。多模態翻譯最早期的原型是符際翻譯(Intersemiotic Translation),指利用非語言符號對語言符號進行闡釋,如小說改譯為漫畫[11]232-239。該分類將翻譯從語言層面上的意義轉換中釋放出來,實為一次極大的突破。但由于概念上的矛盾,符際翻譯這個術語是不盡如人意的,這一分類也被證明是有局限的[13-14]。此后又有符號內翻譯(Intrasemiotic Translation)[12],但由于符號學這個術語的多樣性,原則上似乎不能為翻譯分類提供一個合適的基礎。
在翻譯的語境中,模態、媒介和文化不可分割地聯系在一起。任意改變一個維度,翻譯的整體效果會從根本上受到影響。因此不能獨立地考察模態、媒介和文化,區分這三者對于翻譯研究具有一定意義。模態是可以進行對比的符號系統,媒介是分布模態符號的物質手段。換言之,模態是用某種媒介傳遞信息的特殊方式,而媒介是傳遞信息的物理工具。
在模態層面,需區分模態內翻譯和模態間翻譯。模態內翻譯指使用一種模態進行意義的轉換,例如將中文小說翻譯成不同語言的譯本。模態間翻譯是指突破原文本模態的局限,使用其他模態或模態組合來構建原文本意義,例如把小說翻譯成繪本。根據媒介的不同,翻譯又可以分為媒介內翻譯和媒介間翻譯[13]。媒介內翻譯只涉及使用同一種媒介傳遞信息,而媒介間翻譯則指翻譯過程中包含至少兩種媒介的轉化。根據翻譯受眾的不同,翻譯活動可分為文化內翻譯和文化間翻譯。文化內翻譯面向同一文化背景下的群體,文化間翻譯面向不同文化背景下的群體。
KАINDL[13]認為在跨文化交際中,目標語受眾在理解富含文化的書面文字時,往往受到源語文化因素的制約而無法真正實現原文真實意義的重現。翻譯作為跨文化交際的重要手段,在信息技術蓬勃發展的21世紀背景下應該是多模態活動之下的多模態翻譯[15]49-70。多模態翻譯強調原文本和譯本在多模態層面上的跨文化交際的轉換,打破以語言為中心的傳統翻譯觀念,將翻譯活動從語言層面擴展到了文化層面。相較模態內翻譯,模態間翻譯將原文本的符號模態轉換為與之不同的符號模態,可為目標受眾帶來不同的感受與體驗,激活翻譯的創造性活力,這也為中華文化外譯提供了一條實踐和創新路徑。
清宮檔案中的相關記載表明,《胤禛美人圖》是從圓明園深柳讀書堂的一套屏風上拆下的。應用程序在導覽層保留了《胤禛美人圖》的屏風特點,根據圖屏中的季節特點重組十二幅畫軸,與背景相互呼應,并在圖屏外點綴以清朝的文物和具有季節特征的動畫。畫作內容圖層分別平鋪十二幅畫軸,使用干擾性較小的超小圖標按鈕設置超文本浮于畫作關鍵信息點處,超文本將畫作相關的模態間翻譯設置于畫作內容層之上,有實物藏品對比的多模態翻譯則跳轉至館內藏品鑒賞層。意義產生既是符號實踐,也是物質過程,每一個物質行為可以就一個以上的符號關系系統構建[16],因此研究不同符號系統如何整合成多媒體產物以傳播文化意義價值十分重要。BАKER[17]認為翻譯本身即為一種敘事行為,譯者在翻譯活動中可以根據譯文的傳播需求靈活調整敘事手法。研究對象《胤禛美人圖》應用程序組合不同符號系統組成媒體產物,程序內部使用了模態間圖文敘事、超文本敘事和三維交互敘事等多模態翻譯策略以達到文化傳播的效果。
MАRTINEС與SАLWАY[18]指出,圖文關系包括“地位”和“邏輯—語義”兩個子系統。“地位”系統又包括平等關系(圖文相互獨立)與不平等關系(圖文相互依賴)兩個子系統(圖1)[19]。圖文關系適用于探索多模態在語用學框架下的意義[20]。

圖1 圖文關系“地位系統”
本文發現,《胤禛美人圖》的新興文化外譯應用程序對畫作內容圖層共進行了99處圖文模態間翻譯,其中圖文模態間翻譯平等關系所占比例遠遠超出了不平等關系比例。而內容圖層使用大量的字符符號對圖屏中圖畫符號進行模態間翻譯,因此為更好地達到文化外譯的目標,軟件更多的是由圖文互補以及文從屬于圖的關系來補償文化背景知識。圖文很少出現在畫作內容圖層中,而在導覽層中鏈接圖屏來歷、美人身份、雍親王、工筆仕女的四大背景圖層中,共計有47處圖文獨立關系。《胤禛美人圖》應用程序內容圖層圖文關系統計見表1。在背景圖層中,更多的是利用大篇幅字符符號對背景知識進行補償,信息內容較內容圖層而言更多,因此軟件制作者利用圖畫符號和動畫符號,在滿足軟件本身審美及豐富頁面內容的同時,也減少由字符符號單模態組成的頁面帶給觀者的視覺疲勞和枯燥。

表1 《胤禛美人圖》應用程序內容圖層圖文關系統計
圖文關系中的“邏輯—語義”系統分為擴展和投射,擴展又分為詳述、闡釋、例證(文本大于圖像、圖像大于文本)、延伸和增強(圖2),而投射又分為語言和思想。受篇幅限制,本文將就“地位”系統與“邏輯—語義”系統中的擴展部分進行詳述。據表2 所示,《胤禛美人圖》中共有123處圖文擴展關系,其中運用23處擴展關系來闡釋畫作信息,4 處描繪人物信息,96 處詳述文化信息。

表2 《胤禛美人圖》應用程序圖文擴展關系統計

圖2 圖文關系“邏輯-語義”系統中的擴展關系
“詳述”是指使用與原文本不同的另一種模態對原文本中的意義進行闡釋,具體可以采用舉例子或詳細描述等方式實現。在《胤禛美人圖》中,“詳述”共出現了72 次,對構圖信息、圖屏歷史、圖屏技法、人物畫作變革等畫作信息的圖文模態間譯文共有13處。如:
(1)Аlthough the vase,the pine-tree twigs,and the hanging screen inscribed with"shou"(longevity)characters are only partially depicted,the effect of "incomplete brushwork but continuous expression" is achieved. These objects successfully grace the painting as an integral part of it. Аlthough it is impossible to depict the lady's gaze in concrete form,the painter presents her intangible look and feelings by precisely capturing her posture,thus connecting the room's exterior with its interior.(圖3)

圖3 倚榻觀鵲
該例運用了圖文兩種模態,圖文構成了“擴展—詳述”關系。該例使用字符符號對圖像符號中的畫作信息通過詳細描述的方式進行了闡釋。
“延伸”在圖文關系中是指使用與原文本不同的符號模態對原文本模態增添信息,對其意義進行補充[18]。在《胤禛美人圖》中一共運用了28處“延伸”來介紹畫中歷史信息、社會生活、服飾、發飾、文物等。
(2)This "twin lotus flowers growing from a single stem" is regarded as a paragon of happy martial life. The frolicking pair of goldfish swimming in the lotus vat is also believed indicate such a good omen.(圖4)

圖4 燭下縫衣
在圖文關系中,“增強”代表著用與原文不同的模態修飾原文模態符號中蘊含的因素以達到對原文符號信息意義的強化[18]。《胤禛美人圖》文化外譯程序中運用了23處“增強”來調整主位信息和連貫意象。
(3)The characters on the book pages are from a poem written by a Tang-dynasty(618—907)female poet Du Qiuniang(ca. 10thc.)entitled Сi POem on the Gold-thresd Garment(Jini ti ci).The poem may be loosely translated as follows:
Do not value the gold-thread garment. But cherish your prime of youth; Gather the flowers in times of bloom,Do not wait till the branches are bare.
The image of a lady who is"too frail to stand a gust of wind" is typical of Qing-period decition of court ladies.(圖5)

圖5 觀書沉吟
該例子中,字符符號“the characters on the book page”將觀者的視野定位在了圖像符號中女子手中的書本,調整了主位信息,用字符符號修飾了圖屏中的圖像符號,使圖文的意象連貫,有助于強化圖像符號的文化信息。
數字信息技術時代推動了媒介的數字化發展,數字媒介以其成本低、覆蓋度廣、互動性強、內部多模態承載能力佳等優勢為翻譯界所關注。模態與媒介聯系緊密,模態是可經比對和對立的符號系統,媒介是裝載符號的物質手段[21]。換言之,模態是媒體用于傳遞信息的特殊方式,媒介則是用于傳遞信息的物理工具[16]。以紙質為媒介的傳統翻譯通常是通過文內注釋或者文末附注等形式實現對原文本中附加文化等信息的注釋翻譯。相較于數字媒介而言,傳統的紙質媒介受限于有限的紙質空間。超文本作為數字媒介的典型代表,用計算機技術生成了具有突破時空局限的超文本,超文本可關聯字符符號、圖像符號、聲音符號、動畫符號或多種其他符號模態的組合完成對原文本的解讀并建構完整的知識框架。媒介內承載著的多模態互動內容為多模態內容[22]。除了上述的非線性和多模態的特點外,超文本也有交互特征。用戶在瀏覽文本時,可實現鼠標或手指主動觸動內含超文本的按鈕圖標,進入到全新的界面查看超文本內的多模態翻譯。正如BАRTНES[10]認為文本的最理想標準是網絡系統在文本中的積極參與,本身即為超文本的互聯網使后現代文本觀的內涵特征依靠超文本實現了真正意義上的物理呈現[23]。《胤禛美人圖》應用程序中使用超文本這種數字媒介把譯文置于深厚的語言文化背景中的翻譯可謂隨處可見。該應用程序將圖屏搬到使用者的屏幕前,以超文本為載體,突破紙質媒介對畫作信息及文化信息闡釋的空間局限,重新開辟的空間圖層內可以承載字符、圖像、三維立體模型等多個符號模態,生動立體地對圖屏內容層中書畫、陳設、家具、服飾、發飾等方面的細節在專業性和學術性上,從深度及廣度進行翻譯。使用者可以在體驗趣味性和交互性的同時,跨越歷史長河與文化差異,根據所需的信息選擇性地閱讀超文本內的畫面外延信息,并在模態轉換間實現交互,提高吸取知識的主動性。體驗者點擊小圖標按鈕實現超文本的激活后,就能切換至與其關聯的各種多模態符號翻譯頁面,進行信息的解讀并建構較為全面和詳盡的知識信息網。為了減少對畫作信息的干擾,超文本在《胤禛美人圖》應用程序中是以小圖標的方式鑲入畫面中不同區域,以達到減少視覺分割感,連接原文本的信息形成整體的意義,使用者點擊小圖標,就實現了空間的跳躍以獲取相關信息。
三維交互技術是通過計算機技術完成數字建模后,在交互設計軟件中預設交互內容,從而實現交互行為的技術。三維交互模型模態作為譯文信息的交互性載體,能提供良好的感官體驗,并允許用戶隨意調整參觀角度,實現與藏品近乎零距離的交互。通過三維虛擬展示界面,用戶可以以視覺、聽覺等感官方式獲取譯文信息,增強參觀的沉浸感和身臨其境的感受;用戶可自由轉換參觀角度,在三維交互模型中進行360°旋轉,從不同角度觀察藏品,深入了解其各個方面,獲得更豐富的信息。此外,用戶還可通過放大、縮小、旋轉等操作與館內藏品實現近乎零距離的交互,進一步深入、精細地體驗藏品。通過三維交互敘事,用戶沉浸在一個完全預設好的虛擬環境中,通過漫游的形式自主發現模態間翻譯內容并擁有一種高度個人化的體驗。
《胤禛美人圖》應用程序將模態間翻譯任務進行歸類,其一是有涉及實物藏品的模態間翻譯,其二是不涉及實物藏品的模態間翻譯。第一類翻譯任務涉及多種模態之間的轉換,因此需要較大的頁面空間才得以實現。應用程序在內容圖層插入干擾性弱的小圖標作為按鈕,實現圖層的跳轉進入多模態立體敘事的館內藏品鑒賞層,以達到跨越空間局限的模態間翻譯目的。第二類翻譯任務不涉及實物藏品,僅涉及文字符號與圖畫符號之間對文化信息的多模態翻譯。應用程序同樣使用小圖標作為按鈕,將精簡后的翻譯內容放置于內容圖層,靈活展開或關閉翻譯內容,弱化隔離感,達到互文指引。三維模型與其他模態一樣也具有敘事功能,應用程序中的三維立體模型突破了紙張的平面化敘事特點,將畫面信息立體化,提高用戶與畫作的交互性,使用者可以在使用軟件期間360°旋轉故宮館內與畫作相同的或者是相關的實物,使文化傳播實現從二維到三維立體的轉變。
《胤禛美人圖》將三維交互技術應用于各種館內藏品的展示,彌補了實體展館中用戶參觀交互體驗感較差的不足,滿足用戶近乎真實的現場交互式感官體驗,是將現代信息技術與傳統館藏參觀體驗相結合的一次嘗試。承載翻譯內容的應用程序與傳統紙質媒介具有差異性,在載入翻譯內容時也應該根據媒介的特點,綜合受眾目標使用不同媒介的需求,篩選重組參考文獻,避免譯文信息過于冗長單一,簡化晦澀的學術語言,構架交互界面,排版界面圖文比例,視覺化部分文字內容,賦予譯文自我表達的能力,力求最優化用戶的體驗感。三維立體模型自身具有強大交互特點,轉換文字符號為具有視覺表達效果的其他符號模態形式,符合應用程序受眾的需求。《胤禛美人圖》應用程序視覺化部分文化信息,并利用三維立體模型恰到好處地交互性引導用戶積極主動參與對中華文化的知識建構。三維立體模態的加入不僅減輕了單模態閱讀造成的枯燥及負擔,而且也極大地提升了使用過程中的體驗感,使使用者在接收畫作譯文信息時能動用感官進行交互從而更加沉浸于應用程序構建的仿真世界中。
簡單地將符號進行疊加并不能生成意義,意義的構建需要模態間的互動[24]。程序協同多種模態,更好地提升中華文化外譯和文化傳播的效果。在文化外譯應用程序《胤禛美人圖》中,模態間翻譯過程中的多模態使用分別在文化傳播過程中發揮了以下三種作用:
《胤禛美人圖》將知識補償性內容通過超文本形式呈現,超文本以小圖標呈現,點擊后可實現在圖屏內容層對圖畫信息的模態間翻譯,也可跳轉至館內藏品鑒賞層對圖屏信息進行對比翻譯。兩個圖層譯文涉及社會歷史、民風習俗、政治環境、文化典故等具有厚重文化積淀的內容,旨在增補擴充源語的文化傳統習俗與社會背景知識,在畫作中出現的歷史和文化等信息都簡明扼要地通過多模態的形式生動立體地進行補充,以減少觀者在賞析畫作時因文化差異而引起的理解負擔。
(4)During the Ming and Qing(1644—1911)dynasties,Jesult missionaries introduced European painting techniques into Сhina which exerted significant influence on traditional Сhinese portraits. Of the twelve paintings under discussion,the three-dimensional effect on the figures' face is achieved through repeated color washes,while both delineation and color washes are applied to represent the draperies so as to give prominence to the texture of teh textiles and enhance the clothes'volume.These are techniques characterizing a late-Ming painting school led by Zeng Jing(1568—1650). It was then a new portraiture form consisting of ink monochrome contours and repeated color washed. Many art historians believe that it incorporated European portrait techniques brought into Сhina by Jesuit missionaries since the arrival of Matteo Ricci(1552—1610).Аs Jesult missionaries such as giuseppe Сastiglione(Сhinese name Lang Shining,1688—1766),lgnaz Sichelbarth(Сhinese name Аi Qimeng,1708—1780),and Jean Denis Аttret(Сhinese name Wang Zhicheng,1702—1768)were appointed court painters in the Qing imperial palace,this new portraiture form was widely accepted and highly popular at the court.Аfter the late sixteenth and the seventeenth centuries,it became the mainstream form of the portraiture.
在背景圖層下的工筆仕女圖層中,超文本新開辟的背景圖層空間中對《胤禛美人圖》所采用的人物畫畫法的由來使用文字符號進行了闡釋,并對該新體人物畫在《胤禛美人圖》中的體現作了描繪。在欣賞畫作時,使用者對畫作的畫風及線條或者是暈染等手法都是肉眼可見的,然而,并非所有使用者都曾聽聞關于新體人物畫的起源或更為詳細的信息。注釋部分將《桐蔭仕女圖》這幅同時期的局部屏風圖與新體人物畫的變革進行了對比,并以模態間翻譯的方式來解讀這種變革。在多模態與新體人物畫相碰撞時,使用者能對該畫作手法和由來等翔實信息形成初步了解。
在使用中英文字符對圖像符號進行翻譯時,分別使用古籍刻本風格化中文字體,按照清初文本編排習慣,從左至右縱向排列,而英文字符按照英美國家歷來文字排版習慣,從左至右橫排。海外用戶不僅能在文字排版對比中了解中華傳統文化,并且能在《胤禛美人圖》導覽層中深受清代中國的畫作、服飾、文物等文化熏陶。
克里斯蒂娃和巴特根據文本的歷時性與共時性特點提出,互文性是指任何文本與賦予該文本意義的知識、代碼和表意實踐之總和的關系,而這些知識、代碼和表意實踐形成了一個潛力無限的網絡[25]。因此,當譯者致力于某一個文本的意義時,也需要綜合考慮一個以上的模態內或模態間文本,將譯文納入文本交織的網絡中從而更好地實現對意義的解讀。從本質上說,翻譯也是一種跨時空的交互行為,而在數字信息時代,這一特點被放大了。
一般在文內或者文末添加注釋會使讀者產生與內容的割裂感,而使用多模態將交互標識最小化,能夠減少內容隔離感。多種模態的使用,能夠加深觀者的體驗感并且保證使用期間的沉浸式樂趣。互文也體現了多模態文本之間的指涉和引用,是文本間性的具體反映。根據指引的方向,可以分為模態間指涉和模態內指涉。模態內指涉是指對重復出現的字詞與句段,簡潔排版,減少冗余重復;同時也會提示與標注地方緊密相關的內容或情節。《胤禛美人圖》中的圖文敘事、超文本敘事和三維立體模型敘事間也實現了互文指引。
(5)The lady's hairdo is done by pulling the hair back,coiling it into a chignon and securing it with hairpins. The hair covering her forehead is loosely tied with a red cord,turned over to the back of her head,and then the end of the tail is tucked under the chignon. Such hairstyle is neat and tidy,lending the lady a look of dignity.The exposed forehead suggests her wisdom and intelligence.
上例中,設計者將文化注釋設置在圖屏畫作內容圖層內,在多模態翻譯過程中對圖像符號中重復出現的內容進行指涉形成互文,方便體驗者不脫離畫作整體信息進行文化信息的補充,減少了隔離感,方便體驗者快速定位并且獲取所需信息,使排版更為清晰,畫面更加簡明,邏輯更加清晰。
文化外譯軟件不僅富含文化信息,軟件本身還具有呼吁功能。單一符號的譯文往往忽略了文本與讀者之間互動的可能性,從而削弱了外譯文本的趣味性,并且在某種程度上降低了呼吁功能。而多模態符號,如圖文、超文本和三維立體模型等的使用,則大大增強了讀者對吸收文化信息的主動性,因為這些多模態符號本身具有較強的互動性。超文本的使用需要讀者動用手指進行信息獲取,在時間和空間上實現了跨越。而三維立體模型則通過高度還原館內藏品的比例,極大地縮小了讀者與實體之間的距離。在故宮博物館內,參觀者無法親身觸摸實物,但通過三維立體模型,觀者可以在手指間探索館內藏品,并且全方位地觀察它們,使觀者能夠更深刻領會中華文化的博大精深。再比如放大鏡的設計,模仿欣賞繪畫的時候手舉放大鏡觀摩的動作,用戶可以用一個虛擬放大鏡十分仿真地放大畫作信息中的每一個細節。《胤禛美人圖》以立軸畫卷展現,伴隨著悠揚典雅的樂聲,用戶可以欣賞《胤禛美人圖》的作品細節,畫面不但可以全屏觀賞,也可以用“鑒賞”模式激活一個虛擬的放大鏡進行細節品鑒;每一幅圖片還帶有畫面構圖及繪畫的鑒賞文字。
隨著數字信息技術推動文化外譯朝著多模態方向努力之后,新穎且動態的多模態翻譯理論為文化外譯提供了突破性的研究思路,且對中華文化的傳播以及文化軟實力的提升具有重大意義。
本文探索了文化外譯應用程序《胤禛美人圖》的多模態文化外譯策略、模態間翻譯策略在文化外譯文本中的功能,以及多模態交際和翻譯的跨學科結合的適用性。本文發現,該應用程序在文化外譯時分別使用了圖文敘事、超文本敘事和三維互動敘事等敘事策略,這些多模態翻譯策略分別用于知識補償、互文指引和多模態交互。除上述多模態翻譯策略外,在文化外譯應用程序中還可添加動畫模態、聲音模態等多模態翻譯策略以優化傳播效果。
同時,本文還發現多模態研究和翻譯研究兩個研究領域之間存在適用性:兩者都從媒體、模態和媒介的角度處理文本;兩者都把轉化和關系作為其研究對象的本質特征;兩者都將其主題置于社會和文化背景中,而不是將其視為一個抽象的、靜態的實體。