圖書館中的多模態應用

彭建武,于曉燕,齊 偉

(1,2.山東科技大學,山東 青島 266510;3.山東新泰新汶實驗學校,山東 新泰 271219)

1 引 言

數字化信息技術和視覺文化的發展使世界日趨多模態化,圖像、聲音、動作等多種模態的聯合并用以及多模態認知模式的產生日益沖擊著人們傳統的思維方式和習慣,人類已進入多模態時代。新一代人的學習方式也正逐漸發生變化,多模態不僅成了人們接受知識的重要手段,而且成為最有影響力的信息傳播媒介。把多模態媒介具有的多感性和計算性具有的交互性相結合,將會產生全新的信息交流方式。隨著信息媒介的多模態化,紙質印刷物、聲像文獻、電子書籍、網絡文本、縮微文獻等都將被圖書館收藏,并為讀者提供服務,讀者可以同時獲取、存儲不同媒體(如文字、圖像、動畫、圖形、圖片等)的信息。然而,就我國目前圖書館行業的發展狀況來看,作為與多模態傳播有著密切關系的圖書情報機構卻鮮有人對圖書館多模態模式的運用及其功能進行研究。

2 多模態的含義及與多媒體的區別

多模態是以人體所擁有的 20多種感官為基礎。在面對面的交流中,人的臉部表情、眼神、手勢、體態、姿勢、身體接觸、服飾等都有可能泄露信息[1]。多模態是涉及視、聽、嗅、觸、味等多種“模態”相互融合、協調并用的感知模式。《Harper's Bazaar》雜志2007年 10月版刊登了三則香水廣告,不僅配以傳統的文字圖像,廣告商還通過特殊技術將香水的味道融入紙張之中,使讀者以嗅覺模態身臨其境地感受商品的獨特魅力。另外,多模態一般涉及多個符號系統。例如雜志中的廣告只涉及一種視覺模態,但由于其既包含文字、圖畫,還有色彩的變化、版式印刷技巧的調整,因此也具有多模態性。在國外,眾多學者已就各種模態形式如何和諧并存以及在特定的情景語境和社會實踐中如何用來構建意義、傳達信息、達到交際目的等進行了較深入、廣泛的闡釋。Barthes作為最早探索多模態現象的學者,曾探討過圖像在表達意義上與語言的相互作用問題[2];1996年“新倫敦研究小組”提出了“多模態讀寫教學”;Royce探討了不同的符號在多模態語境中的互補性和協同性[3];Kress＆Leeuwen分析了模態與媒體的關系,專門探討了視覺圖像、顏色以及印刷版式和設計等不同媒介的多模態形式的構建意義[4]。多模態就是借助多種渠道和手段來調動多種感官協同運作和互動,使有些需要通過左腦進入右腦的信息直接儲存在右腦中,以達到加深印象、強化記憶效果、促進學習效率目的。每一個人天生就具有通過其感官來探索和解釋世界的能力。神經生物學研究清楚地表明,感覺之間的互通融合和相互作用,有利于加強人對知識和信息的建構以及對世界的理解。而毫無刺激的環境是令人厭煩的,并會使我們的感覺變得遲鈍[5]。

我們知道,裝載內容或信息的媒介多種多樣,包括文字、模擬音頻流、數字音頻流、圖像、視頻流等。顧曰國認為[1],紙質媒介可以裝載文字、圖像等,但無法裝載音頻流和視頻流,同理,音頻流也無法裝載文字和圖像。我們將以單個媒介為內容載體的稱為單媒體,以兩個媒介為內容載體的叫雙媒體,以三個或三個以上媒介為內容載體的叫多媒體。按這一分法,文字印在紙質媒介上的材料是單媒體材料,聲音錄制在磁帶上也是單媒體材料,以此類推。而“模態”指人類通過感官(如視覺、聽覺等)跟外部環境(如人、機器、物件、動物等)之間的互動方式。用單個感官進行互動的叫單模態,用兩個的叫雙模態,三個或三個以上的叫多模態。從這個定義看,無論是單媒體、雙媒體還是多媒體,如果其內容是關于多模態互動的,我們就可以稱之為多模態內容。我們可把文字印在紙上的多模態內容稱為單媒體的多模態內容。當讀者讀某段文字時,閱讀行為啟用的是視覺這個單模態來獲取外部信息的,因此我們把讀這段文字的行為描述為單模態,它是通過單媒體跟多模態內容進行互動的。當紙介單媒體的多模態內容改編為視頻流(如電視劇)時,我們通過多媒體音頻流、視頻流和字幕與多模態內容互動,這是因為觀看者啟用了視覺和聽覺去獲取外部信息。

3 圖書館的多模態應用

目前,多媒體研究需要解決的主要問題是構建一個展示多媒體技術潛力的實驗平臺,而多模態圖書館正是多媒體技術實驗的重要平臺。傳統圖書館一般僅限于使用一種媒介,而多模態圖書館擁有大量的多媒體資源,能夠進行跨媒介檢索和提取。與傳統的示例查詢不同,在跨媒介檢索和提取系統中,查詢示例的模態與查詢結果的模態不一定相同。例如,用戶可以通過音頻檢索圖像,或者通過圖像檢索音頻。顯然,跨媒介提取系統具有特殊的功效,可以增強多模態數據提取的準確性,獲得令人滿意的提取效率。在信息提取方面,多模態圖書館建設首先需要解決的問題是如何實現圖書館的多模態化。圖書館需要對多模態特征(包括語義關鍵詞和媒介特征)進行整合,其信息提取應保證讀者搜索和提取到不同模態(如文本、圖像、視頻和聲音)的多媒體數據,并有足夠的能力不斷改進圖書館內容的檢索方式。作為一種集情景教學和電子內容傳輸于一體的學習服務系統,多模態圖書館需要整合大量信息資源融入大學教育和學術研究中,給學習者提供獲取傳統資源和電子信息資源的最佳途徑,凸顯綜合性、個性化的信息服務優勢,由此改進和完善信息環境,促進讀者的終身學習。多模態圖書館還應通過提供高質量信息來拓展和深化讀者的知識結構,增強讀者發現和使用信息的能力。另外,多模態圖書館要與圖書館資源(如電子學術文獻、電子教室、電子課程)進行整合,改進數據庫內容,為讀者提供豐富的電子信息資源和服務,實現教師、教學和圖書館的無縫連接,使讀者更便利地利用信息,提高學習效率。多模態圖書館要創建眾多的情景鏈接、主題數據庫、電子文獻服務,由常用程序模板創建的圖書館頁面可以鏈接各類電子課程庫、考試考卷數據庫、電子論文等網絡資源,使學生在學習初期就能利用高質量的信息資源。集多種模板于一身的內容管理系統不只局限于文本,還可以處理圖片、Flash動畫、聲像流、圖像甚至電子郵件檔案,可用來管理圖書館頁面,創建安全、永久的統一資源定位格式(URL)。讀者不僅可以通過公共網頁進入多模態圖書館,也可以使用個人門戶網站進入相關的學習系統進行相關課程(包括共用課程和授課人為讀者預備的個人課程)的學習,并可查閱到最新的學習記錄。

4 建設多模態圖書館的意義

圖書館多模態應用的意義在于通過多種渠道和媒介將靜態資源(如圖片、文字等)和動態資源(如聲音、動畫、視頻等)都納入圖書館的設計和收藏中來,從而調動讀者多種感官的協同運作和互動,給讀者以全方位的多感官體驗,促進知識的獲取和吸收。從多模態視角來探究圖書館服務活動中資源和讀者的相互關系,可以進一步把握圖書館信息傳播和接收的有效性,為理解圖書館建設的定位提供一種新的研究視角。

4.1 拓展知識傳播和接收渠道

圖書館是以知識傳播為主要功能的特殊機構,知識文獻是其最重要的資源。但知識的力量不僅取決于其自身價值的大小,更取決于它是否被傳播以及其傳播的深度與廣度。圖書館知識和信息的傳播是一個通過多種不同媒介實現信息融合、生成、建構與創造的過程。我們可以借鑒其他軟件來豐富和拓寬知識的鏈接渠道,使圖書館閱讀更具趣味性、藝術性、靈活性 。例如,Flash、Director、PowerPoint這三種軟件集文字、聲音、圖形、圖像、視頻、動畫于一體,相互之間具有一定的相通性。Flash的“庫”相當于Director的“演員表”,其影片剪輯元件與膠片環動畫有異曲同工之妙,都是由兩個關鍵幀之間位置的移動、形狀的變化、色彩的改變等來產生動畫效果的;Director設計可以用 Flash中的動畫實例來增強其動畫效果,如可以將漫游鄉村公路動畫中的汽車、樹、籬笆、云、背景分別導成 png圖片,在 Director的演員表中導入,通過位置移動、墨水效果、膠片環動畫等操作,可以實現 Flash動畫效果[6]。

4.2 滿足讀者多元化、個性化的需要

讀者對文獻資料的需要和反應往往是多元的,其感知、感覺都是個性化的,且具有高度的主觀性;知識的獲得過程也是豐富多樣的,多樣化的讀者個體需要多樣化的閱讀模式。多模態圖書館可兼顧讀者的個體差異,為讀者提供了一個多元化的知識接受渠道,給讀者提供機會選擇適合自己的學習方式。由于其知識獲取效率和知識庫質量都很高,容易引起讀者的興趣,能夠使讀者在相互滲透和整合中開闊視野。圖書館建設應充分考慮圖書館這一空間的整體元素,如觸覺、聲音、味道、光線和顏色都可以用作設計工具,為讀者精心設計個性化的學習空間和學習環境,以培育、發展和完善讀者的感知能力,激發和支持讀者的探究性閱讀和學習。

4.3 促進讀者對知識的獲取和吸收

傳統圖書館沒有充分重視信息資源的交互性,服務形式比較單一,信息量較為匱乏。與之相對的是,多模態圖書館可為讀者提供諸如電子書庫、有聲讀物、視頻資源等數量龐大的學習型資源庫,各種知識的體驗無所不包。因而能使讀者運用不同感官協作工作,使之能直接介入知識的吸收過程,進而把知識有機地組織起來,為整合知識和信息資源提供了有效途徑。讀者從中獲得一種前所未有的全新體驗,在一種愉快、輕松的氛圍中主動地學習、汲取和積累新的知識。知識的持續深化會產生新的思想火花,從而賦予讀者巨大的積極性,激發讀者學習知識的興趣,有利于讀者更有效地獲取信息和知識,全方位地提高自己的知識素養。

5 結 語

多模態理論是在廣泛吸收生理學、心理學、神經學等眾多學科研究成果的基礎上建立和發展起來的。我們有必要順應目前學科交叉滲透發展的大趨勢,對圖書館多模態的表現形態、傳播渠道、應用實踐及其跨學科、綜合性的研究路徑作全面深入的分析和探討,使理論研究與應用實踐良性循環。目前,多模態不僅給人們的工作、學習、生活方式帶來了革命性的變化,也拓展了傳統圖書館的功能。如何了解和掌握好圖書館的多模態性,推動圖書館學研究朝著更好的方面發展,值得我國圖書館界的專家、學者及相關人員進一步研究。

[1]顧曰國.多媒體、多模態學習剖析[J].外語電化教學,2007(2):3—12.

[2]Barthes,R.Rhetoric of the image[C].In R.Barthes(Ed.),Image-Music-Text.London:Fontana,1997:32—51.

[3]Royce,T.Multimodality in the TESOL classroom:exploring visual-verbal synergy[J].TESOL Quarterly,2002,36(2):191—202.

[4]Kress,G＆van Leeuwen,T.Reading images:the grammar of visual design[M].London:Routledge,2006.

[5]Ceppi G,and Zini,M.(1998):Children,Spaces,Relations:Metaproject for an Environment for Young Children[M].Reggio Emilia:Reggio Children/Domus Academy,1998:16.