多媒體畫面語言學理論體系的構建研究*

王志軍，王 雪

(天津師范大學 教育科學學院，天津 300387)

多媒體畫面語言學理論體系的構建研究*

王志軍，王 雪

(天津師范大學 教育科學學院，天津 300387)

為進一步發展和完善多媒體畫面語言學的理論體系，該文借鑒語言學、符號學、心理學、教育技術學等相關學科的研究成果，從多媒體畫面語言學的理論框架、研究內容、研究方法及其與梅耶(Mayer)的多媒體學習認知理論的關系等幾個方面對多媒體畫面語言學理論體系的構建問題進行了深入的探索論證，期望為多媒體畫面語言學后續的相關研究及其信息化教學應用提供可借鑒的框架、思路和方法，使多媒體畫面語言成為多媒體學習材料設計與開發的可循之語言工具，從而有效地提高信息化情境下的教學效果。

多媒體畫面語言學；多媒體學習；理論框架；研究內容；研究方法

一、引言

“多媒體畫面語言(Language with Multimedia)”這個概念是由我國著名教育技術專家游澤清教授于2002年提出來的[1]。多年來，在游澤清教授的指引下，研究團隊以“多媒體畫面語言”概念為出發點進行了一系列的相關研究，創建了一套多媒體畫面藝術理論(Multimedia Design Theory)，提出了設計多媒體學習材料界面可遵循的一些規則，近年來又進一步創新性地提出了“多媒體畫面語言學(Linguistics for Multimedia Design，LMD)”的理論體系，將多媒體畫面語言研究上升到了語言學的層次。該理論體系的研究目標是使信息化教學中多媒體學習材料的設計、開發和應用有章可循，從而促進信息化教學情境下教學效果的提升。多媒體畫面語言學是誕生和成長于中國本土的一門創新理論，是在信息時代形成的一個新的設計門類，具有重要的應用價值，是教育技術的一個重要的研究領域。目前該理論體系的研究尚處于初級階段，有必要在理論框架、研究內容、研究方法、理論基礎等方面進一步深入探索和完善，為后續的相關研究提供可借鑒的框架、思路和方法。

二、多媒體畫面語言學的核心概念與理論構建的邏輯起點

多媒體畫面語言學理論體系中兩個最核心的概念是“多媒體畫面”和“多媒體畫面語言”。

(一)多媒體畫面

多媒體畫面是多媒體學習材料的基本組成單位，是多媒體問世之后出現的一種新的信息化畫面類型，是基于數字化屏幕呈現的圖、文、聲、像等多種視、聽覺媒體的綜合表現形式[2]。多媒體畫面在功能上是人與多媒體學習材料之間傳遞與交換知識信息的界面和對話的接口。多媒體畫面具有以下特點[3]：

1.多媒體畫面是基于屏幕顯示的畫面

多媒體畫面是基于狹義的多媒體定義(只限于電子屏幕呈現的領域，如臺式計算機、平板計算機、手機等)提出的。在多媒體交互式環境中媒體信息的呈現、輸入與輸出信息的感知和交互操作都是通過顯示屏完成的，因此多媒體學習材料正是由這種基于屏幕顯示的一幀幀的多媒體畫面組合而成的。

2.多媒體畫面是動態的、具有交互性的畫面

多媒體畫面是隨著時間不斷變化的畫面，這種特點不但有表現運動的潛能(即經常用一個動態“畫面組”來表示學習材料中一個完整運動的變化過程或貫穿一個“知識點”)，更重要的是便于通過控制畫面的變化和組接，實現人機之間的信息交互。

3.多媒體畫面是融合視、聽覺兩類媒體形式的畫面

多媒體畫面是視、聽覺等多種媒體綜合作用的結果。屏幕畫面與聲音時空對應、同步變化，兩者的作用和發揮的效能是不同的，但都成為多媒體畫面中不可分割的媒體形式。

4.多媒體畫面種類紛繁

按多媒體學習材料的類型來劃分，多媒體畫面是多媒體學習材料的基本組成單位，而多媒體學習材料的形式有很多種，如電子教案、電子教材、教學動畫、教學視頻、多媒體課件、網絡課程(網頁)等等，因此多媒體畫面可以分為電子教材的畫面、多媒體課件的畫面、網絡課程(網頁)的畫面等等；按照多媒體學習材料的呈現設備來劃分，又可分為手機上的畫面、計算機屏幕上的畫面、平板電腦上的畫面、電子白板上的畫面等等。

(二)多媒體畫面語言

多媒體畫面語言是信息時代出現的一種區別于文字語言的新的語言類型，它主要靠“形”表“義”，即通過圖、文、聲、像等媒體及其組合來表達知識和思想或傳遞視聽覺藝術美感，也可以通過交互功能來優化教學過程，促進學習者的認知和發展思維。將多媒體畫面語言與文字語言進行類比分析，可以有更深刻的認識。

1.從成為“語言”的條件看，兩者具有共通性

概略地講，多媒體畫面語言滿足“語言”所需的三個基本條件，如表1所示。

表1 兩種語言滿足“語言”的條件

2.從實踐應用的方式看，二者有所不同

對文字語言來說，字形和字義是分離的，而多媒體畫面語言則是以“形”表“義”，對“形”的要求是準確表意與視覺美感并重，通過合理的設計使不可見的內在信息可視化，對教學信息有更豐富多元、生動形象的表達方式。

3.從影響受眾的范圍看，二者有所不同

由于全人類的視覺生理構造是相同的，因此人類的視覺感知方式和感覺的結果是相同的。所以，多媒體畫面語言不像文字語言那樣受到國別語種、受教育程度等限制，更容易為人們接受和理解，它的受眾面具有大眾化、世界化的特點。

再回到多媒體畫面語言學理論體系構建的邏輯起點上。“多媒體畫面”和“多媒體畫面語言”之所以成為多媒體畫面語言學理論體系構建的邏輯起點，可以從以下三個方面進行總結：其一，隨著媒介載體技術的發展，新的表現形式和手段不斷出現，多媒體畫面成為信息傳播的文本，是人類認知的基礎性手段，在教學中是最直接、最具象、最可信的體現形式；其二，人們意識到多媒體畫面給教學帶來的效用和魅力，開始在實踐中探索多媒體畫面的表達技巧，多媒體畫面語言逐漸成為與傳統的“文本”語言相對應的語言工具，是信息傳播的重要語言形式之一；其三，如果把圖、文、聲、像、交互功能等媒體視為“單詞”(或詞語)的話，那么多媒體畫面就可視為由這些“單詞”按照“畫面語法規則”組合而成的“語句”，“多媒體學習材料”就是由這些畫面“語句”按照畫面語言邏輯組合而成的一部“著作”。 顯然，多媒體畫面語言學理論體系構建的最根本目的就是使信息化教學中多媒體學習材料的設計、開發和應用有章可循，這樣看來，“多媒體畫面”和“多媒體畫面語言”成為多媒體畫面語言學理論體系構建的邏輯起點是成立的。

三、多媒體畫面語言學的理論框架及研究內容

(一)以符號學的理論為依據確定理論框架

美國著名的實用主義哲學家查爾斯·威廉·莫里斯以邏輯與法學、經驗主義語義學和實用主義符號學為基礎，將符號學劃分為三個組成部分，即語形學、語義學和語用學[4]。語形學主要研究符形之間的關系即符號的結構，也稱為語法學、語構學或句法學；語義學主要研究符形與符號所代表的對象之間的相互關系，即符形與符號所表達和傳遞的關于符號對象的信息內容之間的相互關系；語用學主要研究符形、對象以及應用符號的具體情境之間的關系[5]。從符號學的三個組成部分來看，符號學研究的就是符號及其相關因素之間的三種關系。語言作為人際間交流和溝通的一種符號工具，也屬于符號學的研究范疇[6]。

如果將多媒體畫面語言類比為符號語言，可以得出如下觀點：(1)多媒體畫面中使用的基本符號是各類媒體；(2)通過各類媒體符號所表達和傳遞的信息內容是教學內容；(3)多媒體畫面中各類媒體符號的具體情境是真實的信息化教學環境。

以符號學的理論框架為藍本，以上述的觀點為依據，可以初步形成多媒體畫面語言學的理論框架：多媒體畫面語言學由畫面語構學、畫面語義學、畫面語用學三部分組成。畫面語構學研究各類媒體之間的結構和關系，畫面語義學研究各類媒體與其所表達或傳遞的教學內容信息之間的關系，畫面語用學主要研究各類媒體與信息化教學環境之間的關系。理論框架如下頁圖1所示。

圖1 多媒體畫面語言學理論框架

多媒體畫面語言學的三個組成部分不是相互獨立的，它們之間也存在相互影響和相互作用。畫面語構學是基礎性的，畫面語義學和語用學需要在語構學的基礎上開展研究，反過來這兩個方面的研究又為語構學的基礎性研究提出了相應的設計要求。

(二)以理論框架為依據確定研究內容

以理論框架為依據，將多媒體畫面語言學的研究內容也分為三個部分。

1.畫面語構學

畫面語構學又可稱為畫面語法學或畫面語形學，主要研究多媒體畫面中各種符號(即各類媒體)之間的結構和關系，依此得出多媒體畫面語言的語法規則。

多媒體畫面語構學研究可以采用“構成”的研究路徑：構成要素分析→構成要素的設計規則→要素之間的相互配合關系，即將設計對象概括成具有某種特征的視、聽覺對象，對這一特定的對象進行構成要素分析，然后將構成要素的設計規則以及要素之間的相互配合關系總結為設計規律[7]。因此，可以確定畫面語構學的研究內容有三個方面，即：多媒體畫面的構成要素分析、各要素的設計規則研究和各要素之間的配合關系研究。多媒體畫面的構成要素分析是畫面語構學中另外兩部分研究內容的基礎，而各要素的設計規則研究和各要素之間的配合關系研究實際上就是多媒體畫面語言的語法規則研究。

(1)多媒體畫面的構成要素分析

構成要素是畫面構成的基本單元。多媒體畫面的構成要素可以概括為圖、文、聲、像四大類媒體符號以及畫面的交互功能，即：圖——圖片，包括繪制的圖形和靜止的圖像；文——文本，包括多媒體學習資源中出現的各類數字化文本；聲——聲音，包括解說、背景音樂和音響效果；像——運動的圖片，包括動畫和視頻；交——交互，交互功能本質上則屬于多媒體畫面的組接功能。交互輸出結果的呈現以及交互輸入操作的觸發都是由含有交互功能構成要素的多媒體畫面來實現的。多媒體畫面的交互形式，不但決定于輸入、輸出這兩種畫面的各種組接形式，還決定于不同的多媒體畫面呈現終端交互信息輸入技術方式自身的特點。

(2)各種畫面要素的設計規則研究——畫面語法規則研究

畫面構成要素也簡稱為畫面要素。各種畫面要素設計規則的研究即畫面語法規則研究，包括兩個層面：基本屬性設計規則研究和視、聽覺效果設計規則研究。

其一，基本屬性設計規則研究。分析各種要素基本屬性的特點和結構關系，總結基本屬性設計的一般規律，依此得出相應的畫面語法規則。多媒體畫面中各要素的基本屬性如表2所示。

表2 多媒體畫面中各要素的基本屬性

其二，視、聽覺效果設計規則研究。分析畫面要素中各種屬性之間相互配合而衍變出的新的視、聽覺效果，研究其規律，進而依次得出相應的畫面語法規則。雖然視、聽覺效果也與畫面要素的基本屬性成分相關，但它決不等于這些成分之和，而是一個完全獨立于這些成分之外的全新整體，這個整體有一種超越各部分的獨立的“新質”，這個新質就稱為“格式塔質”，這是一種從顯性刺激中生成隱性刺激(新質)的過程。還是以文本為例，通過字體、字號、顏色、間距、位置、版式等文本的基本屬性的變化、布置、組合和搭配能夠衍變出新的視覺效果，在呈現文本(顯性刺激)的同時還呈現出一種文本的綜合風格(隱性刺激)，在學習者的知覺過程中生成“新質”。如果這種綜合風格符合學習者的審美需求，便會產生和諧的視覺效果，反之則會成為多媒體畫面中的敗筆，對學習者的學習產生負面影響。

(3)各種畫面要素之間的配合規則研究——畫面語法規則研究

在一個基本的多媒體畫面中經常同時出現圖、文、聲、像、交中兩種或兩種以上的畫面要素，需要通過各種畫面要素之間的配合，使學習者能夠在輕松、愉悅、優美的多媒體情境下開展符合他們認知加工機制的學習。多媒體畫面中各畫面要素的配合關系研究，也是畫面語法規則研究，包括兩個層面：認知心理層面的配合研究和視覺審美層面配合的研究。

其一，認知心理層面的配合規則研究。多媒體學習認知理論認為，人有兩個相對獨立的信息加工通道，即視覺通道和聽覺通道。多媒體學習材料呈現兩種通道的信息，例如圖片和聲音，分別由兩個不同的通道加工，因而并不會相互干擾而造成信息超載。相反，兩種通道呈現信息既增加了學習者信息的接受和處理數量，又加深了對信息的處理程度，因此有利于學習者對學習材料的深度理解[8]。那么，在同一多媒體畫面中，各類媒體之間的配合首先要關照到各類媒體元素的配合是否符合多媒體情境下學習者的認知心理機制，比如圖片+聲音(視覺+聽覺)的配合要好于圖片+文字(視覺+視覺)的配合。

其二，視覺審美層面的配合規則研究。多媒體畫面中既包括基本媒體要素呈現的客觀刺激，又包括由基本媒體要素相互配合而生成的新的視聽覺效果。多媒體畫面中的各類媒體要素的組合搭配，同樣也會在學習者的知覺過程中生成“新質”或“格式塔質”。換言之，如果多媒體畫面中各類媒體要素之間的配合是相輔相成、相得益彰的和諧關系，就會產生視聽覺美感，有利于引發、維持學習者的良好情緒和學習體驗，從而增強他們的學習動機。例如，文本與背景或圖片的和諧搭配，解說與文字或圖片的和諧搭配等等。

2.畫面語義學

畫面語義學研究各類媒體與其所表達或傳遞的教學內容之間的關系，從中總結一些表現不同類型教學內容的規律性的認識，形成“畫面語義規則”。

按照教育學觀點，教學內容是指師生教學交往活動中為服務于教學目的而動態生成的各類素材和信息，教學內容不僅包括教材內容(素材內容)[9]，而且包括了動機作用、引導作用、方法論指導、規范概念和價值判斷等等，是學校和教師給學生傳授的知識和技能、灌輸的思想和觀點以及培養的行為和習慣的總和。

教材內容雖不是教學內容的唯一成分，但卻是最重要成分。多媒體學習材料作為教材內容的一種表現形式，其主要任務是負責呈現或承載教學內容中的各類知識信息。因此，更準確的講，畫面語義學實際上是研究各類媒體與所表達或傳遞的知識信息之間的關系，挖掘各類媒體與不同類型的知識信息之間的匹配規律——“畫面語義規則”。

多媒體畫面中的媒體類型是確定的，而通過媒體所傳達的知識信息的類型是不確定的，因此需要找到一種知識的分類方法。通過對相關文獻進行梳理，發現由于人類知識的豐富多樣，因而存在十余種知識分類方式，例如，按照知識是否可以通過語言符號表述，將知識劃分為“顯性知識”與“緘默知識”；按照知識的效用可以分為“實用知識”“學術知識”“消遣知識”“精神知識”以及“不需要的知識”；按照研究對象的性質可以分為“自然科學知識”與“社會科學知識”；按照知識的形態又可以劃分為“主觀知識”和“客觀知識”等等[10]。而在教育學和認知心理學界，傾向于按照知識的屬性進行分類，將其劃分為“事實性知識”“概念性知識”“程序性知識”和“元認知知識”，目的是能夠按照知識的屬性特征進行分門別類的教學。事實性知識指獨立的、特定的知識內容，如關于專有名詞等；概念性知識相對于事實性知識要復雜、更有組織性，如關于理論、模型、結構的知識等。這兩類知識都是指有關什么的知識。程序性知識是指如何去做的知識，如關于技能、方法的知識等；元認知知識是指個體認知方面的知識，如關于策略的、任務情景和自我認知的知識等[11]。多媒體學習材料是應用于教學過程當中的，按照教育學和認知心理學的方式采用按照知識屬性進行分類的方式更為適合。

通過上述分析，可以確定畫面語義學的研究內容就是要研究多媒體畫面中圖、文、聲、像四大類媒體及交互形式與所表達或傳遞的事實性知識、概念性知識、程序性知識和元認知知識四大類知識間的關系和匹配規律(如圖2所示)，總結出適合于不同知識類型的語義規則。通過語義規則的規范，使多媒體畫面的設計能夠更準確地呈現和表達各類知識。

圖2 畫面語義學的研究內容

3.畫面語用學

畫面語用學研究各類媒體與真實的教學環境之間的關系，總結出適合于不同教學環境特征的媒體設計規律，形成“畫面語用規則”，旨在取得好的教學效果。也就是說，畫面語用學研究的是畫面語言在不同語境下的運用規則。本文所指的教學環境是狹義的概念，特指與一個教學過程相對應的真實的教學環境，這個真實的教學環境即是一個完整的教學系統，多媒體畫面中的各類媒體在教學過程中要與這個系統中的各個要素發生聯系。

分析教學系統中的要素構成是確定畫面語用學研究內容的前提。多年來我國教育理論研究領域對教學要素問題進行了大量的研究，出現了一批有代表性的研究成果。通過對已有的研究成果進行梳理和分析發現，除了“三要素說”即教師、學生、教材以外，還有“四要素說”“五要素說”“六要素說”“七要素說”以及“教學要素層次說”等等[12-16]。不同教學要素說體現出學者們不同的研究視角和側重點，但從本質上來說不同的教學要素說并不存在根本上的對立與沖突。教學是作為文化傳承方式的師生交往活動，因此教學從本質上來說是一種認識活動，一種存在形態和社會現象，即包括主體也包括作用的對象[17]。教學就是由教師和學生作為主體，以文化為內容，以媒介為手段所進行的一種文化交流和傳承的活動。因此，教學系統構成的基本要素應當包括教師、學生、教學內容以及媒介。四個要素并不是彼此獨立的，而是相互作用、相互聯系的一個有機整體，從而形成相對穩定的教學系統，如圖3所示。這種觀點與何克抗教授提出的教學系統的四要素學說相一致[18]。

圖3 教學系統四要素圖

在這個教學系統中，教學內容(教材)與各類媒體之間的關系和規律屬于上述多媒體畫面語義學的研究內容，這里不再贅述。

教學系統中的媒介指的是存儲和傳遞信息的物理載體，如信息化設備和網絡等等。媒介與多媒體畫面中作為信息呈現形式的各類媒體之間的關系和規律則屬于畫面語用學的研究內容，重點研究不同媒介載體如計算機、移動設備的不同特性與多媒體畫面中各類媒體符號的匹配規律。

教學系統中教師和學生與多媒體畫面中各類媒體之間關系和規律也屬于畫面語用學的研究內容。使用多媒體學習材料進行學習的學習者是具有差異的，因此多媒體學習材料中的所選用的媒體和媒體的屬性設計要照顧到學習者的個體差異，做到“因材設計媒體”；使用多媒體學習材料的教師是教學系統要素之一，其在教學系統中的作用主要體現為教師自身的職業活動，教師通過其職業活動引導整個教學過程，實現教學目的。在多媒體學習材料的設計過程中同樣要考慮教師的職業活動即不同的教學策略、教學方法，挖掘其中與多媒體畫面設計的匹配關系和規律。

通過上述分析，可以確定畫面語用學的研究內容就是要研究多媒體畫面中圖、文、聲、像四大類媒體及交互形式與作為物理載體的媒介、教師和學生之間的關系和匹配規律(如圖4所示)，依此得出畫面語用規則。通過語用規則的規范，使多媒體畫面的設計更符合媒體的特性、學習者的個體特征以及教師的教學策略和教學方法，實現多媒體情境下教學效果的最優化。

圖4 畫面語用學的研究內容

四、多媒體畫面語言學的研究方法

(一)定性研究與定量研究相結合

本研究團隊在多媒體畫面語言學初期階段主要采用哲學思辨、經驗總結和概念演繹等定性研究方法。例如，8個方面的共計33條的多媒體畫面設計原則是通過對大量的多媒體課件進行賞析而總結提煉出來的，主要采用經驗總結的方法；理論體系的核心概念“多媒體畫面”“多媒體畫面語言”是通過屏幕畫面、電視畫面和計算機畫面的概念和特征演繹出來的；多媒體畫面語言學是由符號學、語言學的概念推導出來的，采用的是概念演繹的方法。

采用哲學思辨、經驗總結和概念演繹等方法自然有其不可替代的作用，但是，歸根結底這些方法并不能直接用于解決科學的具體問題。隨著理論體系研究的不斷進展，必須在定性研究的基礎上，借助于定量研究手段對哲學思辨、概念演繹和經驗總結的一些結論進行證實，并且經過思維抽象上升到一定的具有普遍意義的理論，只有這樣才能保證多媒體畫面語言學相關研究的科學性。

定量研究建立在實證主義的基礎之上，強調通過量化手段分析測量或獲取數據和資料，并從中總結出結論，如實驗研究法、調查研究法、內容分析法等。其中實驗研究方法尤為適合多媒體畫面語言學的進一步研究：其一，通過實驗手段可以對通過經驗總結、概念演繹等方法得出的結論進行檢驗，使其真正成為可以指導實踐的理論；其二，通過實驗手段可以對畫面語構學、畫面語義學和畫面語用學中一些尚未觸及的內容開展實證性的研究，獲得新的研究成果，拓展多媒體畫面語言學理論體系。

(二)傳統的認知行為實驗手段與現代的眼動跟蹤技術相結合

目前，多媒體學習材料有效設計研究中所采用的實驗方法主要分為兩種：傳統的認知行為實驗手段和眼動實驗方法。

傳統的認知行為實驗手段是指反應時間測定、認知負荷測試以及正確率測試等認知行為實驗方法。這類實驗通常將被試隨機分配到實驗組和對照組中，兩組學生使用不同的學習材料進行學習。兩組被試完成規定的學習任務以后通過保持測試和遷移測試對其學習效果進行測試。其中保持測試一般可以了解被試學到了多少，即學習的數量；遷移測試一般可以了解學生學到了什么，是否能夠理解和運用知識，即學習的質量，根據學習者的學習效果總結出多媒體畫面的一些設計規則。

眼動技術，又稱視線跟蹤技術，是指對人在完成不同的認知任務時的眼動軌跡進行記錄，分析諸如注視時間、注視點、注視次數、眼跳次數和瞳孔大小等眼動指標，從而研究個體的內在認知過程[19]。眼動技術是一種“在線(Online)手段”，可以直接跟蹤學習者使用多媒體畫面信息表征的學習材料進行學習的視覺認知過程，透過這些測量數據可以揭示學習者的多媒體學習認知過程和認知規律，從而總結出多媒體畫面語言設計原則[20]。

需要注意的是，傳統的認知行為實驗方法，無論是反應時測試、認知負荷測試還是正確率測試都是一種“離線(Offline)”手段，通常采用的是在學習者的認知任務完成之后的回顧性的測試方式，與學習者實時的認知加工并不同步，很可能會與學習者認知加工的真實情況有所偏差[21]。而眼動跟蹤技術恰恰是一種“在線手段”，可以直接跟蹤學習者的視覺認知過程。因此，在多媒體畫面語言學的實驗研究當中，應該將在線方法(眼動實驗)和離線方法(反應時測試、認知負荷測試以及正確率測試等)相結合，從知覺和認知的雙重視角全面進行多媒體畫面語言學的相關研究。

(三)實驗室研究與自然情境下的教學實驗研究相結合

研究者通過實驗研究可以對實驗變量進行控制，在控制無關變量的前提下，能夠比較精確的探索自變量與因變量之間的因果關系，從而得出實驗結論。通過實驗室條件下的實驗研究，研究者可以嚴格控制環境條件，對實驗環境進行“純化”，自由控制實驗變量，產生較高的內部效度。

然而這一優點反過來看則是致命弱點，實驗條件控制的越嚴，離真實的教學活動就越遠，會導致較低的外在效度，使得研究成果較難推廣到自然的真實的教學情境當中。而自然情境下的教學實驗則可能造成無法控制的變量增多，導致研究不夠嚴謹，內部效度降低。但是卻因為在真實的教學情境下進行，所以外在效度較高，具有較強的實際應用和推廣價值。

多媒體畫面語言學的相關研究也要將實驗室研究與自然情境下的教學實驗研究有機結合，充分利用這兩類實驗研究的優點，保證研究結論的嚴謹性和可推廣性。

五、多媒體學習認知理論對多媒體畫面語言學理論體系構建的支持

美國加州大學圣巴巴拉分校的梅耶(Mayer)教授及其研究團隊從認知心理學的角度出發，在20多年的時間里對多媒體學習的認知加工過程機制和多媒體的教學設計原理進行了理論探索和大量的實驗研究，構建了多媒體學習的理論體系[22]。該理論以雙通道、容量有限和主動加工三個假設為出發點，以雙重編碼理論、工作記憶模型、認知負荷理論為理論基礎，建立了多媒體學習的認知理論模型。多媒體學習著眼于探究不同的多媒體學習材料設計如何影響學習者的學習，學習者的認知心理機制和認知過程是什么樣的，重點在于描述和解釋多媒體情境下的學習是怎樣發生的，本質上屬于心理學中的學習理論。

多媒體畫面語言學致力于研究設計多媒體學習材料時的所應遵循的規律(規則)，改變目前設計和制作多媒體學習材料時毫無章法的混亂局面，探討多媒體畫面中媒體符號之間、媒體符號與教學內容、媒體符號與教學環境之間關系和規律，使多媒體學習材料的設計、制作和應用都遵循一門獨特的“畫面語言”。多媒體畫面語言學的研究重點在于對如何設計和使用多媒體學習材料給出一些規則，本質上屬于教學理論。

按照布魯納對解釋性理論和規定性理論的劃分框架，我們可以認為，一方面，作為學習理論的多媒體學習認知理論屬于解釋性理論，而作為教學理論的多媒體畫面語言學屬于處方性理論，所以它們二者之間保持相對獨立的關系；另一方面，由于只有先認清學習者的心理作用機制，才有可能通過多媒體畫面語言設計成功的多媒體學習材料，所以多媒體學習認知理論作為揭示多媒體學習情境下學習者的心理機制的一種解釋性理論，應該作為處方性理論即多媒體畫面語言學的理論基礎。

因此，今后多媒體畫面語言學的相關研究，應該以多媒體情境下學習者學習的心理機制為基礎，以多媒體畫面中各要素的有效設計和應用為主要研究內容，逐步形成一個完善的研究體系。

六、結束語

通過對多媒體畫面語言學理論體系的建構與梳理，為多媒體畫面語言學后續的相關研究提供一些可借鑒的思路和方法。同時，圍繞當前多媒體畫面設計取得的相關成果，使之整合在多媒體畫面語言學的系統框架之內，這對多媒體畫面語言學理論體系的構建和完善大有裨益。隨著多媒體畫面語言學相關研究的不斷展開，教育學、心理學、語言學、視覺設計和信息技術等相關學科的不斷發展，研究方法的不斷創新，多媒體畫面語言學理論體系會越來越成熟，成為多媒體學習材料設計、開發和應用的可遵循的理論依據和行動指南，對提高多媒體學習材料的質量和多媒體情境下的教學效果起到至關重要的作用。

[1][2][3]游澤清.多媒體畫面藝術基礎[M].北京:高等教育出版社,2003.5-10.

[4]張良林.莫里斯符號學思想研究[D]. 南京:南京師范大學,2012.1-3.

[5]岑運強.語言學概論[M].北京:中國人民大學出版社,2004.62-70.

[6]韓寶育.語言學概論[M].西安:西北大學出版社,2007.3-4.

[7]趙戰.新媒介視覺語言研究[D]. 西安:西安美術學院,2012.55-60.

[8]Richard E. Mayer. The promise of multimedia learning: using the same instructional design methods across different media[J]. Learning and Instruction, 2003,13(2): 125-139.

[9]俞紅珍.課程內容、教材內容、教學內容的術語之辨——以英語學科為例[J].課程·教材·教法,2005,(8):49-53.

[10]陳洪瀾.論知識分類的十大方式[J].科學學研究,2007,(1):26-31.

[11]張燕,黃榮懷.教育目標分類學2001版對我國教學改革的啟示[ J].中國電化教育, 2005, (7):16-20.

[12]呂國光.教學系統要素探析[J].上海教育科研,2003,(2):25-28.

[13]張廣君.教學系統基本要素初探[J].寧夏大學學報(社會科學版),1988,(1):83-87.

[14]南紀穩.教學系統要素與教學系統結構探析——與張楚廷同志商榷[J].教育研究,2001,(8):54-57.

[15]李澤林,石小玉,吳永麗.教學“要素論”研究現狀與反思[J].當代教育與文化,2012,(3):94-98.

[16]張楚廷.教學要素層次論[J].教育研究,2000,(6):65-69.

[17]胡德海.教育學原理[M].蘭州:甘肅教育出版社,2006.313-314.

[18]何克抗.E-learning與高校教學的深化改革(上)[J].中國電化教育,2002,(2):8-12.

[19]Jukka Hy?n?. The use of eye movements in the study of multimedia learning[J].Learning and Instruction,2010, 20 (2) :172-176.

[20]Richard E. Mayer. Unique contributions of eye-tracking research to the study of learning with graphics[J]. Learning and Instruction, 2010,20(2):167-171.

[21]Tamara van Gog, Katharina Scheiter. Eye tracking as a tool to study and enhance multimedia learning[J]. Learning and Instruction,2010,16(2):95-99.

[22]鄭旭東,吳博靖.多媒體學習的科學體系及其歷史地位——兼談教育技術學走向“偱證科學”之關鍵問題[J].現代遠程教育研究,2013,(1):40-47.

王志軍：教授，博士生導師，研究方向為多媒體畫面語言、多媒體技術與網絡遠程教育應用(army.w@163.com)。

2015年4月27日

責任編輯：宋靈青

Study on the Construction of the Linguistics for Multimedia Design Theoretical System

Wang Zhijun, Wang Xue
(School of Education, Tianjin Normal University, Tianjin 300387)

In order to further develop and improve the Linguistics for Multimedia Design (LMD), the theoretical framework, research content, research methods and the relation between multimedia learning of Mayer and LMD are thought and discussed deeply based on the researches of linguistics, semiotics, psychology, and education. The purpose is to construct and complete the LMD theoretical system which can be applied into the practice of information teaching. Framework, thinking and methods are provided for the following researches. And the aim is to make the language of multimedia to be the design tool of multimedia teaching materials and therefore improve the teaching and learning effects in multimedia context.

The Linguistics for Multimedia Design(LMD); Multimedia Learning; Theoretical Framework; Research Contents; Research Methods

G434

A

1006—9860(2015)07—0042—07

* 本文系天津市教育科學規劃重點課題“數字化教學資源中多媒體畫面視覺認知規律及教育應用研究”(項目編號：CEXII2002)、天津市哲學社會科學規劃課題“基于項目開發實踐的大學生實踐能力培養模式研究”(項目編號：TJJX12-058)的階段性研究成果。