多媒體學習的通道研究

王曉丹　劉世清

[摘要]當前對于多媒體學習的認識存在多種假說，其中“通道說”是多媒體學習領域一種非常重要的觀點。文章通過對多媒體學習研究歷史的分析，在眾多相關理論研究的基礎上，提出了“知覺、語義、動覺”多媒體學習三通道假說，并對其基本觀點進行了詳細分析，旨在為多媒體學習中三類學習行為的整合提供理論依據。

[關鍵詞]多媒體學習；認知加工；三通道假說

[中圖分類號]G40-057 [文獻標識碼]A [論文編號]1009-8097（2012）10-0072-05

一、多媒體學習三通道的背景

多媒體學習理論的發展為現代教育注入了新的活力，已成為現代教育不可或缺的一部分。當前對多媒體學習的認識，主要包括以下三種：

1.媒介技術層面

媒介技術層面的多媒體學習又可以被稱為“多媒介學習”，是在學習活動中運用多種傳播媒介呈現教學信息，運用多種媒介組合的方式進行學習，例如黑板、電影、幻燈、印刷媒體等。這種認識方式在多媒體技術引入到教育領域的最初階段占據著主要地位。

2.呈現方式層面

呈現方式層面的多媒體學習又可以被稱為是“多表征學習”，是在學習活動中運用兩種或兩種以上的表征來呈現材料，這里的表征指的是文字、圖片、音頻、視頻和虛擬現實等外部表征。呈現方式層面對多媒體學習的認識較為直觀且具有較強的操作性和測量性，因此這種觀點得到廣泛的認可。

3.感覺通道層面

Mayer在雙編碼理論基礎之上提出了“多通道學習”的概念，將多媒體學習看成學習者使用兩種或兩種以上的感覺系統進行學習，這種感覺系統稱之為通道。在《多媒體學習》一書中，Mayer將通道劃分為視覺通道和聽覺通道，強調的是學習者接受外界材料時所用到的如眼睛和耳朵這樣的感覺接收器。感覺通道層面的研究借助于信息加工認知心理學的相關理論，開創了對學習者內部多媒體學習認知加工方式研究的先河。

上述對多媒體學習的三種不同認識，從不同層面促進了多媒體學習理論和實踐的發展（見表1），對多媒體感覺通道層面的認識，已經開始關注多媒體學習的內部認知過程，將焦點轉向了對多媒體學習本質的研究，這是多媒體學習研究領域的一大突破。為人們研究多媒體學習開辟了新的道路，然而受其理論基礎的制約，感覺通道的觀點存在某些局限，這些局限客觀上限制了多媒體學習的進一步發展，在此背景下對“通道”的內涵進行新的界定已勢在必行。

二、多媒體學習三通道劃分的理論依據

多媒體學習的三通道觀點是在編碼理論基礎上提出的，認知神經科學也為多媒體學習的通道劃分提供了證據支持。

1.編碼理論研究——三通道劃分的理論基礎

編碼理論是通道研究的基礎，不同通道將采用小同的編碼方式。當前編碼理論主要有以下幾種假說。

（1）Paivio的雙重編碼理論

Paivio的雙編碼理論認為，人類擁有兩個認知編碼系統，即言語系統和表象系統。這兩個系統在功能和結構上均不相同，相互獨立但又相互聯系。言語系統采用序列加工的形式對言語符號進行加工；表象系統以同步的方式加工非言語信息。雙重編碼理論中存在三種加工類型：表征的、參照性的和聯想性的。

（2）Anderson命題符號編碼理論

命題代碼理論主張不論言語信息還是非言語信息的存儲都不依賴于其表層形式，而是以抽象的命題形式進行編碼的。“命題既不是句子，也不是由單詞組成的。相反，他是一個較為抽象的，由單詞所指的概念組成的實體。”某概念的意象或言語描述來自于同一個抽象系統，是從命題表征中重新構造的。

上述兩種編碼理論都是基于認知的編碼理論，認為知覺和認知是兩個相互分離的串行系統，知覺系統負責從環境中提取信息并傳遞給認知系統，認知系統負責對信息進行編碼，強調知覺系統中未經認知系統編碼的信息不能夠直接進入個體的知識體系中。基于認知的編碼理論則主張信息在加工系統中的重構，如命題編碼認為任何信息都需要經過抽象的命題加工，而雙編碼則認為無論是言語信息還是非言語信息都要經過表征性加工、參照性加工或聯想性加工，無論是哪一種編碼方式都需要對信息進行或多或少的語義性加工。雙編碼和命題編碼實際上關注的都是高級認知學習活動，對于較為復雜和抽象的學習具有很強的解釋性。然而隨著研究的深入，人們逐漸發現了一些基于認知的編碼理論無法解釋的知覺編碼現象。在此背景下，一種新的知覺編碼理論應運而生。

（3）Barsalou的知覺符號編碼理論

Barsalou于20世紀末提出了知覺符號理論，知覺符號理論具有六個核心特征：知覺符號是感覺運動系統的神經表征；知覺符號是圖解式的；知覺符號是多模式的；知覺符號進一步組成仿真器；知覺符號系統中有多個框架；知覺符號跟言語符號密切相關。從知覺符號理論的核心特征中可以看出，Barsalou關注的編碼不僅僅包括感知覺，還包括運動知覺，這-兩種編碼產生的知覺符號都是神經表征，而不是傳統編碼上的認知表征。

綜上所述，編碼方式呈現出百家爭鳴、百花齊放的局面，各種編碼都有其理論和實驗支持，極大地促進了對學習者內部心理活動的研究。對上述編碼理論進行分析，可以看出當前存在的編碼形式大致可劃分為三種：知覺性、亞符號性和符號性。知覺性編碼形式保留了信息原始的知覺特征，包括視覺編碼、聽覺編碼、觸覺編碼等感知覺編碼，也包括運動知覺編碼；符號性編碼形式則對信息進行完全的抽象加工，僅保留語義信息；亞符號性的編碼形式則是介于知覺性編碼和符號性編碼之間，忽略部分細節的知覺信息，僅對部分特征信息進行語義編碼。由于符號性編碼和亞符號性編碼都是對信息進行語義加工，因此可以統稱其為語義性編碼形式。

編碼理論的研究促進了多媒體學習模型與通道研究的發展，Mayer所提出的多媒體學習雙通道就是在雙重編碼理論的基礎上提出的。在編碼理論的不斷發展過程中，很多研究者致力于尋找這些編碼理論的契合點，試圖運用混合編碼的觀點解釋學習者內部心理活動。編碼理論的發展和豐富，為多媒體學習的通道研究指明了方向。

2.認知神經科學理論研究——三通道劃分的證據支持

認知神經科學是由眾多學科整合起來的一門交叉邊緣學科，因而與許多學科都有著密不可分的聯系。近幾年來EEG、MEG和fMRI等技術極大地促進了認知神經科學的研究，其研究成果為解釋人類復雜的認知活動奠定了基礎。在多媒體學習領域，認知神經科學從不同的側面對通道劃分提供證據支持。

（1）大腦皮質的功能定位

認知神經學專家通過對腦損傷病人的研究，揭示了大腦皮質具有以下功能。腦皮質主要包括四部分：一是初級感覺區，包括視覺區、聽覺區和體覺區，負責感知覺活動：二是初級運動區，位于額葉中央溝正前方，是控制身體運動的區域；三是語言運用區，主要位于大腦的左半球，由較廣的腦區組成；四是聯合區：不接受任何感覺系統的直接輸入，與感覺、運動程度無直接關系，但與皮層下中樞有聯系，而且更多的是在大腦皮層各中樞間起聯合與綜合的作用。

由此可見，大腦皮質的不同區域負責不同的活動，如負責感知覺的初級感覺區和感覺聯合區，負責動作的初級運動區和運動聯合區，以及負責高級認知活動的語言運用區和前額聯合區。對大腦皮質的功能定位在一定程度上說明了感知覺加工、運動加工和語義加工各有其物理基礎。

（2）長時工作記憶的多重表征與其神經機制

Tulving于1972年對長時記憶進行劃分，并于1995年進行補充，將記憶系統區分為五大類：程序記憶系統、知覺表征系統、語義記憶系統、初級記憶系統和情節記憶系統。1985年，Graf和Schacter根據記憶過程中意識參與的程度，將記憶分為內隱記憶和外顯記憶。Anderson于1980年將記憶分為陳述性記憶和程序性記憶。Squaire于1987年結合認知神經科學的新進展對陳述性記憶和非陳述性記憶進行區分，揭示了兩類記憶的功能和存儲部位。2002年Gazzaniga等人在Squaire研究的基礎之上，進一步歸納總結出參與各種記憶類型的神經系統。長時記憶中的表征形式與編碼是對應的，因此長時記憶的多重表征間接說明學習者對外部信息加工時采用了多種編碼方式，其加工的信息不僅僅局限于語義信息，還包括了動作技能和知覺信息等。在多重表征系統中，動作技能有其特殊性，即其神經基礎不僅僅局限于大腦，骨骼肌、反射通路也是動作信息加工的神經結構。

（3）知覺學習

知覺學習（perceptual learning）是一個新興領域，是當前認知神經科學研究的熱點之一。Gibson于1963提出，“凡是由于訓練或經驗某種刺激而引起的對于這種刺激的長期而穩定的知覺改變都可以認為是知覺學習”。1991年Karni和Sagi提出，知覺學習表現為神經器質上的可塑性。在之后的研究中發現，知覺學習既可能發生在刺激特征編碼較特異的信息加工初級階段，也可能發生在信息加工的高級階段。

認知神經科學對多媒體學習多通道的劃分提供了重要的證據支持，從上述研究結果可以看出，人腦可以對知覺、語義和動作三種類型的信息進行處理，這三種信息在不同的腦區中進行編碼，參與其存儲的神經系統亦有所不同。

三、多媒體學習三通道的界定

本研究認為，對多媒體學習通道的劃分應該依據不同的信息加工系統，而不是感覺系統。本文的第二部分通過對編碼理論進行分析，總結出了兩種信息加工形式——知覺性加工和語義性加工，兩種加工形式對應著兩種不同的加工系統。將知覺加工系統從語義加工系統中劃分出來，得到了認知神經科學中知覺學習理論的支持。知覺學習理論發現知覺學習既可能發生在刺激特征編碼較特異的信息加工初級階段，也可能發生在信息加工的高級階段，那么知覺加工系統和語義加工系統應該是一種并行結構而不是串行結構。

所以，本研究認為存在著三種不同的信息加工系統，分別是知覺加工系統、語義加工系統和動覺加工系統。多重記憶表征理論為三種信息加工系統的劃分提供了證據支持，長時記憶中存在著不同類型的記憶，這些記憶的形成依賴于不同的信息加工系統。大腦皮質功能區的劃分進一步為三種信息加工系統奠定了生理基礎。

基于上述分析，對三種不同信息加工系統的劃分，形成了三種不同的多媒體學習加工通道，即知覺加工通道（Perceptual processing channel）、語義加工通道（Semantic processing channel）和動覺加工通道（Kinesthetic processing channel）。下面將對多媒體學習三通道的內涵進行詳細分析與闡述。

四、多媒體學習三通道的內涵及其相互關系

1.知覺加工通道（Perceptual processing channd）

原有多媒體學習理論認為認知系統中的知覺加工與語義加工是序列結構，知覺加工是對外界環境信息的選擇，其輸出是語義加工的輸入，知覺信息必須進入語義加工系統中進行編碼后才可以被存儲。Barsalou的知覺符號編碼理論和認知神經科學的研究成果則否認這種觀點，提出知覺加工并不是語義加工的早期階段，而是一種獨立的加工系統，其輸出的信息可以直接進入到長時記憶中進行存儲，因而知覺加工和語義加工是一種并列的結構。

知覺通道的加工內容為外部環境中的感覺刺激，采用激活、聯接的方式進行編碼，編碼后的信息以知覺模型的形式在長時記憶中表征。對客觀事物的個別屬性的認識是感覺，對同一事物的各種感覺的結合，就形成了這一事物的知覺。對知覺加工通道的研究需要以感覺為基礎。按照刺激性質的不同，可以將感覺分為視覺、聽覺、觸覺、味覺、嗅覺等。視覺、聽覺、觸覺的刺激屬于物理刺激，味覺和嗅覺的刺激屬于化學刺激。當前多媒體學習領域的技術可以很容易的實現物理刺激的模擬，但對化學刺激的呈現則較困難，因此對知覺通道的研究主要集中于視覺通道、聽覺通道和觸覺通道。

外界的不同感覺刺激是以并列的形式進入加工系統的，例如視覺信息通過眼睛進入視覺通道，聽覺信息通過耳朵進入聽覺通道，觸覺信息則是通過皮膚進入觸覺通道，視覺通道、聽覺通道和觸覺通道的刺激信號以并行的方式傳輸到大腦皮層的初級感覺區激活相應的細胞，在感覺聯合區的作用下，三通道的感覺信息相互激活和聯接，經過多次的重復則會形成穩定的神經結構，進而在頭腦中形成對某一事物完整的知覺模型。由于知覺通道采用激活和聯接的形式，知覺模型的形成是感覺刺激多次重復后形成的穩定的神經器質的改變，因而對意識參與的依賴性較低，只需要較少的認知負荷。

從學習類型方面看，知覺加工通道對于初級認知學習是十分重要的，它可以讓學習者不需要過多的注意和加工，較為容易地產生知覺模型，進而為高級認知學習奠定基礎。從學習者方面看，知覺加工通道對于低認知能力的學習者意義較大，即知覺通道這種不需要過多的意識參與的信息加工系統似乎更有優越性。雖然知覺加工通道對學習的意義較大，然而當前的多媒體學習模型往往忽略了對知覺加工通道的研究，更加關注于高級學習活動的語義加工通道。本研究在相關理論的基礎上將知覺加工通道與語義加工通道相區分，希望能引起人們對多媒體學習中知覺通道研究的關注。

2.語義加工通道（Semantic processing channd）

在認知心理學的影響下，對語義加工通道的研究一直是多媒體學習關注的焦點。語義是指對于那些用來描述現實世界的符號的解釋，其本身是不存在的，而是人為規定的。因此，它體現的是一種人所特有的高級認知活動的抽象學習。語義加工通道加工的內容為有意義的符號信息，這些信息不是來源于感覺器官的輸入，而是來源于知覺通道和動覺通道。當外界信息進入知覺通道和動覺通道時，有意義的符號被識別出來進入到語義加工通道中，按照一定規則被解釋，經過命題編碼和類比編碼的形式，最終形成命題和意象進行存儲。從神經機制的角度分析，當外界刺激經過傳輸激活大腦皮層感覺區域和運動區域后，有意義的信息會進一步激活語言運用區和前額聯合區，進而形成高級認知活動。

在語義通道中存在兩種編碼方式：命題編碼和意象編碼。命題指不依賴于符號和圖像，以抽象的形式來表征事物的內在意義的一種深層心理表征。例如對句子而言，不保留音、形等特征，對圖像而言，不保留具體的知覺形式，命題只表征其內在意義。意象是對表象的概括和總結。例如對桌子而言，意象并不保留其具體特征，只表征其大致的輪廓，這種輪廓是在對桌子這一類事物總結和概括的基礎之上得出的。命題和意象的共同點在于二者都是對外部信息的重構，都需要意識的控制，因此會產生較多的認知負荷。二者的區別在于命題是完全抽象的，而意象則保留了一定的形象性。當信息在語義通道中傳輸時，其編碼方式是由信息的特點、內容決定的。空間結構性強的語義信息會優先采用類比編碼的形式形成意象，而時間邏輯性強的則會優先采用命題編碼的形式形成命題。

3.動覺加工通道（Kinesthetic processing channel）

動覺是對身體各部位的位置和運動狀況的感覺，也就是肌肉、骨骼和關節的感覺。動覺通道主要用于加工動作信息，同知覺加工通道和語義加工通道一樣，該通道的加工也是以大腦為神經基礎。但除此之外，脊髓、小腦和外周神經對該通道的學習也發揮著重要作用。

動覺通道主要是針對動作技能，動作技能指通過練習鞏固下來的、自動化的動作活動方式，如寫字、騎車、游泳等，是一種程序性知識的學習。對動作技能的學習需要經過兩個過程：認識和操作。在認識過程中，學習者必須借助于知覺通道和語義通道的加工作用，知覺通道對輸入感覺信息的加工，首先使學習者對動作技能產生一個初步的感性的認識，語義通道的加工可以使學習者從思維的角度掌握動作的技巧，使感性認識進一步深化和精確，在此基礎上學習者會對動作技能產生一個較為完整的認識。在第二階段的操作過程中，學習者只需要在認識的指導下，完成各種動作，當完成正確的動作時，在運動器官、小腦和大腦皮質運動區會形成穩定的神經結構，進而使動作自動化。但是，從認識到動作自動化的過渡并不是一個簡單容易的過程，例如學習騎自行車。雖然學習者已經清楚騎車的步驟，但實際操作中還會遇到各種問題。隨著科技的發展，多媒體技術為動作技能的學習注入了新的活力，當學習者進行動作技能類知識的學習時，將動覺信息編碼成動覺模型，在此過程中運動器官上會留有動覺信息的記憶，進而使學習者產生一種最為直接的動作經驗，幫助實現自動化，有效地促進動作技能的學習。綜上所述，多媒體學習認知模型三通道加工信息類型、編碼方式和編碼后的表征形式可用表2表示。

4.三通道的相互關系

從上述分析中可以看出知覺通道、語義通道和動覺通道是三個相互獨立的并行加工系統，但三通道之間并不是相互割裂的，而是一個有機整體。知覺通道為整個多媒體學習提供學習內容的特征信息和有關學習環境的背景信息，對學習內容產生感性的認識；語義通道是在知覺通道的基礎上進一步升華總結，使感性認識升華成理性認識；動覺通道賦予這種認識過程主觀能動性。三個通道在構成一個整體時相互依存，如語義通道意象的形成就是在知覺通道知覺表象形成的基礎之上抽象概括而得的；動覺通道加工簡單的動作只需要重復的操作練習，但對復雜的動作技能的學習則需要在自動化過程之前借助于知覺通道和語義通道的作用而完成。

多媒體學習三通道假設對Mayer通道理論的改進之處在于，將通道的劃分標準由原來的感覺獲取轉向信息處理。在三通道假設中，筆者將類比和命題兩種編碼從原來的視覺通道和聽覺通道中提取出來，合并成語義通道，用于加工抽象的語義符號。而在語義通道的基礎之上增加了知覺通道和動覺通道，用于處理知覺信息和動作信息。這種新的劃分方式是在整合多種編碼理論的基礎之上提出的，并在一定程度上得到了認知神經科學的證據支持，強調了多媒體學習的多元性，擴大了多媒體學習的研究范圍，進一步拓展了多媒體學習過程中知覺特性、動覺特性和時間特性的研究。三通道假設的提出，旨在引起人們對知覺學習和動作學習的重視，為三類學習行為的整合提供理論依據。

基金項目：本文是2011年度教育部人文社會科學研究規劃基金項目“三通道多媒體學習過程信息獲取的眼動腦電特征與認知傳播模型”（編號：11YJA880058）的階段性研究成果。

作者簡介：王曉丹，寧波大學教師教育學院，碩士，研究方向：多媒體學習。

收稿日期：2012年5月18日

編輯：李婷