多媒體教學中通道效應的局限性及啟示

張麗芳

(河北農業大學,河北 保定 071000)

Moreno等在實驗中采用16張多媒體幻燈片給缺乏氣象學知識的大學生被試者傳授雷電形成的基本原理,將被試者學生分為視覺整合組(文字解釋的每句話放在圖片內對應的位置上,同時在一張幻燈片上呈現)、視覺分隔組(將解釋性文字集中放在圖片的下方并在一張幻燈片上同時呈現)與聽覺組(每張幻燈片上只呈現圖片,在呈現每張圖片的同時伴隨著聽覺的言語解釋)。在保持測驗、知識遷移測驗與匹配測驗中,聽覺組的測驗成績均顯著優于視覺整合組與視覺分隔組[1]。聽覺呈現文本信息的學習保持效果與遷移效果,明顯優于視覺呈現圖片與文本信息的效果,這種現象被稱為“聽覺通道優勢效應”,簡稱“通道效應”(Modality Effect)。

在很多學科的多媒體教學中,通道效應得到了廣泛的驗證,其教學內容包括植物學知識、統計學中的均值計算知識等。基于通道效應的各種理論解釋及局限性,分析產生通道效應的外部條件,并提出通道效應現象對多媒體教學的啟示,以期為利用通道效應優化多媒體教學效果提供參考。

1 通道效應的各種理論解釋與局限性

現有研究僅從認知加工系統的雙通道假設、認知資源有限性假設及信息加工系統的局限性來解釋通道效應,必然與一些實驗結果相悖。

1.1 多媒體認知學習理論對通道效應的解釋及局限性

“分割注意”觀點認為,眼睛不可能同時注意文本與圖片信息,需在時間上分割注意資源[2]。由于學習者的工作記憶容量有限,不同類型的信息(文本與圖片)在后續的加工中無法更好地整合,導致信息的保持與遷移效果下降。而在聽覺呈現條件下,文本與圖片信息分別經過聽覺與視覺通道同時進入學習者的工作記憶(雙通道假設)系統,并得到較好的整合加工,故保持與遷移效果好于前者。

“分割注意”說只能解釋圖片與文本信息同時出現的通道效應,無法解釋相繼呈現圖片與文本信息時出現的通道效應,這是其局限性之一。該學說還認為,學生需在空間上分割視覺注意資源,分別注意圖片與文本信息。這就導致較高的視覺負荷,顯著高于聽覺呈現文本條件下的視覺負荷[3]。但眼動實驗發現,受試者在圖片與文本信息中只表現出極小的視覺負荷,在文本與圖片間注視點的轉換次數也不多[4]。

1.2 認知負荷理論對通道效應的解釋及局限性

認知負荷理論通過外在(由不良的材料組織或呈現方式等產生的無效加工的認知負荷)、內在(學習材料各部分間復雜的相互作用產生的負荷)及相關認知負荷(由良好教學設計導致的、有助于學習者圖式建構知識結構的負荷)與工作記憶總負荷間的關系解釋通道效應[5]。該理論并不假設聽覺通道在不同加工階段可能存在的優勢,而認為聽覺在瞬時信息保持中具有優勢,即當文本信息較簡短時,學習者連續將其切分成瞬時信息,并將瞬時信息整合成組塊。這時三種認知負荷不會超載,故可促進信息的保持。當聽覺文本冗長時,學習者的工作記憶自身加工能力的局限性會造成聽覺信息的超載,學習者不得不丟失部分信息而保持殘余的聽覺信息,從而削弱通道效應。

與多媒體認知學習理論相比,認知負荷理論考慮到了文本信息的信息量與加工難度對通道效應的影響。但使用尚未通過實證檢驗的方法對三種認知負荷進行測量并建立三種認知負荷與通道效應間的測量路徑關系,缺乏足夠的說服力。

1.3 認知結構整合模型對通道效應的解釋及局限性

認知結構整合模型(the cognitive architecture of the integrated model)形象地描述了感覺與認知加工在不同記憶系統中的加工內容與過程[6]。感覺登記系統包含感知水平的信息,主要是聽覺與視覺通道信息(也包括觸覺等其他通道)。學習者的工作記憶加工系統存在語詞通道與圖片通道兩個表征通道,在產生通道效應的情況下,與書面語句理解有關的是視覺與語詞通道,與聽覺文本理解有關的是聽覺與語詞通道,圖片理解整合了語詞與圖片通道。感知與表征通道都只有有限的加工能力。詳見圖1。

圖1 認知結構的整合模型示意圖Fig.1 Schematic diagram of the cognitive orchitecture of the integrated model

在信息的感知水平階段,由于視覺通道的加工能力有限,只會有一部分文本信息經過視覺通道得到加工。據此推論,若用A表示經過視覺通道的全部信息,T表示在理想情況下A被全部加工所需時間,由于視覺通道的加工能力有限,故T被分成t1與t2兩個子時間段。在t1或t2時限內,只有不到一半的A信息得到加工。在工作記憶系統中,由于加工容量與存儲時間的有限性,大量的信息同時進入工作系統會造成系統超載。如果不進行信息保持加工(如復述),20 s后就會迅速消退,這就造成了工作記憶中存儲信息的不穩定性。在信息加工的工作記憶階段,通道信息如果遵循鄰近性(contiguity)原則(包括時間臨近性與空間鄰近性),就能夠使兩種信息在工作記憶中得到進一步加工。之所以要遵循鄰近性原則,是因為眼球在對學習材料進行整合加工時具有局限性。視覺文本與圖片信息同時呈現的加工劣勢在于,眼睛在進行視覺搜索時只能在一定時間內注意有限的內容,當眼睛跳到另一個需要注視的文本或圖片信息時,先前注意過的信息由于缺乏必要的信息保持時間而迅速消退。在進行文本語義與圖片的整合加工時,學習者需要在圖片與文本信息中反復搜索來尋找適合的對應信息。當視覺文本及對應的圖片信息在空間上相隔越遠時,學習者越需耗費更多的心理資源維持整個加工活動,以防止信息的丟失。而聽覺通道可不受空間臨近性的束縛,體現出一定的優勢。

認知結構整合模型將信息加工過程細化為較為詳盡的階段或環節,但導致通道效應的原因還需要考慮心理資源是否充足。如果同時呈現的視覺文本信息與圖片信息的信息量都很少且匹配得很緊密,用于加工這兩種信息的心理資源就不會超過工作記憶能夠承受的最大負荷,聽覺通道的優勢效應就會降低。如果沒有時間限制,或給學習者呈現視覺信息的時間足夠長,由于視覺信息可以反復調用,學習者也可以反復掃視視覺文本與聽覺文本,此時心理資源足以增強兩種文本信息的整合,聽覺通道的優勢效應也會降低或消失。

2 產生通道效應的外部條件

文本與圖片信息的關聯性會對通道信息產生顯著影響。文本信息只是對圖片信息的重復,二者擁有典型的高關聯性。內容的簡單重復鞏固了視覺文本的加工,聽覺通道優勢效應在這種條件下消失了。另一種情況是圖片信息過于簡單,導致圖片無法有效支持文本信息的加工。如在以“學習風格”概念為實驗內容的研究中,圖片中僅包含Converger等單詞及AE,RO等縮寫詞,實驗結果表明在該情況下沒有表現出通道效應[7]。

此外,學習材料的呈現速度也影響通道效應。絕大多數通道效應的實驗均系統控制了學習材料的呈現速度,學習材料的呈現速度越慢,越能緩解視覺通道加工文本及圖片信息的瓶徑壓力,從而使聽覺通道優勢效應消失。研究者以溫度變化的知識作為學習材料,文本材料分別采取“快速呈現”(每個詞0.73 s)與“慢速呈現”(每個詞1.00 s)兩種實驗處理,結果發現慢速呈現條件下出現了通道效應,而快速呈現條件下未出現通道效應[8]。

3 通道效應對多媒體教學的啟示

多媒體教學中出現的視覺通道優勢效應既不是由認知加工系統(即包括工作記憶系統在內的信息三級加工與儲存模型)的局限性單一決定的,也不是由外部實驗或教學條件單一決定的,而是由外部條件與學習者認知加工系統的局限性共同決定的。影響通道效應的外部條件包括多媒體信息呈現的時間、文本信息的信息量與加工難度、圖片信息的信息量與加工難度、文本信息與圖片信息的關聯程度及呈現方式。制約通道效應的內部條件包括學習者注意資源的有限性、工作記憶容量與心理資源的有限性及信息加工的速度、長時記憶信息提取的速度與準確性。也就是說,通道效應是上述內外條件的多元函數。值得注意的是,多媒體信息的呈現時間對于通道效應的影響尤為突出。如果多媒體信息呈現的時間過短,聽覺文本與視覺文本信息的有效加工均得不到保證,兩種信息的整合也難以進行,通道效應就會消失。如果有足夠的時間呈現多媒體信息,文本信息得到過度學習,也有充分的時間去整合對應的聽覺信息,通道效應也會消失。

若文本與圖片信息容納的信息總量超過了學習者的工作記憶容量,且兩類信息的高關聯性導致加工難度增大,要想保證一定的學習效果,必須延長多媒體信息呈現的時間或分解信息、降低加工難度。否則,兩種通道條件下的學習效果都會變差,通道效應甚至會消失。通道效應既受多媒體呈現方式的影響,又受學習者認知加工能力的制約,兩者的交互作用共同決定是否產生通道效應或效應的大小。學習者的工作記憶容量較大、視覺信息加工速度較快、長時記憶信息提取速度與準確性較高的情況下,通道效應不會顯著體現出來,反之則很容易表現出聽覺通道的優勢效應。故教學者應綜合考慮自身的認知加工能力,調整學習材料的呈現速度等因素,利用通道效應優化多媒體教學效果。

此外,在多媒體教學中,聽覺通道的優勢效應也會受樣本自身特征的影響。在Moreno 與Mayer的研究中,被試者來自心理學研究的樣本庫,對心理學研究有一定的多媒體學習與測試經驗。但在Ari與Calandra 的研究中,由于被試者缺乏閱讀技巧,對文本主題(如關于牛仔褲如何誕生的主題)不熟悉,文本的復雜度也較高,所以即使在視覺與聽覺文本結合呈現條件下,其在學習時的認知負荷也較大[9]。被試者對視覺文本的加工的低效能,超過了聽覺通道形成的內部言語加工器的加工優勢,進而壓制了聽覺文本的通道優勢。故在運用聽覺通道促進多媒體教學時,可在正式教學前讓學生充分了解關于學習材料的背景知識,或采用間接的方式激發學生去生成先驗知識,例如讓學生自主觀看與教學內容有關的視頻,提煉視頻中的對應知識點,或增加視頻中重要知識節點的提示線索,等等。總之,采取有效的教學干預措施,增強樣本的學習經驗,可充分發揮雙通道的加工優勢。