有關雙重編碼理論國際研究綜述

何云歡?

摘 要：通過梳理2005-2015年有關雙重編碼理論的相關文獻，從這十年的發展軌跡、涉及領域以及熱點研究三個方面進行了較為系統的梳理。梳理發現，有關雙重編碼理論涉及領域之廣，包含心理學、自然科學、神經生理學、語言學、行為學以及傳播學等多個學科，同時這十年對雙重編碼理論在自然學科中的運用，提升殘障兒童的學習能力，處理抽象詞匯和具體詞匯學習的差異以及五官感知在DCT中的表現等都有較為充足的研究。最終通過梳理，作者提出了有關DCT研究的問題及對未來的展望。

關鍵詞：雙重編碼理論；抽象詞語；具體詞語；教育

中圖分類號：G20 文獻標識碼：A 文章編號：1672-8122（2017）06-0075-03

一、文獻收集與綜述

本篇文獻綜述基于美國科學信息研究所創建的社會科學引文索引與藝術與人文科學引文索引，分別以“dual coding theory”、“dual code”、“DCT”為主題詞在“Web of Science”數據庫中進行檢索，將時間范圍限定為2005年至2015年，并按被引頻次降序排列文獻，共檢索出607篇相關文章。將不同主題詞檢索得出的文獻列表合并、刪除重復論文后，最終選取的論文總數有155篇。本文擬從歷史性角度先梳理有關雙重編碼研究近10年的發展軌跡，再從不同學科視角對研究進行分類歸納。同時，在整理歸納的基礎上，選擇研究較廣泛、影響力較大以及能代表未來研究方向的相關研究進行較為詳細的綜述。

從時間分布上來看，近10年有關雙重編碼理論的研究大致可以分為2個階段：第一階段，2005～2009年，這一階段共出版的文獻數為47篇，其中文獻引用次數大于30次的有9篇，其中最高引文次數180次出現在2005年，這一階段的研究主要包括多媒體教學對學生記憶、學習結果的影響研究。

第二階段，2010～2015年，這一階段出版的文獻數位108篇，其中2014年達到頂峰，出版數為24篇，而文獻引用次數大于30次的卻是2篇，一篇被引89次，出自2010年，一篇被引105次，出自2011年。這一階段主要的研究包括DCT在教學方面的運用，尤其是在圖表、圖像、視頻等圖文交互模式及視聽說相結合在科學性文章的學習、醫學、遠程教育等方面的應用，另外這一階段還延伸了對DCT的研究，從傳統的聲音、文字媒介拓展到嗅覺等更豐富的媒介類型，在商品廣告推廣中，利用嗅覺來增強消費者對產品的記憶力。

比如前5年出版文獻次數雖少，但被引次數卻多，說明這一時期有關DCT中有關語言學、心理學層面的研究達到了成熟階段；后5年出版文獻的數量急劇增長，而被引的文獻數缺少，這或許與學術文獻被引的客觀規律有關，即一篇論文發表后，總是需要經歷一段時間的反復引用，才能逐漸產生影響力，而這段周期近似3～5年，同時，本階段將雙重編碼的研究逐漸跳脫出原先的視覺、聽覺、詞匯等方面的運用，而是轉向具有創造性的實際應用，關注最前沿的課題，嘗試探索未來的研究方向，這也正是雙重編碼系統逐漸深入的表現。

從研究視角而言，根據近10年有關雙重編碼的文獻統計，其研究主要涉及心理學、教育學、神經生理學、語言學及傳播學等多個學科。首先，在心理學方面，研究者們的研究主要包括，對于抽象詞匯和具體詞匯在呈現和處理上的差異，在詞匯判斷任務中檢驗具體性優勢時需要控制熟悉度和有效語境假設等；第二，在教育學方面，主要是多媒體教學對學生記憶、激情及成效的影響，怎樣利用DCT理論來制定較為有效的針對殘障兒童的教育策略，以及在學習自然科學類文章時如何處理想象力和圖文結合之間的關系；第三，從神經生理學展開的研究主要包括利用ERPs來檢驗具體性和情感因素對視覺詞語處理過程的影響，從語義范疇而言，證明抽象詞匯比具體詞匯難以識別和記憶等；第四，語言學視角包含了習語和詞源之間相聯系如何提高記憶力，漢字的具體性優勢，輸入形式對詞匯學習的影響等；第五，傳播學領域有關DCT的研究目前還比較少，或許是因為有關DCT的研究多是針對較小單位的字、詞、字符串、圖像等，而傳播學所研究的對象一般具有整體性和連貫性的特點。但近年來，隨著網絡技術的發展，伴隨著3D、4D等媒體技術的進步，DCT的研究也不再局限于視覺和聽覺兩個感官系統，而是向嗅覺、觸覺味覺等更豐富的媒介類型拓展。

若說本文有關DCT的研究按照歷史性所劃分的2個階段構成了文獻綜述的時間縱軸，那有關DCT研究的4大研究領域的梳理則代表了文獻綜述的橫軸，縱橫交織共同概覽了有關DCT近10年來的研究。本文將在這一概貌的基礎上，將分別對有關DCT最近研究最廣、最能代表未來發展方向的有關研究進行較為深入系統的綜述和分析。

二、雙重編碼理論的基本觀點

（一）人的認知系統是由言語和非言語構成的雙重表征系統

雙重編碼理論認為，人的認知系統由言語和非言語兩套編碼系統組成。言語編碼系統專門處理言語編碼，言語編碼對應著文字、文字的發音以及對文字的觸感，因而，相對應的，言語編碼的形式有視覺、聽覺和觸覺等。它的表征單元為詞元，詞元是指任何以語言為形式所感知的信息的編碼表征單元（Paivio，1971），任何以整體性的形式習得的信息單位都是詞元（Paivio，2010）。詞元是言語生成的種子，它既可以被外部刺激激活，也可以被言語系統內部其他的已被激活的言語碼激活。非言語編碼系統是對想象的表征和處理，它對應著除文字以外的視覺、聽覺、觸覺、味覺以及嗅覺信息等。非言語編碼的表征單元是象元（Paivio，1991），象元是指任何以非言語形式所感知的事物、事件以及情境的編碼表征單元（Paivio，1971），不同象元之間主要以組合——分解式相互聯系。

（二）表征系統中表征單元的特點

言語系統和非言語系統都具有層級的組織結構，都是大的單位包含著小的單位，但又有本質上的差異。詞元以順序性和層級性的方式存在，因而言語編碼系統以順序性、線性的、邏輯性的的方式來處理信息。視覺詞元的組織以某種序列從文字逐一排列成詞組、句子和篇章，而聽覺詞元則是從音素組成音節，從音節組成單詞發音，從單詞發音再到詞組發音等，這都和語言的序列特征有關。

而象元之間的運作方式是整體性的、連續性的以及簇擁性的。比如一張面孔的表象，則包含了眉毛、眼睛、鼻子、嘴巴、臉及其它的面部特征。象元之間要么以組合——分解式相互聯系，要么是相似勾連式。

（三）雙重表征系統的三種運作模式

研究者發現，對信息的處理，大腦選擇有所不同。左半腦擅長處理言語信息（e.g.， McKeever & Berlucchi，1971），右半腦擅長處理表象信息（e.g.， Rizzolatti， Umilta & Berlucchi， 1971）。最近，大腦神經生理學的研究則證明言語和視覺信息又大腦不同的部位處理（Children & Jiang，2008），這也正符合DCT認為人的認知系統是由兩套編碼系統組成的。同時，他們認為言語和表象系統在運作時雖然以相互獨立為主，但它們也會相互聯系從而提高記憶力。具體表現在它們之間有三種聯系與加工方式：表征式、參照式和關聯式。

表征式是指外部的言語刺激進入記憶系統中會被編碼成特定的詞元，或激活言語系統中相應的詞元；非言語刺激進入記憶系統中會被編碼成象元，或激活非言語編碼系統中相應的象元。即外界刺激對內部編碼系統的作用和影響。

參照式是指詞元可以激活象元，象元也可以激活詞元，即兩個系統之間相互激活和參照性關系。但兩個系統之間的相互參照也需要有意識地進行參照加工，促進轉換與轉譯。一旦關系建立，日后相應的場景或刺激將會使兩個系統自動相互參照。然而，并非所有的詞元和象元之間都能夠相互參照，高度抽象的詞語則難以找到對應的象元，難以命名的象元也無法用詞元表達，比如“只可意會不可言傳”就是這個道理。

關聯式是指言語系統中的詞元可以激活言語系統內部其他的詞元，而非言語系統內的象元可以激活非言語編碼系統內的其他象元，即一個編碼系統內部的激活擴散。關聯加工促進編碼系統內部的聯系和擴散。

（四）雙重編碼系統中的兩個假說及其拓展

雙重編碼理論的基本運作模式，可以看出兩套編碼系統之間既獨立運作又相互聯系。獨立運作對應著關聯式，即兩個子系統可以單獨處理外界的信息，這也正對應著雙重編碼理論的加和效應假說；相互聯系對應著參照式運作，這也正對應著雙重編碼的概念樁假說。

加和效應假說是針對圖片優勢和具體優勢所提出來的解釋（Paivio，Rogers & Smythe， 1968）。雙重編碼理論認為，圖像被認為是一種特殊的記憶呈現方式，因為通過具化言語信息可以加速知識獲?。≒aivio，2007）。具體優勢也可以解釋喚起對具體詞匯“白馬”的記憶是對抽象詞匯“真理”記憶的2倍（Begg，1972），越具體的詞語越容易被記?。≒aivio，2007）。具體的詞元容易形成視覺圖像，因而在視覺圖像的幫助下也就能更容易喚起對相關情境回憶。

概念樁假說認為，對文字處理的認知活動中使用想象就像“樁”一樣積極影響回憶的效果。喚起記憶的“樁”需要是具體的，并且易于激發想象力，這個“樁”只是認知處理活動的中介物，主要功能是喚起線索而非編碼工具（Paivio，1965），通過“樁”作為喚起線索，其記憶效果明顯高于無線索的組別（Lambert& paivio，1956）。

三、雙重編碼理論研究發展

（一）雙重編碼理論在教育學中的運用

國外將DCT運用到教學中，主要包括自然科學、數學、醫學、外語學習以及殘障兒童教學等方面。他們試圖通過實驗強調圖文結合、圖表結合、視頻、音頻的綜合利用將提高學生的學習動力、記憶力以及學習效果。Cheng， M. M. W.等（2015），通過研究學生對圖表陳述人類循環系統的理解。通過對3個學生的采訪研究，結果表明，學生在回憶時通過對語言的記憶來解釋圖表，學生過度依賴空間相似性，而非是對圖表聯系的深層次理解。

在教學中，研究者一方面嘗試教學手段的多樣性，同時也注意利用DCT對學生空間想象能力的激發。Yang， F.等（2015）主要是研究表象能力和圖片提示對具象認知、自由回憶以及態度的影響。針對殘障兒童，尤其是聽力、閱讀能力有障礙的學生，Moses， A.M.等（2015）的研究結果表明，有聽力能力的小孩在有聲音的教學視頻中更易學習手語、文字的內容和能力，同時表明，視覺語言、手語可以成為小孩聽寫能力發展的另一條路徑。

另外，關于語言的學習雖然研究較少，但也提出了較為建設性的意見，其中主要是針對抽象詞語和具體詞語學習以及二者之間的聯系。Farley， A.等（2014）基于DCT，研究西班牙語言學習者對抽象詞語的詞語復述及回憶。結果表明，在教學完后直接測試，有圖片的抽象詞語對回憶的影響較大，但在一段時間之后，這種影響消失；在短期內，有圖片的抽象詞語對回憶有一定的影響；將抽象詞語和視覺圖像聯系，抽象詞語也會產生具體化效應；比喻性的，有感情的或者是象征意象有助于抽象詞語的有意義回憶。

綜上而言，國外關于DCT在教學中的應用主要是在創新性層面，不單純是語言類的學習，而是涉及自然科學、數學、醫學等較為抽象的知識加以圖像、視頻（動畫）、音頻以及空間想象力輔助來達到更深入的理解、記憶，從而產生更好的學習效果；但近幾年的研究提出，在學習抽象詞語時，可以將語境、想象力、情感、與抽象詞語相關的視頻、圖像相結合以及與詞源相聯系等方式提高對抽象詞語的理解和記憶。尤其是在中文漢字的學習中，提出了形旁的重要性以及通過回溯詞源來聯想具體場景從而增強記憶力。

（二）抽象詞語和具體詞語的處理

DCT提出人的認知系統包含言語編碼系統和非言語編碼系統，前文也涉及到早在1971年McKeever & Berlucchi等人就提出左半腦擅長處理言語信息，右半腦擅長處理表象信息，可見對抽象詞語和具體詞語的理解和記憶是因人、因詞而異的。同時，Lorusso， M. L.等（2015）也提出比起視覺運動障礙，語言障礙阻礙抽象語言的理解更嚴重，左半腦擅長對抽象詞語的理解。這兩個實驗也都核實了左大腦擅長處理言語信息，比如抽象詞語，而右大腦則擅長處理圖像信息。

關于處理抽象詞語和具體詞語的影響因素、抽象詞語和具體詞語的差異以及如何提高抽象詞語和具體詞語的理解和記憶等方面的問題，一些語言學、心理學、神經生理學等領域的學者對其進行了研究。Kousta， S.T.等（2011）將情緒內容作為一種實驗信息來研究抽象詞語的呈現和處理，發現抽象詞語比起具體詞語更具有情感效價。另外，研究結果也發現詞語的順序也會影響具體單詞和抽象單詞的記憶。

具體詞語相對于抽象詞語而言在理解和記憶上更容易，這也正是前文所講的理解和記憶“白馬”比“真理”更容易。但最近的研究發現，具體性優勢也可以在抽象詞語中發揮作用，只要設置一定的環境背景。

（三）多感官的綜合利用

DCT從20世紀70年代被佩維奧提及之初就沒有將言語編碼和非言語編碼限定在視覺和聽覺，而是這兩套編碼系統和人的五官感知形成一種正交的關系，兩套編碼系統對應著人的視覺、聽覺、味覺、嗅覺以及觸覺。所以，在新媒體時代，以及這種屏轉換如此迅速的背景下，DCT和人的五官感知之間的關系也越發明顯。

在產品推銷中，為了讓消費者的記憶力更深，Lwin等（2010）在有關潤膚膏的彩色郵寄廣告中引入了嗅覺變量，通過實驗得出氣味線索能夠明顯提高人們對廣告文字內容的回憶效果，圖片線索則只有在氣味提示存在的情況下才能顯著提高回憶效果。

DCT從原來單一的視覺和聽覺編碼跳到更為多元化的編碼形式，在信息時代，為了提高消費者對產品的記憶力，不僅需要轟炸式的重復傳播，而且還需要調動人們聽覺、視覺、嗅覺、觸覺甚至是味覺，這也不難解釋，超市的免費試吃產品。因而，可見DCT不僅單純的停留在理論的應用層面，而且可以應用到實踐層面。

四、總結與展望

通過對DCT近十年相關的文獻進行系統的梳理，可以發現，有關雙重編碼理論的研究有以下的特點，第一，從發展軌跡來看，近十年的研究已經從理論層面拓展到實際運用層面，主要經歷了DCT在自然科學、數學、科學等學科中的應用以提高學生的理解及記憶能力，同時將DCT理論延伸到殘障兒童的學習中，從手語、相關音視頻、圖畫的結合來提高學生的理解和記憶能力，另外關于抽象詞語的學習，以中文初學者為例，強調形旁和抽象詞語配以圖像輔助有助于提高學習者的理解和記憶，同時，嗅覺、味覺以及觸覺等也逐漸被學者探討。第二，從學科分類來看，研究視角具備顯著的多元性、交叉性特點。從提出者佩維奧研究的心理學，到語言學以及后來逐漸運用到神經生理學、傳播學、行為學等，DCT所涵蓋的學科范圍廣泛。但目前，傳播學對于DCT的研究還較少。第三，從研究方法來看，通過對近十年相關文獻的梳理，挑選的155篇文章絕大部分都采用了實驗、小組研究、問卷調查以及深度訪談等，主要是解決較為實際的問題，而有關理論層面的問題研究較少，這也許和DCT在理論層面的研究已經趨于成熟有關。

DCT從誕生之初就不只是局限于聽覺和視覺，其兩套編碼系統是和人的五官感知之間成正交關系，但目前DCT在除視覺和聽覺外的其他感官上的研究還不足。尤其是隨著信息技術的發展，3D、4D技術可以將人們帶入一個虛擬社區，進行模態化處理，在這一新的環境背景下，雙重編碼系統又會發生怎樣的變化以及對人的認知模式產生怎樣的影響，人們又該如何應對這一新變化等，這都是在未來值得研究的問題。

參考文獻：

[1] Moreno， Roxana； Valdez， Alfred.（2005）. Cognitive load and learning effects of having students organize pictures and words in multimedia environments： The role of student interactivity and feedback. ETR&D-educational technology research and development. 53（3）， 35-45.

[2] Levy-Drori， S& Henik， A.（2006）. Concreteness and context availability in lexical decision tasks. American journal of science. 119（1），45-65.

[3] Boers， F.， Eyckmans， J.， & Stengers， H.（2007）. Presenting figurative idioms with a touch of etymology： more than mere mnemonics？ Language teaching research，11（1），43-62.

[4] Kanske， P.， & Kotz， S. A.（2007）. Concreteness in emotional words： ERP evidence from a hemifield study. Brain research，1148，138-148.

[責任編輯：傳馨]