網絡教學視頻字幕設計的眼動實驗研究*

王 雪 王志軍 候岸澤

（天津師范大學 教育科學學院，天津 300387）

網絡教學視頻字幕設計的眼動實驗研究*

王 雪 王志軍 候岸澤

（天津師范大學 教育科學學院，天津 300387）

網絡教學視頻常見的字幕設計方式包括無字幕、全字幕和概要字幕三種形式。文章將45名大學生隨機分為三組，分別使用三種字幕設計的兩種知識類型（陳述性、程序性）的網絡教學視頻進行學習，使用眼動儀實時記錄學習者的視覺認知過程，并對學習者的學習效果進行測試。結果表明：陳述性知識視頻的全字幕能幫助學習者獲得最多的學習數量，學習數量與字幕區的眼動指標正向相關，概要字幕則會幫助學習者取得最好的學習質量；程序性知識視頻的概要字幕能夠幫助學習者取得最多的學習數量和最好的學習質量，其余兩字幕組的學習效果與視頻區眼動指標正向相關。

教學視頻；字幕；眼動；知識類型；學習效果

前言

隨著網絡技術的不斷發展，精品視頻公開課、愛課程、MOOC等新型網絡學習資源不斷涌現，吸引了大批學習者，同時也成為教育技術研究者關注的焦點[1]。與傳統網絡學習資源中以文本為教學內容的主要呈現形式不同，新型網絡學習資源以視頻作為核心的呈現形式。這種轉變并非偶然，原因在于視覺是人的各感覺系統中最占優勢的信息來源渠道，因此視頻就成了各類開放性課程資源最主要的教學表現形式[2]。“多媒體畫面語言學”理論認為多媒體學習資源的基本組成單位是“多媒體畫面”，這種畫面融合了文字、圖片、聲音、動畫和視頻等多種媒體呈現形式[3]。而網絡教學視頻通常使用視頻、作為解說的聲音和作為字幕的文字三種媒體呈現形式。相關研究表明，視頻中不同的字幕設計方式對學習者自主學習的效果會產生影響[4]。本文擬通過眼動實驗法，探究適合于陳述性知識和程序性知識兩種知識類型網絡教學視頻的字幕設計方法。

一 陳述性知識與程序性知識

現代認知心理學家安德森（Anderson J R）將知識劃分為陳述性知識和程序性知識。陳述性知識是指關于事實“是什么”的知識，主要說明事物、情況是怎樣的，是對事實、規則、定義、原理等的描述；程序性知識則是關于怎樣完成某項活動的知識，比如怎樣進行推理、決策或解決某項問題等[5]。陳述性知識的學習可以分為三個環節：①新信息進入短時記憶，并激活長時記憶中的相關知識；②新知識與長時記憶中的舊知識建立各種聯系，形成新的意義建構；③對所學的知識進行組織、形成組塊，進行意義的提取和運用。程序性知識的學習也可分為三個環節：①與陳述性知識的學習的第一個環節相同；②通過應用變式練習，使規則的陳述性形式向程序性形式轉化；③規則支配人的行為，技能開始達到相對自動化[6]。

二 網絡教學視頻的信息加工方式

根據雙通道理論和認知負荷理論，當語詞和畫面材料都以視覺形式呈現（如字幕和動畫/視頻）時，就會造成聽覺/言語通道閑置，而視覺/圖像通道則會過度負荷；當語詞以聽覺形式（如解說）呈現時，學習者就可以通過聽覺/言語通道加工它們，視覺/圖像通道則只用來加工畫面，這樣兩條通道得以平衡，就不會造成其中一條通道的過度負荷，影響學習效果[7]。梅耶教授通過四組實驗證實了“接受動畫+解說”的多媒體呈現的學習者要比“接受動畫+文本呈現”的學習者的保持測試成績和遷移測試成績都好，據此提出了通道原則（Modality Principle）[8]。

在各類網絡視頻學習資源中，作為視頻解說的聲音一般是必備的媒體呈現形式，常見的設計方式有三種：視頻+解說、視頻+解說+字幕、視頻+解說+概要字幕。其中，“視頻+解說”的呈現方式與梅耶教授提出的通道原則一致；“視頻+解說+字幕”的呈現方式為教師的講解配上字幕，學習者通過視覺/圖像通道加工視頻和字幕，通過聽覺/言語通道加工解說；“視頻+解說+概要字幕”的呈現方式同樣是為教師的講解添加字幕，區別在于僅在教師講解到重點或難點內容時，以精煉的文字呈現知識內容的精髓，幫助學習者對重點和難點內容進行深度加工[9]。故“視頻+解說+概要字幕”的呈現方式文本量要少得多，但信息加工方式與“視頻+解說+字幕”一致。

三 方法

1 實驗目的

探究不同知識類型的網絡教學視頻中不同的字幕設計對學習者視覺認知過程和學習效果的影響，從而總結出適合于不同知識類型的網絡教學視頻的字幕設計規則。

2 被試

從天津師范大學教育科學學院的本科生中隨機抽取45名（男生18名，女生27名），并隨機分為3組，每組15人。

3 實驗儀器

眼動儀一臺，用于記錄被試的眼動數據，型號為Tobii X120，采樣率為120HZ；工作站一臺，用于運行實驗所用的軟件系統，型號為惠普Z620型工作站；效果測試用計算機一臺，用于被試完成程序性知識視頻測試題中的上機操作題。

4 實驗設計

本實驗采用3（字幕設計，被試間變量）×2（知識類型，被試內變量）的兩因素混合實驗設計：（1）自變量包括字幕設計（無字幕、全字幕、概要字幕）和知識類型（陳述性知識、程序性知識）；（2）因變量包括眼動指標（總注視次數、平均注視點持續時間、總注視時間、注視熱點）和學習效果（保持測試成績、遷移測試成績）[10]；（3）無關變量為被試的先前知識水平。

5 實驗材料

（1）被試基本信息問卷，用于獲取被試的性別、年齡、專業等基本信息；（2）先前知識測試題2份，分別用于測量與程序性知識視頻和陳述性知識視頻中學習內容相關的被試先前的知識水平；（3）視頻學習材料6份，陳述性知識視頻3份（無字幕、全字幕和概要字幕），主題為“行星的旅行”，程序性知識視頻也為3份，主題為“Excel軟件的高級操作技巧”；（4）學習效果測試材料2份，分別用于測試學習者學習兩種知識類型視頻的學習數量和學習質量。

6 實驗過程

（1）被試填寫基本信息問卷，測試先前知識；（2）主試引導被試坐在距離眼動儀60cm的椅子上，引導被試放松心情；（3）進行眼動定標，呈現實驗指導語，被試開始學習第一份視頻學習材料；（4）被試完成第一份學習效果測試題目；（5）被試開始學習第二份視頻學習材料，視頻播放完畢將自動退出實驗程序；（6）被試完成第二份學習效果測試題目。

四 數據分析

1 學習效果分析

對被試的學習效果進行統計（兩種知識類型測試的總分均為60分），分別記錄每個被試兩項測試的保持測試成績和遷移測試成績，如表1所示。

表1 不同實驗組的得分情況（M±SD）

（1）主效應和交互作用分析

表1表明，不同的字幕設計方式在不同的知識類型下，保持測試成績和遷移測試成績的差異也不盡相同。對各組的保持測試成績和遷移測試成績進行重復測量多因素方差分析（GLM重復度量），結果顯示：對于保持測試成績兩因素的交互作用顯著（F=4.351，p=0.019<0.05），而對于遷移測試成績則是知識類型的主效應顯著（F=9.387，p=0.004<0.05）。

（2）組間差異分析

為確定相同知識類型下不同字幕設計方式對學習者學習效果的影響是否顯著，分別對兩種知識類型視頻三組的保持測試成績和遷移測試成績進行Oneway方差分析，結果如表2所示。

表2 兩種知識類型的學習效果組間差異分析結果

使用LSD法對組間差異顯著的陳述性知識視頻的兩項成績進行事后多重比較發現：保持測試成績中，無字幕組和全字幕組之間差異顯著（p=0.011<0.05），無字幕組和概要字幕組之間差異不顯著（p=0.302>0.05），全字幕組和概要字幕組之間差異也不顯著（p=0.112>0.05）；遷移測試成績中，無字幕組和概要字幕組之間差異顯著（p=0.020<0.05），無字幕組和全字幕組之間差異不顯著（p=0.474>0.05），概要字幕組和全字幕組之間差異也不顯著（p=0.099>0.05）。

2 眼動指標分析

為更好地分析學習者對字幕和視頻的注視情況，將各組所用的6份視頻實驗材料分別劃分成兩個興趣區[11]：視頻區和字幕區。之后，分別將各組視頻區和字幕區的總注視次數、總注視時間和平均注視點持續時間等三項眼動指標導出，如表3所示[12]。

表3 各組視頻區和字幕區的眼動指標（M±SD）

（1）主效應和交互作用分析

各項眼動指標的重復測量多因素方差分析的結果表明，對于字幕區的總注視次數、總注視時間和平均注視點持續時間均是字幕設計的主效應顯著（F=15.826，p=0.000<0.01；F=6.028，p=0.005<0.01；F=6.136，p=0.005<0.01），對于視頻區的總注視次數則是知識類型主效應顯著（F=5.386，p=0.025<0.05），對于兩區的各項眼動指標兩因素的交互作用均不顯著。

（2）組間差異分析

分別對陳述性知識視頻和程序性知識視頻三組的各項眼動指標進行Oneway方差分析，確定相同知識類型下的不同字幕設計對學習者的各項眼動指標影響是否顯著，結果如表4所示。

表4 兩種知識類型的各項眼動指標組間差異分析結果

對差異顯著的各項眼動指標進行事后多重比較，進一步了解三組之間的差異情況：

①字幕區的總注視次數：陳述性知識視頻、程序性知識視頻的無字幕組和全字幕組之間差異都極其顯著（p=0.000<0.01，p=0.000<0.01），無字幕組與概要字幕組之間差異都不顯著（p=0.058>0.05，p=0.252>0.05），陳述性知識視頻的概要字幕組與全字幕組之間差異不顯著（p=0.071>0.05），程序性知識視頻的概要字幕組與全字幕組之間差異極其顯著（p=0.001<0.01）。

②字幕區的平均注視點持續時間：兩種知識類型視頻的規律一致，均是無字幕組和全字幕組之間差異顯著（p=0.048<0.05，p=0.004<0.01），概要字幕組與全字幕組之間差異不顯著（p=0.519>0.05，p=0.163>0.05），無字幕組與概要字幕組之間差異不顯著（p=0.172>0.05，p=0.112>0.05）。

③字幕區的總注視時間：兩種知識類型視頻的規律也一致，均是無字幕組和全字幕組之間差異顯著（p=0.008<0.01，p=0.014<0.05），無字幕組與概要字幕組之間差異不顯著（p=0.193>0.05， p=0.552>0.05），全字幕組與概要字幕組之間差異不顯著（p=0.154>0.05，p=0.057>0.05）；陳述性知識視頻的視頻區平均注視點持續時間：無字幕組和全字幕組之間差異顯著（p=0.013<0.05），概要字幕組與全字幕組之間差異不顯著（p=0.361>0.05），無字幕組與概要字幕組之間差異不顯著（p=0.103>0.05）；陳述性知識視頻的視頻區總注視時間：無字幕組和全字幕組之間差異極其顯著（p=0.002<0.01），無字幕組與概要字幕組之間差異顯著（p=0.043<0.05），全字幕組與概要字幕組之間差異不顯著（p=0.200>0.05）。

3 注視熱點

陳述性知識類型下不同字幕設計組學習者的注視熱點存在明顯不同，如圖1所示。圖1表明，無字幕組的學習者的注視熱點集中于視頻區，以視頻信息加工為主；全字幕組的學習者的注視熱點分布于字幕區和視頻區，甚至字幕區吸引了學習者更多的注意力；概要字幕組的學習者的注視熱點仍主要集中于視頻區，字幕區同樣也吸引了學習者的注意力；學習者以視頻信息加工為主、文字信息加工為輔，進行陳述性的學習。

圖1 陳述性知識視頻注視熱點（從左至右依次為無字幕、全字幕、概要字幕）

程序性知識類型下不同字幕設計組學習者的注視熱點也存在明顯不同，如圖2所示。圖2表明，無字幕組的學習者的注視熱點集中于視頻區，以視頻信息加工為主；全字幕組的學習者的視頻區注視熱點減少，字幕區注視熱點增加，字幕區分散了學習者對視頻區的注意力；概要字幕組的學習者的視頻區注視熱點最為集中，字幕區也適當地吸引了學習者的注意力；學習者以視頻信息加工為主、文本信息加工為輔，進行程序性知識的學習。

圖2 程序性知識視頻注視熱點（從左至右依次為無字幕、全字幕、概要字幕）

五 討論

1 字幕設計對學習者學習效果的影響

不同的字幕設計在不同的知識類型之下對學習者保持測試成績的影響是不同的——當知識類型為陳述性知識時，學習者更傾向于從字幕獲取知識，與解說詞一致的全字幕幫助學習者記住了最多的學習內容；而當知識類型為程序性知識時，過多的字幕對學習者的知識識記起到了干擾作用，全字幕組取得了最差的保持測試成績。

不同的字幕設計在不同的知識類型之下對學習者遷移測試成績的影響也是不同的，兩種知識類型視頻均是概要字幕組的學習者的學習質量最好。對于陳述性知識來講，學習者通過全字幕的視頻進行學習，取得了更好的學習質量。而對于程序性知識來講，視頻中過多的字幕對學習者的學習產生了干擾和阻礙，文本量最多的全字幕組學習者的學習質量最差。

2 字幕設計對學習者眼動指標的影響

兩種知識類型的視頻區和字幕區的總注視時間與總注視次數的變化趨勢是一致的。視頻區和字幕區總注視時間與總注視次數的差異情況證實了視頻中的字幕文本有效吸引了學習者的注意力，增加了學習者對文本信息的加工時間，同時也減少了學習者對視頻信息的加工時間。

兩種知識類型的視頻區和字幕區平均注視點持續時間均是從無字幕組、概要字幕組至全字幕組依次減少。從實驗結果可以看出，隨著視頻中文本量的不斷增加，學習者的注意力需要在視頻和文本之間不斷切換，因此無論是視頻區還是字幕區的平均注視點持續時間都在減少。

3 學習效果和眼動指標的聯系

陳述性知識視頻中，三組學習者的學習數量與字幕區的眼動指標正向相關，即視頻中字幕的文本量越多，學習者對字幕區的總注視次數越多，總的注視時間越長，其保持測試成績越高。概要字幕組的學習質量最高，另外兩組的學習質量與字幕區的眼動指標正向相關。

程序性知識視頻中，概要字幕組學習者的視覺注意力分配得更為均衡，這種視頻和字幕恰當結合的方式幫助學習者取得了更多的學習數量和更好的學習質量。另外兩組學習者的學習效果與視頻區眼動指標正向相關。

六 結論與展望

對于陳述性知識來講，應該為視頻配上字幕，與解說詞一致的全字幕能幫助學習者獲得更多的學習數量，當講解到重難點知識時才出現的概要性字幕則會幫助學習者取得更好的學習質量；對于程序性知識來講，應該為視頻配上概要性字幕，概要性字幕能幫助學習者取得更多的學習數量和更好的學習質量，同時應該避免添加全字幕，因為會對學習者的學習產生干擾作用。

通過眼動實驗結論總結出的網絡教學視頻字幕的設計規則在不同的知識類型下也是不同的，這也更有力地證明了網絡多媒體情境下的學習會受到多種因素的綜合交互影響。需要說明的是，由于時間、人力和物力所限，實驗中的被試僅限于本校隨機抽取的45名在校大學生。因此，在后續研究中要充分考慮實驗被試對研究結論的影響，選取不同性別、多年齡層次、不同認知風格等多類型的被試，提高研究結論的可推廣性。另外，實驗結論還需通過大規模的教學實踐予以進一步的檢驗。

[1]Siemens G.Massive open online courses:Innovation in education[M].Athabasca:Athabasca University Press,2013:22-36.

[2]沈夏林.周躍良.論開放課程視頻的學習交互設計[J].電化教育研究,2012,(2):84-87.

[3]王志軍,王雪.多媒體畫面語言學理論體系的構建研究[J].中國電化教育,2015,(7):42-48.

[4]王健,郝銀華,盧吉龍.教學視頻呈現方式對自主學習效果的實驗研究[J].電化教育研究,2014,(3):93-99.

[5]韋洪濤.學習心理學[M].北京:化學工業出版社,2011:47-48.

[6]楊玉東.陳述性知識與程序性知識的教學策略[J].天津師范大學學報(基礎教育版),2010,(3):18-21.

[7](美)邁耶著.牛勇,丘香譯.多媒體學習[M].北京:商務印書館,2006:172-181.

[8]Mayer R E,Jaekson J.The case for coherence in scientific explanations:Quantitative details can hurt qualitative understanding[J].Journal of Experimental Psychology:Applied,2005,(1):13-18.

[9]康誠,周愛保.信息呈現方式與學習者的個性特征對多媒體學習環境下學習效果的影響[J].心理發展與教育,2009,(1):83-91.

[10]Hyona J.The use of eye movements in the study of multimedia learning[J].Learning and Instruction,2010,(2):172-176.

[11]閆國利,熊建萍,臧傳麗,等.閱讀研究中的主要眼動指標評述[J].心理科學進展,2013,(4):589-605.

[12]段朝輝,顏志強,王福興,等.動畫呈現速度對多媒體學習效果影響的眼動研究[J].心理發展與教育,2013,(1):46-53.

The Eye Movement Study on the Design of Subtitles in Network Teaching Videos

WANG Xue WANG Zhi-jun HOU An-zhe
（School of Education,Tianjin Normal University,Tianjin,China 300387)

There are three forms of subtitles in the network teaching videos,which are no subtitles,complete subtitles and summary subtitles.During the study process of two knowledge types of,that were declarative and procedural,network teaching video which employed three forms of subtitles,the visual cognation of 45 college students involved in this study,who were randomly divided into 3 groups,was instantaneously recorded by eye tracker and their learning effects were measured.The results shown that:(1) For the declarative knowledge video,the complete subtitles can help learners obtain the most learning quantity which was positively related to the eye movement index of subtitle region,the summary subtitles could help learners obtain the best learning quality.(2) For the procedural knowledge video,the summary subtitles could help learners acquire the most learning quantity and the best learning quality,the learning effects of the other two subtitle groups were positively related to the eye movement index of video region.

teaching videos; subtitle; eye movements; knowledge type; learning effects

小西

G40-057

A 【論文編號】1009—8097（2016）02—0045—07

10.3969/j.issn.1009-8097.2016.02.007

本文為天津市哲學社會科學規劃項目“多媒體畫面語言學促進優質信息化教育資源發展和應用研究”（項目編號：TJJX15-022）的階段性研究成果。

王雪，實驗師，博士，研究方向為多媒體學習、數字教育媒體、網絡教育、實驗技術，郵箱為9241938@qq.com。

2015年8月2日