基于SETT框架的無障礙字幕教學視頻研究與實現

冉若曦，李晗靜，呂會華

（1.北京聯合大學北京市信息服務工程重點實驗室，北京 100101；2.北京聯合大學特殊教育學院，北京 100075）

基于SETT框架的無障礙字幕教學視頻研究與實現

冉若曦1，李晗靜2，呂會華2

（1.北京聯合大學北京市信息服務工程重點實驗室，北京 100101；2.北京聯合大學特殊教育學院，北京 100075）

字幕作為視頻中視覺和聽覺的橋梁，對聾人視頻學習有著重要的研究意義，研究采用SETT框架匹配聾人閱讀字幕輔助技術，再以中文分詞的技術方式，完成無障礙字幕視頻的開發。對無障礙字幕進行行為測試，顯示聾人觀看帶有無障礙字幕的視頻答題平均得分高于普通字幕2.17分，對提高聾人字幕閱讀能力效果顯著。

無障礙字幕；中文分詞；聾人

0 前言

教學視頻是將教師要傳授給學生的知識、技能等內容制作成視頻形式，以輔助現代化多媒體教學。教學視頻能夠幫助老師更加生動、形象地展現出在課堂上無法實際操作的內容，同時又真實地記錄了教學內容，方便學習者能夠隨時隨地反復學習，是現代化教學中必不可少的重要輔助工具。［1］而在教學視頻中，聾人因聽覺與語言方面的限制，接受不到音頻信息，只能通過字幕文本來獲取視頻中的信息，所以字幕在聾人視頻學習中扮演著重要角色。但是，聾人大學生在文字閱讀方面與健聽人有很大的差距。Hyde研究發現，聾生對理解文字題沒有任何信心，傾向于尋找問題中的關鍵詞語，按照關鍵詞語的提示解答問題，從而導致許多錯誤。［2］聾生解答數學文字題存在元認知水平低下、解決問題時速度過快、過于沖動、缺少全面的思考和反思等困難。這是Mousley等人1998年發布的研究結果。［3］于素紅發現，聾生不能建構正確問題模型的原因，不是由于缺少邏輯-數學知識，而是由于閱讀方式無規律，文字語義理解能力薄弱。［4］張寧生等人在2004年提出，對聾人使用一定的閱讀輔助方法可以提高聾人的閱讀效率。［5］因此，一套適用于輔助聾人閱讀的字幕形式，在聾人視頻學習中將有重要的研究意義。本研究基于這樣的一個事實，提出了短語級別的中文分詞對字幕進行改造的方案，改造完成的字幕在本研究中被稱為無障礙字幕，本研究所提出的無障礙字幕主要針對聾人在視頻觀看中字幕閱讀的問題，目的是通過對字幕的改造，達到提高聾人閱讀字幕文本能力的效果。

在本研究中，無障礙字幕的生成首先是通過基于SETT框架對聾人閱讀的需求做出分析，匹配合理的輔助技術，之后，在假設該方案可以提高聾人對字幕文本信息獲取能力的前提下進行試驗，并對結果進行分析，結果表明，基于短語級別的無障礙字幕主效應顯著，可以對聾人閱讀字幕信息的獲取起到一定的輔助作用。

1 基于SETT的聾生視頻課堂需求分析

SETT框架，即學生（Student）—環境（Environment）—任務（Task）—工具（Tool），可用于評定輔助技術適配。SETT框架認為，學生輔助技術評定適配的影響因素由學生（Student）、環境（Environment）、任務（Task）與工具（Tool）4要素組成。［6］應用該模式進行聾人字幕閱讀輔助技術適配，首先要搜集聾人信息、學生所處的教學環境及其必須完成任務方面的信息，然后在對這些信息分析的基礎上識別問題，明確聾人的特點和需要，最后將學生的特點、需要與潛在的輔助技術適配。［7］

本課題選取18名聾人大學生進行調查分析。根據SETT框架理論，對聾人大學生程序設計課堂進行輔助技術評定時，需要搜集背景信息、識別問題和明確聾人大學生的特點和需要，將聾人大學生的特點和需要與潛在的可用的輔助技術相匹配，形成輔助技術解決方案。

1.1 被試背景信息

本課題通過問卷調查法收集信息，調查對象為本科聾人大學生，信息如下：共18人，10男8女，年齡在20～24歲之間，對視頻教學都有一定的學習經驗。14人佩戴助聽器，0人有電子耳蝸，調查者的聽力等級全部在70分貝以上。

在環境信息收集過程中，根據SETT框架，該部分信息的收集主要通過觀察法，在觀察過程中，需要明確被觀察對象在環境中正在做什么，需要做些什么，以及被觀察者在完成任務的時候借助了哪些工具。為此，作者與聾人同學一并參與聾人課堂活動，并對聾人視頻進行了長久的觀察分析，最終的觀察結果如下：聾人在觀看視頻教學的過程中，首先會選取有字幕的視頻進行觀看；其次，在播放器選擇方面，不同的聾人會選擇相同或不同的播放器，即聾人在該方面沒有特殊的需求，同時，聾人在視頻觀看中，往往容易分心，很難長時間堅持，作者對這一現象進行調查詢問，得到的結果很多原因都是很難通過字幕完全了解視頻授課內容，最終導致放棄；聾人在觀看視頻教學時所處的環境對聾人的觀看并不會起到太大的影響，因為聽力的缺失，無論是在教室還是在實驗室，聾人在看視頻時都不會被周圍嘈雜的環境所影響。

1.2 明確聾大學生的特點和需要

在SETT框架中，一般需要對以下問題進行識別研究：（一）被調查者的文本理解能力水平高低？被調查者需要做什么？他們有什么障礙或困難需求；（二）在當前的環境中有哪些資源可以利用來解決這些問題；（三）為了解決當前困難和障礙，有哪些問題需要解決？本課題采用調查問卷和專家小組討論兩種方式來明確聾人大學生的特點和需要。

調查問卷用來明確聾人在閱讀字幕時的需求。調查問卷根據聾生對理解文字題傾向于尋找問題中的關鍵詞語，解決文字存在元認知水平低下，閱讀方式無規律，文字語義理解能力薄弱等問題設計，主要以選擇題的方式給出，涉及聾人在閱讀字幕時是否存在斷句困難、專有名詞難以理解、字幕速度過快等問題。

在專家小組討論的過程中，本研究邀請了從事特殊教育事業研究的多位教授、教師、多名聾人大學生以及從事信息無障礙輔助技術研究的研究生一同組成專家小組，對聾人字幕閱讀的需求以及調查問卷的調查結果進行深入探討。本研究將設計涉及的調查問題以及對問題的具體描述如表1所示。

表1 聾生閱讀字幕時的需求Table 1 Video watching needs for hearing impaired student

1.3 輔助方案的適配分析

為了找出適當的輔助技術方案，應該將之前分析的聾人需求羅列出來，并將這些需求轉化成為輔助技術中的技術特征。在SETT中，提供了一種工具以供將聾人的困難、需求和能力相適配，這種工具叫做《SETT框架：工具選擇》，本研究利用該工具中的工具識別表來對聾人需求進行適配，具體的適配過程如表2所示。

表2 《SETT框架：工具選擇》Table 2 SETT scaffold tool selection

根據表2的適配結果，本研究將針對聾人在閱讀字幕文本時存在的問題設計相應的輔助方案。

2 無障礙字幕教學視頻的設計方案

根據之前的調查分析，本研究給出了字幕文本的韻律切分、字幕文本的專有名詞標注、字幕文本中韻律信息中的重音詞標注、播放速度調整、字幕文本字體規范等技術為核心的設計方案，具體的設計開發實現流程如圖1所示。

本研究中，首先對視頻教學課堂的視頻進行了采集，視頻采集過程由專業的視頻拍攝公司協助，采集結束后對字幕信息進行提取，字幕文本以句為單位，每句作為一行，進行處理。

字幕文本采集結束后，先對字幕文本分詞，再對字幕進行人工處理，主要的目的是處理成為以詞為單位的句子，詞之間用空格進行劃分。同時，在字幕文本處理的過程中，將含有重音信息的字幕文本用紅色進行標注。之后將處理好的字幕文本合成到視頻文件中，字幕文本在視頻中的位置為下邊框，居中。最后導出視頻文件。完成的無障礙字幕教學視頻效果如圖2所示。

3 無障礙字幕教學視頻的應用試驗

3.1 被試

本課題參照聾人研究中被試的選取標準［8］，使用《瑞文標準推理測驗》篩選工具對被試進行篩選，被試選取標準為：除聽覺障礙外，沒有其他障礙；失聰年齡在3歲及3歲以前（語言發展之前）；聽力損傷在70分貝以上，視力或矯正視力正常。經過篩選，選取聾人大學生共18人參與測試，其中10男8女，年齡在21～25歲之間。被試的具體信息如圖3所示。

3.2 材料

測試中選取3段視頻教學資料，該3段教學視頻資料為計算機思維本科課程視頻，皆為被試者的必修課程。在視頻資料內容的選取中，采用專家小組的形式篩選，專家小組包括從事特殊教育事業的教授、教師、研究生以及聾人大學生3名，以確保所選視頻資料內容對于聾人大學生是可以讀懂的。然后將這3段視頻資料分別進行字幕處理，處理成為兩段字幕不同的視頻資料，一個為普通字幕的視頻資料，一個為無障礙字幕視頻資料，處理結束后，將有6段視頻資料，其中視頻資料的具體信息如表3所示。

表3 實驗材料詳情Table 3 The details of test materials

同時，對視頻內容編寫相關的問答題，共3套，每套題有10道關于對應視頻的問題，均為4選1的選擇題，在實驗中，每人將答2套試題，答題量為20題。針對本研究的內容，還有一份調查問卷，問卷主要針對聾人在觀看無障礙字幕時的主觀感覺進行調查，內容包括：你覺得觀看帶有無障礙字幕的視頻是否對你的理解有所幫助；你覺得無障礙字幕的優點有哪些；對無障礙字幕還有哪些意見等，其中，選擇題3題，主觀題2題，一共5題。

3.3 實驗過程

本次測試采取同一個被試觀看不同字幕的視頻資料后，回答問題的正確率來驗證無障礙字幕與普通字幕是否存在顯著差異。在測試中，針對每一個被試，首先，在3段視頻中隨機抽取兩段視頻作為本次測試的資料；然后，再進行一次隨機選擇，以確定抽取到的兩段視頻資料中哪一段作為無障礙字幕視頻來測試，兩段視頻的觀看順序也將在此次隨機選擇中決定；之后，被試根據抽取的情況分別觀看視頻，觀看結束后等待10分鐘，再進行問題回答；最后，填寫調查問卷，即最后的實驗統計量為18 ×6×10×5。

4 結果與分析

實驗結束后，對被試的答題成績進行了統計，如圖4所示。

對實驗得到的成績數據進行統計分析，分析過程使用SPSS 19.0軟件，得到被試在觀看兩種不同字幕后答題成績的均值（M）以及標準差（SD），以及統計結果的主效應顯著性，結果如表4所示。

方差分析表明，在聾人觀看無障礙字幕視頻時的主效應顯著，F=14.29，P=0.001＜0.05，說明聾人在觀看兩種不同字幕的視頻時，對視頻信息的了解具有明顯的差異。

表4 普通和無障礙字幕視頻觀看后統計分析結果Table 4 Results of statics analysis data

同時，在針對聾人主觀調查問卷中，認為無障礙字幕在理解、關鍵詞和記憶方面對自身有效的結果如圖5所示，可見有大部分的被試認為無障礙字幕在幫助自己定位關鍵詞和記憶視頻內容方面有著很好的作用。

從以上的實驗結果中可以看出，無障礙字幕教學視頻從一定程度上可以提高聾人觀看視頻時的效果，不過，這部分還需要設計更為詳細、更為長久的教學實驗來論證其有效性。總體來看，無障礙字幕教學視頻是符合聾人需求的，具有重要的研究意義。

5 結束語

隨著字幕需求的不斷增加，字幕的研究還應該再進一步深入。同時，研究者對字幕的呈現方式引起的認知功能的關注還很少，針對不同閱讀能力以及不同障礙的人群，如何讓字幕更好地幫助聾人理解視頻內容，從而起到視頻無障礙的建設也是未來急需解決的問題。同時，針對字幕研究多模態話語的認知機制，試圖找到最有效的方法匹配“閱讀”和“聽力”，這一點對于聾人閱讀觀看視頻也是非常重要的。字幕應用在聾人閱讀領域的研究，應該是全納教育的一部分。本研究基于這些事實，對字幕文本進行改造并進行論證，在今后還將集中在無障礙字幕生成的自動化程度，以及無障礙字幕對聾人記憶和理解方面的效果進行進一步研究。

［1］陳長勝.基于視頻的課堂教學策略研究［D］.武漢：華中師范大學，2011.

［2］Hyde M，Bergen R Z，Power D.Deaf and hard of hearing students：performance on arithmetic word problems［J］.American Annals of The Deaf，2003，148（l）：56-64.

［3］Mousley K，Kelly R R.Problem-solving strategies for teaching mathematics to deaf students［J］.American Annals of the Deaf，1999，143（4）：325-336.

［4］于素紅.聾生解決加減文字題的認知研究［D］.上海：華東師范大學，2007.

［5］張寧生，黃麗嬌，David S M，等.認知策略教學對聾人學習者的影響［J］.心理科學，2004（1）：193-197.

［6］Zabala J S.SETT Scaffolds［EB/OL］.［2016-03-01］.http：//www.joyzabala.com/Documents.html.

［7］鄭儉.在特殊教育個別化教育計劃中納入輔助技術：基于SETT框架［J］.中國康復理論與實踐，2013，19（5）：421-425.

［8］喬靜芝，張蘭蘭，閆國利.聾人與健聽大學生漢語閱讀知覺廣度的比較研究［J］.應用心理學，2011（3）：249-258，264.

（責任編輯 李亞青）

Research and Implementation for Teaching Video with Accessibility Subtitle Based on SETT for Hearing Impaired Students

RAN Ruo-xi1，LI Han-jing2，LV Hui-hua2
（1.Information Service Engineering Key Laboratory of Beijing，Beijing Union University，Beijing 100101，China；2.Special Education College of Beijing Union University，Beijing 100075，China）

As a bridge between visual and auditory，subtitle study has a significance meaning for hearing impaired people video studying.Used the SETT framework to analyze the needs of subtitles in the Chinese for hearing impaired students during video teaching，and then put forward the accessibility subtitle based on Chinese word segmentation.After verified the accessibility subtitle effect，the test results show that the hearing impaired students who watch the video with accessibility subtitle have an average of 2.17 higher in scores than who watch video with common subtitles.It means that the accessibility subtitle has positive effect for hearing impaired students in subtitles reading.

Accessibility subtitle；Chinese word segmentation；Hearing impaired

G 762

A

1005-0310（2016）03-0088-05

10.16255/j.cnki.ldxbz.2016.03.016

2016-03-23

北京市屬高等學校高層次人才引進與培養計劃項目（IDHT201304073，IDHT20130513），北京市教委課題（SQKM20141417002），2014年北京教育科學規劃重點課題（AD1412），教育人文社會科學研究規劃基金資助項目（14YJC740104）。

冉若曦（1989-），男，甘肅平涼人，北京聯合大學碩士研究生，研究方向為信息無障礙輔助技術。E-mail：397740156@qq.com