信息技術(shù)輔助下醫(yī)療對話口譯中的注視分析

張繼飛，袁小陸

(西安郵電大學(xué) 人文與外國語學(xué)院，陜西 西安 710121)

醫(yī)療口譯作為社區(qū)口譯的分支，通常是在對話的交際過程中發(fā)生，亦即譯員需要在異語雙方面對面的互動交際中雙向傳譯對方的對話[1]。最早出現(xiàn)于20世紀(jì)八九十年代西方的公共服務(wù)社區(qū)[2]，此后逐漸得到國外組織機(jī)構(gòu)和學(xué)術(shù)界的關(guān)注。對會話研究[3]和譯員身份[4]的已有研究推動著醫(yī)療口譯的社會性探索，言語和非言語信息正是社會人際交互過程中的重要信息，而醫(yī)療口譯員準(zhǔn)確傳遞這些信息可以保證醫(yī)患之間的有效溝通。

國外很早便開始關(guān)注醫(yī)患之間的非言語信息交流，研究主要討論的是無譯員協(xié)助下醫(yī)患交流中一些肢體動作的指代含義[5-7]，較少關(guān)注注視在交際過程中發(fā)揮的作用。注視作為社交互動的組成部分，是一項(xiàng)很重要的非言語提示，人類可以從注視中推斷出他人的意圖[8]。在國內(nèi)，因受限于醫(yī)療口譯市場和語料的收集和研究進(jìn)度遠(yuǎn)落后于國外[9]，已有的研究主要是對口譯成果的分析，包括身份探討、策略應(yīng)用等[10-12]，對過程研究較少，鮮有注視在醫(yī)療對話口譯中的研究。

信息技術(shù)的發(fā)展使得口譯過程研究成為可能。針對上述不足，為了更好地促進(jìn)醫(yī)患之間的交流，擬利用多模態(tài)分析軟件ELAN，全面展示如何借助軟件分析醫(yī)療對話口譯過程中的言語和以注視為主的非言語信息，拓展未來值得繼續(xù)研究的方向。

1 基本問題描述

1.1 技術(shù)輔助下的口譯研究

數(shù)字化技術(shù)的革新打破了純言語單模態(tài)研究的束縛，多模態(tài)分析軟件ELAN近年備受廣大研究者青睞。口譯方面，我國仍處于起步階段，相關(guān)研究甚少，劉劍和胡開寶討論了如何用多模態(tài)分析軟件ELAN建口譯語料庫[13]，楊柳燕嘗試將該軟件應(yīng)用在口譯筆記研究中[14]，劉劍和陳水平借助ELAN研究了同傳中語音拖長現(xiàn)象[15]，但是至今還沒有應(yīng)用到對話口譯。

1.2 口譯中的注視

多模態(tài)口譯涉及多方面的信息，注視便是其中之一。如前所述，注視在口譯中的變化是認(rèn)知變化的表現(xiàn)。認(rèn)知負(fù)荷一旦發(fā)生改變，譯員就會表現(xiàn)出眼神移動和動作轉(zhuǎn)變等[16]。關(guān)于對話口譯中的注視研究，Mason認(rèn)為注視可以表示跟蹤話輪、表示理解或不解[17]，Vranjes等借用眼動追蹤儀研究了校園咨詢情景下注視對回應(yīng)的影響[18]，但是仍缺少醫(yī)療對話口譯情景下的注視研究。

1.3 技術(shù)輔助下的醫(yī)療對話口譯研究

通過傳統(tǒng)觀察法，Health和Rowbotham等已經(jīng)說明了各類肢體動作等非言語信息在醫(yī)患交際中的重要性[5-7]。在現(xiàn)代技術(shù)輔助下，Gerwing和Li用ELAN軟件進(jìn)一步探究了肢體動作在醫(yī)療對話口譯過程中發(fā)揮的作用，經(jīng)分析發(fā)現(xiàn)，肢體動作確實(shí)可以被視作理解譯員譯文的窗口[19]。遺憾的是，兩位學(xué)者也沒有借助軟件進(jìn)一步開展注視研究。

綜上所述，借助多模態(tài)分析軟件ELAN開展口譯過程研究，以一次基于譯員輔助的醫(yī)療會診錄像為例，展示在醫(yī)療口譯過程中，如何利用軟件研究非言語信息——注視在醫(yī)療口譯中的作用。選取的探索問題包括譯員加醫(yī)患三方在溝通過程中呈現(xiàn)的注視轉(zhuǎn)移模式以及三方表現(xiàn)的注視特征。

2 數(shù)據(jù)處理與方法

2.1 數(shù)據(jù)來源

研究材料節(jié)選自2017年譯員為語言不通的外方醫(yī)生和本地患者提供口譯服務(wù)的一段視頻錄像。視頻中的參與者包括一位經(jīng)過醫(yī)學(xué)口筆譯專業(yè)訓(xùn)練的譯員，一位來自德國的獲博士學(xué)位的外科專家，資深醫(yī)師，還有一位中國本土患者，完全不懂英文，講的是方言，因此，其旁邊還有一位本地負(fù)責(zé)他病情的主治醫(yī)師。考慮錄像制約，此醫(yī)生作為實(shí)驗(yàn)條件出現(xiàn)，而非實(shí)驗(yàn)對象。醫(yī)患雙方溝通的內(nèi)容主要是簡單的病情咨詢和初步診斷，總時長258 s。

2.2 研究方法

2.2.1 研究工具

ELAN是一款多由荷蘭Max-Planck開發(fā)的多模態(tài)建庫工具，其可以用來分層標(biāo)注、轉(zhuǎn)寫、切割視頻或音頻文件里的內(nèi)容。ELAN在操作上十分便捷，相比其他軟件具備以下幾個顯著的優(yōu)勢：時間刻度精準(zhǔn)到了毫秒，提升了時間指標(biāo)的精確度；層與層之間可以是相互獨(dú)立、并列和嵌入的關(guān)系；具有強(qiáng)大的檢索功能，也就是說研究人員可以快速地查找或替換之前標(biāo)注的內(nèi)容。此外，ELAN作為一款多模態(tài)語料庫分析軟件，可以被用來標(biāo)注多維度信息，包括言語文本信息、非言語信息如注視和肢體動作及音頻信息如音高等。考慮醫(yī)療對話口譯中既有言語信息，又有非言語信息的傳遞，這一優(yōu)勢可以發(fā)揮在醫(yī)療對話口譯的研究當(dāng)中，借助ELAN這一信息技術(shù)，醫(yī)療對話口譯可以從不同的視角研究。

2.2.2 數(shù)據(jù)導(dǎo)入

首先，將存儲視頻另存為.mov格式，借助其他軟件將視頻另存為.wav格式的音頻。其次，將另存的視頻與音頻一起導(dǎo)入ELAN軟件，如圖1所示。

圖1 標(biāo)注界面展示

2.2.3 數(shù)據(jù)處理

視頻的標(biāo)注與分層，關(guān)于用ELAN做視頻標(biāo)注，有學(xué)者提出用于對話口譯分析的多模態(tài)資源應(yīng)該包括文字文本信息、語音特點(diǎn)信息、視覺符號如注視和動作等及語境信息如特定文化等[20]。該研究內(nèi)容主要在于言語文本與注視分析之間的內(nèi)在聯(lián)系，針對研究內(nèi)容進(jìn)行了5層標(biāo)記，分別命名為源語(Source Language,SL)，目的語(Target Language,TL)，譯員注視(Interpreter’s Gaze)，外方醫(yī)生注視(Foreign Doctor’s Gaze)，患者注視(Patient’s Gaze)。值得說明的是，考慮真實(shí)場景因素，此次醫(yī)療對話口譯中還有一位中方醫(yī)生參與，因此，注視標(biāo)注與分析中也將中方醫(yī)生納入了分析。為了方便標(biāo)注，縮略詞“INT”表示譯員，“FD”表示外方醫(yī)生，“PT”表示患者，“DD”表示國內(nèi)醫(yī)生。在源語和目的語層，按照實(shí)際內(nèi)容標(biāo)注，凡是發(fā)言人或譯員產(chǎn)出的都會被記錄，以音頻軌道中有連續(xù)發(fā)音軌跡的內(nèi)容為一個單位，發(fā)言中間出現(xiàn)停頓未發(fā)言，則不標(biāo)記，如外方醫(yī)生說“Is there something if he...”，接著停頓了幾秒，繼續(xù)說后續(xù)內(nèi)容，這種情況前后內(nèi)容不能被標(biāo)注到一起，需留出空白。在參與者的注視層，按照實(shí)際眼神交流情況標(biāo)注，眼神轉(zhuǎn)移一次為一個單位，標(biāo)注命名則借鑒前人做法[19]，包含3層信息：一是注視序列號；二是注視發(fā)起者與指向?qū)ο螅蝗锹犝l或向誰說時發(fā)起的注視，對于溝通過程中存在的特殊注視點(diǎn)則會單獨(dú)備注，如標(biāo)注信息“Gaze6:INT-PT[Speaking to PT]”指的是第6次注視轉(zhuǎn)移、譯員在看患者、譯員正在對著患者講話。

2.2.4 數(shù)據(jù)導(dǎo)出與篩選

標(biāo)注完畢后，再檢查一遍，確保信息沒有標(biāo)注錯誤，利用ELAN自帶的統(tǒng)計(jì)功能，將標(biāo)好的數(shù)據(jù)按照分層類別輸出另存為.csv格式，借助Excel整理統(tǒng)計(jì)。

為進(jìn)一步研究三方交流過程中特殊注視點(diǎn)所發(fā)生的情景，借助Matlab進(jìn)行了非言語信息與言語信息的關(guān)聯(lián)檢查篩選，程序分為以下6個步驟，如圖2(a)所示。

步驟1讀取通過ELAN所獲取的“注釋.xlsx”文件中的所有數(shù)據(jù)，并將其中的數(shù)據(jù)保存為數(shù)字矩陣，文本保存為cell矩陣。

步驟2對獲取的數(shù)據(jù)進(jìn)行篩選，剔除數(shù)據(jù)矩陣中的非數(shù)字部分，刪除cell矩陣中的無關(guān)信息。

步驟3根據(jù)“注釋.xlsx”文件中所標(biāo)注的特殊注視點(diǎn)，篩選出特殊注視所在的時段，生成醫(yī)患與譯員三方特殊注視時間矩陣。

步驟4令文本時間為t，特殊注釋時間為t′，設(shè)置選擇參數(shù)a，通過a對特殊注釋與文本進(jìn)行匹配，具體匹配機(jī)制為|t-t′|

步驟5通過歷遍步驟4中所生成的數(shù)字矩陣生成一個僅包含“0”與“1”的cell矩陣，并在歷遍完成后與步驟1中所獲取的文本cell矩陣合并。

步驟6將所獲得的cell矩陣按照“外方醫(yī)生/譯員/患者特殊注視-源語/目的語”分別保存在“結(jié)果.xlsx”文件中。

圖2 操作流程示意圖

需要特殊說明的是，選擇參數(shù)a對于特殊注視點(diǎn)與文本的匹配至關(guān)重要。選取過小的a會導(dǎo)致部分時延較長的特殊注視點(diǎn)沒有文本與之匹配，過大的a則會導(dǎo)致出現(xiàn)文本數(shù)量多于特殊注視點(diǎn)數(shù)量。為了確保程序的準(zhǔn)確性，通過編寫Matlab程序?qū)的大小進(jìn)行選擇，具體步驟如圖2(b)所示。

步驟1從選擇程序中獲取生成患者特殊注視時間矩陣與譯員特殊注視時間矩陣。

步驟2設(shè)置循環(huán)體，a的大小為0.1～3，步長為0.01。在循環(huán)體內(nèi)對特殊注視時間與文本進(jìn)行匹配，具體匹配機(jī)制為|t-t′|

步驟3對匹配結(jié)果進(jìn)行分析，選取出特殊注視點(diǎn)沒有遺漏，且文本數(shù)量最接近特殊注視點(diǎn)時的a。

3 應(yīng)用結(jié)果與分析

3.1 注視轉(zhuǎn)移分析

根據(jù)標(biāo)注的注視信息，統(tǒng)計(jì)得出譯員加醫(yī)患三方溝通過程中表現(xiàn)的注視轉(zhuǎn)移情況，具體數(shù)據(jù)如表1所示。

表1 注視轉(zhuǎn)移次數(shù)與時長統(tǒng)計(jì)

由表1可以看出，在這次有譯員協(xié)助的醫(yī)患溝通中，譯員、外方醫(yī)生和患者三方之間表現(xiàn)的注視轉(zhuǎn)移即眼神交流促成了三方的交流，不過譯員轉(zhuǎn)移次數(shù)(64)明顯多于醫(yī)生(38)和患者(22)。此外，標(biāo)注還發(fā)現(xiàn)，三方均有溝通時將注意力轉(zhuǎn)移到其他方向的情況，特別是外方醫(yī)生與譯員。

通過進(jìn)一步分析發(fā)現(xiàn)，三方追視國內(nèi)醫(yī)生是因?yàn)榻涣鬟^程中，國內(nèi)醫(yī)生偶爾參與了對話，而譯員和外方醫(yī)生將視線轉(zhuǎn)移到別處，觀察發(fā)現(xiàn)，是他們在作為指定聽者或發(fā)言者[21]時大腦處理信息的一種表現(xiàn)。從數(shù)據(jù)看，譯員將注意力轉(zhuǎn)移到別處的次數(shù)和時間分別為16次和39.849 s，明顯多于醫(yī)患雙方的次數(shù)和時間，這點(diǎn)或許說明了譯員在工作時付出了更多的認(rèn)知負(fù)荷。

從注視時長維度看，譯員與外方醫(yī)生的交流時間最久，譯員在外方醫(yī)生身上注視的時間為122.056 s，要遠(yuǎn)大于其他人員。ELAN轉(zhuǎn)寫統(tǒng)計(jì)得譯員輸出共273個詞。其中，對外方譯員說的有120個詞，約占44%；外方醫(yī)生注視譯員最久，其次注視點(diǎn)在中方醫(yī)生身上，注視發(fā)生是在中方醫(yī)生解釋病情的時候，盡管中外方醫(yī)生語言不通，但適當(dāng)?shù)闹w動作有助于外方醫(yī)生理解，因此，外方醫(yī)生會看中方醫(yī)生。考慮患者和譯員都是同一母語，患者則將更多的注視放在了譯員身上，更容易建立關(guān)系，使其融入醫(yī)患對話中，有助于傳遞信息。

3.2 特殊注視點(diǎn)分析

除了正常交流過程中交流雙方的眼神交流，還存在其他形式的特殊注視形式。借助ELAN標(biāo)注軟件和Matlab獲得并篩選信息，具體分析結(jié)果如下。

3.2.1 譯員特殊注視點(diǎn)

Elan軟件標(biāo)記后，譯員在不同對象身上的注視次數(shù)與時長統(tǒng)計(jì)如表2所示。

表2 譯員在不同對象身上的注視次數(shù)與時長統(tǒng)計(jì)

由表2可以看出，較為顯著的數(shù)據(jù)是譯員在與外方醫(yī)生或中方醫(yī)生交互時，無論是作為指定聽者還是發(fā)言者，他的注視點(diǎn)除了停留在了醫(yī)生身上之外，還有數(shù)次是在患者身上。其中，與外方醫(yī)生溝通時，向患者累計(jì)注視7次；與中方醫(yī)生溝通時，向患者注視累計(jì)9次。這也成了譯員視角下的代表性注視特征，通過Matlab對這些特殊注視點(diǎn)信息與對應(yīng)的言語篩選后，得出譯員視角下具有代表性的注視轉(zhuǎn)移變化，如圖3所示。

圖3 譯員視角下的注視轉(zhuǎn)移變化

圖3中譯員在與外方醫(yī)生溝通時(注視17)，時不時關(guān)注患者(注視18)，然后又將視線轉(zhuǎn)向醫(yī)生(注視19)。研究發(fā)現(xiàn)，譯員無論是作為指定聽者或發(fā)言者，注視轉(zhuǎn)移到患者身上都是在醫(yī)生提及到患者的時候發(fā)生，譯員這種注視行為實(shí)際上是在將患者納入溝通框架中，實(shí)現(xiàn)了以患者為中心[22]的目標(biāo)。譯員注視轉(zhuǎn)移到別處，據(jù)譯員回溯，是大腦在加工聽到的信息和解讀記下的內(nèi)容時的一種表現(xiàn)。這類注視累計(jì)17次，平均每次注視時長不超過2.3 s，這個數(shù)據(jù)能否證明譯員多任務(wù)處理能力仍有待進(jìn)一步驗(yàn)證。

3.2.2 外方醫(yī)生特殊注視點(diǎn)

Elan軟件標(biāo)記后，外方醫(yī)生注視次數(shù)與時長統(tǒng)計(jì)如表3所示。

表3 外方醫(yī)生注視次數(shù)與時長統(tǒng)計(jì)

從表3可以看出，外方醫(yī)生向譯員(15次，139 s)、中方醫(yī)生和別處(16次，92.777 s)注視轉(zhuǎn)移的次數(shù)和時長明顯要高于向患者注視(10次，18.377 s)。患者在這次交流中發(fā)言的次數(shù)非常少，發(fā)言字?jǐn)?shù)總計(jì)為22字，不包含兩次模糊不清的表達(dá)，因此，導(dǎo)致外方醫(yī)生缺少對患者的關(guān)注。不過，外方醫(yī)生在解釋患者病情時，其注視表現(xiàn)出了不一樣的特征，通過Matlab對這些特殊注視點(diǎn)信息與對應(yīng)的言語篩選后，得出外方醫(yī)生視角下具有代表性的注視轉(zhuǎn)移變化如圖4所示。

圖4 外方醫(yī)生視角下的注視轉(zhuǎn)移變化

由圖4可知，外方醫(yī)生在經(jīng)過簡單問診后，向譯員解釋患者可能存在的病灶(注視34)，解釋過程中還伴有一些肢體動作，外方醫(yī)生在這時將注視同時轉(zhuǎn)移到了中方醫(yī)生，期待對方明白(注視35)，解釋結(jié)束后譯員開始翻譯，外方醫(yī)生先看了譯員，之后又看向中方醫(yī)生(注視38)，嘗試通過觀察對方反應(yīng)確認(rèn)是否明白。外方醫(yī)生的這種注視特征實(shí)際上屬于言語和視覺信息的分離確認(rèn)[23]。

3.2.3 患者特殊注視點(diǎn)

Elan軟件標(biāo)記后，患者注視次數(shù)與時長統(tǒng)計(jì)如表4所示。 表4直觀地展示了患者的注視情況，患者在譯員和醫(yī)生甚至其他地方的注視分布存在顯著差異。患者在譯員身上停留的次數(shù)遠(yuǎn)超于其他人，總共25次注視轉(zhuǎn)移，僅占在譯員身上的注視次數(shù)的56%。根據(jù)觀察，可能是患者在溝通中處于劣勢地位，無法與外方醫(yī)生溝通，因此，更加依賴和其是同一母語的譯員。通過Matlab對這些特殊注視點(diǎn)信息與對應(yīng)的言語篩選后，可看出患者對譯員的依賴性，代表性案例如圖5所示。

表4 患者注視次數(shù)與時長統(tǒng)計(jì)

圖5 患者視角下的注視轉(zhuǎn)移變化

圖5顯示的是患者的第5次注視，一直停在譯員身上，剛開始是中方醫(yī)生代替其主訴，陳述時患者看著譯員尋找補(bǔ)充機(jī)會，期間譯員在記錄信息，并給予了患者注視反饋(注視5)。于是，患者進(jìn)行了病情補(bǔ)充(注視6)，隨后譯員開始向外方醫(yī)生翻譯，此時患者的注視仍在譯員方向(注視7)。這個案例充分地證明了當(dāng)患者處于溝通不利的地位時，更加傾向?qū)⒆⒁朁c(diǎn)停在同一母語者身上，期待被關(guān)注給予表達(dá)機(jī)會，因此，醫(yī)療口譯中對譯員、對患者的關(guān)注都是十分重要的。

4 討論與結(jié)語

醫(yī)療對話口譯是一項(xiàng)集醫(yī)患會話和交替?zhèn)髯g于一體的跨學(xué)科研究課題。在信息技術(shù)的輔助下，利用多模態(tài)分析軟件ELAN獲得數(shù)據(jù)，然后通過Matlab篩選所需數(shù)據(jù)，全面展示了如何開展醫(yī)療口譯過程中的注視研究，多項(xiàng)數(shù)據(jù)均顯示有不同的發(fā)現(xiàn)。整體而言，個案注視分析驗(yàn)證了Brne和Oben在Eye-trackinginInteraction一書中所說的，注視在面對面交流中發(fā)揮著重要的作用[24]。具體而言，案例中三方的注視變化特征帶來的啟示包括以下幾個方面：第一，譯員視角下注視患者和其他地方的特征表明以患者為中心的理念在醫(yī)患交際中是必不可少的，同時譯員在注視方面表現(xiàn)的認(rèn)知特征值得關(guān)注；第二，醫(yī)生視角下形成的相互確認(rèn)和分離確認(rèn)等特征表明非言語信息在人際交互過程中的重要性；第三，患者視角下對同一母語者的依賴性、等待被加入交流框架的特征表明給予患者表達(dá)機(jī)會在醫(yī)療口譯交際中非常關(guān)鍵。

當(dāng)然不可否認(rèn)的是，此個案研究存在樣本量少，口譯場景中干擾因素多等不足，希望借助信息技術(shù)對醫(yī)療對話口譯中的注視模式與特征進(jìn)行分析，進(jìn)而引起學(xué)界對醫(yī)療口譯中非言語信息的關(guān)注和研究。伴隨著信息技術(shù)的廣泛應(yīng)用，對話口譯過程研究的方向包括以下幾個方面：首先，大量醫(yī)療對話口譯語料庫在各種編程軟件輔助下，其言語與非言語信息之間的關(guān)聯(lián)度特征會被深度挖掘；其次，注視研究只提供了表象數(shù)據(jù)，前沿技術(shù)應(yīng)用眼動結(jié)合腦成像等方法或能揭秘更多醫(yī)療對話多方大腦內(nèi)部的秘密；再次，虛擬仿真人際交互設(shè)計(jì)[25]與非言語信息理論研究相結(jié)合將實(shí)現(xiàn)信息傳遞效度的最大提升；最后，交互注視與視覺場景模型[26]的交叉研究或?qū)⑼苿右曈X輔助下的人工智能翻譯機(jī)器人的研發(fā)。