面孔表情識別眼動模式的影響因素*

劉昕旸 許茜如 梁騰飛 葉超雄，，5**

（1.四川師范大學腦與心理科學研究院，成都 610066；2.于韋斯屈萊大學心理學系，于韋斯屈萊，芬蘭 40014；3.奧盧大學機器視覺和信號分析中心，奧盧，芬蘭 90014；4.遼寧師范大學腦與認知神經科學研究中心，大連 116029；5.坦佩雷大學社會科學學院，坦佩雷，芬蘭 33100）

1 引言

面孔是一種復雜而又普遍的視覺刺激。作為面孔加工專家（Young& Burton，2018），我們能從一張簡單的面孔圖片中提取出身份、性別、種族、表情等多種信息（楊青，閆國利，2013）。在這些信息中，表情包含了與面孔對象相關的情緒信息。能否快速、準確地識別面孔表情對個體的社會交往具有重要意義（Gambarota&Sessa，2019）。

大部分表情識別研究都基于一個極具影響力的基本情緒理論（Ekman，Sorenson，& Friesen，1969），該理論認為存在六種基本情緒——快樂、厭惡、恐懼、憤怒、悲傷、驚訝；這些基本情緒被認為是進化與社會適應的產物，在人類社會中普遍存在。盡管基本情緒有普遍的可識別性，個體對不同情緒的外在表現——表情卻存在不同的感覺、注意和記憶加工機制（許茜如，何蔚祺，葉超雄，羅文波，2019；Curby，Smith，Moerel，& Dyson，2019；Lee & Cho，2019；Spotorno，Evans，& Jackson，2018；Xu et al.，2018；Xu et al.，2021）。

個體在識別不同面孔表情時表現出穩定、可識別且具有差異化的眼動模式（Bate，Haslam，& Hodgson，2009）。眼動模式，也被稱作視覺掃描模式（visual scanning patterns），指個體在加工視覺刺激時注視點的運動軌跡及其時空特征（Le Meur et al.，2017）。在個體加工面孔表情的過程中，眼動模式反映了個體通過眼神交流以及信息搜索完成對表情相關特征信息的整合過程，整合的信息則為后續的表情識別提供了必要的感知覺信息（Barabanschikov，2015；Rigato&Farroni，2013），進而幫助個體正確有效地識別表情。通過探究個體加工不同表情時眼動模式的差異性，研究者能夠更深入地探究哪些因素會影響，以及如何影響個體對情緒面孔的加工。雖然對于面孔表情識別的眼動追蹤研究已經成為當前視覺研究的熱點之一，但目前尚未見文獻針對面孔表情識別的眼動模式及其影響因素進行系統性的整理和總結。基于此，本文將對現有面孔表情識別眼動追蹤的相關研究進行梳理與歸納。綜合已有研究結果，本文擬將面孔表情識別眼動模式的影響因素歸為三類（面孔構形影響、認知影響以及情緒識別障礙影響），并對每種影響因素的作用及其可能的產生機制進行闡釋和分析。最后，基于現有研究的局限性，本文將對相關實驗范式提出改進建議，探討未來研究的可行性方向，為未來更深入地考察面孔情緒信息的加工機制提供參考。

2 面孔構形因素對眼動模式的影響

情緒面孔構形指的是在面孔特征組織的基礎上，使一種表情區別于其他表情的細微面孔特征以及這些特征之間的內在聯系（Calder，Young，Keane，&Dean，2000）。細微面孔特征表現為情緒面孔各個部分不同的形態。每種表情都有其獨特的細微面孔特征（Calvo&Marrero，2009）。如典型的快樂面孔包含上唇與面頰的上抬和眼瞼的收縮下垂（Kohler et al.，2004）。這些細微面孔特征之間又存在不同的位置和距離關系（如眼睛和嘴巴的相對位置），從而形成能夠被相互區分的面孔構形（Calder et al.，2000）。研究者們正是通過檢驗各種面孔特征對不同表情識別正確率的影響，探索了不同表情的面孔特征區（Dunlap，1927）。然而，由于刺激材料、實驗設置和技術手段等的差異，這些研究獲得的結果往往存在爭議（Plouffe-Demers，Fiset，Saumure，Duncan，&Blais，2019）。下文將對已有研究一致與矛盾的結果分別進行論述。

2.1 面孔構形對表情面孔特征區的影響

前人研究結果顯示，多種基本表情中只有快樂存在穩定而一致的面孔特征區——嘴巴，它在不同研究采用的各種指標中都是最顯著的面孔特征（Bodenschatz，Kersting，& Suslow，2019；Guerin-Dugue et al.，2018；Scheller，Büchel，Christian，&Gamer，2012）。研究還表明，嘴巴在快樂面孔的識別中不僅貢獻顯著，而且幾乎不受面孔構形變化的影響。例如，Calvo等人（2018）通過錄像放映的方式向被試呈現由中性變化至不同表情的動態情緒面孔，要求被試在六個迫選項中進行按鍵反應，并在情緒面孔動態展現的過程中記錄被試的眼動模式。結果發現對于快樂面孔，相較于其他面孔特征區，被試更可能首次注視嘴巴；注視點落入嘴巴的可能性更大，對嘴巴的總注視時間更長，落入嘴巴的注視點數量更多。有研究者認為快樂面孔中微笑的嘴巴具有顯著性和獨特性，這兩種屬性可以削弱或消除視覺干擾從而保證個體對快樂的準確識別（Calvo，Fernandez-Martin，&Nummenmaa，2014）。

表1 不同表情面孔特征區研究匯總（彩圖見網絡版）六種基本表情的面孔特征區（2007-2019）

盡管以往研究較一致地支持快樂存在穩定的面孔特征區，但其他基本表情（厭惡、悲傷、憤怒、恐懼和驚訝）的面孔特征區則存在爭議。本文將存在一致和矛盾發現的13篇相關研究的結果與結論匯總統一在表1中。其中，厭惡表情面孔構形對眼動模式的影響主要由情緒強度的變化引起。在低情緒強度下，個體注視厭惡面孔嘴巴的次數更多；但隨著情緒強度增加，被試對厭惡面孔的鼻子（Vaidya，Jin，& Fellows，2014）以及上唇（Schurgin et al.，2014）的注視增多。情緒強度并不影響注視點在悲傷面孔的分布狀況（Schurgin et al.，2014），但面孔的錯置顯著影響了個體對悲傷面孔的識別（Bombari et al.，2013）。有研究者認為悲傷表情可能沒有明顯的面孔特征區，個體主要依靠特征之間的相互關系識別悲傷（Bombari et al.，2013），但也有證據表明個體在識別悲傷時表現出對眼睛的偏好（Beaudry，Roy-Charland，Perron，Cormier，&Tapp，2014；Eisenbarth & Alpers，2011；Wells，Gillespie，&Rotshtein，2016）。對憤怒面孔識別具有貢獻的特征區主要是眼睛，但也有研究發現被試對憤怒面孔鼻子的注視時間更長（Bombari et al.，2013）。而對于恐懼面孔，其特征區的爭議主要集中在眼睛和嘴巴這兩個區域。大部分研究支持眼睛作為恐懼面孔的特征區（Bodenschatz et al.，2019；Martin-Key，Graf，Adams，&Fairchild，2017）。但也有研究發現嘴巴對恐懼面孔的識別貢獻率很大（Bombari et al.，2013；Eisenbarth& Alpers，2011）。另外，有行為研究發現當面孔被模糊化或錯置時，憤怒和恐懼的識別準確率下降（Bombari et al.，2013）。驚訝面孔同時受情緒強度和表情動態呈現的影響，其面孔特征區存在較大的不確定性（Calvo et al.，2018；Guerin-Dugue et al.，2018；Martin-Key et al.，2017）。

總體而言，大部分前人研究支持了面孔構形是影響眼動模式的重要因素。有研究者認為，眼睛和嘴巴可能是表情識別中最重要的面孔特征區（Wegrzyn，Vogt，Kireclioglu，Schneider，&Kissler，2017）。然而，也有研究發現除眼睛和嘴巴以外的面孔區域也存在不同程度的重要性（Bombari et al.，2013）。這可能與具體表情的特點，刺激材料的選擇與控制，以及興趣區的設置有關。例如，厭惡表情的特征主要表現在面孔下部，有研究顯示，除嘴巴外，鼻子也會獲得同等甚至更多的注視，特別是隨著情緒強度的增加，鼻子的突顯性也會增強（Bombari et al.，2013）。但在以往研究中，通常只設置了嘴巴和眼睛這兩個興趣區，卻忽略了鼻子這一可能的面孔特征區（Wells，Gillespie，&Rotshtein，2016）。通過標準化地設置興趣區，謹慎地選擇情緒面孔材料，我們可以更準確地考察面孔構形本身對表情識別眼動模式的影響。而對于這些方面的考慮，可以幫助我們對前人研究看似矛盾的結果作出更合理的解釋。

3 認知因素對眼動模式的影響

面孔表情識別的眼動模式除了受面孔構形這種刺激驅動因素的影響外，還會受到個體的目標、經驗、策略等認知因素的制約，這些認知因素往往是以自上而下的方式影響眼動模式。

個體的目標會使他們在視覺加工過程中對與任務相關的信息產生注視偏好，并根據任務要求改變眼動模式（Malcolm，Lanyon，Fugard，& Barton，2008）。Schurgin等人（2014）將情緒面孔和中性面孔在任務中混合隨機呈現，發現被試在識別情緒面孔和中性面孔時表現出類似的眼動模式，這說明被試的眼動模式可能受到任務設置的影響，個體會以加工情緒面孔的方式對中性面孔進行加工并試圖從中獲得情緒信息。此外，用于衡量嬰幼兒認知發展狀況的心理理論（theory of mind）研究也支持了認知因素對眼動模式自上而下的影響。例如，Poulin-Dubois等人（2018）研究了幼兒對實驗者在不同場景（有無誘發實驗者產生悲傷情緒的事件）中面孔表情的注視差異。發現在悲傷性事件發生前幼兒對情緒面孔和場景中其他事物的注視時間沒有差異，但在看到悲傷性事件后對悲傷表情的注視時間顯著長于對場景中其他事物的注視時間，說明幼兒可能運用了心理理論來理解他人的表情，并據此改變自己的眼動模式。另外，Chaby等人（2017）發現年輕人在進行表情識別時對面孔上下部分有同等的關注，而老年人則會表現出對面孔下部的顯著偏好，研究者推斷這種眼動模式的差異可能是由于老年人使用了與年輕人不同的信息加工策略所導致的。除此以外，個體的動機也是影響眼動模式的重要認知因素。調節定向理論（Regulatory Focus Theory；Higgins，1997）是一個經典的動機理論。該理論認為人們在實現目標的過程中會采用兩種基本的自我調節模式-促進定向（promotion focus）和預防定向（prevention focus），前者與積極進取相關，后者與避免失敗相關。Sassenrath等人（2014）通過讓被試回憶并寫出過去經歷中成功或失敗的情境，進而誘發他們的促進定向或預防定向。之后被試需要完成面孔表情識別任務，并同時記錄被試的眼動模式。結果發現，與預防定向相比，促進定向條件下被試的表情識別表現更好；并且促進定向與表情識別表現的正相關受更短的面孔注視時間調節。該研究說明當個體采取促進定向模式時，他們努力地想要正確識別表情，并表現出一種急切（eager strategy）的注意分配模式。

以上研究結果表明認知因素會對面孔表情識別的眼動模式產生影響。個體在識別表情時受動機傾向影響，并且可以根據任務要求靈活地運用自身的經驗與知識，使用不同的眼動模式策略以獲得更精確有效的信息。

4 情緒識別障礙因素對眼動模式的影響

面孔構形因素反映了面孔表情作為客觀刺激對眼動模式的影響，認知因素反映了個體的知識、經驗等主觀方面對眼動模式的影響。除此之外，因精神或神經性疾病導致的情緒識別障礙也可能會影響個體加工情緒面孔時的眼動模式。

4.1 情緒識別障礙群體眼動模式的差異

精神障礙群體存在情緒識別困難獲得了大量實證研究證據的支持（如：精神分裂癥，Fernandes，Caj?o，Lopes，Jerónimo，&Barahona-Corrêa，2018；注意缺陷/多動癥，Borhani & Nejati，2018；孤獨癥，馬偉娜，朱宿蓓，謝宇，2015等），這些群體的眼動模式通常也異于健康人群（如：孤獨癥，Black et al.，2017；社交焦慮障礙，Claudino，de Lima，de Assis，&Torro，2019；抑郁癥，Suslow，Hu?lack，Kersting，& Bodenschatz，2020；精神分裂癥，Hubble et al.，2017）。盡管精神障礙類型不同，這些群體卻顯示出某些共同的異常特征。其中最顯著的特征包括眼動軌跡的無規律性、對情緒面孔尤其是消極面孔總體注視次數和注視時間的減少以及對傳統面孔特征區的缺乏關注。這些異常特征廣泛表現在各類精神障礙中（如：精神分 裂 癥，Asgharpour，Tehrani-Doost，Ahmadi，& Moshki，2015；抑郁癥，Figueiredo，Campos，Ripka，&Ulbricht，2018；社會焦慮障礙，Lazarov，Ben-Zion，Shamai，Pine，&Bar-Haim，2018；孤獨癥，Reisinger et al.，2020；孤獨癥反例見Greene，Suess，&Kelly，2020）。許多研究表明精神障礙患者對面孔特征區的注視減少并非被動反應，而是主動的注視回避（Dargis，Wolf，& Koenigs，2018；Reichenberger，Pfaller，& Mühlberger，2020；反例參見Matsuda，Minagawa，&Yamamoto，2015）。另外，精神障礙患者異常眼動模式的另一特點是對威脅性面孔的注意偏離（Green et al.，2003a，2003b；Lazarov et al.，2019）。而這一特點可能與不同精神障礙群體的特質密切相關（Dargis et al.，2018）。如有研究發現精神分裂癥患者對威脅性情緒面孔（如憤怒）有注視回避傾向（Asgharpour et al.，2015），這種回避傾向可能與精神分裂癥患者的妄想特質有關（Green et al.，2003a）。而邊緣型人格障礙患者中攻擊性更高的個體傾向于更快速地掃視威脅性面孔（Bertsch et al.，2017）。精神障礙群體的眼動模式不但受到疾病的影響而表現出某種異常，這種異常還會隨疾病與障礙的發展狀況或病程的不同階段發生變化（Li et al.，2016a；Purcell et al.，2018；Vazquez et al.，2018）。這些結果反映了疾病的痊愈或減輕可能伴隨著眼動模式的正常化，但這種正常化未必具有普遍性，因不同疾病痊愈導致的眼動模式的正常化程度也可能存在差異。

有神經性疾病或其他腦損傷的患者群體和精神障礙群體的眼動模式存在一定的相似性。腦損傷患者群體在識別面孔表情時往往表現出不規律的異常眼動模式（Fide et al.，2019），對相應面孔特征區的注視減少或消失，而這些異常表現可能與相關腦區的受損有關。研究者發現枕顳區域受損的面孔失認癥患者在各種表情的識別過程中大部分的注視點都落在情緒面孔的嘴部，卻不能主動加工眼睛區域的信息，甚至在被要求注視情緒面孔的眼睛時也表現出注視困難，因而無法正確識別以眼睛為主要面孔特征的表情（Fiset et al.，2017）。中風患者也表現出對情緒面孔眼睛的注視次數和注視時間的減少（Maza，Moliner，Ferri，&Llorens，2020），他們表情識別能力的下降與右側杏仁核以及腦島的損傷密切相關（Tippett et al.，2018）。輕度認知受損的帕金森癥患者傾向于注視情緒面孔的中間部分，而對情緒面孔嘴部的注視時間顯著短于正常人。研究者認為基底神經節，邊緣系統和前紋狀體通路可能是帕金森癥患者加工消極情緒面孔時產生異常眼動模式的潛在腦機制（Waldthaler et al.，2019）。然而，這些腦區在表情加工中的實際功能目前尚不清晰，不同類型腦損傷患者的大腦中是否有共同的情緒加工腦區損傷或是特異性損傷仍需要進一步研究的驗證。

5 小結與展望

面孔表情的識別加工是非常復雜的過程，受到諸多因素的影響。面孔構形的變化，個體的知識、經驗與目的都會使人們加工面孔表情時的眼動模式產生不同的偏向與特點。而精神障礙或腦損傷則會導致眼動模式發生根本性的畸變，且這種畸變與不同疾病的特質和病程都有一定關聯。然而，目前關于面孔表情識別的眼動模式研究仍存在一些問題，這些研究的結果在實踐與臨床上的應用前景尚未得到應有的重視，下文將對這些問題和可能性依次進行小結和展望。

5.1 情緒面孔特征區的提取

研究者應該區分穩定的面孔特征和隨面孔構形變化而改變的動態面孔特征。穩定的面孔特征不受情緒面孔呈現條件（例如靜態呈現和動態呈現）的影響，具有恒定性。前人研究得到的情緒面孔特征區（快樂面孔除外）普遍存在很大的差異性，導致這種差異性的一個重要原因可能是由于以往研究者只是簡單計算了不同面孔區域的注視 比 率（Khan，Meyer，Konik，& Bouakaz，2019）。然而注視比率是一種變異性很大的參數，在不同試次，不同任務條件以及不同個體間都存在較大的變異性，僅比較不同面孔特征的注視比率很難得到穩定的面孔特征區。為解決這一問題，Vaidya等人（2014）利用圖形的空間頻率開發出一種情緒面孔識別模型，并根據這個模型得到了不同面孔特征在表情識別中的權重，進而得到相應特征在表情識別中的貢獻率。動態情緒面孔的特征區提取是表情識別眼動研究需要關注的另一個重要方面。研究中發現面孔的倒置，錯置，失真，運動以及情緒強度的改變都會使情緒面孔的特征和/或特征之間的關系發生變化。此外，現實生活中人們接觸到的主要是動態表情，而動態表情的面孔特征存在高度的變異性，其所需的提取和追蹤技術相較靜態表情也有所差異。目前已有研究者開發出具有較高信效度的“中國大學生動態情緒面孔庫”（劉俊材等，2021），未來的研究可以利用該數據庫提供的情緒面孔素材，并致力于開發能夠追蹤動態面孔特征的技術，從而更加全面地把握表情的面孔特征。

5.2 對刺激驅動因素與目標驅動因素的控制

面孔表情識別的眼動模式是刺激驅動因素與目標驅動因素相互作用的產物。除表情本身的刺激屬性外（如面孔構形），人們加工表情時的目標與策略也會影響注視點在主要面孔區域的分布狀況。但是目前表情識別領域中常用的范式（如迫選識別范式）往往難以將刺激驅動因素與目標驅動因素區分開來，研究者無法確定個體在識別表情時的眼動模式除了受面孔情緒內容影響外，是否還受到個體自身經驗或者任務目標產生的自上而下的調控。因此需要更為合適的范式對刺激驅動因素與目標驅動因素加以分離，并研究兩者的交互作用。在涉及刺激驅動因素和目標驅動因素的表情識別任務中，研究者可以通過將一種因素保持恒定，同時對另一種因素進行控制，以達到分離兩種因素的效果。例如，采用不同比例混合的面孔身份和表情刺激（如在一張情緒面孔中，以不同比例混合不同身份或不同情緒的面孔）。有研究者通過操縱不同的指導語和刺激混合形式將刺激因素（面孔的構成形式）與認知因素（實驗任務）進行區分，并發現相較于刺激因素，認知因素更大地影響了眼動模式（Malcolm et al.，2008）。然而，在面孔表情識別研究中仍沒有形成標準的范式將刺激驅動因素與目標驅動因素進行控制和分離，且相關的眼動追蹤研究也還比較缺乏。因此，未來面孔表情識別眼動追蹤的研究在設計實驗時，應當注意對于刺激驅動因素和目標驅動因素的控制，在將這兩種因素進行分離的前提下，分別考察這兩種因素對眼動模式的影響。

5.3 面孔表情識別眼動模式在臨床診斷中的應用

異常眼動模式在情緒識別障礙群體中廣泛存在，并且比行為指標具有更大的穩定性和可靠性，是一種有潛力的心理生理指標（Marsh&Williams，2006）。研究表明情緒識別障礙群體面孔表情識別行為表現的改善可能只是某些特定疾病的外在表現（Bernaerts，Boets，Bosmans，Steyaert，&Alaerts，2020），而無法真正反映病程狀況（Hubble et al.，2017）。相反地，面孔表情識別的眼動模式則能夠更可靠地反映不同疾病與面孔表情加工相關的內在特征（Li et al.，2020；McCade et al.，2018）。因此，眼動模式作為臨床診斷輔助性指標可能具有更高的有效性和生態效度。綜上，未來研究需要進一步驗證情緒識別障礙人群中面孔表情識別異常眼動模式的特性和共性，并對其病程不同階段的眼動模式進行比較分析，明確眼動模式與病程變化的內在聯系，最終將眼動追蹤技術推廣應用于對相關疾病的臨床診斷和治療中。