多身份追蹤中基于表情特征的分組效應*

雷寰宇 魏柳青 呂 創 張學民,2,3 閆曉倩,4

(1北京師范大學心理學院, 應用實驗心理北京市重點實驗室, 北京 100875)

(2北京師范大學認知神經科學與學習國家重點實驗室, IDG/McGovern腦科學研究所, 北京 100875)

(3腦與學習協同創新中心, 北京 100875) (4約克大學心理學院, 約克 YO10 5DD)

1 前言

1.1 多身份追蹤中的分組表征

Pylyshyn和Storm (1988)最早提出了多目標追蹤, 并發現觀察者能夠追蹤的目標個數為 4～5個,正確率可以達到85%～95% (Pylyshyn, 2004, 2006;Yantis, 1992)。而日常生活中的物體都有其獨特的身份特征, 為了更接近真實場景中的視覺追蹤任務,Oksama和 Hy?n? (2004, 2008)提出了多身份追蹤(Multiple Identity Tracking, 簡稱MIT)范式。在MIT任務中, 主要考察多身份追蹤中目標方位與身份識別的認知機制。以往研究關注多目標追蹤中身份識別的容量、效率以及影響因素等, 研究者提出了一系列理論假設和解釋。Yantis (1992)采用7個實驗驗證了多目標追蹤中存在虛擬多邊形的知覺分組現象, 觀察者會對對象的身份特征進行自動化分組加工。研究者采用眼動技術發現, 觀察者更多地注視由目標組成的虛擬多邊形的中心, 而較少注視單個目標, 即采用了質心加工模式(Centroid strategy or Center looking strategy, Fehd & Seiffert, 2008;Zelinsky & Neider, 2008)的策略。眼動的相關研究支持了Yantis的分組假設, 證明知覺分組是多目標追蹤中保證追蹤效率的主要策略之一。

在多目標追蹤任務中, 盡管對象的表面特征完全一樣, 但觀察者仍可以通過目標的運動方位表征提高追蹤成績, 即存在基于空間的分組表征(Location-based Grouping; Yantis, 1992)。在多身份追蹤任務中, 視覺對象是帶有身份信息的, 在知覺上也可能會形成一種整體性, 進而有可能進行基于客體的分組表征(Object-based Grouping)。在Yantis知覺分組假設基礎上, 研究者關注不同因素對于知覺分組的影響。研究發現, 相同的運動軌跡可能成為目標和非目標分組的線索(Suganuma & Yokosawa,2006)。Makovski和Jiang (2009)發現觀察者在多身份追蹤中可以利用追蹤對象的顏色身份信息分組來提高追蹤成績。Howe和Holcombe (2012)采用復合特征的對象, 非目標只具備目標的部分特征, 研究發現觀察者對于目標的追蹤成績顯著提高。Feria(2012)的實驗發現目標與非目標特征相同時追蹤成績低于目標與非目標完全不同的條件, 觀察者在追蹤中可以根據特定的身份信息將非目標與目標分離, 并表現出目標分組效應。Erlikhman, Keane,Mettler, Horowitz和 Kellman (2013)通過一系列實驗研究, 對刺激物的 8個簡單特征(顏色、黑白極性、朝向、大小、形狀、立體深度、插補虛擬輪廓、組合特征(形狀、顏色與大小的組合))進行了分析。研究發現除了朝向和輪廓外, 其余特征均表現出目標分組的促進作用; 而在顏色、大小、形狀、及其組合、輪廓特征下, 表現出了目標非目標配對的干擾作用(追蹤正確率下降15%及以上)。上述系列研究證據支持了多目標追蹤和多身份追蹤中的知覺分組效應。

綜合以上研究, 多身份追蹤中目標與非目標知覺特征(顏色、大小、形狀、組合等)的分組效應是確實存在的, 并且這種知覺分組效應在某種程度上是自動化的。上述系列研究中的多身份追蹤中目標的知覺分組效應也證明了知覺分組假設的合理性,Yantis (1992)的知覺分組假設認為, 在知覺特征上相同的目標更容易在追蹤過程中被知覺為一個整體, 從而提高多身份追蹤的效率。除上述目標的知覺特征, 人們在現實生活中需要處理大量的生態化視覺信息, 如交通工具、各類生活用品、家用電器、建筑物、各種標志、各類動物和植物、面孔和表情等有生命和無生命的客觀對象等, 這些對象不僅僅是具有基本的物理特征或表面知覺屬性, 有些對象具有一定的生物屬性和社會屬性, 同時具有語義和概念層面的意義, 并構成人們知識和經驗的重要組成部分。關于多身份追蹤的范疇性分組效應得到了研究的證實, 如白田、呂創、魏柳青、周義斌和張學民(2015)以數字和字母為多身份追蹤范疇性材料,通過操縱目標與非目標身份的范疇一致性和差異性探討多身份追蹤的范疇分組效應, 研究表明：目標與非目標身份特征的范疇內和范疇間差異都顯著促進了追蹤表現。這說明目標身份一致性及其與非目標的差異有助于被試采用多身份追蹤的分組策略。

本研究擬采用人們生活中常見的面孔表情信息作為生態化的實驗材料, 考查面孔表情加工的分組效應。Ren, Chen, Liu和Fu (2009)關注多身份追蹤中面孔信息的加工, 研究者認為多面孔追蹤的研究對于理解和分析社會交互很有必要, 而這種加工不同于多目標追蹤機制。Oksama和 Hy?n? (2008)比較了熟悉和合成的面孔對于追蹤表現的影響, 發現熟悉的面孔更加容易追蹤。表面物理特征可以分組的依據是對象知覺特征的歸類, 而范疇性分組是基于概念范疇的語義層面的歸類, 是更為高級的概念層面的認知加工問題。具有相同或相近的語義信息的對象可能會歸為一類, 這是基于概念范疇的分組假設(魏柳青, 張學民, 2014)。面孔和表情是具有生物性和社會屬性的生態化視覺信息, 其代表的含義不僅僅是知覺層面的, 同時還表達了人們的生物性信息和社會性的情感信息。不同面孔表情(如積極、中性、消極等)表達不同的社會性信息, 對人們的認知判斷會產生一定的影響。人們在現實生活中也經常面對各類復雜情境的不同性質的面孔表情特征, 真實情境中面孔表情的表達會直接影響觀察者的情緒情感以及判斷和決策。那么人們面對不同面孔表情信息時會如何對表情信息進行加工和分類, 并做出基本的判斷呢？本研究擬采用多身份追蹤范式, 面孔表情作為實驗材料, 考察面孔中表情因素在多身份追蹤中是否存在分類加工和分組效應, 如果存在分組效應, 那么分組效應表現出哪些規律與特點？由于面孔表情具有的生物性和社會性的特點, 因此, 本研究采用多身份追蹤任務的同時, 需要考慮到面孔本身加工過程中的一些基本的規律、特點及其影響因素。關于面孔表情加工的研究主要包括面孔的構成及其對表情加工的影響, 已有相關研究總結如下：

1.2 面孔加工的特點及其不對稱性的相關研究

以往面孔表情的基礎研究發現, 面孔表達情緒信息的重要部位是眉毛、眼睛和嘴巴。Fox, Lester,Russo, Bowles, Pichler和Dutton (2000)的研究中采用具有眉毛、眼睛、鼻子和嘴巴的簡圖面孔發現在搜索時存在不對稱性。研究發現, 只采用嘴巴為刺激時沒有產生面孔搜索不對稱性, 表明面孔整體表情的重要性。Weymar, L?w, ?hman 和 Hamm (2011)分析了當面孔輪廓中只有眉毛和眼睛時, 負性面孔刺激的搜索快于正性刺激; 輪廓中只有眉毛特征為刺激的任務不存在搜索差異。該研究結果表明負性情緒(threat)可能是通過眼睛區域而不是眉毛表達的。而Larson, Aronoff和Stearns (2007)研究發現眉毛區域(V型)可以傳達一種威脅性信息, 這種符號在視覺搜索時也會表現出優勢效應。研究者發現搜索優勢只存在于完整的面孔加工中(Baron-Cohen,Wheelwright, & Jolliff, 1997; Weymar et al., 2011)。Baron-Cohen等人(1997)的研究顯示, 在對基本情緒的識別中面孔整體的重要性顯著高于嘴部和眼部, 因而整個面部為表情的識別提供更多更全的信息。面孔表情要素研究為本研究采用的簡筆表情要素提供了依據。表情性質的研究也證明了不同表情認知表現的差異, 以及負性表情的優勢效應。不同面部表情傳達給個體不同的信號和意義, 產生不同的認知和行為反應, 因此對表情的感知會對認知活動產生一定的影響(Levenson, 1994; Mikulincer &Sheffi, 2000)。

研究者在表情搜索任務中發現了搜索不對稱性(Hansen & Hansen, 1988; Fox et al., 2000), 這種現象早期從情緒角度出發, 被解釋為負性情緒的搜索優勢。進化論認為威脅性、負性刺激會引起外源性注意和無意識的注意捕獲(Eastwood, Smilek, &Merikle, 2003)。也有理論認為負性刺激能夠使注意固著, 不利于轉移注意到其他的刺激上。近年來研究者提出了新的假設, 即知覺結構假設, 該假設認為負性面孔的優勢是由于面孔簡圖的結構特征導致的。負性面孔有較多的直線刺激, 而正性面孔則曲線刺激較多(Aronoff, 2006)。部分研究者認為負性面孔的搜索優勢來自于對正性干擾物的忽視(Lavie, Ro, & Russell, 2003), 由于正性面孔嘴部和下巴輪廓類似平行, 因而知覺組織分組更容易, 簡化了負性面孔的搜索(Horstmann, Becker, Bergmann,& Burghaus, 2010)。有研究者認為, 負性面孔向下的嘴部和下巴輪廓構成了一種閉合的結構, 這種閉合促進了負性面孔的知覺加工(Mak-Fan, Thompson,& Green, 2011)。也有研究認為, 情緒因素和知覺結構因素是相互作用的, 兩者共同解釋負性表情的搜索優勢(徐展, 李燦舉, 2014)。

本研究擬探討面孔表情分組效應, 需要對目標表情與非目標表情性質的一致性進行各種水平的處理和區分。基于搜索不對稱的相關情緒研究, 面孔表情加工過程中個體的注意資源可能更多被負性表情吸引或固著, 從而可能產生負性表情的分組效應; 從知覺結構的角度, 面孔簡圖中知覺的組織分組和閉合結構使負性表情的分組優勢更明顯。因此, 本研究認為若表情分組效應存在, 面孔加工的情緒偏向的觀點和知覺結構觀點是共同起作用的。事實上, 個體在感知表情圖片時, 不僅能感知到其表達的情緒, 同時也能對表情的結構特征進行加工,這兩個因素應當是同時作用于表情加工過程。

1.3 本研究的理論假設

本研究關注面孔表情在多身份追蹤中的加工規律是否與簡單客觀對象(如物理符號和幾何圖形等)的加工規律具有一致性, 以及面孔表情的加工是否具有獨特的規律？被試如何根據面孔表情表達的情緒屬性或表情特征進行分組加工？簡單符號或幾何圖形等客觀對象可以根據物理特征進行分組表征(Yantis, 1992), 研究者也對于日常生活中常見物體的加工提出了范疇分組的假說, 即基于日常生活常見客觀對象語義范疇的分組表征的研究(Caramazza, 1998), 鑒于上述的文獻綜述和基于靜態與多身份追蹤任務中面孔表情加工規律的分析,研究者認為面孔表情作為日常生活中普遍接觸和加工的具有社會性和生物性的生態化視覺刺激信息, 可能具有與物理符號一致的分組加工規律和獨特的分組加工規律。鑒于以往的簡單物理屬性的對象和日常生活中客體的分組表征和語義范疇表征的研究, 本研究提出了多身份追蹤中的面孔分組加工假設, 并對面孔表情是否能進行分組加工進行討論和驗證。如果存在面孔表情分組效應, 具體在不同面孔表情分組情況的表現是否存在差異？該研究將有助于我們從視覺信息組織加工的角度深入認識面孔表情的組織與加工的機制, 這也是本研究擬探討的主要問題。具體研究問題和預期的假設如下：

本研究采用多身份追蹤范式, 主要關注將面孔簡圖作為刺激物呈現目標分組和目標、非目標配對的情況時與基線組相比是否有差異。目標分組(Targets Grouping, TG) 分為4個水平, 分別是：目標正性表情非目標負性表情, 以下簡稱正–負; 目標正性表情非目標中性表情, 以下簡稱正–中; 目標負性非目標正性, 以下簡稱負–正; 目標負性非目標中性, 以下簡稱負–中。目標、非目標配對(Targets-Distractors Grouping, TDG)有3個水平：目標正性中性非目標正性中性, 以下簡稱正中–正中;目標正性負性非目標正性負性, 以下簡稱正負–正負; 目標負性中性非目標負性中性, 以下簡稱負中–負中。基線條件(Homogeneous)包含3種情況：目標和非目標都為正性, 以下簡稱正–正; 目標和非目標都為負性, 以下簡稱負–負; 目標和非目標都為中性, 以下簡稱中–中。實驗探討的問題是表情特征能否作為分組的一種依據, 在結果部分將分組和配對情況的條件都與基線進行對比。本研究假設：多身份追蹤中存在表情的分組效應：當目標分組時追蹤正確率顯著高于基線情況, 目標非目標配對時追蹤正確率顯著下降。此外, 基于面孔搜索的不對稱性的理論觀點, 預期當目標為負性表情時搜索正確率高于正性目標表情, 表現出負性情緒優勢的分組效應。本研究將分別進行面孔刺激中有無眉毛部位的分組效應探討, 考察眉毛部位的信息是否影響分組效應。

2 實驗1 多身份追蹤中的表情分組效應(有眉毛線索)

2.1 被試

被試為北京地區在校大學生29名, 其中4名被試因追蹤正確率低于50%被刪除, 有效被試25名,其中男生11名, 女生14名, 年齡范圍20～26歲(平均年齡22.52 ± 1.81歲), 所有被試視力或矯正視力正常, 聽力正常。

2.2 實驗設計

在實驗開始前, 讓受試者先填寫自評抑郁量表(SDS)和狀態-特質焦慮問卷(State-Trait Anxiety Inventory)。

SDS為自評量表, 用于衡量抑郁狀態的輕重程度及其在治療中的變化。量表由 20個陳述句和相應問題條目組成。每一條目相當于一個有關癥狀,按1～4級評分。評定的抑郁嚴重度指數按下列公式計算：抑郁嚴重度指數 = 各條目累計分／80 (最高總分)。相應的指數范圍為 0.25～1.0, 指數越高, 抑郁程度越重。SDS的評分不受年齡、性別、經濟狀況等因素影響。指數在 0.5以下者為無抑郁;0.50～0.59為輕微至輕度抑郁; 0.60～0.69為中至重度抑郁; 0.70以上為重度抑郁。本研究中受試者的SDS得分為0.29～0.50, 無抑郁表現。

STAI能夠區別評定短暫的焦慮情緒狀態和人格特質性焦慮傾向, 由指導語和兩個分量表一共40項描述題組成, 為1～4級評分方式。第1～20項為狀態焦慮量表(STAI, Form Y～I, 以下簡稱S～AD),其中半數為描述負性情緒的條目, 半數為正性情緒條目。第21～40題為特質焦慮量表(STAI, Form Y～I,簡稱 T～AI), 用于評定人們經常的情緒體驗。其中有 11項為描述負性情緒條目, 9項為正性情緒條目。分別計算S～AD和T～AI量表的累加分, 最小值20, 最大值為80, 反映狀態或特質焦慮的程度。正常人群總樣本S～AD評分為39.71 ± 8.89 (男, 375例), 38.97 ± 8.45 (女, 443 例); T～AI評分為 41.11 ±7.74 (男), 41.31 ± 7.54 (女)。抑郁癥組(50 例)：S～AD為 57.22 ± 10.48, T～AI為 46.22 ± 26.22, 明顯高于正常人群。本例中, S～AD的得分范圍是25～45分,男性評分為 32.27 ± 3.77, 女性為 35.50 ± 5.14;T～AI的得分范圍是30～66分, 其中男性36.82 ± 7.19,女性41.00 ± 10.35。與常模比較發現, 本例中的受試者均沒有表現出焦慮癥狀。

研究采用的刺激物是面孔表情簡圖, 共呈現 3種表情, 分別為正性、負性和中性, 如圖 1所示。實驗條件為單因素被試內設計, 考察分組與否對于追蹤表現的影響。分組指的是不同實驗處理水平以及上述水平的具體劃分情況。分組條件有5個水平,分別為分組 1 (正–負)、分組 2 (正–中)、分組 3 (負–正)、分組4 (負–中)和不分組(基線); 配對條件有4個水平, 分別為配對1 (正中–正中)、配對2 (正負–正負)、配對 3 (負中–負中)和不分組(基線); 其中,基線條件是作為單因素研究變量的一個對照水平。因變量為追蹤正確率和表情回憶正確率, 其中追蹤正確率是主要考察指標, 而表情回憶正確率是控制指標, 主要是為了保證被試在實驗過程中有效注意到實驗刺激, 并在所有條件下都對表情類型進行了辨別加工。實驗主要考察表情的各個分組水平和基線組追蹤正確率的差異。

圖1 實驗1表情材料樣例

2.3 實驗儀器與材料

實驗儀器為 PIV 2.8臺式計算機, 顯示設備為17英寸純平 CRT監視器。屏幕分辨率設定為1024×768 pixel (每 pixel約為 0.032 cm), 垂直刷新頻率為85Hz。被試雙眼距離屏幕約50 cm, 刺激呈現區域為全屏幕1024×768 pixel (水平視角108.8°,垂直視角81.6°), 背景為白色。運動對象為直徑60 pixel (約 5.62°)的表情簡筆畫。實驗中共有 8個客體, 其中4個為目標, 4個為非目標。

研究采用VB編程。所有對象在追蹤區域內的初始位置隨機分布, 各個對象間的距離大于面孔圓環直徑, 刺激物的初始位置距離追蹤區域邊框不小于兩倍直徑。客體運動速度為1.25°/s, 運動過程采用碰撞算法, 當兩個圖片中心間距離等于 40 pixel時, 兩幅圖片均改變運動方向至相反方向, 也即相互彈開。

2.4 實驗過程

實驗正式開始前有練習, 被試在主試的觀察下對每個條件都進行一次練習, 確保清楚實驗內容。正式實驗中分組和配對條件每個水平各有 20個試次, 基線3種情況各有20個試次, 一共200個正式試次。實驗采取區組設計進行被試內平衡。被試在完成4個或者3個區組會有一次1 min的休息, 再完成3個或4個區組會有第二次休息機會, 直至完成所有實驗。每個試次需要11 s, 實驗1共需要45分鐘左右。

圖2 實驗流程圖示例

被試按空格鍵開始實驗, 8個靜止的黑色圓環呈現在白色屏幕上, 其中4個以紅色方框標記為目標, 持續1.5 s后方框消失。隨后, 8個黑色圓環變為表情圖片并開始隨機運動, 要求被試追蹤線索階段標記出來的目標表情圖片, 運動在5 s到6 s間隨機停止。運動停止后, 表情圖片消失并同時變為黑色圓環, 要求被試用鼠標指出哪些圓環是目標。被試選擇完后進入下一屏, 屏幕中央顯示問題“目標的表情圖片是(有可能不止一個)：1笑臉, 2憤怒, 3平靜”。被試做完選擇后按空格進入下一次追蹤。數據分析采用SPSS 19.0版軟件進行分析。

實驗流程圖如圖2所示。

2.5 實驗結果

2.5.1 基線分析

對基線包含的3種情況進行單因素重復測量的方差分析如表 1所示, 發現方差齊性, 追蹤正確率差異顯著,F(2, 48) = 3.75,p< 0.05, η2= 0.14。

表1 基線不同情況下的追蹤和表情回憶正確率(%) (M±SD)

本研究基線條件考慮到其應當包含其他條件中的目標表情, 因此基線包含了3種情況。基于不同表情對個體的意義不同, 其識別本身可能就存在差異, 因此單一表情并不能夠代表基線或對照水平,可能需要根據研究任務來進行合理的設計。研究忽略這種差異將3種情況合為一個整體進行分析, 這樣更客觀地反映自變量因素的影響。在與目標分組條件相比時, 目標表情中沒有中性表情, 中–中條件也可作為基線。在目標非目標配對時, 目標中出現中性表情, 因此基線為3種表情的綜合基線。表情回憶正確率只作為控制指標, 不進行分析。表情回憶正確率(大于 76%), 表明觀察者對于所有的目標表情進行了有效的加工。下面跟據追蹤正確率對表情追蹤效應進行分析。

2.5.2 目標分組與基線條件的差異

分組條件與基線條件的差異如表2所示。

對追蹤正確率進行單因素 5水平(正–負, 正–中, 負–正, 負–中, 基線)重復測量的方差分析發現符合方差齊性假設, 表情圖片分組主效應顯著,F(4,96) = 4.17,p< 0.01, η2= 0.15。采用LSD的事后檢驗方法進一步比較各個分組與基線組的差異發現,正–負組與基線無顯著差異(MD= 0.01,p> 0.05); 正–中組與基線無顯著差異(MD= 0.01,p> 0.05)。負–正組的追蹤正確率顯著高于基線水平(MD= 0.04,p<0.01); 負–中組的正確率顯著高于基線水平(MD=0.05,p< 0.01)。

表2 不同分組處理水平下的追蹤和表情回憶正確率(%) (M±SD)

表3 不同分組處理水平下的追蹤和表情回憶正確率(%) (M ± SD)

從上述分組情況與基線水平追蹤正確率的差異發現, 當目標表情為正性時, 追蹤正確率與基線沒有差異, 不存在分組效應。當目標表情為負性時,追蹤正確率顯著高于基線組, 分組效應明顯, 說明當目標為負性表情時可能出現表情分組效應。

分析各個實驗處理水平與中性基線的差異, 如表3所示。

對分組各個條件與中性基線條件進行分析符合方差齊性假設, 表情圖片分組的主效應顯著,F(4,96) = 5.10,p< 0.01, η2= 0.18。LSD 的事后檢驗發現, 正–負組與基線無顯著差異(MD= 0.02,p>0.05); 正–中組與基線無顯著差異(MD= 0.02,p>0.05)。負–正組的追蹤正確率顯著高于基線水平(MD= 0.05,p< 0.01); 負–中組的正確率顯著高于基線水平(MD= 0.06,p< 0.01)。這個分析與將3種情況合并作為基線是一致的, 說明中–中可以作為分組條件的基線平衡正、負表情的偏向性。

比較正–負組與負–正組的追蹤正確率, 發現負–正組的追蹤正確率顯著高于正–負組(MD= 0.03,p<0.05)。進而比較正–中組與負–中組的追蹤正確率,也發現負–中組的追蹤正確率顯著高于正–中組(MD= 0.04,p< 0.05)。該結果與以往研究表情識別的實驗是一致的, 說明了搜索的不對稱性在動態場景中的適用性。

2.5.3 目標非目標配對與基線條件的差異

配對條件與基線條件的差異如表4所示。

對追蹤正確率進行單因素 4水平(正中–正中,正負–正負, 負中–負中, 基線)重復測量方差分析發現符合方差齊性假設, 表情分組的差異效應顯著,F(3,72) = 3.11,p< 0.05, η2= 0.12。LSD 的事后檢驗表明, 3種水平的正確率都顯著低于基線(正中–正中MD= –0.03,p< 0.05; 正負–正負MD= –0.03,p< 0.05; 負中–負中MD= –0.03,p< 0.05)。

由上表可知, 表情分組的主效應是顯著的, 目標非目標配對時追蹤正確率顯著低于基線水平, 說明配對干擾了追蹤表現。另外, 表情的識別、再認與追蹤所需要的注意機制可能是不同的, 因而不能用相同的理論解釋兩個指標的差異。配對條件下,不能與中–中情況做比較, 考慮在配對中有中性表情作為目標, 單一的中–中情況并不是客觀的基線,因此未做單獨比較。

表 4 不同分組處理水平下的追蹤和表情回憶正確率(%)(M ± SD)

3 實驗2 多身份追蹤中的表情分組效應(無眉毛線索)

研究發現眉毛形狀(V型)能夠提供更多的負性信息(Larson et al., 2007), 為了考察實驗1中負性表情分組下追蹤正確率顯著高于基線的結果是否是由于眉毛信息產生的, 補充設計了實驗2。在實驗2中去除了面孔簡圖中的眉毛線索, 考察無眉毛信息時是否有負性表情的分組效應。實驗2基本假設：如果負性表情分組效應與實驗 1的結果一致, 說明本研究中發現的表情分組效應不是由于眉毛提供的更多負性線索導致的; 如果不一致, 則說明眉毛可能提供的線索對負性表情分組效應有一定的影響。

實驗1中被試并無抑郁、焦慮的差異, 在實驗2中不考察被試的情緒狀態。同實驗1, 實驗2部分對表情回憶正確率不做分析, 只作為控制指標。

3.1 被試

被試為北京地區在校大學生16名, 其中男生7名, 女生9名, 年齡范圍21～26歲(平均年齡23.38 ±1.59歲), 所有被試視力或矯正視力正常, 聽力正常。

3.2 實驗設計

實驗設計與實驗1相同, 面孔材料為去掉眉毛的面孔表情圖, 如圖3所示。

圖3 實驗2表情材料樣例

3.3 實驗儀器與材料、實驗過程

實驗儀器、材料(除去掉眉毛線索)、過程與實驗1相同。

3.4 實驗結果

3.4.1 目標分組與基線條件的差異

分組條件與基線條件的差異如表5所示。

對追蹤正確率進行單因素 5水平(正–負, 正–中, 負–正, 負–中, 基線)重復測量的方差分析發現符合方差齊性假設, 表情圖片分組主效應顯著,F(4,60) = 8.51,p< 0.001, η2= 0.36。采用 LSD 的事后檢驗方法進一步比較各個分組與基線組的差異發現,正–負組與基線無顯著差異(MD= 0.01,p> 0.05);正–中組與基線無顯著差異(MD< 0.01,p> 0.05)。負–正組的追蹤正確率顯著高于基線水平(MD=0.06,p< 0.01); 負–中組的正確率顯著高于基線水平(MD= 0.05,p< 0.01)。從上述分組條件與基線水平追蹤正確率的差異發現, 當目標表情為正性時,追蹤正確率與基線沒有差異, 不存在分組效應。當目標表情為負性時, 追蹤正確率顯著高于基線組,分組效應明顯, 說明當目標為負性表情表現出了表情分組效應。

分析分組各個實驗處理水平與中性基線的差異, 如下表6所示。

對分組各個條件與中性基線條件進行分析不符合方差齊性假設, 表情圖片分組主效應顯著,F(4,12) = 7.83,p< 0.01, η2= 0.72。兩兩比較發現, 正–負組與基線無顯著差異(MD= 0.01,p> 0.05); 正–中組與基線無顯著差異(MD< 0.01,p> 0.05)。負–正組的追蹤正確率顯著高于基線水平(MD= 0.05,p<0.05); 負–中組的正確率顯著高于基線水平(MD=0.05,p< 0.01)。

比較正–負組與負–正組的追蹤正確率, 發現負–正組的追蹤正確率顯著高于正–負組(MD= 0.06,p<0.001)。進而比較正–中組與負–中組的追蹤正確率,也發現負–中組的追蹤正確率顯著高于正–中組(MD= 0.05,p< 0.01).

3.4.2 目標非目標配對與基線條件的差異

目標非目標配對條件與基線條件的差異如表7所示。

對追蹤正確率進行單因素 4水平(正中–正中,正負–正負, 負中–負中, 基線)重復測量方差分析發現符合方差齊性假設, 表情分組的主效應顯著,F(3,45) = 4.56,p< 0.01, η2= 0.23。采用 LSD 事后檢驗發現, 3種水平的正確率都顯著低于基線(正中–正中MD= –0.05,p< 0.01; 正負–正負MD= –0.05,p< 0.01; 負中–負中MD= –0.05,p< 0.01)。

表5 不同分組處理水平下的追蹤和表情回憶正確率(%) (M ± SD)

表6 不同分組處理水平下的追蹤和表情回憶正確率(%) (M ± SD)

實驗2去除負性表情眉毛信息后追蹤正確率下降, 但趨勢與實驗1一致, 說明實驗1中的負性表情分組效應不是由于眉毛提供的線索信息引起的,有無眉毛的負性表情都可以引起顯著的負性表情分組效應。去除眉毛的面孔與其他表情的面孔在線索信息和物理特征上基本相似性較高、差異更為細微, 增加了對追蹤任務的識別難度, 因此表現出了總體正確率略有下降的趨勢。實驗2中表情回憶正確率除基線對照組外也表現一定的下降。基線組的表情回憶正確率保持不變是由于整個試次中只有一種表情屬性, 較易辨別和識記; 其余條件下目標均有兩種表情屬性, 在去除眉毛后不同表情在結構上相似較高, 因此表情回憶正確率均有所下降。

鑒于上述實驗1和實驗2的結果, 基于表情搜索不對稱性對分組效應的影響做討論。

表7 不同分組處理下的追蹤和表情回憶正確率(%) (M±SD)

4 綜合討論

4.1 多身份表情追蹤的分組效應

以往研究發現, 觀察者在追蹤過程中可以利用客體的表面特征或身份信息進行分組加工, 從而提高追蹤表現(Makovski & Jiang, 2009; Howe &Holcombe, 2012; Erlikhman et al., 2013)。多身份追蹤中的分組策略具體表現為：被試在注意、知覺或記憶加工過程中根據目標的特征屬性對目標進行分組(grouping)或分類(category), 并將更多的認知資源分配到目標上, 從而提高追蹤任務的效率。從研究結果發現表情的分組效應是顯著的：當目標歸為一組非目標歸為另一組(TG)時, 觀察者的追蹤成績更好; 而目標和非目標配對時(TDG)的追蹤成績較差, 目標和非目標完全相同時(Homogeneous)的追蹤成績介于兩者之間。負性表情單獨作為目標時,追蹤正確率高于正性目標表情。Yantis (1992)虛擬多邊形的知覺表征是知覺加工層面的, 而在更高層面的加工過程(如概念屬性、語義范疇類材料)也會表現出分類的效應, 如Caramazz (1998)提出, 客體的概念加工是基于語義范疇進行分類的。以往的研究較少涉及生物性和社會屬性的客觀對象, 而實際生活中人們對這些具有實際的、不同生物與社會性意義的客體進行加工時, 與基本物理刺激相比較為復雜。而且對生活中對象加工時, 通常會將它們進行分類, 如有生命與無生命范疇、植物和動物范疇等, 完成追蹤任務時可能以分組形式進行(魏柳青,張學民, 2014)。面孔作為現實生活中每天都面對的視覺刺激, 同樣是一種具有生物和社會屬性的視覺對象, 而且面孔表情的表現是多樣化和具有不同的生物與社會性意義的, 面孔表情加工的分組效應是本研究分析和討論的主要問題之一。

本研究考察多身份追蹤中基于表情面孔的分組效應, 得到了和物理性表面特征(顏色、大小、形狀)一樣的結論, 表情作為具有生物屬性和社會屬性的生態化刺激同樣可以作為分組的依據, 表情分組的效應是顯著的。這說明當不同的表情作為客體的身份特征時, 觀察者在追蹤過程中利用目標與非目標的表情差異形成分組表征。其次, 負性偏向不僅適用于靜態范式, 動態范式也同樣適用, 造成這種現象的原因是負性表情的搜索優勢。基于表情的分組表征的形成和保持之所以能夠促進追蹤表現的原因可能有兩個：其一是目標表情分組表征的形成可以使觀察者把 4個目標作為一個整體來追蹤,降低了追蹤的注意負荷。其二是目標表情的分組表征有注意指向作用, 觀察者可以將注意資源更多地指向和分配到目標上, 減少非目標對追蹤的干擾和目標與非目標之間的混淆, 從而促進追蹤表現(Howe & Holcombe, 2012)。但具體是哪一種機制起了作用或兩種機制均有參與還需要進一步的實驗研究證明。實驗2中各個條件下的追蹤正確率低于實驗 1, 主要原因是去除眉毛的面孔與其他表情的面孔在線索信息和物理特征上基本相似性較高、差異更為細微, 所以增加了對追蹤任務的識別難度,因此表現出了總體正確率略有下降的趨勢。雖然正確率出現了下降, 兩個實驗結果的趨勢是一致的,即分組情況下的正確率顯著高于基線, 而配對情況顯著低于基線, 證明了表情的分組效應。

實驗結果發現負性表情單獨作為目標時有負性優勢, 當負性與其他表情混合作為目標時, 追蹤表現受到了干擾。前人對負性偏向的研究來自靜態范式, 并且只有單純搜索一個目標的任務; 在表情分組范式下, 負性表情在目標和非目標里匹配, 負性的搜索優勢與多目標追蹤任務相矛盾。當正性和負性表情在目標和非目標中都存在時, 被試很容易混淆目標和非目標中的正性和負性情緒面孔, 并產生干擾效應, 這種干擾效應不僅在本實驗中存在,在之前的相關知覺層面的物理屬性分組效應的研究中也已經得到證實(Makovski & Jiang, 2009)。研究者對基本物理特征的研究發現了分組效應, 由于物理特征并無自身的優勢, 因而并沒有發現在目標分組中的對應優勢。而表情分組效應中存在負性優勢, 因此分組情況下結合負性優勢會發現負性的追蹤表現較好。而配對情況下這種優勢被分組效應所干擾, 因此追蹤正確率下降。

研究發現了負性偏向的分組效應, 即目標表情為負性非目標表情為正性或中性時分組效應顯著,這可能是由于負性情緒的加工優勢所致。結果與物理符號刺激不一致, 可能是由于面孔表情的生物性和社會性信息的影響, 表情搜索的不對稱性可能起到一定作用。當目標和非目標都由兩種相同數量的表情組成時分組效應顯著, 這和簡單的物理特征是一致的。關于生物屬性優勢的問題, 研究者討論語義范疇加工時發現我們在幼兒早期就能夠對生物——非生物的范疇進行區分, 這種區分可能存在于初始的概念范疇系統中(Mandler, 2003)。此外, 具有生物屬性的客體能提供給我們豐富的社會信息(如身份、性別、情緒等), 可以有效地處理復雜的生活情境, 有助于對社會的適應。基于上述相關研究與本研究結果, 由于刺激是面孔表情, 不僅有表情的分組表征, 同時也表現出了負性表情的加工優勢。同時, 表情搜索的不對稱性也起了一定的作用。

4.2 表情搜索不對稱性對分組效應的影響

以往研究表情搜索多是在靜態情境下進行, 實驗只是讓被試在一系列靜態呈現的多個表情面孔中搜索一個特定的面孔, 研究發現了表情搜索的不對稱性。Ren等人(2009)首次將面孔設置在一個動態的實驗范式(MOT)中, 該實驗采用面孔作為刺激物, 研究多面孔追蹤的特點和規律。研究發現被試在動態場景下能夠對面孔信息進行加工, 并且, 對于真實的具體面孔的加工容量是2張面孔。Palermo和Rhodes (2007)研究證明注意加工在探測面孔、識別面孔身份、登記和區別面孔表情時起著重要的作用。也有研究發現, 對于面孔感知的過程是自動化、快速、無意識、強制的和無容量限制的。目前也有研究發現在形成基本的社會印象時, 快速而準確地對表情進行分類起著重要的作用(Carr, Korb,Niedenthal, & Winkielman, 2014)。

本研究的結果表明, 觀察者可以加工多身份追蹤任務中的表情信息, 從追蹤正確率的結果上可以看出, 在追蹤容量上和以往的多目標追蹤容量是一致的(Pylyshyn, 2004, 2006)。Ren 等人(2009)的結論發現個體多面孔追蹤的容量限于2張面孔, 是由于研究者使用了真實面孔; 本研究發現追蹤容量不一致, 是由于本研究采用的是面孔簡圖, 復雜性較低,因而對于追蹤表現和容量具有一定的促進效應。前人在使用面孔簡圖作為刺激物時, 為了探討究竟是哪個部位或者是否是整體面孔的作用, 只采用單獨的一個差異特征(嘴部或眉毛)或者采用眉毛和眼睛作為刺激物(Fox et al., 2000; Weymar et al., 2011)。研究發現在面孔刺激中只呈現嘴部區域的差異就可以產生搜索的不對稱性(Horstmann & Bauland,2006)。Weymar等人(2011)的研究發現, 這些刺激必須呈現在一個與面孔相關的輪廓里才有不對稱性。因此研究指出能夠表達情緒的不是面孔某個部分, 而是面孔結構作為一個整體的作用, Ren等人也認為面部特征是一種整體性加工。本研究通過兩個實驗, 發現有無眉毛的表情面孔均表現出表情的分組效應, 并表現出負性表情的分組優勢效應, 在某種程度上支持了表情整體加工的觀點。

表情分組效應受到了靜態范式下負性搜索優勢的影響, 表情搜索的不對稱性對分組效應的影響主要體現在識別階段的優勢, 在識別階段表情搜索的不對稱性能夠強化觀察者對負性表情的注意, 從而提高對負性情緒的追蹤效率。同時在完成任務時需要被試指認目標表情的屬性, 因此這種優勢可能會與任務一致或者矛盾。當負性表情作為目標時,與負性優勢是一致的, 因此追蹤表現優于基線任務;當負性表情作為非目標時, 盡管存在表情的分組效應能夠促進追蹤表現, 由于非目標的負性優勢使得這種干擾和促進相互抵消, 因此正性表情為目標時追蹤表現并無提高。本實驗的結果在一定程度上也說明了負性偏向表征的分組效應, 同時也發現在多身份追蹤任務中負性表情引發分組偏向, 這種分組偏向可能是人們關注威脅性刺激和生物進化的生理心理防御的結果(Hansen & Hansen, 1988; 葛吉艷,郭德俊, 王崢, 2005)。從生物進化論的角度, 負性信息的威脅性層面與人類生存緊密相連, 因此人們對負性刺激更加關注, 以達到防御的目的。關于情緒和知覺因素分別對多目標追蹤任務中的表情分組效應的作用, 還有待于在后續的研究中進一步探討。

4.3 本研究理論意義

本研究通過兩個實驗發現面孔表情的多身份追蹤任務中, 被試能夠根據面孔表情屬性特征對面孔表情進行分組加工, 而依據不同面孔表情在目標與非目標中的分配情況, 影響追蹤表現。這種分組效應與簡單物理符號刺激的多身份加工的結論是一致的(Makovski & Jiang, 2009; Howe & Holcombe,2012; Erlikhman et al., 2013), 這表明面孔表情作為具有生物屬性和社會屬性的生態化視覺刺激, 在多身份的視覺加工中具有典型的分組效應。此外, 研究還發現當負性表情作為目標時追蹤正確率高于正性表情, 表現出典型的分組效應優勢, 該發現補充了前人在靜態范式下發現的情緒面孔搜索不對稱性的相關研究結論, 在動態多身份追蹤范式下也同樣存在情緒面孔搜索的不對稱性。面孔表情與物理特征的分組效應存在差異, 這表現在由于某種面孔表情本身具有一定的識別優勢, 這種優勢在目標非目標配對的情況下表現更為明顯。而物理符號刺激的特征(如顏色、大小和形狀等)并不存在這種優勢, 這可能是面孔表情作為具有生物性和社會性屬性的生態化視覺刺激信息在多身份追蹤任務中的獨特性表現。生態化視覺刺激信息的獨特性給人們提供了更為豐富的和日常生活密切相關的視覺提示線索信息。本研究負性面孔表情的分組效應與視覺面孔信息加工的不對稱性對分組效應的影響, 有助于認知和理解同時呈現多個動態的面孔表情信息加工的規律和分組效應促進與干擾的加工機制,也表明負性面孔表情的加工優勢對人們生理心理防御和適應環境有重要的意義。

5 結論和展望

實驗證實了多身份追蹤中可能存在的分組機制的假設, 即注意可以基于目標的屬性分為幾個類別, 而不是簡單的多邊形更新。面孔表情這種生態化刺激可以作為分組的依據, 個體在動態場景下也表現出情緒面孔搜索的不對稱性。研究結果可以得出如下結論：

(1)多身份追蹤中, 當目標與非目標表情屬性不同時, 能夠促進追蹤, 表現出了顯著的表情分組的效應; 當目標與非目標表情配對時, 表現出對追蹤的干擾效應;

(2)在表情分組條件下, 目標為負性時追蹤正確率顯著高于目標為正性, 說明表情分組效應中存在負性偏向。結合表情分組效應, 可以得出負性偏向表征的分組效應;

(3)通過有無眉毛的表情追蹤任務發現, 眉毛部位對于表情分組效應無顯著影響, 說明面部整體對表情的分組產生影響;

(4)表情搜索不對稱性對分組效應有一定的影響。具體表現為, 在分組條件下, 目標負性非目標正性、中性時追蹤正確率顯著高于基線對照組; 目標正性非目標負性、中性時與基線對照組無顯著差異。

本研究采用多身份追蹤范式探討面孔表情加工的分組效應, 具有一定的創新性、理論和實踐意義。面部表情分組效應的研究擴展了多身份追蹤研究中, 具有社會屬性和生物屬性的客觀對象的加工特點和規律。在現實生活中, 對具有生態化視覺信息的加工更為重要。本研究通過面孔表情的分組效應研究, 對動態場景下、具有生態化屬性的視覺對象加工的分組效應及其規律進行探索, 對認識和了解現實生活中基于生物性和社會性屬性的視覺信息的分類規律具有一定的理論和現實意義。

在未來的研究中, 可以采用不同種族和性別的真人表情面孔深入探討面孔表情的追蹤分組效應、表情偏向性的分組優勢、偏向與分組效應的關系, 以及表情面孔信息分類加工跨文化差異、不同異常情緒水平(如抑郁和焦慮水平)對表情分類加工的影響, 采用多身份追蹤范式深入探索情緒與認知的分類加工規律及其認知機制。此外, 在研究方法方面, 可以采用ERP和fMRI等技術, 探討多身份追蹤中表情身份信息加工及其范疇分組效應的認知神經機制。

Aronoff, J. (2006). How we recognize angry and happy emotion in people, places, and things.Cross-cultural Research, 40(1),83–105.

Bai, T., Lyu, C., Wei, L. Q., Zhou, Y. B., & Zhang, X. M.(2015). The facilitating effect of target-nontarget categorical difference in identity on multiple identity tracking.Acta Psychologica Sinica, 47(2), 203–211.

[白田, 呂創, 魏柳青, 周義斌, 張學民. (2015). 目標與非目標身份特征的范疇間差異對多身份追蹤的促進作用.心理學報, 47(2), 203–211.]

Baron-Cohen, S., Wheelwright, S., & Jolliffe, A. T. (1997). Is there a "language of the eyes"? Evidence from normal adults, and adults with autism or Asperger syndrome.Visual Cognition, 4(3), 311–331.

Caramazza, A. (1998). The interpretation of semantic categoryspecific deficits: What do they reveal about the organization of conceptual knowledge in the brain?.Neurocase, 4(4-5),265–272.

Carr, E. W., Korb, S., Niedenthal, P. M., & Winkielman, P.(2014). The two sides of spontaneity: Movement onset asymmetries in facial expressions influence social judgments.Journal of Experimental Social Psychology, 55, 31–36.

Eastwood, J. D., Smilek, D., & Merikle, P. M. (2003).Negative facial expression captures attention and disrupts performance.Perception & Psychophysics, 65(3), 352–358.

Erlikhman, G., Keane, B. P., Mettler, E., Horowitz, T. S., &Kellman, P. J. (2013). Automatic feature-based grouping during multiple object tracking.Journal of Experimental Psychology: Human Perception and Performance, 39,1625–1637.

Fehd, H. M., & Seiffert, A. E. (2008). Eye movements during multiple object tracking: Where do participants look?.Cognition, 108(1), 201–209.

Feria, C. S. (2012). The effects of distractors in multiple object tracking are modulated by the similarity of distractor and target features.Perception, 41, 287–304.

Fox, E., Lester, V., Russo, R., Bowles, R. J., Pichler, A., &Dutton, K. (2000). Facial expressions of emotion: Are angry faces detected more efficiently?.Cognition & Emotion,14(1), 61–92.

Ge, J. Y., Guo, D. J., & Wang, Z. (2005). The detection of angry expression in children aged 13 to 15 years.PsychologicalDevelopment and Education, 21(4), 34–39.

[葛吉艷, 郭德俊, 王崢. (2005). 13～15歲兒童對憤怒表情覺察的特點.心理發展與教育, 21(4), 34–39.]

Hansen, C. H., & Hansen, R. D. (1988). Finding the face in the crowd: An anger superiority effect.Journal of Personality and Social Psychology, 54, 917–924.

Horstmann, G., & Bauland, A. (2006). Search asymmetries with real faces: Testing the anger-superiority effect.Emotion,6(2), 193–207.

Horstmann, G., Becker, S. I., Bergmann, S., & Burghaus, L.(2010). A reversal of the search asymmetry favouring negative schematic faces.Visual Cognition, 18(7), 981–1016.

Howe, P. D. L., & Holcombe, A. O. (2012). The effect of visual distinctiveness on multiple object tracking performance.Frontiers in Psychology, 3, 307.

Larson, C. L., Aronoff, J., & Stearns, J. J. (2007). The shape of threat: Simple geometric forms evoke rapid and sustained capture of attention.Emotion, 7(3), 526–534.

Lavie, N., Ro, T., & Russell, C. (2003). The role of perceptual load in processing distractor faces.Psychological Science,14(5), 510–515.

Levenson, R. W. (1994). Human emotion: A functional view.In P. P Ekman & R. J. Davidson (Eds.),The nature of emotion: fundamental questions(pp. 123–126). New York:Oxford University Press.

Mak-Fan, K. M., Thompson, W. F., & Green, R. E. A. (2011).Visual search for schematic emotional faces risks perceptual confound.Cognition and Emotion, 25(4), 573–584.

Makovski, T., & Jiang, Y. V. (2009). The role of visual working memory in attentive tracking of unique objects.Journal of Experimental Psychology: Human Perception &Performance, 35, 1687–1697.

Mandler, J. M. (2003). On the foundations of the semantic system. In: E. Forde & G. Humphreys (Eds.),Category specificity in brain and mind(pp. 315–340). Hove, East Sussex, England: Psychology Press.

Mikulincer, M., & Sheffi, E. (2000). Adult attachment style and cognitive reactions to positive affect: A test of mental categorization and creative problem solving.Motivation and Emotion, 24, 149－174.

Oksama, L., & Hy?n?, J. (2004). Is multiple object tracking carried out automatically by an early vision mechanism independent of higher-order cognition? An individual difference approach.Visual Cognition, 11, 631–671.

Oksama, L., & Hy?n?, J. (2008). Dynamic binding of identity and location information: A serial model of multiple-identity tracking.Cognitive Psychology, 56, 237–283.

Palermo, R., & Rhodes, G. (2007). Are you always on my mind? A review of how face perception and attention interact.Neuropsychologia, 45(1), 75–92.

Pylyshyn, Z. W. (2004). Some puzzling findings in multiple object tracking: I. Tracking without keeping track of object identities.Visual Cognition, 11, 801–822.

Pylyshyn, Z. W. (2006). Some puzzling findings in multiple object tracking (MOT): II. Inhibition of moving nontargets.Visual Cognition, 14, 175–198.

Pylyshyn, Z. W., & Storm, R. W. (1988). Tracking multiple independent targets: Evidence for a parallel tracking mechanism.Spatial Vision, 3, 179–197.

Ren, D. N., Chen, W. F., Liu, C. H., & Fu, X. L. (2009).Identity processing in multiple-face tracking.Journal of Vision, 9, 1–15.

Suganuma, M., & Yokosawa, K. (2006). Grouping and trajectory storage in multiple object tracking: Impairments due to common item motions.Perception, 35, 483–495.

Wei, L. Q., & Zhang, X. M. (2014). The category-based grouping effect in multiple identity tracking.Advances in Psychological Science, 22(9), 1383–1392.

[魏柳青, 張學民. (2014). 多身份追蹤中基于范疇的分組效應.心理科學進展, 22(9), 1383–1392.]

Weymar, M., L?w, A., ?hman, A., & Hamm, A. O. (2011). The face is more than its parts—Brain dynamics of enhanced spatial attention to schematic threat.NeuroImage, 58(3),946–954.

Xu, Z., & Li, C. J. (2014). Emotional and perceptual explanations for search asymmetries of emotional faces.Advances in Psychological Science, 22(2), 259–268.

[徐展, 李燦舉. (2014). 情緒面孔搜索不對稱性: 情緒觀與知覺觀的爭議.心理科學進展, 22(2), 259–268.]

Yantis, S. (1992). Multielement visual tracking: Attention and perceptual organization.Cognitive Psychology, 24, 295–340.

Zelinsky, G. J., & Neider, M. B. (2008). An eye movement analysis of multiple object tracking in a realistic environment.Visual Cognition, 16(5), 553–566.