基于情緒調節的認知負荷的瞳孔數據處理

羅賀文?聞素霞

摘 要｜瞳孔大小是眼動研究中一個重要的參數指標。在認知研究領域，瞳孔大小的變化被認為是體現資源分配和認知負荷的敏感指標。鑒于我國使用瞳孔大小作為認知負荷測量指標的研究寥寥無幾，更是鮮少有研究報告如何對瞳孔數據進行預處理，比如剔除、缺失數據的插補、過濾篩選等，使得對瞳孔數據的處理缺乏參考。本文旨在以情緒調節任務為例，把瞳孔大小作為認知負荷的測量指標，介紹使用Eyelink2000眼動儀采集的瞳孔數據的導出、預處理等，希望可以給相關研究者提供借鑒。

關鍵詞｜認知負荷；瞳孔大小；瞳孔數據預處理

Copyright ? 2023 by author （s） and SciScan Publishing Limited

This article is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License. https：//creativecommons.org/licenses/by-nc/4.0/

瞳孔大小的變化會受到外界光線的影響，即瞳孔光反射（pupil light response，PLR）［1］。瞳孔在暗環境下擴張，在亮環境下縮小。但后來研究者們發現瞳孔大小還會受到個體心理活動的影響而變化。赫斯（Hess）等學者測量了注意、知覺、興趣、情緒、動機、態度及其轉變等心理活動發生時瞳孔的變化情況，認為瞳孔變化是一個新興的反映人類心理的敏感指標［2-4］。后來，卡尼曼（Kahneman）等心理學家發現瞳孔還與語言加工、記憶、心理努力等高級認知活動有關，其研究結果表明，瞳孔大小的變化可以作為評估個體認知加工需求的可靠指標［5，6］。

隨著眼動技術的發展，如今的眼動設備可以以非接觸的方式采集數據，這使得眼動研究能夠有效排除實驗儀器對被試的干擾，瞳孔數據的獲得也更加客觀、簡單、快速、可靠。但是目前使用瞳孔大小作為測量指標的研究相對較少，尤其是國內把瞳孔大小作為測量指標的相關研究更是寥寥無幾，對瞳孔數據的處理缺乏參考。已知情緒調節作為一種認知信息加工過程，瞳孔擴張可以反映情緒調節過程中認知努力的付出。因此本研究將以情緒調節任務為例，把瞳孔大小作為認知負荷的測量指標，介紹使用Eyelink2000眼動儀采集的瞳孔數據的導出、預處理等。

1 認知負荷

最早開展認知負荷研究的學者是心理學家米勒（Miller）［7］，他以資源有限理論和圖示理論為基礎，從資源分配的角度考核認知負荷。而斯威勒（Sweller）是第一個將認知負荷作為一種理論進行研究的學者。1988年，斯威勒［8］提出了認知負荷就是在特定的任務時間內，施加于個體認知系統的心理活動總量。斯威勒等學者在認知負荷領域做出了開創性和持續性的貢獻。

美國心理學家卡尼曼在1973年提出了資源有限理論，即心理資源是有限的，完成每一項任務都需要一定的認知資源。同時執行幾項任務可以共用資源，但是人的心理資源的總量是有限的，因此存在資源分配的問題，分配遵循“此多彼少，總量不變”的原則。在一定范圍內，刺激復雜度或加工任務復雜度與動用的資源數量成正比；而當刺激或任務所需要的資源超過了個體所能支配的資源總量，就會導致認知負荷過載，從而影響執行任務的效率和效果。

最早提出“圖示”一詞的是著名哲學家康德。心理學研究者們認為人的一生有很多需要學習和掌握的知識，人在進行知識的學習和積累的過程中并不是將這些信息雜亂無章地儲存在大腦中，而是根據所學知識的主題對其進行關聯，以建立知識的存儲單元，這種單元就被稱為圖式。圖式是人類對知識概括性的記憶，它更注重于關聯眾多事例中的相似點，所以它是一種經濟的儲存知識與信息的方式。比如，當個體學習新的知識后，圖式可以依據知識的背景進行快速且正確的分類，這種方式是自動的，不需要過多的意識控制也不會對個體的認知資源產生消耗，所以圖式是一種經濟的儲存知識與信息的方式［9，10］。

2 情緒調節與認知負荷

情緒調節作為人們情感生活中的一種重要調節機制，對個體社會生存、社會適應、認知發展，以及維持身心健康狀態具有重要意義［11］。但是情緒調節作為一種自我控制過程，會消耗有限的認知資源［12，13］。且情緒強度越強、情緒調節策略越復雜，情緒調節的認知負荷越高［14］。

穆拉文、泰斯和鮑邁斯特（Muraven，Tice，and Baumeister，1998）做了一個有關情緒調節與認知消耗關系的研究［15］。他們讓被試觀看情緒誘發電影并否定其產生的情緒，同時控制自己的面部表情。結果顯示，調節情緒的被試（相對于沒有調節的對照組）在接下來的認知任務中堅持的時間更短。另一個相似的研究通過情緒調節后的猜字謎游戲來檢驗情緒調節對認知后果的影響，結果顯示，進行情緒調節的被試比未調節的被試猜出了更少的字謎［12］。

3 瞳孔測量法

基于眼動儀的瞳孔測量（Pupillometry）是一種有效的眼動追蹤方法，瞳孔測量逐漸被獨立應用于心理學研究并揭示了很多心理活動（如：知覺、態度、記憶等），具有獨特的優勢。瞳孔測量具有以下優點：首先，眼動儀設備的價格較為便宜；其次，眼動數據可以以非接觸的方式采集，具有非侵入性，對人體無害；再次，眼動儀能夠為研究提供足夠的時間空間分辨率，可以對瞳孔的微小變化加以監測；最后，該方法簡便易行，對人群的適用范圍廣泛［16-18］。瞳孔大小（Pupil Size）是瞳孔測量中一個重要的參數指標，它的變化不受意識的控制，在一定程度上能夠反映人的心理活動，有助于理解瞳孔與心理的關系［19］。目前在生理測量與認知負荷的研究成果中，瞳孔變化已被證實其與認知負荷顯著相關，所以采用瞳孔數據量化認知負荷同時具有實用性和理論可行性。

4 認知負荷與瞳孔大小變化

在認知研究領域，瞳孔大小的變化被認為是體現資源分配和認知負荷的敏感指標［5］。相關研究結果表明［20，21］，人們在為了完成認知任務而付出努力時，往往伴隨著任務誘發的瞳孔反應（TEPRs）。國外開展過不同難度的任務下，瞳孔變化的研究［3，22，23］。布拉德肖（Bradshaw，1968）報告了被試解答兩種難度水平的心算除法問題時瞳孔變化的研究結果，發現瞳孔直徑在解題過程中逐漸增大，直到解出為止，且解答難度水平高的問題時瞳孔擴張的峰值更大。隆德爾等人（Rondeel et al.，2015）使用了2-back任務（要求被試分辨當前呈現的刺激是否與n個試次中呈現的刺激相同，試次越多，任務難度越大），結果表明瞳孔擴張幅度的增加預示著被試付出了更多心理努力來降低報告錯誤率，進而提高自己在任務中的表現。這些研究表明在任務中，瞳孔大小隨著任務難度的增加而增加。瞳孔大小的變化為測量信息加工過程中的認知負荷提供了一個量的指標［6］。

近期有研究者發現，情緒調節作為一種認知信息加工過程，瞳孔擴張可以反映情緒調節的需求，即瞳孔大小的變化可以反映情緒調節過程中認知努力的付出［24-28］。由此，通過瞳孔大小量化情緒調節過程中的認知負荷具有一定的理論支持。

5 瞳孔數據的采集、導出、預處理

鑒于我國使用瞳孔大小作為測量指標的相關研究較少，尤其是以瞳孔大小作為認知負荷指標的研究更是寥寥無幾，更是鮮少有研究報告如何對瞳孔數據進行預處理的細節，比如剔除、對缺失數據的插補、篩選過濾等，使得對瞳孔數據的處理缺乏參考。情緒調節作為一種認知控制過程，在調節過程中伴隨著認知努力的付出，因此本文整理了國外文獻在情緒調節研究中收集的瞳孔數據的處理方法，對瞳孔數據的采集、導出、預處理等進行介紹。加拿大SR Research公司生產的Eyelink系列眼動儀為市面上最為精確的眼動儀設備，此眼動儀結合了高分辨率攝像技術和先進的圖像處理算法，它的優點是能夠非常快速地對瞳孔指標進行采樣，然后生成瞳孔大小數據。如果把采樣率設置為500 hz，則它在運行過程中，每兩毫秒就可以完成一次數據的采集。除了速度快之外，它所采集的瞳孔指標非常的詳盡，包括興趣期內最小、最大、瞳孔大小平均值，還有每個采樣點的瞳孔大小值，這些數據被用來檢測心理學研究方面認知任務中瞳孔的變化再理想不過了。因此本文以Eyelink2000塔式眼動儀采集的瞳孔數據為例對瞳孔大小指標的處理進行介紹。

5.1 實驗設計和材料

以經典的情緒調節任務為例。被試觀看情緒圖片，在情緒圖片呈現時使用指定的情緒調節策略調節情緒，圖片呈現時間為5 s。圖片統一處理為1024×768像素，以灰色呈現，為控制亮度這一低級圖像屬性對瞳孔變化的影響，使用MATLAB的SHINE toolbox控件（MathWorks Inc.）對所有圖片的平均亮度進行匹配。

5.2 眼動儀設置和數據采集

因瞳孔大小的變化速率較低，所以把采樣率設置為Eyelink的最低采樣率500 hz即可，記錄被試的優勢眼，瞳孔記錄單位設置為直徑（Diameter）或者面積（Area），記錄瞳孔大小（像素）隨時間的變化。因為實驗材料為圖片，所以對眼動追蹤系統定標（Calibration）選擇九點校準。被試與被試機顯示屏的距離恒定為80 cm。

5.3 瞳孔數據的導出

Eyelink的配套分析軟件DataViewer可以用于查看、過濾和處理眼動數據。把所有被試的數據批量導入Dataviewer后使用試次分組（Trial Grouping）篩除練習試次，然后設置興趣期（Interest Period），因在實驗編程時對圖片刺激的開始呈現進行了打標記（Message），因此興趣期開始的標志即為圖片刺激開始呈現的message，興趣期的結束標志設置為持續時間（Duration），為5000 ms。然后選擇Sample Report對瞳孔數據進行導出，導出的變量包括：AVERAGE_PUPIL_SIZE（雙眼瞳孔平均大小）、

Data_File（被試編號）、Trial_Label（試次編號）等。另外，Trial Report同樣可以報告瞳孔數據，包括興趣期內瞳孔最大值、最小值、平均值。可根據自己的實驗需求進行選擇。

5.4 瞳孔數據的預處理

對數據的預處理包括對數據的剔除、插補、篩選、過濾、基線處理、平滑，使用Matlab軟件對原始瞳孔測量數據進行預處理：（1）剔除單次眨眼時間>100 ms的試次后，在Matlab中使用線性插值法對眨眼<100 ms的試次進行采樣缺失點的插補，以確保數據的完整性；（2）單個試次的有效采樣比例不低于50%，即剔除50%以上的測量值被插值代替的試次（即表明瞳孔大小測量異常）；（3）針對每個被試，剔除平均值在其瞳孔直徑平均值四個標準差以外（±4SD）的試次；（4）由于瞳孔大小會受到低水平刺激（比如：明度）的影響［29］，因此瞳孔大小計算一般采用實驗條件下的瞳孔直徑減去基線所得的差值。基線的選取可參考有類似實驗設計的相關文獻。在這里我們把基線瞳孔大小定義為刺激呈現前300 ms窗口內的平均瞳孔大小。通過減去基線瞳孔大小對刺激呈現期的測量進行基線校準（校正后的瞳孔大小=瞳孔大小－基線）；（5）使用有限脈沖的滑動平均濾波器進行信號平滑處理。

6 總結

本文對瞳孔大小作為認知負荷的測量指標進行了介紹，并且以情緒調節任務為例，整理了相關文獻在情緒調節研究中收集的瞳孔數據的處理方法。雖然目前使用瞳孔大小作為認知負荷測量指標的相關研究較少，但瞳孔大小已被證實是一個可靠的指標，如研究需觀察被試對任務的努力、投入程度，或者是任務的復雜、困難程度，則可以選擇該指標進行相應分析。

參考文獻

［1］Loewenfeld I E．Mechanisms of reflex dilatation of the pupil［J］．Documenta Ophthalmologica，1958，12（1）：185-448．

［2］Hess E H，Polt J M．Pupil size as related to interest value of visual stimuli［J］．Science，1960，132（3423）：349-350．

［3］Hess E H，Polt J M．Pupil size in relation to mental activity during simple problem-solving［J］．Science，1964，143（3611）：1190-1192．

［4］Hess E H．Attitude and pupil size［J］．Scientific American，1965，212（4）：46-54．

［5］Beatty J．Task-evoked pupillary responses，processing load，and the structure of processing resources［J］．Psychological Bulletin，1982，91（2）：276-292．

［6］Kahneman D，Beatty J．Pupil diameter and load on memory［J］．Science，1996，154（5）：1583-1585．

［7］安其梅，吳紅．認知負荷理論綜述［J］．Advances in Psychology，2015，5（1）：50-55．

［8］Sweller J．Cognitive Load During Problem Solving：Effects on Learning［J］．Cognitive Science，1988，12（2）：257-285．

［9］Paas F，Renkl A，Sweller J．Cognitive load theory and instructional design：Recent developments［J］．Educational Psychologist，2003，38（1）：1-4．

［10］Kirschner P A．Cognitive load theory：implications of cognitive load theory on the design of learning［J］．Learning and Instruction，2002，12（1）：1-10．

［11］Gross J J，John O P．Individual differences in two emotion regulation processes：Implications for affect，relationships，and well-being［J］．Journal of Personality and Social Psychology，2003（85）：348-362．

［12］Baumeister R F，Bratslavsky E，Muraven M，et al．Ego depletion：Is the active self a limited resource？［J］．Journal of Personality and Social Psychology，1998，74（5）：1252-1265．

［13］Gailliot M T，Baumeister R F，DeWall C N，et al．Self-control relies on glucose as a limited energy source：will power is more than a metaphor［J］．J Pers Soc Psychol，2007，92（2）：325-336．

［14］Sheppes G，Gross J J．Is timing everything？ Temporal considerations in emotion regulation［J］．Personality and Social Psychology Review，2011，15（4）：319-331．

［15］Muraven M，Tice D M，Baumeister R F．Self-control as a limited resource：Regulatory depletion patterns［J］．Journal of Personality and Social Psychology，1998，74（3）：774-789．

［16］Bradley M M，Sapigao R G，Lang P J．Sympathetic ANS modulation of pupil diameter in emotional scene perception：Effects of hedonic content，brightness，and contrast［J］．Psychophysiology，2017，54（10）：1419-1435．

［17］De Vries L，Fouquaet I，Boets B，et al．Autism spectrum disorder and pupillometry：A systematic review and meta-analysis［J］．Neuroscience & Biobehavioral Reviews，2021（120）：479-508．

［18］Oliva M，Anikin A．Pupil dilation reflects the time course of emotion recognition in human vocalizations［J］．Sci Rep，2018，8（1）：4871．

［19］楊曉夢，王福興，王燕青，等．瞳孔是心靈的窗口嗎？——瞳孔在心理學研究中的應用及測量［J］．心理科學進展，2020，28（7）：1029-1041．

［20］van der Wel P，van Steenbergen H．Pupil dilation as an index of effort in cognitive control tasks：A review［J］．Psychonomic Bulletin & Review，2018，26（6）：2005-2015．

［21］李勇，陰國恩，陳燕麗．閱讀中疲勞、心理負荷因素對瞳孔大小的調節作用［J］．心理與行為研，2004，2（3）：545-548．

［22］Bradshaw J L．Pupil size and problem solving［J］．Quarterly Journal of Experimental Psychology，1968（20）：116-122．

［23］Rondeel E W，van Steenbergen H，Holland R W，et al．A closer look at cognitive control：differences in resource allocation during updating，inhibition and switching as revealed by pupillometry［J］．Front Hum Neurosci，2015（9）：494．

［24］Johnstone T，van Reekum C M，Urry H L，et al．Failure to regulate：Counterproductive recruitment of topdown prefrontal-subcortical circuitry in major depression［J］．Journal of Neuroscience，2007（27）：8877-8884．

［25］Kinner V L，Kuchinke L，Dierolf A M，et al．What our eyes tell us about feelings：Tracking pupillary responses during emotion regulation processes［J］．Psychophysiology，2017，54（4）：508-518．

［26］Richey J A，Damiano C R，Sabatino A，et al．Neural mechanisms of emotion regulation in autism spectrum disorder［J］．Journal of Autism and Developmental Disorders，2015（45）：3409-3423．

［27］Urry H L，van Reekum C M，Johnstone T，et al．Amygdala and ventromedial prefrontal cortex are inversely coupled during regulation of negative affect and predict the diurnal pattern of cortisol secretion among older adults［J］．Journal of Neuroscience，2006（26）：4415-4425．

［28］van Reekum C M，Johnstone T，Urry H L，et al．Gaze fixations predict brain activation during the voluntary regulation of picture induced negative affect［J］．NeuroImage，2007，36（3）：1041-1055．

［29］Laeng B，Sulutvedt U．The eye pupil adjusts to imaginary light［J］．Psychological Science，2014，25（1）：188-197．

Preprocessing of Pupil Data of Cognitive Load during Emotional Regulation

Luo Hewen Wen Suxia

School of Psychology， Xinjiang Normal University， Urumqi

Abstract： Pupil size is an important parameter in eye movement research. In the field of cognitive research， pupil size is considered sensitive indicator reflecting cognitive resource allocation and cognitive load. Given that there are few studies in China that use pupil size as a measure of cognitive load， and there are even fewer papers reporting on how to preprocess pupil data collected， such as removing， interpolating， filtering， etc.， the preprocessing of pupil data lacks reference. This thesis aims to use pupil size as an indicator of cognitive load during emotional regulation， and to introduce the export and preprocessing of pupil data collected through the Eyelink2000 eye tracking system. It is hoped that this paper can provide reference for other researchers.

Key words： Cognitive load; Pupil siza; Pupil data preprocessing