視覺加工負荷對工作記憶中時間序列線索效應(yīng)的影響

郭 婷,金蓉蓉,沈晨杰,徐之涵

(寧波工程學(xué)院外國語學(xué)院,浙江 寧波 315211)

引言

工作記憶是指在進行認知任務(wù)時,用于臨時儲存和加工信息的一種資源有限的認知處理系統(tǒng)。在日常生活中,諸如語言理解、決策以及學(xué)習(xí)等高級認知過程普遍需要工作記憶的參與[1]。然而,盡管工作記憶在高級認知過程中發(fā)揮著核心作用,工作記憶能夠存儲的信息容量卻非常有限[2-3]。為了突破工作記憶的容量限制,一些研究嘗試通過回溯線索引導(dǎo)選擇性注意,主動維護已存儲在工作記憶中的視覺表征,以提升工作記憶的效能[4]。

多數(shù)研究將回溯線索范式與工作記憶中的變化檢測任務(wù)相結(jié)合。在記憶陣列呈現(xiàn)之后,為被試提供一個視覺線索,將被試的注意力引導(dǎo)至與線索相關(guān)的記憶項目[5]。一些不同類型的視覺線索,如方向,顏色,形狀等與記憶項目關(guān)聯(lián)的視覺特征均可以被用于檢索并提取視覺記憶表征,證實了回溯線索在操縱記憶表征過程中的有效性。另一方面,近期研究開始關(guān)注時間序列信息在工作記憶中的作用機制[6-7]。Heuer(2021)對比了時間和空間線索在視覺工作記憶表征提取中的作用,并指出工作記憶中的時間信息與空間信息具有相似的作用,可以靈活地存儲或提取視覺記憶表征[8]。時間與空間信息被認為是工作記憶的語境信息,它們作為一個類似于上下文的情境存在,而其他非時空信息,比如顏色,形狀,或者紋理等視覺信息則是以離散特征的形式綁定在空間與時間所構(gòu)成的參考框架上[9]。在連續(xù)呈現(xiàn)的視覺記憶任務(wù)中,時間信息的處理流程是不可缺少的。但時間序列線索在調(diào)動視覺工作記憶表征過程中所發(fā)揮的作用依然有待澄清。

記憶負荷對記憶效能的限制,一直是工作記憶相關(guān)研究中廣受關(guān)注的話題之一。前人研究指出,視覺工作記憶最多只能存儲4個項目,無論這些項目的構(gòu)成要素是否復(fù)雜[10]。另一方面,在線索提取范式中,回溯線索效應(yīng)也可能會受到記憶容量的影響。Astle 等人(2012)使用空間位置信息作為回溯線索,考察了工作記憶負荷與回溯線索效應(yīng)之間的交互作用。研究結(jié)果表明,在記憶陣列中的項目數(shù)量位于容量范圍內(nèi)(即小于或等于4個項目)時,被試能夠根據(jù)線索提示有選擇地記憶項目,從而在任務(wù)執(zhí)行過程中降低記憶負荷。然而,當(dāng)項目數(shù)量超過記憶容量限制時,被試卻難以從線索中獲得同樣的益處[11]。這可能表明在記憶表征提取過程中,超負荷的記憶項目數(shù)量會減弱空間線索引導(dǎo)選擇性注意對記憶項目優(yōu)化的效果。

在時間序列線索提取記憶表征的實驗任務(wù)中,記憶負荷的形式與傳統(tǒng)的空間線索范式不同。在空間線索中,定向注意通常從同時呈現(xiàn)的多個記憶項目中提取一部分項目。然而,在時間序列線索相關(guān)任務(wù)中,涉及多個記憶陣列,而每個陣列中的項目數(shù)量并不代表整個試次中需要維持的項目總量。例如,考慮一個包含兩個記憶陣列的試次,陣列1和陣列2各自有4個記憶項目。在這種情況下,試次中的記憶負荷為8個項目。實驗任務(wù)要求被試從連續(xù)畫面中提取一個記憶陣列,這些記憶項目分別存儲在不同的時間序列位置,并通過它們所綁定的時間序列信息進行提取。與以空間線索為主的記憶表征提取不同,這種處理機制呈現(xiàn)出明顯的差異。然而,目前為止,記憶負荷與時間序列線索之間的交互作用依然有待澄清。

本研究提出了兩個假設(shè)。首先,本研究所采用的實驗任務(wù)涉及連續(xù)呈現(xiàn)的多個記憶陣列,這些陣列的呈現(xiàn)次序可能會影響工作記憶效能。其次,記憶項目被分隔在不同的時間點呈現(xiàn),而記憶負荷也被分布在不同的記憶陣列之中。與前人研究中使用單一記憶陣列獲得的實驗結(jié)果相比,記憶項目負荷對工作記憶效能的影響可能呈現(xiàn)不同的模式。為了驗證研究假設(shè),本研究將工作記憶中的變化檢測任務(wù)與回溯線索范式相結(jié)合。實驗中,我們連續(xù)呈現(xiàn)兩個記憶陣列,并限制每個陣列中的記憶項目負荷在1～5個之間。通過利用時間序列信息作為回溯線索,要求被試檢測特定的記憶陣列并評估線索效應(yīng),以考察工作記憶負荷對時間序列線索效應(yīng)的影響。在此基礎(chǔ)之上,進一步探討了時間序列線索在工作記憶任務(wù)中的作用機制。

一、研究方法

本研究將從實驗被試、實驗儀器與材料、實驗設(shè)計與流程以及數(shù)據(jù)分析四個方面介紹本研究中涉及的研究方法。

(一)被試

本研究依據(jù)實驗設(shè)計(2×2×5被試內(nèi)實驗設(shè)計),使用G*Power 3.1(f= 0.25,α= 0.05, 1-β= 0.80)估算需要至少21名被試[12]。在此基礎(chǔ)之上,招募22名本科生參與了實驗。其中男性6人,女性16人,年齡為18歲至21歲,平均年齡19.7歲(標(biāo)準(zhǔn)差0.92)。所有被試均未參加過類似的實驗,且都是右利手,無精神病史,無腦部損傷歷史,視力或矯正視力正常,聽力正常。所有被試均在實驗前簽署了說明實驗內(nèi)容的知情同意書,寧波工程學(xué)院倫理委員會批準(zhǔn)了本研究涉及的全部實驗。

(二)實驗儀器與材料

實驗在隔音環(huán)境下的暗室中進行。使用24英寸液晶顯示器(ProLite GB2488HSU;120Hz刷新率;1920×1080分辨率)呈現(xiàn)實驗刺激。被試坐在距離顯示器75厘米的位置,使用下巴支架、額頭支架和太陽穴穩(wěn)定器固定頭部。視覺刺激及實驗程序使用MATLAB Psychophysics Toolbox編寫[13]。

所有實驗刺激都是在灰色背景(RGB: 180 180 180)下呈現(xiàn)的。記憶陣列由一個到五個不同色塊組成,每個色塊面積為0.8°視野角。記憶項目的顏色是從十種高度可辨別的顏色中隨機選擇而來:紅色(255 0 0)、綠色(0 255 0)、黃色(255 255 0)、橙色(255 165 0)、深藍色(0 0 139)、淺藍色(0 255 255)、青色(0 139 139)、酒紅色(139 34 82)、粉紅色(255 20 147)和紫色(155 48 255),同一個試次中不會出現(xiàn)重復(fù)色塊。從一個半徑為3.0°的虛擬圓周上,等距離分配十個固定位置從中隨機選取記憶項目呈現(xiàn)位置。回溯線索以視覺方式呈現(xiàn)單詞(視野角為0.65°,顏色為13.8 cd/m2),線索要求被試從兩個記憶陣列中關(guān)注指定的記憶陣列(“First”或“Second”)或同時關(guān)注兩個陣列(“Both”)。探針刺激是從記憶陣列中選取的色塊,視野角與記憶陣列相同 (0.8°),出現(xiàn)在同一試次記憶陣列中色塊已經(jīng)出現(xiàn)過的位置。

(三)實驗設(shè)計與流程

本實驗采取被試內(nèi)設(shè)計,操縱了三個實驗自變量:線索類型2(有效線索,無效線索)、記憶陣列2(記憶陣列1,記憶陣列2)和記憶負荷5(1,2,3,4,5)。實驗流程如圖1所示。每個試次開始前會出現(xiàn)一個十字注視點,呈現(xiàn)時間為200毫秒;500毫秒間隔之后,會連續(xù)呈現(xiàn)兩個記憶陣列,記憶陣列呈現(xiàn)時間為300毫秒,間隔時間為1500毫秒;記憶陣列消失1500毫秒之后,出現(xiàn)回溯線索,呈現(xiàn)時間為300毫秒;回溯線索消失之后,間隔1500毫秒出現(xiàn)探測刺激,直到被試做出判斷之后,探測刺激消失。回溯線索可以是有效線索 (“First”,“Second”)或無效線索 (“Both”)。如果回溯線索為“First”,則探測刺激將從第一個記憶陣列中選擇;如果回溯線索為“Second”,則探測刺激將從第二個記憶陣列中選擇。因此,“First”和“Second”都與記憶陣列對應(yīng),并且100%以有效線索的形式出現(xiàn)。在無效線索(“Both”)的條件下,探測刺激有50%可能從記憶陣列1中選擇,50%可能從記憶陣列2中選擇。

圖1 實驗流程示意圖

實驗被試被要求記住記憶陣列中顏色-位置的組合作為記憶項目,并通過按鍵盤上的F或J鍵來回答探測刺激是否與呈現(xiàn)在記憶陣列中的記憶項目一致。探測刺激有50%的概率與記憶陣列中呈現(xiàn)過的記憶項目完全一致。所有條件在實驗中隨機呈現(xiàn)。被試做出判斷按鍵反應(yīng)之后,按任意鍵開始新的試次。

回溯線索和記憶負荷條件在實驗中隨機混合進行測試。實驗包括600個試次:“First”“Second”“both”各自200個試次。五種不同的記憶負荷條件各自在總試次數(shù)中占據(jù)20%比例。實驗分兩次執(zhí)行,每次實驗時長大約一小時左右。實驗被試在每次實驗開始之前都進行24個試次的練習(xí),并且,在練習(xí)過程中,如果回答錯誤會有反饋,確保被試?yán)斫鈱嶒炄蝿?wù)內(nèi)容。正式實驗執(zhí)行期間,錯誤試次將不再反饋。

(四)數(shù)據(jù)分析

本研究采用信號檢測論中的感受性指標(biāo)d' = z (擊中率)- z (誤報率)來評估并對比有效線索與無效線索之間的差異,d' 數(shù)值越高,代表被試對刺激的反應(yīng)靈敏度越高。主要統(tǒng)計分析均使用使用R-studio (2023.06.0+421)執(zhí)行重復(fù)測量方差分析,并參照前人研究,以p<0.05作為顯著性差異標(biāo)準(zhǔn)進行簡單效應(yīng)分析。

二、實驗結(jié)果

本研究統(tǒng)計了不同條件下的反應(yīng)時,d' 數(shù)值,以及與反應(yīng)準(zhǔn)確性相關(guān)的正確率及擊中率,虛報率數(shù)據(jù)。描述統(tǒng)計結(jié)果如表1所示。

表1 不同條件下的反應(yīng)時和準(zhǔn)確率數(shù)據(jù)

(一)感知敏感度(Perceptual sensitivity:d')

線索類型2(有效線索,無效線索)× 記憶陣列2(記憶陣列1,記憶陣列2)× 記憶負荷5(1,2,3,4,5)重復(fù)測量方差分析結(jié)果表明:線索類型主效應(yīng)顯著:[F(1, 21)= 16.06,p<0.001,ηp2= 0.18];記憶陣列主效應(yīng)顯著:[F(1, 21)= 38.14,p<0.001,ηp2= 0.03];記憶負荷主效應(yīng)顯著:[F(1, 21)= 143.4,p<0.001,ηp2= 0.12];另外,記憶陣列與記憶負荷之間的交互作用顯著:[F(1, 21)= 6.03,p<0.001,ηp2= 0.01],簡單效應(yīng)分析結(jié)果表明,在記憶負荷為1的條件下,記憶陣列1和記憶陣列2的d' 沒有差異(p= 0.9),在記憶負荷為2～4個項目的條件下,記憶陣列1與記憶陣列2的d' 有顯著性差異(p<0.001)。這些結(jié)果表明,時間序列線索在不同記憶陣列和記憶負荷條件下均有效提高了工作記憶效能,為時間序列線索在工作記憶提取過程中的作用提供了有力的證據(jù);另外,記憶陣列呈現(xiàn)次序?qū)τ洃浶艿挠绊?在不同負荷條件下呈現(xiàn)出了不同的模式(見圖2,誤差線表示±SEM)。

圖2 不同條件下d' 的均值結(jié)果

(二)線索收益(d' benefit)

為了進一步考察記憶陣列以及記憶負荷對線索收益的影響,本研究采用d'benefit執(zhí)行了記憶陣列2(記憶陣列1,記憶陣列2)× 記憶負荷5(1,2,3,4,5)重復(fù)測量方差分析。結(jié)果表明,記憶陣列主效應(yīng)不顯著(p= 0.41),記憶負荷主效應(yīng)顯著[F(1, 21)= 6.03,p= 0.04,ηp2= 0.05],另外,在本研究中沒有觀察到記憶陣列與記憶負荷之間的交互作用(p= 0.84)。這些結(jié)果表明,盡管記憶陣列1和記憶陣列2因為呈現(xiàn)次序先后導(dǎo)致記憶效能不同,記憶陣列2比記憶陣列1的記憶成績要更好一些。但是時間序列線索對這些呈現(xiàn)于不同時間點的記憶陣列的提取效應(yīng)是沒有差異的,即便是出現(xiàn)較早的記憶陣列1,也可以從線索效應(yīng)中得到同樣的增強。另一方面,記憶負荷,也就是記憶項目總量會對線索收益造成影響。事實上,隨著記憶項目的增加,線索收益也會隨之降低。

三、討論

本研究結(jié)合變化檢測任務(wù)與回溯線索范式,操縱三個自變量:線索類型(有效線索,無效線索),記憶陣列(記憶陣列1,記憶陣列2)和記憶負荷(1,2,3,4,5),分別考察了記憶陣列呈現(xiàn)次序以及視覺工作記憶項目負荷對時間序列線索效應(yīng)的影響。結(jié)果表明,工作記憶效能會受到記憶呈現(xiàn)序列位置的影響,記憶陣列2的記憶成績高于記憶陣列1;然而,當(dāng)時間序列線索介入到工作記憶提取過程之后,線索收益卻不會受到記憶序列呈現(xiàn)位置的影響,記憶陣列1與記憶陣列2都可以從時間序列線索效應(yīng)中獲益。此外,記憶項目負荷對工作記憶效能和線索收益造成了類似的影響,項目負荷越高,記憶成績越低;從時間序列線索中獲取的收益也會隨著記憶項目負荷的上升而降低。

本研究提供了明確的證據(jù)支持時間序列線索可以從多個連續(xù)的記憶陣列中提取指定陣列,并且,這種選擇性注意有助于提高工作記憶效能。回溯線索引導(dǎo)的定向注意對工作記憶的增強在前人研究中已經(jīng)得到驗證[4, 14-15]。但是,以往研究中采用的回溯線索范式,多數(shù)是從一個特定的畫面提取制定的記憶項目,未曾涉及到記憶陣列的更新對線索效應(yīng)的影響。本研究結(jié)果證實了被記憶陣列2覆蓋的記憶陣列1也能夠從線索提取過程中獲取收益。另一方面,線索并不僅僅能夠提取單個記憶項目,而且可以將注意指向不同時間位置所綁定的記憶表征,以整體的形式提取記憶陣列。這些不同時間位置呈現(xiàn)的記憶項目,是以時間標(biāo)記分組存儲在工作記憶中的。這些結(jié)果進一步證實了時間序列信息與視覺工作記憶表征之間的關(guān)聯(lián)[9],也就是說,記憶項目的時間信息也與顏色以及位置信息一起存儲在工作記憶中,并可以被與之綁定的時間序列信息檢索提取。

在記憶負荷對線索效應(yīng)的影響方面,本研究發(fā)現(xiàn)時間序列線索效應(yīng)與空間線索效應(yīng)中的一些不同之處。具體而言,多數(shù)研究認為工作記憶容量上限為4個項目左右[16-17]。在同時呈現(xiàn)記憶項目的條件下,當(dāng)項目數(shù)量超過工作記憶容量(8個項目)時,空間線索對工作記憶效能的增強作用會消失[11],表明記憶項目負荷的上升會對線索效應(yīng)造成負面影響。Souza and Oberauer[18]提出,回溯線索的作用機制可能是通過將部分記憶項目置于優(yōu)先狀態(tài),而放棄另一些未受到線索提示的記憶項目,進而減少記憶負荷對記憶效能所造成的負面影響。空間選擇性注意進行重分配的過程與視覺工作記憶負荷共享有限的認知資源[19],因此記憶項目負荷的超載會導(dǎo)致回溯線索失效。而在本研究中觀察到了不同的結(jié)果,即便是記憶負荷超過負載的情況下(10個項目),時間序列線索依然發(fā)揮了對記憶表征的增強作用。首先這種特殊的效應(yīng)可能與記憶項目的呈現(xiàn)方式有關(guān),雖然一個試次中需要保持的記憶項目總量較多,但單一記憶陣列中呈現(xiàn)的記憶項目卻不超過五個。我們推測,時間序列線索采用了不同的方式在工作記憶中提取視覺表征,即選擇性的記住某一個記憶陣列,而記憶陣列是以整體的形式被提取的。基于時間序列信息的注意分配指向于記憶陣列1或者記憶陣列2,而不是特定的某個記憶項目。因此受記憶負荷的影響較少,并保留了一些認知資源用于完成注意的再分配。另外,我們發(fā)現(xiàn)線索效應(yīng)會隨著記憶負荷的上升而下降。這些結(jié)果進一步證明了序列線索提取過程可能與視覺工作記憶處理共用認知資源,在記憶負荷較高的情況下,對認知資源的占用導(dǎo)致線索收益降低。

四、結(jié)論

本研究采用變化檢測任務(wù)與回溯線索范式相結(jié)合的方式,探討了記憶陣列呈現(xiàn)的時間序列位置以及記憶負荷對時間線索效應(yīng)的影響。研究結(jié)果表明,盡管記憶陣列的序列位置會影響記憶成績,但時間序列線索的效應(yīng)在不同記憶陣列間保持一致,表明序列線索能夠有效地從處于優(yōu)勢的“陣列2”以及已被更新且處于劣勢狀態(tài)的“陣列1”中提取信息,并產(chǎn)生同等的線索收益。此外,記憶負荷對時間序列線索的影響相對較小,即使在認知超負荷的情況下線索效應(yīng)仍然存在,表明認知資源的分配受到了序列中記憶項目呈現(xiàn)模式的影響。這些發(fā)現(xiàn)有助于更深入地理解視覺工作記憶中時間序列信息的機制,并為如何通過重新分配注意資源來克服工作記憶容量限制提供了新的思路。