不同感覺通道的節(jié)奏感知及其交互作用

(浙江大學心理與行為科學系,杭州 310028)

1 引言

節(jié)奏(rhythm)的概念首先來自于音樂,它指的是樂句中強拍與弱拍的循環(huán)重復的組合,對音樂節(jié)奏的感知意味著在體驗上將音符分組放進有結構的模式中(Cooper&Meyer,1960)。廣義來看節(jié)奏是事件在時間上的組織方式,砰砰的心跳,悅耳的鳥鳴,清晨的鬧鐘,都具有周期性的節(jié)奏特征,平時說話時發(fā)音的長短,詩詞的韻律等等也包含了節(jié)奏信息(歐陽玥,戴志強,2010)。廣義的節(jié)奏感知指的是人從外界刺激的時間組織中提取出節(jié)奏特征的過程,根據(jù)Patel在2006年的討論,節(jié)奏感知在認知成分上可分為兩大方面：一是對有規(guī)律的組織方式即分組(grouping)的感知,例如音樂中的節(jié)拍(如4/4拍,以4拍為一個循環(huán)的組,其中第一拍是重音),語言中斷句、長短、輕重帶來的分組;二是對等時性脈沖(isochronous pulse)的感知,如音樂中的固定速度(tempo),跳舞或做體操的規(guī)律性動作。節(jié)奏感知使得人類的自身行動可以與外界節(jié)奏信息產(chǎn)生同步,這對于預測運動物體軌跡、語言理解和音樂表演等許多人類行為都有重要作用(Bengtsson et al.,2009)。2006年Mauro提出“有節(jié)奏的大腦”(the rhythmic brain)的模型,論證了大腦神經(jīng)語言的時間特性和音樂中的節(jié)奏特性相仿,頻率、同步性和時間模式三類時間相關的大腦神經(jīng)現(xiàn)象對應了速度、節(jié)拍和節(jié)奏型這三種音樂節(jié)奏的基本元素,節(jié)奏是大腦神經(jīng)活動的本質屬性之一。

節(jié)奏領域的大多數(shù)研究都以聲音刺激為研究對象。對聲音的節(jié)奏感知非常普遍,人們可以快速識別出一個聽覺刺激序列中的節(jié)奏并做出不同時間分辨率下的同步動作(Drake,Penel,&Bigand,2000)。但節(jié)奏感知并不局限在聽覺通道,視覺和觸動覺刺激也能夠傳遞節(jié)奏信息。觸覺與節(jié)奏的關系緊密,它的感受機制與聽覺類似,內耳的基底膜和皮膚感受器在對類似的物理能量做出反應,機械壓力和聲波振動一樣都有特定的振動頻率(Occelli,Spence,&Zampini,2011)。相比之下,視覺一般被認為對運動和空間信息的加工能力較強而對時間的分辨率較差(Wada,Kitagawa&Noguchi,2003)。早在 1969年 Handel和 Buffardi比較了個體在聽覺、觸覺、視覺三種通道上對相同節(jié)奏序列識別快慢的差異。持續(xù)呈現(xiàn)由兩種元素(左或右)組成的固定序列的節(jié)奏刺激,要求被試正確識別出重復的序列模式,結果表明被試對聽覺序列識別最快,觸覺次之,視覺最慢。一些后續(xù)研究得到了類似的結果(Glenberg,Mann,Altman,Forman,&Procise,1989;Glenberg&Jona,1991;Repp&Penel,2002)。但近些年觸覺和視覺領域的研究有了多方面的拓展,例如加入運動屬性的視覺刺激可以更好地引發(fā)同步運動(Schmidt,Richardson,Arsenault,&Galantucci,2007;Hove,Spivey,&Krumhansl,2010),觸覺節(jié)奏可以得到和音樂節(jié)奏類似的高級表征(Brochard,Touzalin,Després,&Dufour,2008)。多個通道之間還存在交互作用,視覺和聽覺節(jié)奏同時呈現(xiàn)時對視覺節(jié)奏的感知會向聽覺節(jié)奏發(fā)生偏移(Welch,DuttonHurt,&Warren,1986;Welch,1999),視覺可以與其他通道發(fā)生節(jié)奏的跨通道融合(Kuling,Kohlrausch,&Juola,2013),聽覺與觸覺信息可以產(chǎn)生跨通道的組合引發(fā)對不同類型節(jié)拍的感知(Huang,Gamble,Samlertsophon,Wang,&Hsiao,2012)。聽覺通道的節(jié)奏研究由來已久,但觸動覺、視覺及跨通道的節(jié)奏研究尚沒有得到廣泛了解,本文主要對這些領域的研究進行了總結和展望。

2 不同通道的節(jié)奏線索引發(fā)的同步運動

音樂的律動性會令人想要隨之運動,這是節(jié)奏感知最常見的行為表現(xiàn)。大多數(shù)人類從童年時期就表現(xiàn)出自發(fā)地隨音樂踩腳或移動身體的現(xiàn)象(Trehub&Hannon,2006)。節(jié)奏與運動系統(tǒng)的緊密聯(lián)系在神經(jīng)研究領域也已得到證實,聆聽高律動性的聲音刺激時運動皮層的皮質脊髓束在節(jié)拍點上有明顯激活,聽低律動聲音和噪聲時則沒有(Stupacher,Hove,Novembre,Schütz-Bosbach,&Keller,2013)。不僅接受刺激時對節(jié)奏的加工需要運動皮層的參與,對節(jié)拍進行主動認知加工的過程同樣激活了運動區(qū)。當外部節(jié)奏線索較弱,需要被試通過想象主動為外部節(jié)奏加上重音時,音樂家的殼核與前運動皮層之間的聯(lián)系比非音樂家更緊密,由殼核、輔助運動區(qū)和前運動皮層組成的神經(jīng)網(wǎng)絡參與了時間序列組織和節(jié)奏預期的工作,對內部節(jié)奏的產(chǎn)生起到了重要作用(Grahn&Rowe,2009)。

同步運動體現(xiàn)了節(jié)奏加工的本質：掌握事件在時間上的分布規(guī)律并以此指導行為。因此諸多研究以手指打拍子(finger-tapping)任務作為研究范式,探討比較聽覺、視覺、觸覺通道的節(jié)奏引發(fā)的同步運動表現(xiàn)和影響因素。

2.1 視覺線索引發(fā)的同步運動

早期的視覺通道的研究通過與聽覺通道的同步效果相對比,得出了視覺通道節(jié)奏感知較差,同步打拍子較不穩(wěn)定的整體結論。Glenberg等人1989年的研究發(fā)現(xiàn)被試對聽覺節(jié)奏的打拍子再現(xiàn)比視覺更加準確,1991年的后續(xù)研究又引入了兩種節(jié)奏序列,恒定組序列具有等時性特征,變化組序列不具有等時性特征,分離組序列一開始是等時性的后來與變化組相同,結果表明兩種感覺通道與三種序列類型有交互作用,恒定組條件下聽覺相比視覺的優(yōu)勢性最大,這說明聽覺通道相比視覺通道的優(yōu)勢并不只是單純的時間定位更準確,而是能夠更好地分析提取節(jié)奏信息(Glenberg et al.,1989;Glenberg&Jona,1991)。2002 年的一項研究采取同步打拍子范式,序列的節(jié)奏不穩(wěn)定,會引起被試打拍子過程中自發(fā)的相位修正反應(phase correction response,PCR)。實驗結果顯示同聽覺刺激相比跟隨視覺刺激打拍子更加不穩(wěn)定,對刺激呈現(xiàn)偏移的探測更差,修正反應更小(Repp&Penel,2002)。

后來的研究者提出每種感覺通道都有它獨有的加工優(yōu)勢,視覺通道長于加工運動和空間信息,但較早的研究中使用的視覺刺激都是位置、大小不變的閃光,這樣的刺激沒能發(fā)揮視覺通道的加工優(yōu)勢(Grahn,2012)。真實世界中視覺的節(jié)律信息常常是通過運動來傳達的,例如左右搖擺的節(jié)拍器、鳥兒上下拍動的翅膀、拍動籃球的動作,因此使用帶有運動屬性的視覺刺激來表征節(jié)奏是更加合理的選擇。諸多研究表明加入運動屬性后跟隨視覺線索進行同步運動的績效得到了提升。Hove等人2010年的研究中引入了多種其他類型的視覺刺激作為節(jié)奏線索考察是否會帶來打拍子同步性的提升,采用的刺激包括了上下運動或旋轉運動的橫條,實際拍攝的手指運動,密度漸變的雪花以及閃光和聲音。結果表明聲音刺激作為線索時同步績效最好,其次是和手指運動方向一致的視覺刺激,閃光和漸變的雪花效果最差。隨后的一項研究還說明有運動屬性的視覺線索的振幅增大時,同步任務手指打拍子的振幅也會隨之增大,進一步表明視覺運動信息可以加強視覺節(jié)奏與肢體運動的同步性(Hove&Keller,2010)。

加入運動屬性后視覺通道的節(jié)奏感知得到了提升,但績效仍舊低于聽覺通道(Hove et al.,2010),因此仍無法否定聽覺通道在節(jié)奏加工中具有特殊地位的通道特異性假設(Recanzone,2003)。Hove等人2013年的研究同時考慮了刺激的連續(xù)離散屬性與感覺通道類型兩個維度,發(fā)現(xiàn)聽覺通道引發(fā)的同步并不總是優(yōu)于視覺通道。研究者推斷聽覺通道擅長加工離散性刺激而視覺通道更擅長加工連續(xù)性刺激,以往研究將蜂鳴聲(beep)類比為閃光(flash)進行節(jié)奏喚起的比較是不對等的,因此該研究在視覺聽覺、連續(xù)離散兩個維度上采用了四種同步線索進行動作同步任務,見圖1。行為結果表明連續(xù)運動屬性增強了視覺同步績效,頻率連續(xù)變化屬性削弱了聽覺同步績效,四種同步線索中蜂鳴優(yōu)于閃光但汽笛比移動的橫條要差。腦成像結果發(fā)現(xiàn)蜂鳴聲導致的殼核激活最高,閃光導致的激活最低,另外兩種刺激沒有顯著差異,基底神經(jīng)節(jié)的激活沒有表現(xiàn)出通道特異性。這些結果表明影響節(jié)奏同步穩(wěn)定性的關鍵因素是感覺通道與外界刺激的交互作用,分離的聽覺刺激和運動的視覺刺激更適應各自通道先天的信息加工特性,可以和自身運動系統(tǒng)進行更好的整合。

圖1 兩個維度上的4種刺激材料

2.2 觸動覺線索引發(fā)的同步運動及交互作用

前一部分提到的同步任務中,節(jié)奏線索都是均勻的等時性刺激,屬于最簡單的節(jié)奏類型,不具有周期性的分組特征。對于聽覺刺激,設置周期性的重音使其具有分組的節(jié)拍屬性可以增強人們對它的節(jié)奏感知,更好地完成打拍子任務(Keller&Repp,2005)。將節(jié)奏線索變成非均勻的強節(jié)拍感(strongly metric)序列同樣可以增強聽覺線索的運動同步,但人們無法有效提取視覺節(jié)律性刺激中的周期性結構,因此研究者提出對高級分組特征的感知可能是聽覺通道特有的(Patel,Iversen,Chen,&Repp,2005)。但觸覺通道上類似的發(fā)現(xiàn)否定了這一觀點,Brochard等人2008年的研究對左手指尖進行刺激,來呈現(xiàn)和Patel采用的節(jié)奏結構相同的觸覺刺激序列,發(fā)現(xiàn)同等時性序列相比當觸覺刺激具有強節(jié)拍感時打拍子更加穩(wěn)定和準確,說明人們可以對純觸覺刺激的高級節(jié)拍特性做出和音樂節(jié)奏類似的節(jié)奏感知。節(jié)拍特性可以在聽覺之外的通道上得到感知并不意外,神經(jīng)方面的研究發(fā)現(xiàn)對時間周期性進行表征的大腦區(qū)域是與感覺通道無關的。觸覺和聽覺的節(jié)奏都激活了外側和內側前運動區(qū),這是涉及刺激預測的腦區(qū);前額葉,顳葉,枕葉和小腦等負責時間結構分析的區(qū)域同樣在兩種通道條件下都得到了激活(Bengtsson et al.,2009)。

由于觸覺和聽覺關系緊密,感受機制類似,單通道呈現(xiàn)觸覺通道的相關研究較少,與二者有關的研究多采取了多通道整合(multisensory integration)的角度。聽覺與觸覺的整合現(xiàn)象非常廣泛而細微,幾乎每一次觸覺活動,如抓取物體,敲打鍵盤都會伴隨細小的聽覺信息,同樣如電話作響等聲音的發(fā)出也伴隨著振動(Occelli et al.,2011)。多通道整合帶來的背景與信號間的干擾效果在節(jié)奏計數(shù)任務中得到了驗證,Bresciani等人2008年的研究中同時呈現(xiàn)閃光、指尖刺激和聲音中的兩種或三種,其中一種作為信號,要求被試對其出現(xiàn)次數(shù)進行計數(shù),其余兩種為背景干擾,信號和干擾是兩個相位錯開周期一樣的節(jié)奏序列。結果表明視覺作為信號最易受干擾,作為背景干擾效應最弱;聽覺最不易受干擾、作為背景干擾效應最強。當背景有兩個通道同時呈現(xiàn)時干擾作用大于任一個單通道,這說明背景的節(jié)奏刺激發(fā)生了整合。類似的整合效應在同步任務中更加直接地反映在績效上,Elliott,Win和Welchman(2010)的研究評估了跟隨多通道線索進行同步打拍子的表現(xiàn)。被試隨著視覺、觸覺、聽覺中的一種或兩種線索打拍子,發(fā)現(xiàn)當線索呈現(xiàn)時間相近時,大腦依據(jù)通道在時間加工上的可靠性賦予線索不同的權重以完成最佳的多通道整合,與Bresciani,Dammeier和Ernst(2008)的結果類似,雙通道整合引發(fā)的同步打拍子表現(xiàn)總是優(yōu)于任一個單通道。上述結果都說明視聽觸三通道的節(jié)奏線索在時間相近的條件下會發(fā)生自動整合,整合后對節(jié)奏表征的貢獻量受到通道可靠性的影響,總體而言聽覺、觸覺、視覺的可靠性依次降低。

除了來自指尖的被動觸覺輸入,還有研究發(fā)現(xiàn)眼動追蹤可以幫助提升肢體運動與視覺節(jié)律的同步性(Schmidt et al.,2007)。在內隱的節(jié)奏啟動實驗中,被試自由地擺動單擺,同時目視前方口頭報告方框中呈現(xiàn)的字母。作為一種節(jié)奏的暗示,方框可能是靜止在屏幕中間的或者是左右移動的,研究發(fā)現(xiàn)當方框左右移動時被試手中單擺的擺動頻率會無意識地與之同步化;第二部分實驗則外顯地要求被試讓單擺與運動的方框同步,并設置眼動追蹤及不追蹤兩種條件,結果表明有眼動追蹤的情況下同步性更高。一個可能的解釋是肢體與外界刺激的同步化取決于人接收到的外界刺激的信息的豐富程度,眼動追蹤幫助豐富了視野捕獲到的節(jié)奏信息從而增強了同步化。

2.3 同步運動的社會互動意義

令自身肢體運動與外界節(jié)奏信號同步的能力是人類獨有的,尚未有其他物種表現(xiàn)出類似的能力(Patel,2006),這可能與人類高度社會化的特性有關。“社會腦假說”(social brain hypothesis)認為靈長類在共同生活的過程中,需要與種群內的其他個體建立長期的社會聯(lián)系,大腦這一過程中進化出更強的心理歸因、意圖判斷等社會認知能力,從而增強與他人的溝通合作(Dunbar,1998)。節(jié)奏感知的能力使得人類可以完成跳舞、唱歌、演奏等群體同步活動,這樣的活動可以培養(yǎng)成員間的良好關系,增強團體凝聚力和社會連結。研究發(fā)現(xiàn)這種基于共同節(jié)奏感知的人際互動在14個月的嬰兒身上就有體現(xiàn)。主試在有背景音樂的情況下抱著嬰兒搖晃,搖晃可能符合音樂節(jié)奏可能不符合。隨后的情景中主試向嬰兒求助,要求幫忙撿起掉落的東西,嬰兒對進行了同步搖晃的主試做出幫助行為的概率有61%,而對沒有同步搖晃的主試只有25%(Cirelli,Einarson,&Trainor,2012)。同步搖晃無論是相位一致還是相位相反都有同等效應(Cirelli,Einarson,&Trainor,2014),后續(xù)研究更證明這種助人性的增加只針對先前有過共同節(jié)奏活動的特定主試,是一種有指向性的社會行為而不是心境提升等導致的泛化效應(Cirelli,Wan,&Trainor,2014)。12個月的嬰兒身上同樣出現(xiàn)了類似的效應,但9個月的嬰兒則沒有發(fā)現(xiàn),說明嬰兒的節(jié)奏同步能力可能在1歲末的階段開始表現(xiàn)出來(Tun?gen?,Cohe,&Fawcett,2015)。除了增強社會連結,節(jié)奏同步能力還能增強群體在合作任務中的能力。同步運動增加了團體成員對自身和他人行動的知覺敏感性,在共同行動任務中對他人的行為作出更快的反應(Valdesolo,Ouyang,&DeSteno,2010)。

3 跨通道的時間定位影響——時間腹語效應

節(jié)奏感知要引發(fā)同步運動,其認知基礎是對外在刺激的時間定位能力,研究發(fā)現(xiàn)多通道的刺激同時呈現(xiàn)時不同通道的刺激會相互作用,影響主觀時間定位。當聲音和視覺刺激在呈現(xiàn)時刻上鄰近時,知覺到的視覺刺激會向著聲音刺激出現(xiàn)的時刻發(fā)生偏移,仿佛聲音沿著時間維度拉著視覺刺激,這就是時間腹語效應(temporal ventriloquism),也被稱為聽覺驅動(auditory driving)或聽覺捕捉(auditory capture)效應。使用時間順序判斷任務測量被試分辨兩個視覺刺激時間間隔的最小可覺差,在視覺刺激呈現(xiàn)的時刻附近會播放無關聲音刺激。結果發(fā)現(xiàn)當呈現(xiàn)順序為聽覺?視覺?視覺?聽覺時最小可覺差會縮小,視覺?聽覺?聽覺?視覺時,最小可覺差增大,說明對視覺刺激的時間感知會偏向聽覺刺激(Morein-Zamir,Soto-Faraco,&Kingstone,2003)。Burr等人在采用中間平分法測量兩個刺激中間的主觀時間平分點時同樣發(fā)現(xiàn)了這一效應(Burr,Banks,&Morrone,2009)。

當兩個通道的刺激都具有節(jié)奏特性并同時呈現(xiàn)時,時間腹語效應得到了廣泛的驗證和探討。早期研究發(fā)現(xiàn)當速率不同的重復聲音序列和閃光序列同時呈現(xiàn)時,被試感知到的閃光的速率會向聲音的速率發(fā)生偏移(Welch et al.,1986),聽覺序列的速率加快時,雖然視覺節(jié)律的速率維持不變,被試也會報告視覺節(jié)律在加快(Welch,1999)。進一步地,有研究者比較了視覺節(jié)奏的辨別受到同通道或者跨通道節(jié)奏序列干擾的情況,發(fā)現(xiàn)聽覺對視覺的干擾大于視覺對視覺的干擾(Guttman,Gilroy,&Blake,2005)。時間腹語效應不僅僅體現(xiàn)在速度和節(jié)奏辨認任務上,Repp和Penel(2004)的研究表明節(jié)奏與肢體同步的任務中同樣存在時間腹語效應。時間腹語效應被認為支持了節(jié)奏的聽覺編碼假設,即使節(jié)奏信息由視覺通道呈現(xiàn),仍然會自動化地登記并記憶為聽覺編碼。

但如前文所述,節(jié)奏?肢體同步領域的研究發(fā)現(xiàn)運動屬性可以增加視覺通道的節(jié)奏感知。有實驗發(fā)現(xiàn)如果對視覺信息進行修飾,視覺節(jié)奏也能對聽覺節(jié)奏產(chǎn)生一定程度的捕捉效應。令被試觀看鐘表,鐘表的轉動同時包括了視覺和聽覺節(jié)奏,被試要按鍵指示視覺信號或聽覺信號出現(xiàn)的時間,發(fā)現(xiàn)頻率為10Hz的聲音序列能夠影響7Hz到22Hz的視覺序列;閃爍向聲音的偏移縮小了52%的節(jié)奏不一致,而聲音向閃爍的偏移縮小了13%的不一致(Fendrich&Corballis,2001)。Su和Jonikaitis(2011)的研究中要求被試判斷兩段聽覺節(jié)奏的快慢,第二段節(jié)奏播放前觀看從屏幕中間向屏幕邊緣擴大運動的視覺刺激,造成一種物體在靠近被試的深度感覺,結果發(fā)現(xiàn)當點以加速度運動時,被試傾向于將第一段節(jié)律判斷得比實際更快,點減速運動時,被試傾向于將節(jié)律判斷得慢。盡管該研究中兩類刺激并非同步呈現(xiàn),但也從側面說明了運動的視覺刺激可以影響對聽覺節(jié)奏的感知。

4 后天經(jīng)驗對視覺節(jié)奏感知的強化

同步運動和時間腹語效應領域的多數(shù)研究都表明視覺通道在節(jié)奏加工中處于劣勢,但一些研究者從發(fā)展的角度入手,試圖鑒別通道差異是先天還是后天的,研究結果表明更多的后天經(jīng)驗可以增強視覺通道的節(jié)奏感知能力。早先研究發(fā)現(xiàn)聽覺與視覺的節(jié)奏序列同時呈現(xiàn)時,視覺總是更容易受到聽覺的干擾,視覺則無法干擾聽覺(Welch et al.,1986;Repp&Penel 2004;Guttman et al.,2005),但在運動屬性和視覺專家兩方面因素的作用下Hove等人發(fā)現(xiàn)視覺節(jié)奏的干擾作用可以和聽覺一樣有效。該研究在目標?干擾子范式中采用上下運動的彈球(bouncing ball)作為視覺刺激,與聲音刺激進行動作同步任務的干擾效應的對比,被試包括了聽覺專家(音樂人)和視覺專家(電子游戲玩家和球類運動員)兩類。結果表明,對聽覺專家而言聽覺通道的干擾效果強于視覺,視覺專家則相反,將被試因素平衡以后干擾子在視聽通道上沒有主效應(Hove,Iversen,Zhang,&Repp,2013b)。不同職業(yè)可以導致通道熟悉性的差異,聽覺缺陷則帶來了更大的后天經(jīng)驗差異。Iversen等人2015年的研究采用了閃光、上下運動的彈球、音調三種節(jié)奏刺激和聽力正常、聽力喪失兩類被試。實驗結果首先表明正常人在彈球和音調兩種條件下同步穩(wěn)定性沒有差異,印證了加入運動屬性對視覺節(jié)奏感知的提升作用。采用閃光刺激時聾人打拍子的穩(wěn)定性好于正常被試;采用彈球作為刺激時,兩類被試的打拍子穩(wěn)定性沒有差異,進一步分析拍子間時距(inter-tap-interval,ITI)的自相關發(fā)現(xiàn)聽力喪失被試對運動的視覺刺激產(chǎn)生了同正常人對聽覺刺激類似的高級節(jié)奏加工。可見豐富的后天經(jīng)驗可以對視覺節(jié)奏感知產(chǎn)生很大的強化作用。

5 節(jié)奏對注意的同步調節(jié)作用

5.1 腦波同步效應

節(jié)奏不僅引發(fā)人們外在的行為同步化,腦波研究還表明聽覺的節(jié)奏刺激對腦波具有同步調節(jié)效應,會使α波與?波的活動與外在節(jié)奏一致化(Snyde&Large,2005;Fujioka,Trainor,Large,&Ross,2009),當聽覺刺激停止后,根據(jù)后續(xù)的腦電記錄仍可以以一定的準確率辨別出先前節(jié)奏的模式(Stober,Cameron,&Grahn,2014)。同其他領域視覺的劣勢表現(xiàn)不同,視覺的節(jié)奏刺激同樣對腦波表現(xiàn)出同步調節(jié)作用(Rohenkoh&Nobre,2011;Mathewson et al.,2012)。研究表明α波的相位可以預測隨后的視覺探測水平和視覺刺激引起的激活的等級,當視覺刺激呈現(xiàn)在P1和P2波由于相位震蕩導致活動較弱的階段時,皮質激活在刺激呈現(xiàn)后被抑制,環(huán)境刺激達到意識探測水平的概率降低,觀察者更不容易偵查到目標(Mathewson,Gratton,Fabiani,Beck,&Ro,2009)。在這一研究的基礎上,Rohenkohl和Nobre2011年的研究引入了外界的視覺節(jié)奏刺激,發(fā)現(xiàn)它可以調節(jié)α波的活動使之同步,進而調節(jié)不同時間點上的視覺探測任務的績效。和無節(jié)奏條件相減后有節(jié)奏條件下的結果表明α波的活動水平在目標刺激即將出現(xiàn)前達到最大,這說明被試已經(jīng)產(chǎn)生了內在節(jié)律,對刺激的下一次出現(xiàn)有期待性注意。行為數(shù)據(jù)也表明短間隔條件下有節(jié)奏組的探測績效高于另外兩組。Mathewson等在2012年采用固定間隔呈現(xiàn)的環(huán)狀視覺刺激作為線索,在oddball任務中同樣發(fā)現(xiàn)了節(jié)奏條件下α波的同步化和行為反應的易化。Lakatos等(2012)采用視覺聽覺交替的線索,發(fā)現(xiàn)初級視覺皮層的δ波同樣反映了注意與節(jié)奏的同步化,并通過任務績效體現(xiàn)出來。

主動的觸覺同步運動則可以加強聲音節(jié)奏引發(fā)的節(jié)奏預期。播放聲音節(jié)奏的同時要求被試加上主動的同步踏腳或用手按壓握力計運動后,節(jié)奏感知帶來的時間預測效應被加強,同沒有加入主動運動的情況相比P300波的振幅更大,且被試的同步運動穩(wěn)定性和P300波的潛伏期、反應時都有正相關(Schmidt-Kassow,Heinemann,Abel,&Kaiser,2013)。

5.2 節(jié)奏對注意的多通道調節(jié)

節(jié)奏感知的進化意義之一在于產(chǎn)生期待性注意,使個體對外界事件在時間上的發(fā)生產(chǎn)生預期,幫助完成相關活動。注意作為一種資源有限提供的認知活動,其活動強度并不能維持在恒定的高水平,而是處于振蕩的狀態(tài)。節(jié)律理論(Rhythmic Theory)認為內部感知的節(jié)律會和外部世界的時間結構同步化(Jones,1976),當外部事件處于動態(tài)變化時,要達到同步化的注意就需要保證注意在刺激發(fā)生時間前集中并指向對象,Jones等人將這樣的注意調節(jié)稱作期待性注意。節(jié)律性的外部刺激可引起期待性注意,表現(xiàn)為刺激出現(xiàn)在節(jié)律點時對其加工的易化,或精確度提高,這一模型稱為同步模型(Jones,Moynihan,MacKenzie,&Puente,2002)。腦波同步效應為同步模型提供了神經(jīng)證據(jù)上的支持;在行為實驗中,同步模型更是在聽覺、視覺通道以及線索任務通道不一致的情況下都得到了驗證。

研究表明節(jié)奏對注意在時間上的調節(jié)可以發(fā)生在不同通道并有正確率、眼動潛伏期等多種表現(xiàn)。Jones等人(2002)的研究中首先向被試呈現(xiàn)一個標準音調,然后內插8個頻率各異的等時音調,最后呈現(xiàn)一個比較音調,被試的任務是判斷比較音調是否比標準音調高。實驗結果表明,當比較音調出現(xiàn)在節(jié)拍點上時被試的判讀正確率最高,呈現(xiàn)時間與節(jié)拍點相隔越長,被試正確率越低。Miller,Carlson和McAuley(2013)采用眼動追蹤目標位置的任務,同時播放聽覺節(jié)奏信號,目標位置變動的時刻可能和節(jié)奏符合或不符合,結果表明位置變動時刻和節(jié)奏一致時眼動的潛伏期更短;將任務換成對視覺目標的形狀變化進行反應的按鍵任務后得到了類似的結果,變化時刻和節(jié)奏一致時反應正確率最高(Miller et al.,2013)。在視覺通道,4.1部分所述的研究均發(fā)現(xiàn)了行為績效上視覺節(jié)奏對節(jié)拍點上探測任務的易化作用(Rohenkoh&Nobre,2011;Mathewson et al.,2012)。

節(jié)奏對注意的調節(jié)也可以跨通道發(fā)生。Escoffier,Sheng和Schirmer(2010)研究了聽覺節(jié)奏對視覺任務的跨通道影響。研究中被試的任務是判斷屏幕上呈現(xiàn)的物體圖片是正立還是倒立的,圖片呈現(xiàn)前播放具有節(jié)拍屬性的非均勻聽覺刺激,圖片呈現(xiàn)的時間點可能在節(jié)拍點上也可能不在。結果發(fā)現(xiàn)當圖片在節(jié)拍點上呈現(xiàn)時反應時最短,而空白組反應時最長。注意對人類認知加工有著泛化的影響,根據(jù)同步模型可以推斷,無論哪個通道的節(jié)奏引發(fā)了注意在時間上的同步分配,其他通道的認知任務都可能受到影響。Escoffier等人(2010)的研究證實了聽覺節(jié)奏對視覺任務的影響,但目前還沒有研究證實視覺節(jié)律刺激是否能影響聽覺任務。

6 觸覺與聽覺對節(jié)拍類型的整合表征

音樂當中的節(jié)奏不僅具有等時性還具有分組特性,分組的不同構成了不同的節(jié)拍類型。對節(jié)拍類型的判斷除了加工等時性,還要對節(jié)奏的周期性模式產(chǎn)生加工,是更高級的節(jié)奏感知。研究發(fā)現(xiàn)節(jié)拍類型可以通過視覺觸覺的整合表征得到更強感知,整合失敗時則會有較大干擾作用。Huang等人(2012)采用節(jié)拍辨別任務(判斷是兩拍子還是三拍子)發(fā)現(xiàn)觸覺通道和聽覺通道的單通道績效相當(70%～85%),雙通道同時呈現(xiàn)相同序列時正確率達到90%。當節(jié)拍重音都放在一個通道而另一個通道只呈現(xiàn)等時性刺激時正確率仍然較高(70%～90%),重音平均分配在兩個通道時正確率下降到60%,這是由于對兩個通道的重音信息的加工需要通道間的注意轉換。研究者還探討了兩通道節(jié)拍不同時的干擾作用,觸覺通道作為干擾子時正確率尚可(60%),聽覺通道作為干擾子時正確率很低(10%)。

原本不具有周期性節(jié)拍屬性的等時性聲音刺激可以被不同的觸覺刺激賦予不同的節(jié)拍,Phillips-Silver和Trainor的一系列研究對此作出了有力說明。對7個月的嬰兒播放沒有重音的等時性聲音刺激,同時主試在二拍子或三拍子的重音節(jié)拍點上搖晃嬰兒,嬰兒習慣化后播放有重音的聽覺節(jié)奏測量嬰兒偏好,發(fā)現(xiàn)當播放的節(jié)奏類型與之前雙通道組合表征的類型一致時注意時間更長(Phillips-Silver&Trainor,2005),將對嬰兒的搖晃改為被試主動發(fā)出的彎曲膝蓋的動作后,該系列研究在成年人身上也得到了相同的結果(Phillips-Silver&Trainor,2007)。當嬰兒和成年人無自身運動,只是被動觀看運動信息的情況下不會發(fā)生視覺與聽覺的組合表征,這說明盡管視覺和聽覺信息的整合可以加強同步運動(Bresciani et al.,2008),但可能無法整合產(chǎn)生節(jié)拍表征。嬰兒在產(chǎn)前就開始通過本體感覺和聽覺感受節(jié)奏信息,研究發(fā)現(xiàn)妊娠的第12周起嬰兒的活動就開始和母親的心跳出現(xiàn)同步(DiPietro et al.,2006),2～3個月的嬰兒能察覺聽覺節(jié)律的刺激呈現(xiàn)間隔的改變以及間隔不變的情況下刺激順序的改變(Demany,McKenzie,&Vurpillot,1977),視覺能力的發(fā)展則更晚,這可能決定了觸覺和聽覺在節(jié)奏感知上聯(lián)系更加緊密。身體不同部位的運動產(chǎn)生的觸動覺輸入在節(jié)奏感知中有不同的重要性,Phillips-Silver和Trainor(2007)的后續(xù)實驗發(fā)現(xiàn),前庭覺輸入是觸動覺中產(chǎn)生節(jié)奏編碼的主導輸入,實驗中被試主動彎曲膝蓋帶動了全身的晃動。Phillips-Silver和Trainor 2008年的實驗則通過讓被試靠在可以晃動的床上,制造了被動全身運動、主動的腿部彎曲(上半身不動)、主動的頭部運動(頸部以下不動)三種條件,結果發(fā)現(xiàn)為了和聲音節(jié)奏整合產(chǎn)生節(jié)拍,頭部運動是必須的,只進行腿部彎曲運動的被試無法將聲音測試階段的節(jié)奏類型和雙通道階段的類型相匹配(Phillips-Silver&Trainor,2008)。前庭覺是內耳維持軀體平衡的感覺,可見產(chǎn)生節(jié)拍加工需要使大腦感知到軀體的平衡、位置信息的變化,而不僅僅是肌肉運動。

7 總結與展望

節(jié)奏感知作為一種人類獨有的認知現(xiàn)象,可以在不同通道上發(fā)生。本文歸納了近年來與視覺、觸動覺以及多通道交互有關的節(jié)奏感知研究,取得的進展可以總結為以下幾大方面：(1)總體而言聽覺是節(jié)奏加工中最具優(yōu)勢的通道,觸動覺其次,視覺最弱;(2)視覺節(jié)奏受到聽覺節(jié)奏在時間定位上的捕捉;(3)通過將運動信息加入視覺節(jié)奏以及增強后天經(jīng)驗,視覺節(jié)奏感知可以得到較大程度的強化;(4)節(jié)奏刺激對腦波具有同步調節(jié)效應,進而調節(jié)注意并增強節(jié)拍點上的任務績效,這種易化作用可以在視覺、聽覺單通道上或者跨通道地出現(xiàn);(5)觸動覺與聽覺在節(jié)奏感知中聯(lián)系緊密,作為節(jié)奏線索時二者有著良好的多通道整合,同步肢體運動則是節(jié)奏感知重要的行為表現(xiàn),并可以作為一種社會互動增強人際連結。

今后多通道節(jié)奏感知領域的研究有以下幾個方面值得關注：(1)其他類型運動信息對視覺節(jié)奏感知的促進作用：現(xiàn)實中的運動信息多種多樣,目前研究加入的多是二維方向上來回運動或連續(xù)運動的屬性以增強節(jié)奏感知,但大多數(shù)視聽對比研究中視覺通道的績效仍處于劣勢,只有少數(shù)研究中二者可以達到相同績效(Hove,Fairhurst,Kotz,& Keller,2013;Iversen,Patel,Nicodemus,&Emmorey,2015),何種運動信息可以帶來最穩(wěn)定的節(jié)奏感知提升仍有待探討。諸如往復擺動、刺激大小的變化、形狀的變化、立體空間的運動都值得嘗試;(2)同音樂節(jié)奏類似的更多高級節(jié)奏加工能否在多通道整合的情況下得到感知：目前研究已經(jīng)發(fā)現(xiàn)觸覺和聽覺的整合可以帶來節(jié)拍感知,但當前研究的任務只是對節(jié)拍類型作出判斷,而音樂可以采用多種節(jié)奏型來傳達豐富的律動,更加復雜的節(jié)奏能否通過多通道整合產(chǎn)生表征,并在同步運動等行為上得到表現(xiàn)值得探索;(3)節(jié)奏對注意的跨通道調節(jié)作用的研究剛剛開始,目前僅發(fā)現(xiàn)聽覺節(jié)奏對視覺任務可以產(chǎn)生跨通道調節(jié),視覺對聽覺以及觸覺的加入有待探討;該領域研究同樣涉及了前面提到的高級節(jié)奏加工問題,更復雜的節(jié)奏能否引起注意的同步化值得探討。

歐陽玥,戴志強.(2010).音樂節(jié)拍認知的研究評述.心理科學進展,18(11),1692–1699.

Bengtsson,S.L.,Ullén,F.,Ehrsson,H.H.,Hashimoto,T.,Kito,T.,Naito,E.,…Sadato,N.(2009).Listening to rhythms activates motor and premotor cortices.Cortex,45(1),62–71.

Bresciani,J.P.,Dammeier,F.,&Ernst,M.O.(2008).Tri-modalintegration ofvisual,tactile and auditory signals for the perception of sequences of events.Brain Research Bulletin,75(6),753–760.

Brochard,R.,Touzalin,P.,Després,O.,&Dufour,A.(2008).Evidence of beat perception via purely tactile stimulation.Brain Research,1223,59–64.

Burr,D.,Banks,M.S.,&Morrone,M.C.(2009).Auditory dominance overvision in the perception ofinterval duration.Experimental Brain Research,198(1),49–57.

Cirelli,L.K.,Einarson,K.M.,&Trainor,L.J.(2012).Bouncing babies to the beat:Music and helping behaviour in infancy.InProceedings of the12th International Conference on Music Perception and Cognition and the 8th Triennial Conference of the European Society for the Cognitive Sciences of Music.Thessaloniki,Greece.

Cirelli,L.K.,Einarson,K.M.,&Trainor,L.J.(2014).Interpersonal synchrony increases prosocial behavior in infants.Developmental Science,17(6),1003–1011.

Cirelli,L.K.,Wan,S.J.,& Trainor,L.J.(2014).Fourteen-month-old infants use interpersonal synchrony as a cue to direct helpfulness.Philosophical Transactions of the Royal Society of London B:Biological Sciences,369(1658),20130400.

Cooper,G.,&Meyer,L.B.(1960).The rhythmic structure of music.Chicago:The University of Chicago.

Demany,L.,McKenzie,B.,&Vurpillot,E.(1977).Rhythm perception in early infancy.Nature,266(5604),718–719.

DiPietro,J.A.,Caulfield,L.E.,Irizarry,R.A.,Chen,P.,Merialdi,M.,&Zavaleta,N.(2006).Prenatal development of intrafetal and maternal-fetal synchrony.Behavioral Neuroscience,120(3),687–701.

Drake,C.,Penel,A.,&Bigand,E.(2000).Tapping in time with mechanically and expressively performed music.Music Perception:An Interdisciplinary Journal,18,1–23.

Dunbar,R.I.M.(1998).The social brain hypothesis.Evolutionary Anthropology:Issues,News,and Reviews,6(5),178–190.

Elliott,M.T.,Wing,A.M.,&Welchman,A.E.(2010).Multisensory cues improve sensorimotor synchronisation.European Journal of Neuroscience,31(10),1828–1835.

Escoffier,N.,Sheng,D.Y.J.,& Schirmer,A.(2010).Unattended musical beats enhance visual processing.Acta Psychologica,135(1),12–16.

Fendrich,R.,&Corballis,P.M.(2001).The temporal crosscapture of audition and vision.Perception&Psychophysics,63(4),719–725.

Fujioka,T.,Trainor,L.J.,Large,E.W.,&Ross,B.(2009).Beta and gamma rhythms in human auditory cortex during musical beat processing.Annals of the New York Academy of Sciences,1169(1),89–92.

Glenberg,A.M.,Mann,S.,Altman,L.,Forman,T.,&Procise,S.(1989).Modality effects in the coding reproduction of rhythms.Memory&Cognition,17(4),373–383.

Glenberg,A.M.,&Jona,M.(1991).Temporal coding in rhythm tasks revealed by modality effects.Memory&Cognition,19(5),514–522.

Grahn,J.A.,& Rowe,J.B.(2009).Feeling the beat:Premotor and striatalinteractions in musicians and nonmusicians during beat perception.The Journal of Neuroscience,29(23),7540–7548.

Grahn,J.A.(2012).See what I hear?Beat perception in auditory and visual rhythms.Experimental Brain Research,220(1),51–61.

Guttman,S.E.,Gilroy,L.A.,&Blake,R.(2005).Hearing what the eyes see:Auditory encoding of visual temporal sequences.Psychological Science,16(3),228–235.

Handel,S.,&Buffardi,L.(1969).Using several modalities to perceive one temporal pattern.Quarterly Journal of Experimental Psychology,21(3),256–266.

Hove,M.J.,Spivey,M.J.,&Krumhansl,C.L.(2010).Compatibility of motion facilitates visuomotor synchronization.Journal of Experimental Psychology:Human Perception and Performance,36(6),1525–1534.

Hove,M.J.,&Keller,P.E.(2010).Spatiotemporal relations and movement trajectories in visuomotor synchronization.Music Perception:An Interdisciplinary Journal,28(1),15–26.

Hove,M.J.,Fairhurst,M.T.,Kotz,S.A.,&Keller,P.E.(2013).Synchronizing with auditory and visual rhythms:An fMRI assessment of modality differences and modality appropriateness.NeuroImage,67,313–321.

Hove,M.J.,Iversen,J.R.,Zhang,A.,&Repp,B.H.(2013).Synchronization with competing visualand auditory rhythms:Bouncing ball meets metronome.Psychological Research,77(4),388–398.

Huang,J.,Gamble,D.,Sarnlertsophon,K.,Wang,X.Q.,&Hsiao,S.(2012).Integration of auditory and tactile inputs in musical meter perception.InAdvances in experimental medicine and biology(vol.787,pp.453–461).New York:Springer.

Iversen,J.R.,Patel,A.D.,Nicodemus,B.,&Emmorey,K.(2015).Synchronization to auditory and visual rhythms in hearing and deaf individuals.Cognition,134,232–244.

Jones,M.R.(1976).Time,our lost dimension:Toward a new theory of perception,attention,and memory.Psychological Review,83(5),323–355.

Jones,M.R.,Moynihan,H.,MacKenzie,N.,&Puente,J.(2002).Temporal aspects of stimulus-driven attending in dynamic arrays.Psychological Science,13(4),313–319.

Keller,P.E.,& Repp,B.H.(2005).Staying offbeat:Sensorimotor syncopation with structured and unstructured auditory sequences.Psychological Research,69(4),292–309.

Kuling,I.A.,Kohlrausch,A.,& Juola,J.F.(2013).Quantifying temporal ventriloquism in audiovisual synchrony perception.Attention,Perception,&Psychophysics,75(7),1583–1599.

Lakatos,P.,Karmos,G.,Mehta,A.D.,Ulbert,I.,&Schroeder,C.E.(2008).Entrainment of neuronal oscillations as a mechanism of attentional selection.Science,320(5872),110–113.

Mathewson,K.E.,Gratton,G.,Fabiani,M.,Beck,D.M.,&Ro,T.(2009).To see or not to see:Prestimulus α phase predicts visual awareness.The Journal of Neuroscience,29(9),2725–2732.

Mathewson,K.E.,Prudhomme,C.,Fabiani,M.,Beck,D.M.,Lleras,A.,&Gratton,G.(2012).Making waves in the stream of consciousness:Entraining oscillations in EEG alpha and fluctuations in visual awareness with rhythmic visual stimulation.Journal of Cognitive Neuroscience,24(12),2321–2333.

Mauro,D.G.(2006).The rhythmic brain.InICCS.5th International Conference of the Cognitive Science(pp.163–164).

Miller,J.E.,Carlson,L.A.,&McAuley,J.D.(2013).When what you hear influences when you see:Listening to an auditory rhythm influences the temporal allocation of visual attention.Psychological Science,24(1),11–18.

Morein-Zamir,S.,Soto-Faraco,S.,&Kingstone,A.(2003).Auditory capture of vision: Examining temporal ventriloquism.Cognitive Brain Research,17(1),154–163.

Occelli,V.,Spence,C.,&Zampini,M.(2011).Audiotactile interactions in temporal perception.Psychonomic Bulletin&Review,18(3),429–454.

Patel,A.D.,Iversen,J.R.,Chen,Y.Q.,&Repp,B.H.(2005).The influence of metricality and modality on synchronization with a beat.Experimental Brain Research,163(2),226–238.

Patel,A.D.(2006).Musical rhythm,linguistic rhythm,and human evolution.Music Perception:An Interdisciplinary Journal,24,99–104.

Phillips-Silver,J.,&Trainor,L.J.(2005).Feeling the beat:Movement influences infant rhythm perception.Science,308(5727),1430–1430.

Phillips-Silver,J.,&Trainor,L.J.(2007).Hearing what the body feels:Auditory encoding of rhythmic movement.Cognition,105(3),533–546.

Phillips-Silver,J.,& Trainor,L.J.(2008).Vestibular influence on auditory metrical interpretation.Brain and Cognition,67(1),94–102.

Recanzone,G.H.(2003).Auditory influences on visual temporal rate perception.Journal of Neurophysiology,89(2),1078–1093.

Repp,B.H.,&Penel,A.(2002).Auditory dominance in temporal processing:New evidence from synchronization with simultaneous visual and auditory sequences.Journal ofExperimentalPsychology:Human Perception and Performance,28(5),1085–1099.

Repp,B.H.,&Penel,A.(2004).Rhythmic movement is attracted more strongly to auditory than to visual rhythms.Psychological Research,68(4),252–270.

Rohenkohl,G.,&Nobre,A.C.(2011).Alpha oscillations related to anticipatory attention follow temporal expectations.The Journal of Neuroscience,31(40),14076–14084.

Schmidt,R.C.,Richardson,M.J.,Arsenault,C.,&Galantucci,B.(2007).Visual tracking and entrainment to an environmental rhythm.Journal of Experimental Psychology:Human Perception and Performance,33(4),860–870.

Schmidt-Kassow,M.,Heinemann,L.V.,Abel,C.,&Kaiser,J.(2013).Auditory–motor synchronization facilitates attention allocation.NeuroImage,82,101–106.

Snyder,J.S.,&Large,E.W.(2005).Gamma-band activity reflects the metric structure of rhythmic tone sequences.Cognitive Brain Research,24(1),117–126.

Stober,S.,Cameron,D.J.,&Grahn,J.A.(2014,October).Does the beat go on?:Identifying rhythms from brain waves recorded after theirauditory presentation.InProceedings of the 9th Audio Mostly:A Conference on Interaction with Sound.New York:ACM.

Stupacher,J.,Hove,M.J.,Novembre,G.,Schütz-Bosbach,S.,&Keller,P.E.(2013).Musical groove modulates motor cortex excitability:A TMS investigation.Brain and Cognition,82(2),127–136.

Su,Y.H.,&Jonikaitis,D.(2011).Hearing the speed:Visual motion biases the perception of auditory tempo.Experimental Brain Research,214(3),357–371.

Trehub,S.E.,& Hannon,E.E.(2006).Infant music perception:Domain-general or domain-specific mechanisms?Cognition,100(1),73–99.

Tun?gen?,B.,Cohen,E.,&Fawcett,C.(2015).Rock with me:The role of movement synchrony in infants'social and nonsocial choices.Child Development,86(3),976–984.

Valdesolo,P.,Ouyang,J.,&DeSteno,D.(2010).The rhythm of joint action:Synchrony promotes cooperative ability.Journal of Experimental Social Psychology,46(4),693–695.

Wada,Y.,Kitagawa,N.,&Noguchi,K.(2003).Audio-visual integration in temporal perception.International Journal of Psychophysiology,50(1),117–124.

Welch,R.B.,DutionHurt,L.D.,&Warren,D.H.(1986).Contributions of audition and vision to temporal rate perception.Perception&Psychophysics,39(4),294–300.

Welch,R.B.(1999).Meaning,attention,and the“unity assumption”in the intersensory bias ofspatialand temporalperceptions.Advances in Psychology,129,371–387.