張政華 張 航 王 兵 鄭子龍 趙黎明 李衛君
(1 遼寧師范大 學腦與認知神經科 學研究中心,大連 116029) (2 遼寧省腦與認知 神經科學重點實驗 室,大連 116029) (3 中國人民大 學心理學系,北京 110872) (4 遼寧 師范大學音樂學院,大連 116029) (5 蘇州大學 外國語學院,蘇 州 215006) (6 教育部人文社會科學重點研究基地天津師范大學心理與行為研究院,天津 300387)
音段信息(如韻母)和超音段信息(如聲調)是言語信號的基本組成部分。在日常的口語交流中,人們需要從連續復雜的語流中快速提取這兩類信息,以便及時和準確地理解說話內容。基于非聲調語言(如英語)的研究發現,相比于超音段信息,音段信息更容易捕獲注意資源,對詞匯和語義限制功能更強(Friedrich,Kotz,Friederici,& Alter,2004)。但不同于非聲調語言,聲調語言(如漢語)的超音段信息在辨別詞匯、區分語義方面的功能更強(?varny,1972)。所以,不同語言的音段和超音段信息可能存在知覺差異。漢語是典型的聲調語言,每個音節(漢字)都由聲母、韻母和聲調三部分構成,屬于超音段信息的聲調和屬于音段信息的聲母和韻母在理解口語內容方面都具有重要作用。本研究將從漢語詩句入手,考察聲調和韻母的知覺過程。
目前,行為學研究主要采用音韻檢測、異同區分以及詞匯決策等任務考察被試對音韻信息的加工。結果發現,聲調和韻母信息在識別速度和辨別度上均存在明顯差異,判斷錯誤韻母比判斷錯誤聲調更快、更準確,也不易受干擾(Cutler & Chen,1997;Ye & Connine,1999)。但使用成語(具有高限制背景)作為材料的研究卻發現了相反的效應(Liu & Samuel,2007):相比于韻母信息,被試對聲調的反應更快。更復雜的是,眼動研究發現聲調和韻母信息幾乎是被同時加工的,且在限制詞匯激活方面發揮著同等作用(Malins & Joanisse,2010)。所以,有關聲調和韻母加工優勢的研究結果仍然存在爭議。
研究者利用高時間分辨率的ERP 技術考察聲調和韻母加工的認知時間進程。Schirmer,Tang,Penney,Gunter 和Chen(2005)使用高完型概率的粵語句子分析了最后一個字的聲調或韻母違反下(如“母雞今天生病了,所以沒有下蛋/單/洞”)的腦電反應,結果發現兩類違反均誘發了潛伏期和波幅相似的N400 和LPC 成分,表明聲調和韻母是同時加工的,對詞匯語義整合的影響相當,且在晚期的語義再分析和修復階段投入同等認知資源(Schirmer et al.,2005)。但后續采用高限制性成語作為材料的研究卻得出了不同的結果:僅韻母違反誘發了早期N1,且韻母違反比聲調違反誘發了波幅更大的N400,聲調違反則比韻母違反誘發了波幅更大的LPC,表明個體對韻母信息的加工更快速,消耗的認知資源更少,表現出韻母加工優勢(Hu,Gao,Ma,& Yao,2012)。Huang,Liu,Yang,Zhao 和Zhou(2018)同樣以成語為材料,僅發現韻母違反的N400 效應早于聲調,且聲調違反效應先消失(Huang et al.,2018)。兩個研究最大的區別在于前者采用了正誤判斷任務,而后者采用的是再認任務。由此看來,實驗任務的目的性和指向性可能會影響被試的心理加工過程,在不同任務的指引下,加工相似的內容也可能表現出不同的反應模式。
采用高語義限制背景的材料受語義預期的影響較大(Huang et al.,2018)。為了降低語義限制,Li,Wang 和Yang(2014)采用可理解程度低的七言絕句為材料,探究聲調和韻母加工的時間進程,結果發現,韻母違反比聲調違反誘發的效應更早(N450),并且韻母和聲調在晚期發生交互作用,表現為僅聲調合適時韻母違反誘發了更大波幅的LPC,表明在低語義限制語境下,韻母的加工更加快速,聲調信息在晚期影響韻母的再分析過程。
綜上,以往考察聲調和韻母加工的研究大多選用高語義限制語境,可能會混淆語義預期效應,而采用熟悉度和可理解程度低的七言絕句為材料,利用其固有的聲韻規則,能在語義限制較低的情境下探究聲調、韻母的加工過程。而且,語義、句法和韻律的加工過程一般會受實驗任務的影響(Li,Zhang,Zheng,& Li,2019)。研究者一般采用被動任務,如僅要求被試認真聽材料而不做額外的判斷來避免任務指向對所要探究變量的干擾(Osterhout & Mobley,1995;Perrin & García-Larrea,2003)。此外,在心理語言學研究中,將僅是聽或讀的條件下與要求被試注意刺激的某方面信息(如節奏)條件下獲得的ERP 效應相比較,可以表明刺激的哪些加工過程是自動的,哪些過程是強制的(Perrin & García-Larrea,2003)。例如,研究發現,視覺呈現詞對的押韻(rhyming)效應只在指定的任務要求其做押韻判斷時才會出現(Rugg & Barrett,1987)。因此,本研究將同時使用聲韻判斷和無任務聆聽兩種任務,直接比較加工音段(韻母)和超音段(聲調)信息時哪些過程是自動的,哪些過程是強制的,從而較全面地研究音段和超音段信息的加工特性及在口語感知中所起的作用。
本研究預期兩種任務下聲調/韻母違反可能會誘發早期效應。因為以往研究發現音韻信息的加工十分迅速,出現了早期N1(Hu et al.,2012)和P2(Chen et al.,2016;Huang,Yang,Zhang,& Guo,2014)。此外,參考以往研究結果,本研究預期聲韻判斷任務中,聲調和韻母違反都會誘發N400 和LPC 效應(Li et al.,2014)。本研究假設,在無任務聆聽中,如果出現聲韻違反效應,則表明聽者對聲韻信息敏感,并依據長期內化的聲韻規則對違反信息進行自動加工;反之,如果聲韻違反未誘發顯著的腦電效應,則表明聽者后天習得的韻律規則對詩句加工的影響受到任務調節,對聲韻信息的加工是一種策略性的反應。
從遼寧師范大學招募50 名普通話母語者。通過口頭詢問被試對詩句韻律規則是否了解、了解程度如何,以及是否上過相關課程,確認所有被試均對平仄和押韻的知識有一定了解,但未受過系統的聲韻規則學習。其中25 名被試(9 男,平均年齡為20.84±1.85 歲)完成詩句聲韻判斷任務,另外25 名被試完成無任務聆聽(9 男,平均年齡為20.64±1.98 歲)。研究得到遼寧師范大學倫理委員會批準。被試在實驗前簽署了知情同意書,實驗后獲得現金報酬。
采用七言絕句古詩為材料(Li et al.,2014)。中國古詩講究韻律美,七言絕句作為韻律較為嚴格的近體詩,其韻律規則主要體現在押韻和平仄兩方面。在押韻方面,大部分為首句入韻,第二句和第四句的末字押韻(韻母為同一韻轍,如uang,iang,ang)。在平仄方面,要求押韻字押平聲韻。現代漢語的三、四聲為仄聲,一、二聲為平聲(盡管有少數古漢語的入聲為仄聲,但本研究選取的詩句不含入聲字)。首先,另外招募16 名被試評定每首絕句的熟悉度(是否熟悉)和含義上的可理解程度(7 點量表,分數越高表示含義越清楚)。最終選擇不熟悉且含義較模糊(5 分及以下)的240 首詩,以平衡最小語義限制,其中160 首為正式材料,80 首為填充材料。填充材料用來降低位置預期對被試反應偏好的影響。實驗材料均為首句入韻,且押平聲韻。據此,變化第一聯聯末字的聲調(tone,T)或韻母(vowel,V)可生成4 種實驗條件:聲調、韻母均合適(V+T+);聲調合適但韻母違反(V-T+);聲調違反但韻母合適(V+T-);聲調和韻母均違反(V-T-)。見圖1。最終形成640 首詩。

圖1 實驗材料各條件舉例
參照以往研究的分析方法(Magne et al.,2007;Marie,Magne,& Besson,2011),將4 種條件(V+T+、V+T-、V-T+、V-T-)兩兩組合,形成韻母合適(“V+T+”+“V+T-”)、韻母違反(“V-T+”+“V-T-”)、聲調合適(“V+T+”+“V-T+”)和聲調違反(“V+T-”+“V-T-”)4 種情況。各情況的關鍵聲學參數見表1。80 首填充材料中,40 首的聲調和韻母均合適,另外40 首通過變化第四句最后一個字的聲韻信息生成13 首聲調合適但韻母違反、13 首韻母合適但聲調違反、14 首聲調和韻母均違反的材料。

表1 韻母合適/違反、聲調合適/違反四個條件的關鍵聲學參數以及t 檢驗結果
七言絕句由一名播音專業的男性發音人錄制。使用Praat 軟件,將聲韻合適詩句中的關鍵字(第一聯末字)剪切出來,再把聲韻違反的關鍵字剪出后,拼接在對應位置上,形成三類違反條件(V+T-、V-T+、V-T-)的完整詩句。這種拼接方法能保證每首絕句的4 個條件僅在關鍵字處存在條件間差異。每種任務下,640 首絕句均通過拉丁方形成4 個系列,每個系列的160 首絕句只包含一種版本。每名被試只聽一個系列和80 首填充材料。同一條件的實驗材料連續呈現不超過三次。所有實驗刺激通過偽隨機方式呈現給被試。
正式實驗在光線柔和、安靜舒適的房間內進行。實驗材料通過Panasonic RP-HS47 掛耳式耳機雙耳呈現。在聲韻判斷任務中,被試需要提前了解七言絕句的聲韻規則(即需要判斷聲調和韻母兩個維度的信息)。然后根據所聽到的詩句聲韻是否合適進行按鍵反應。在無任務聆聽的任務中,僅要求被試認真聽絕句,但會提前告知被試在實驗結束后需要回憶詩句的信息,以保證被試在實驗過程中注意力集中。此外,為了了解兩組被試對實驗材料的熟悉度和含義的獲取程度,實驗后會詢問被試是否聽到了自己熟悉的或可以明確理解含義的詩句。
具體流程是,首先屏幕中央呈現300 ms 的注視點“+”,同時播放提示音,隨后播放詩句材料(1500 ms),注視點“+”不消失直至詩句材料播放結束,以減少被試眼動。其中,聲韻判斷任務要求被試準確且快速地判斷詩句聲韻是否合適,并在探測界面出現時進行按鍵反應,聲韻合適按“F”,不合適按“J”,或反之,按鍵在被試間進行平衡。探測界面占所有試次的1/3,剩下的試次不需要進行按鍵反應,詩句呈現完后會直接進入1000~1200 ms 的隨機間隔,之后進入下一個試次。無任務聆聽條件下會在絕句播放完畢后,出現“繼續”二字,被試按任意鍵后進入下一個試次。反應時間均限制在8000 ms 以內。每個實驗任務包含6 個組塊,每個組塊包含40 個試次。正式實驗開始前設置練習試次,熟練掌握的被試方能進行正式實驗。
采用ANT 設備(ANT Neuro),國際10-20 系統擴展的64 導電極帽記錄EEG 信號。采樣率為500 Hz,CPz 作為在線參考。電極M1 和M2 分別置于左側和右側乳突。電極與頭皮之間的阻抗小于5 kΩ,在線記錄的濾波帶通為0.01~100 Hz。離線再參考為雙側乳突參考。采用Brain Vision Analyzer 2.0 軟件進行數據處理,對數據進行高通為0.01 Hz 和低通為30 Hz 的帶通濾波。腦電分析鎖定的起始點為每首詩中第一聯最后一個字(即第二句最后一個字)的開始位置,截取此關鍵位置之前200 ms 和之后1500 ms 的數據存為EEG 數據,并以關鍵字開始前的200 ms 時間段為基線進行基線矯正。排除眼動偽跡及電位超過±80 μV 等偽跡后,以實驗任務和條件為自變量進行方差分析,并未發現各條件保留試次在任務內部或任務間存在顯著差異(ps>0.05)。
基于對當前誘發腦電波形的觀察及以往相關研究(Li et al.,2014;Marie et al.,2011),分別對每種任務下韻母和聲調加工誘發的腦電效應進行50ms 步長分析,確定分析的時間窗口。聲韻判斷任務下確定的分析時間窗為1 5 0~2 5 0 m s、300~500 ms 和600~1200 ms;無任務聆聽為150~250 ms 和950~1200 ms。在中線和左右兩半球,以任務類型(聲韻判斷、無任務聆聽)為組間變量,韻母(合適、違反)、聲調(合適、違反)為組內變量,以不同任務下各時間窗口誘發腦電效應的平均波幅為因變量進行重復測量方差分析。中線以及兩半球興趣區的選擇見圖2。采用Greenhouse-Geisser 方法對不符合球形檢驗的p值進行校正,多重比較矯正使用Bonferroni 方法。

圖2 腦電數據分析時的興趣區
結果發現,被試完成聲韻合適性判斷任務準確率較高(M=82.64%,SE=9.15%),說明被試認真完成實驗任務。反應時和正確率不作進一步分析和討論。在無任務聆聽任務中,大部分被試(98%)未發現絕句有明顯的聲韻錯誤,并且回憶了詩句的朗讀節奏、情感和語義等方面的信息。此外,口頭采訪結果發現,被試都表示不曾聽過材料中的詩句,并且較難理解詩句表達的含義。
3.2.1 聲韻判斷
(1)150~250 ms(P2)
在該時間窗進行統計分析發現,中線上,韻母違反(M=-1.1 4,SE=0.21)相比韻母合適(M=-1.59,SE=0.22)誘發了波幅更大的正成分,F(1,24)=8.42,p=0.008,=0.26。韻母和腦區的交互作用顯著,F(2,48)=6.75,p=0.009,=0.22。簡單效應分析表明,韻母違反相比韻母合適在前部[F(1,24)=16.86,p<0.001,=0.41] 和中部[F(1,24)=6.10,p=0.021,=0.20]誘發了波幅更大的正成分。在兩側,韻母違反(M=-1.05,SE=0.19)相比韻母合適(M=-1.51,SE=0.20)也誘發了波幅更大的正成分,F(1,24)=13.03,p=0.001,=0.35。韻母和半球交互作用顯著,F(1,24)=5.68,p=0.025,=0.19。簡單效應分析表明,韻母違反相比韻母合適在右半球誘發了波幅更大的正成分,F(1,24)=31.81,p<0.001,=0.57。見圖3、圖4。

圖3 聲韻判斷和無任務聆聽中聽者加工詩句韻母信息的總平均波形和地形圖

圖4 聲韻判斷和無任務聆聽中聽者加工詩句聲調信息的總平均波形和地形圖
(2)300~500 ms(N400)
中線上,韻母和腦區交互作用顯著,F(2,48)=4.09,p=0.038,=0.15。簡單效應分析表明,韻母違反相比韻母合適在中部[F(1,24)=6.36,p=0.019,=0.21]和后部[F(1,24)=6.42,p=0.018,=0.21]誘發了波幅更大的負成分。在兩側,聲調和腦區交互作用顯著,F(2,48)=5.95,p=0.018,=0.20。簡單效應分析表明,聲調違反相比聲調合適在后部誘發了波幅更大的負成分,F(1,24)=18.83,p<0.001,=0.44。
(3)600~1200 ms(LPC)
中線上,統計分析發現韻母和腦區交互作用顯著,F(2,48)=8.67,p=0.001,=0.27。簡單效應分析表明,韻母違反相比韻母合適在后部誘發了波幅更大的正成分,F(1,24)=7.50,p=0.011,=0.24。此外,聲調違反(M=1.91,SE=0.41)相比聲調合適(M=1.32,SE=0.39)誘發了波幅更大的正成分,F(1,24)=9.92,p=0.004,=0.29。在兩側,韻母和腦區交互作用顯著,F(2,48)=8.75,p=0.002,=0.27。簡單效應分析發現,韻母違反相比韻母合適在后部誘發了波幅更大的正成分,F(1,24)=7.28,p=0.013,=0.23。聲調違反(M=1.27,SE=0.31)相比聲調合適(M=0.85,SE=0.31)誘發了波幅更大的正成分,F(1,24)=8.87,p=0.007,=0.27。
3.2.2 無任務聆聽
(1)150~250 ms(P2)
對該時間窗統計分析發現,中線上,韻母違反(M=-0.38,SE=0.18)相比韻母合適(M=-0.82,SE=0.16)誘發了波幅更大的正成分,F(1,24)=8.81,p=0.007,=0.27。韻母和腦區交互作用顯著,F(2,48)=4.78,p=0.019,=0.17。簡單效應分析表明,韻母違反相比韻母合適在前部[F(1,24)=14.44,p=0.001,=0.38]和中部[F(1,24)=7.62,p=0.011,=0.24]誘發了更大的正成分。在兩側,韻母違反(M=0.29,SE=0.14)相比韻母合適(M=-0.29,SE=0.14)誘發了波幅更大的正成分,F(1,24)=4.53,p=0.044,=0.16。韻母和腦區交互作用顯著,F(2,48)=4.18,p=0.043,=0.15。簡單效應分析表明,韻母違反相比韻母合適在前部誘發了波幅更大的正成分,F(1,24)=11.11,p=0.003,=0.32。
(2)950~1200 ms(LPC)
中線上,韻母主效應以及韻母與腦區的交互作用均不顯著(ps>0.05)。在兩側,韻母違反(M=1.68,SE=0.36)相比韻母合適(M=1.02,SE=0.25)誘發了波幅更大的正成分(邊緣顯著),F(1,24)=3.57,p=0.071,=0.13。韻母和腦區交互作用顯著,F(2,48)=7.18,p=0.007,=0.23。簡單效應分析表明,韻母違反相比韻母合適在前部誘發了波幅更大的正成分,F(1,24)=7.29,p=0.013,=0.23。
本研究考察了在聲韻判斷和無任務聆聽兩種任務下加工中國古詩韻律特征中聲調和韻母信息的認知過程。結果發現,韻母的加工早于聲調,聽者對詩句聲韻信息中的韻母信息更加敏感,即使在無任務聆聽時,韻母違反對韻律的影響也能被自動覺察,并在晚期進行再分析,但對聲調的加工必須依賴有意識的注意。表明在漢語詩歌題材的加工中,韻母具有加工優勢(吳潔敏,朱宏達,2001)。
無論在聲韻判斷還是無任務聆聽過程中,韻母違反相較于韻母合適均誘發了波幅更大的P2,而聲調違反與合適條件之間無顯著差異(見圖3、圖4)。以往研究認為,P2 可由低級聲學參數的差異誘發,如音強(Geisler & Murphy,2000)、音高(Wunderlich & Cone-Wesson,2001)的不同都會影響P2 的波幅。本研究中,盡管聲調違反的音高、音強顯著高于聲調合適,但聲調違反卻未發現P2 效應。因此,P2 可能不是對低級聲學特征感知的反映。P2 也被認為與早期音韻加工負荷有關,更大波幅的P2 反映了輸入的刺激與預期的韻母信息不符,從而導致加工難度增加(Huang et al.,2014;Marie et al.,2011)。例如,相比視覺通道,聽覺呈現材料可能更直接地激活音韻表征(Gaskell & Marslen-Wilson,2002)。本研究中,新激活的音韻表征可能與存儲在工作記憶中的符合聲韻規則的信息發生競爭,相互干擾,導致負荷增加,從而在兩種任務的韻母違反條件下均誘發了P2。此外,P2 也可能反映了一般的快速注意捕獲過程(Fan et al.,2016;Kanske,Plitschka,& Kotz,2011),隨著投入注意資源增多而波幅增大(Fan et al.,2016)。在本研究中,韻母違反誘發更大的P2,結果也可能表明韻母違反快速吸引了被試更多的注意。總之,本研究表明聽者對違反聲韻規則的韻母信息的加工非常敏感且不受實驗任務影響。
相反,聲調違反在該時間窗沒有誘發任何效應,表明聲調信息對韻律加工的影響較小,或者其違反不足以引起被試的注意。這可能緣于講究音韻美的詩句對韻母信息的要求更加普遍和嚴格(吳潔敏,朱宏達,2001)。
本研究還發現韻母違反在右半球效應更顯著,這與以往研究發現的詩句韻母信息右半球加工優勢一致(Chen et al.,2016;Li et al.,2014),可能與右側前額葉對韻律加工有重要意義相關(Magne et al.,2007)。
在聲韻判斷任務中,韻母和聲調違反相較于合適條件均誘發了波幅更大的N400,而在無任務聆聽時未誘發任何效應。本研究使用了不熟悉且可理解程度低的七言絕句,這使得聽者難以提取完整的語義信息,因此本研究的N400 不大可能反映語義信息的加工,更可能反映了對聲韻信息的加工。這一觀點與以往研究結果一致。不押韻的單詞誘發了后部分布的N400(Coch,Grossi,Skendzel,& Neville,2005)。在語音啟動研究中,當目標詞與啟動詞不押韻時,也會誘發N400(Perrin & García-Larrea,2003)。因此,本研究發現的N400 效應可能反映了以下過程:聽者在進行聲韻判斷時,會根據聲韻規則預測詩句中第二、四句最后一個字的聲韻信息,并生成一系列可能匹配的候選項,更大波幅的N400 可能反映了預期與實際聽到的刺激間的音韻失匹配(Chen et al.,2016;Li et al.,2014)。所以,在此過程中,聲調和韻母的加工不存在顯著差別。
在無任務聆聽時,聽者并沒有產生對聲韻信息的主動預期,也不存在將違反的聲調和韻母與合適條件進行比較的過程,因此兩類信息違反均未誘發顯著效應。這說明聽者至少在該階段對聲韻信息的加工是以策略化的方式進行的,聲韻信息違反僅在有意識的加工中才會被意識到。以往研究發現聽者即使在非主動注意的情況下,聲調、韻母信息違反仍會誘發N400 效應,這可能與以往研究使用了成語(Huang et al.,2018)或高語義限制性句子(Schirmer et al.,2005)等語義信息豐富且易提取的材料有關。該結果也進一步表明本研究中的N400 可能主要反映了音韻信息加工。
在聲韻判斷任務中,韻母和聲調違反相較于合適條件均誘發了波幅更大的LPC,與以往研究結果一致(Hu et al.,2012;Li et al.,2014)。LPC 與錯誤探測(Kolk,Chwilla,van Herten,& Oor,2003)、再分析和再注意過程有關(Zhang,Li,Gold,& Jiang,2010),體現了任務相關的整合過程(Bornkessel & Schlesewsky,2006)。本研究中,更大波幅的LPC 反映了被試會投入更多的注意資源重新審查聽到的內容,并試圖將聲韻違反的目標詞整合到語境中去。在無任務聆聽時,韻母違反在950~1200 ms 誘發了前部分布的LPC。這表明,即使被試的注意力并未明確指向加工詩句中的聲韻信息,聽者仍能探測到韻母違反并進行再分析和整合。這一過程的出現晚于有意識注意的聲韻判斷任務,也證實了實驗任務影響LPC 效應的潛伏期(Marie et al.,2011)。此外,在無任務聆聽時誘發的LPC 分布在前部,不同于主動的聲韻判斷任務(LPC 分布在中后部),可能表明兩種任務下聽者加工韻母信息的潛在認知過程不同。與韻母相比,聲調違反僅在完成主動的聲韻判斷任務時誘發了LPC。進一步表明在聽詩句時,聽者對韻母比聲調信息更敏感,其只在實驗任務明確要求時才會花費更多認知資源加工聲調信息。
本研究在被試和實驗材料方面存在局限。雖然通過口頭詢問基本確定不同任務的被試對詩歌聲韻知識水平相當,但是并沒有對其進行標準化測量。此外,在實驗材料上,本研究將韻母部分看作一個整體進行違反變化;未來研究可將韻母部分按照更精細的標準劃分為介音、主要元音、韻尾來設置韻母違反材料。
本研究發現兩種任務中的聲調和韻母信息加工過程不同,佐證了聲調和韻母雖然通常同時呈現,但仍然是兩個獨立的加工單元。聽者在兩種任務中均能于早期快速識別詩句中的韻母信息,并在晚期完成再分析和整合,而對聲調的語音分析和整合過程必須依賴聽者主動分配認知資源。結果表明韻律限制語境(即詩句)會對韻母和聲調加工產生影響,相較于聲調信息,聽者對詩句聲韻信息中的韻母信息更加敏感。