漢字閱讀的語義神經回路及其與語音回路的協作機制*

楊劍峰 黨 敏 張 瑞 王小娟

(陜西省行為與認知神經科學重點實驗室,陜西師范大學心理學院,西安710062)

1 問題提出

基于語言認知神經科學研究的大量實驗證據,研究者開始嘗試結合認知理論來建構語言加工的神經生理模型,這是語言認知神經科學自始就提出的一大挑戰(Fiez,2000),同時也是當前研究的重要取向(Carreiras, Armstrong, Perea, & Frost, 2014)。

詞匯閱讀包括閱讀理解和出聲閱讀兩種加工過程。聯結主義理論認為閱讀加工過程是視覺(詞形)、語義和語音三種信息相互作用的結果(Seidenberg, 2011),如圖1A所示,閱讀理解(通達語義)和出聲閱讀(通達語音)只存在輸出結果的差異,其二者的內部計算機制均是經詞形直接通達與間接通達語音/語義加工的結果。要從聯結主義神經網絡的角度探討閱讀的神經機制,需要闡明語音與語義加工相互作用的神經機制。然而,受拼音文字系統的表義局限性的影響,研究者面臨著一個亟待解決的瓶頸問題：即對閱讀中的語義神經回路缺乏系統的探討。

本項目擬利用漢字表義的獨特性,以漢字形旁語義加工的神經機制作為切入點,深入探討出聲閱讀中語義加工的大腦神經回路,進而闡明語義和語音神經回路的動態協作機制。

1.1 研究現狀分析

長期以來,語言認知神經科學研究致力于探討認知加工成分對應的大腦功能區,并取得了重要的進展。比如,研究者識別出了負責視覺詞形加工的大腦左側梭狀回中部(Cohen &Dehaene,2004)、負責語音加工的大腦左側顳上回后部(Paulesuet al.,2000),以及負責語義加工的左側顳中回和角回(Frost et al., 2005)。但是,對視覺詞匯閱讀機制的認知解釋存在雙通道(Coltheart,Rastle, Perry, Langdon, & Ziegler, 2001)和聯結主義(Seidenberg,2011)兩種理論取向,如何在神經層面統一閱讀的認知理論解釋是研究者面臨的一大挑戰(Fiez,2000),也是當前研究致力解決的核心問題(Carreiras et al., 2014)。

圖1 詞匯閱讀的大腦神經回路及其面臨的問題

近年來,認知神經科學研究開始從神經網絡的角度思考視覺詞匯閱讀的大腦神經機制, 建構閱讀的神經網絡模型成為研究者廣泛關注的問題。

首先, 從神經網絡的角度考察視覺詞匯閱讀的神經生理模型成為當前研究的焦點。自功能核磁共振(fMRI)技術應用于閱讀領域研究以來, 研究者就提出了視覺詞匯加工的背側和腹側通路(Pugh et al., 2001), 并試圖在神經層面與閱讀的認知理論進行統一。比如有研究者提出功能分離的兩條詞匯閱讀神經通路(Jobard, Crivello, &Tzourio-Mazoyer, 2003), 一條通路負責閱讀的形?音轉換加工, 主要涉及了大腦左側顳上回、緣上回以及額下回的鰓蓋部; 另一條通路負責詞典語義加工, 主要經梭狀回中部通達語義加工腦區,包括顳下基底部、顳中回后部以及額下回的三角部。近年來, 隨著大量fMRI研究成果的積累, 研究者提出了不同的閱讀神經生理模型。如圖 1C所示, Levy等人(2009)通過對比不同刺激類型的腦機制, 對閱讀的腹側通路進行了進一步細分;Richardson, Seghier, Leff, Thomas和Price (2011)建構了閱讀動態因果模型, 提出了詞形通達語義的三條不同神經回路; Price (2012)和Carreiras等人(2014)則在對大量文獻進行綜述的基礎上提出了閱讀的聯結主義神經模型。但是, 目前的神經模型在大腦功能結構上還缺乏統一。

其次, 從腦區相互作用的角度揭示閱讀神經網絡的內部機制是當前研究的熱點。聯結主義理論認為詞匯閱讀加工是視覺(詞形)、語義和語音系統相互作用的過程(Seidenberg, 2011), 語音和語義加工的合作模式體現出不同的閱讀行為表現(R.Frost, 2012)。這種理論解釋得到了腦功能成像研究的證據支持(見綜述, Carreiras et al., 2014), 而且表現出跨語言的普遍性(Rueckl et al., 2015; Yang,Shu, McCandliss, & Zevin, 2013; Wang et al., 2015)。

在神經網絡取向下, 研究者嘗試探討閱讀相關腦區間的相互作用機制。一方面, 研究者發現閱讀相關腦區具有動態激活的特點, 其激活強度同時受到刺激和任務的驅動, 且二者存在交互作用(Price & Devlin, 2011; Yang, Wang, Shu, &Zevin, 2012), 閱讀加工也受到注意等認知加工的調節(Vogel, Miezin, Petersen, & Schlaggar, 2012)。另一方面, 研究者認識到語言加工需要大腦多個腦區的共同協作(Fedorenko & Thompson-Schill,2014), 詞匯閱讀是多個加工腦區組成的神經網絡共同活動的結果(Ludersdorfer, Schurz, Richlan,Kronbichler, & Wimmer, 2013; Wang, Yang, Shu, &Zevin, 2011; Yang, Wang, Shu, & Zevin, 2011), 且網絡內部各腦區之間具有交互作用(Carreiras et al.,2014; Graves, Desai, Humphries, Seidenberg, & Binder,2010)。從神經網絡的角度探討語義與語音神經回路的交互作用已經成為揭示閱讀神經機制的關鍵(Boukrina & Graves, 2013)。

1.2 面臨的問題和出路

從神經網絡的角度探討視覺詞匯閱讀的神經生理模型, 已經取得了初步的進展。同時也還面臨著一些問題亟待解決。

首先, 對語義神經回路的認識是詞匯閱讀神經模型研究面臨的瓶頸。從圖1C可以看出, 當前的研究結果發現, 視覺詞匯閱讀的神經生理模型尚缺乏統一, 各個模型的主要差別在于語義神經回路的不同。比如, Price (2012)和Carreiras等人(2014)的模型都提出在閱讀加工中存在語音和語義兩條神經回路, 但二者的語義相關腦區卻不同,前者僅包括顳中回后部區域(pMT), 后者的語義相關腦區還包括顳葉前部(ATL)和角回(AG)的參與。已有研究對語義神經回路的認識不一致主要表現在兩個方面：一方面是參與語義加工的腦區眾多。如圖 1B所示, pMT、ATL、AG以及額下回(IFG)等區域都被發現與詞匯的語義加工相關(見綜述 Binder & Desai, 2011; Carreiras et al., 2014)。另一方面, 這些腦區在詞匯加工中的作用機制尚不清楚。如pMT被認為是負責詞匯語義存儲的腦區(Binder, Desai, Graves, & Conant, 2009); AG負責概念與概念之間的整合加工(Bonner, Peelle,Cook, & Grossman, 2013; A. R. Price, Bonner, Peelle,& Grossman, 2015); ATL更多地被認為與抽象的概念表征有關(Bonner & Price, 2013; Mehta et al.,2016); 而IFG被認為是負責語義的整合加工(Zhu et al., 2012)。而且, 這些語義腦區在詞匯閱讀中的具體作用以及它們如何參與出聲閱讀中的語義加工, 還需要系統深入地研究。

其次, 語音與語義加工神經回路的相互作用機制尚不清楚。聯結主義理論認為詞匯閱讀是語音和語義加工通道分工合作的結果(Seidenberg,2011)。有研究表明閱讀是多個腦區協作的結果(Frost et al., 2005; Wang et al., 2011); 在神經網絡取向下, 研究者發現閱讀相關腦區具有動態激活的特點, 閱讀功能腦區的激活強度受到了刺激屬性、任務要求以及注意加工的影響和調節(Price &Devlin, 2011; Vogel et al., 2012; Yang et al., 2012);最新的白質纖維束追蹤研究為閱讀的多腦區協作提供了神經解剖證據(Yeatman, Rauschecker, &Wandell, 2013)。然而, 現有研究仍然只是在理論層面提出語義和語音神經回路具有分工合作的關系(Cattinelli, Borghese, Gallucci, & Paulesu, 2013),還缺乏相應的認知神經科學研究的證據。

而且, 漢字閱讀神經機制研究證據不足。前人研究對語義神經回路的認識不足, 一個重要原因是拼音文字系統缺乏詞形與語義的對應。漢字具有表義的特性, 為研究從詞形到語義加工的大腦神經機制提供了可能。有研究者使用行為技術(Williams & Bever, 2010)、眼動技術(張積家, 王娟,印叢, 2014)、以及神經電生理(ERP)技術(王協順,吳巖, 趙思敏, 倪超, 張明, 2016)等探討了形旁語義對整字加工的影響(詳見綜述, 張積家, 王娟,陳新葵, 2014)。漢字閱讀的腦功能成像研究主要集中于探討字形到語音加工的神經機制(Kuo et al.,2004; Liu et al., 2008; Tan, Feng, Fox, & Gao, 2001;Lee et al., 2004; Peng et al., 2004), 對于漢字語義加工相關的腦區識別多是采用語義任務與其它任務的對比(如,Wu et al., 2009), 還沒有對字形到語義的加工進行深入地探討。漢字形聲字的形旁本身具有一定的語義信息, 并為整字閱讀提供了線索(見綜述, 張積家, 王娟, 陳新葵, 2014)。研究形旁語義加工的神經機制, 能探討字形到語義、以及形旁與整字語義整合加工的神經機制, 從而揭示出漢字閱讀的語義神經回路及其與語音回路的相互作用機制。

綜上, 探討詞匯閱讀的大腦神經網絡面臨著以下問題需要解決：1)詞匯閱讀的語義神經機制成為當前研究的瓶頸; 2)對語義與語音神經回路的動態協作機制還缺乏深入地探討; 3)漢字的表義特性為解決上述問題提供了可能, 目前尚缺乏相應的fMRI研究證據。

因此, 本項目采用功能核磁共振成像(fMRI)技術, 1)利用漢字表義的獨特性, 考察漢字形旁語義加工的神經回路; 2)結合動態因果模型的建構,深入揭示語義與語音神經回路的動態協作機制; 3)從跨語言的角度, 為建立閱讀的神經網絡模型提供直接的證據。

2 研究構想

利用漢字表義的獨特性探討詞匯閱讀的語義神經回路及其與語音回路的協作機制, 需要解決兩方面的研究問題：首先, 充分利用漢字形旁表義的特性, 揭示形旁語義加工的神經機制, 從而解決當前閱讀腦機制研究面臨的瓶頸問題; 其次,操縱閱讀材料的刺激屬性和任務要求, 系統探討閱讀相關腦區的聯結模式變化, 從而揭示語義和語音神經回路的協作機制。

為實現上述目標, 本項目通過 4個腦功能成像(fMRI)實驗, 分三個研究展開探討：研究一(實驗1)利用fMRI實驗的多參數取向(Multi-parametric approach), 識別漢字閱讀中與語音和語義加工相關的大腦功能腦區。研究二(實驗2和3)是本項目的核心內容, 充分利用了漢字形旁表義的獨特性,考察漢字閱讀中的語義神經回路。研究三(實驗4)建構閱讀的動態因果模型(DCM), 考察語義和語音神經回路在刺激屬性驅動和任務要求下的動態協作。具體研究內容如下：

2.1 漢字閱讀的相關功能腦區

由于具體實驗的刺激材料和任務要求差異,漢字閱讀的 fMRI研究雖然識別出閱讀加工成分(如語音、語義加工)相關的腦區, 但對這些腦區的功能還存在不一致的解釋。近期的研究表明, 閱讀相關腦區的激活同時受到刺激和任務交互作用的影響(Yang et al., 2012), 而以往研究通過刺激對比發現的腦區往往可能是任務要求下的潛在加工不同所導致的結果(Zhao, Fan, Liu, Wang, & Yang,2017)。因此, 不能簡單通過刺激或任務的對比來識別漢字閱讀的相關功能腦區。

多參數相關分析技術是識別閱讀功能腦區的有效方法。通過計算大腦BOLD信號與刺激屬性的相關, 能有效排除實驗條件對比時所涉及的加工策略的影響, 同時還能考慮多個刺激屬性之間的相互影響, 識別出與語音、語義等屬性加工相關的功能腦區(Graves et al., 2010)。漢字閱讀的最新研究(Wang, Zhao, Zevin, & Yang, 2016)使用多參數相關分析技術, 對已有的實驗結果(Yang et al.,2012)進行分析, 推測出漢字閱讀的語義神經回路涉及了大腦左側顳中回和角回的參與, 也表明多參數相關技術應用的可靠性。本研究采用多參數相關分析技術探討漢字閱讀的神經回路, 還需要系統操縱刺激材料的語音和語義屬性, 對語義加工神經回路進行深入地研究。

研究一不再簡單地進行實驗條件間的對比,而是同時考察多種刺激屬性對于閱讀神經回路的影響。實驗1不再設計具有高、低刺激屬性或不同加工任務的條件對比, 而是結合已有的數據庫(Shu, Chen, Anderson, Wu, & Xuan, 2003; Liu, Shu,& Li, 2007)以及人工評定的方法, 精心挑選出在各個統計屬性上具有離散特性的漢字材料, 這些統計屬性包括漢字的基本特性：頻率、部件數、筆畫數、命名反應時間; 與語音加工相關的屬性：聲旁讀音規則性、一致性; 人工評定的語義屬性：整字語義的具體性/抽象性、可表象性, 以及形旁語義透明度(形旁語義與整字語義的關系)。要求被試在 fMRI掃描儀里閱讀所有 300多個精心挑選的漢字。

實驗1的關鍵技術在于采用多參數相關技術對收集的 fMRI數據進行統計分析。通過建立刺激屬性與大腦 BOLD信號的相關, 對漢字屬性變量相關的腦區進行聯合分析(Conjunction analysis),來確定與閱讀加工成分相對應的功能腦區。一方面, 與多個刺激屬性同時具有高相關的腦區可能反映了這些變量涉及的共同認知加工。預期負責一般認知加工腦區會在所有變量中都參與激活,而且會同時受到任務難度和反應時間的調節。而負責語音加工的腦區將會與漢字的規則性、一致性表現出共同的高相關; 負責語義加工的腦區將會與漢字的具體性/抽象性、語義可表象性以及形旁透明度等因素表現出高相關。另一方面, 與刺激屬性特異相關的腦區可能涉及了特定的認知加工。比如, 可以預期語義可表象性可能與 AG和pMT具有高相關(Frost et al., 2005; Graves et al., 2010);語義抽象性可能更多與 ATL具有高相關(Bonner& Price, 2013); 而形旁透明度可能會與上述語義相關腦區都表現出一定程度的相關。在識別與形旁透明度相關的功能腦區的基礎上, 研究二將進一步深入揭示形旁語義作用的神經機制。

2.2 形旁語義加工的大腦神經機制

現有閱讀神經模型的分歧在于語義神經回路的差異(圖 1C)。來自認知行為、計算機模擬以及認知神經科學的研究證據都表明語義影響了詞匯閱讀加工(見綜述, Taylor, Duff, Woollams, Monaghan,& Ricketts, 2015)?；谄匆粑淖窒到y的閱讀研究通常采用兩種探討語義神經機制的方法：一種方法是通過對比例外詞與規則詞的加工, 例外詞比規則詞更多激活的腦區被認為是與語義加工有關,通過這樣的比較, 研究者發現大腦的ATL與額外的語義加工有關(Graves et al., 2010), 但是Taylor,Rastle和Davis (2013; 2014)卻認為ATL的激活是因為對例外詞的加工需要在多個讀音中進行選擇,從而挑戰了間接推測語義加工神經回路的可靠性。另一種方法是操縱詞匯水平的語義因素, 比如詞匯的可表象性(Frost et al., 2005)與 AG和pMT的激活有關。但是, 整詞水平的語義因素只能反映出詞匯通達之后語義分析可能的相關腦區,卻無法完全揭示語義線索在閱讀中通達詞條過程中的作用機制。

漢字的書寫特點具有探討閱讀中語義加工神經機制的獨特優勢。漢字形聲字的形旁具有表義的功能, 探討漢字形旁語義加工的神經機制將能深入揭示出閱讀的語義神經回路。在漢字閱讀研究中, 已有研究分析了漢字閱讀中形旁語義加工的作用(Williams & Bever, 2010; 張積家, 王娟,印叢, 2014), 但還缺乏相應的fMRI實驗證據。研究二將充分利用形旁表義的特性, 通過2個fMRI實驗, 考察漢字閱讀的語義神經回路。

實驗 2通過操縱形旁的表義特性, 在假字條件下探討形旁語義激活的大腦神經區域; 在真字條件下探討形旁語義影響整字加工的神經機制。采用2(形旁表義:強、弱)x2(真字、假字)的重復測量實驗設計。結合已有的數據庫(Shu et al., 2003)以及人工評定的方法, 挑選兩類不能單獨成字的形旁部件：語義相對精確的強表義部件(S, “钅犭氵”); 以及語義模糊的弱表義部件(W, “礻阝彳”)。將這兩類部件與弱表義且不單獨成字的部件(“攵旡”)結合構建兩類假字(PS, PW); 再從字庫中挑選相同形旁對應的真字, 組成兩類真字材料(RS,RW)。在 4種條件之間匹配漢字的部件數、筆畫數、部件頻率以及部件的典型位置頻率, 對真字的兩種條件匹配整字頻率。為了突顯漢字部件的作用, 呈現刺激材料時將在左右部件中間插入半個字符寬度的空白, 以加強被試對部件信息的加工深度。被試的任務是判斷兩個部件能否組成一個真字。

對比假字條件下的形旁強、弱表義條件, 將識別出形旁語義加工的相關腦區, 預期有負責語義詞典通達的pMT, 以及負責語義整合的AG在形旁強表義條件下會更多參與激活。在真字條件下, 形旁語義會與真字語義同時激活, 預期比假字條件更多激活負責語義整合的IFG、ATL和AG。交互作用顯著的腦區將反映在負責形旁與整字語義整合加工的腦區上。

形旁語義影響整字語義的機制, 一種可能是形旁語義直接激活了整字語義; 另一種可能是形旁語義激活了整字語義的特征概念, 從而促進了整字語義的提取(張積家, 彭聃齡, 1993)。前者不依賴于形旁語義的特征屬性, 而后者依賴于形旁語義的具體性特征, 抽象的形旁語義提供的語義線索相對較弱。有研究表明具體語義更多激活了AG和pMT, 而抽象語義更多激活了ATL (Bonner& Price, 2013)。實驗3擬借助于形旁語義的透明度效應(劉燕妮, 舒華, 軒月, 2002), 對比形旁語義具體和抽象條件下透明度效應的神經機制差異,進一步考察形旁語義影響整字語義加工的實質及其神經機制。

實驗3通過操縱漢字形旁的透明度信息和具體/抽象性信息, 構建4種條件：形旁語義具體且透明的條件(如, 狼), 形旁語義具體但不透明的條件(如, 猜), 形旁語義抽象且透明的條件(如,情), 形旁語義抽象但不透明的條件(如, 恒)。除此之外, 設計形旁語義具體的假字和形旁語義抽象的假字作為基線條件。如果形旁是通過激活與整字共享的語義特征, 從而促進整字的語義加工,形旁透明度效應將體現在形旁語義具體的條件下,表現為AG和pMT的參與激活。相反, 如果形旁語義通過直接激活整字的語義起作用, 則形旁透明度效應在形旁語義具體和抽象條件下沒有差異,都表現為ATL的參與激活。

2.3 語義和語音神經回路的協作機制

來自病人(Bi, Han, Weekes, & Shu, 2007)以及計算機模擬(Yang et al., 2013)的研究都表明漢字閱讀是語義和語音加工的相互作用, 但目前還沒有相應的 fMRI神經生理實驗證據。采用傳統的一般線性模型(GLM)數據分析技術, 進行條件間相減只能體現出腦區激活在不同條件下的強弱,很難揭示腦區間的相互作用。多變量數據分析技術, 如動態因果模型(DCM), 能夠揭示出大腦活動的功能結構以及腦區之間的協作機制(Cardin,Friston, & Zeki, 2011)。有研究用DCM模型嘗試探討了閱讀神經模型的功能結構(Levy et al., 2009;Richardson et al., 2011), 但還沒有深入揭示語義與語音神經回路的動態協作機制。研究三在實驗1的基礎上建構閱讀的動態因果模型(DCM), 結合實驗 4的數據, 詳細考察閱讀網絡內腦區間聯結模式的變化, 闡明語義和語音神經回路的動態協作機制。

實驗4操縱形旁語義透明度(高、低)與聲旁讀音一致性(高、低)信息, 對比語義檢測和語音檢測任務下的腦機制, 通過建構閱讀的動態因果模型,旨在考察語義和語音神經回路的動態協作機制。具體通過以下數據分析進行詳細探討：

首先, 使用實驗 1的數據, 建構和識別閱讀的最優動態因果模型(DCM)。通過對多參數相關技術得到的 fMRI實驗數據進行預處理和統計分析, 獲得與閱讀認知成分相關的大腦功能區(興趣區), 并構建不同的動態因果模型, 計算動態因果模型中各個腦區之間的關聯強度, 最終通過貝葉斯模型分析獲得最優的動態因果模型。

其次, 基于最優DCM模型, 以實驗4的任務態數據建模, 考察刺激材料的語音和語義因素對腦區聯結模式變化的調節作用。在語義檢測和語音檢測任務中, 探討刺激材料涉及的語義和語音加工信息對閱讀網絡不同的貢獻作用。具體表現為在語音檢測任務中, 語音加工腦區對語音信息的激活要強于語義信息; 而在語義檢測任務中, 語義加工腦區對語義信息的激活則要強于語音信息。

最后, 對比實驗 4的靜息態和不同任務態模型, 考察語義和語音神經回路聯結模式的變化,統一不同實驗任務下的閱讀神經機制。通過兩種任務的比較, 考察語義和語音神經回路是否存在動態激活。具體包括在語義任務下語義回路的聯結預期增強(如從梭狀回中部到 pMT/AG/ATL的聯結), 而語音回路的聯結預期減弱(如從梭狀回中部到 IFG/MFG的聯結); 而在語音任務下的預期模式則相反。

3 理論建構

本項目利用多參數數據分析技術, 結合漢字獨特的書寫特點, 在同一種任務中識別出閱讀加工中字形、語音和語義三種認知成分所對應的大腦功能腦區; 針對詞匯閱讀網絡研究面臨的瓶頸問題, 充分利用漢字獨特的表義特性, 探討語義加工的大腦神經回路, 并深入揭示語義和語音神經回路的動態協作機制。

基于神經網絡的聯結主義取向認為, 閱讀是由視覺/詞形、語音和語義三個系統共同作用的過程, 出聲閱讀涉及了字形?語音以及字形經語義通達語音兩種通路的分工協作機制(Seidenberg,2011), 該理論得到了來自行為(Yang, McCandiliss,Shu, & Zevin, 2009)、腦損傷病人(Bi et al., 2007)以及計算機模擬研究(Yang et al., 2013)的證據支持。近年來, 研究者嘗試在神經生理層面探討閱讀的大腦神經網絡, 致力闡明閱讀的語音和語義加工神經回路, 并深入揭示兩條回路之間的動態協作機制(Carreiras et al., 2014), 從而在認知和神經生理層面統一閱讀的理論模型。

目前, 對閱讀的大腦神經網絡并沒有統一的認識, 主要的分歧在于對閱讀中語義加工通路的認識不足。比如, Price (2012)提出的閱讀神經回路中, 將語義相關腦區定位在顳中回后部區域(pMT), 而Carreiras等人(2014)則認為語義相關腦區不僅有 pMT, 還包括了顳葉前部(ATL)和角回(AG)的參與。以往的研究大都來自于拼音文字系統, 從而導致對語義加工通路的探討具有先天的不足, 因為拼音文字系統具有系統地字形到語音的對應關系, 可以不依賴于語義完成閱讀。

漢字具有獨特的表義功能, 是探討閱讀語義神經回路的有效途徑。已往研究發現, 參與閱讀的語義相關腦區較多, 但對閱讀語義神經回路的認識尚不清楚。例如, 研究發現顳中回后部區域參與閱讀并負責詞典語義的存儲(Binder et al.,2009), 同時還有角回(AG)、顳前回(ATL)、以及額下回(IFG)等腦區也參與了詞匯閱讀, 這些腦區的功能更多與語義整合加工相關。有研究認為AG負責概念與概念之間的整合加工(Bonner et al.,2013; Price et al., 2015); ATL更多地負責抽象概念的表征(Bonner & Price, 2013; Mehta et al., 2016);而 IFG主要負責語義的整合加工(Zhu et al.,2012)。這些語義腦區如何組成閱讀的語義加工神經回路是當前研究面臨的瓶頸問題。借助漢字形旁的表義特性, 可以系統地探討上述腦區在閱讀中的功能。通過操縱形旁的表義屬性, 可以探討閱讀中整字語義的詞典加工、形旁字形與語義的映射加工、以及形旁與整字語義的整合加工機制。一方面將闡明前人發現的語義相關腦區在閱讀中的功能; 另一方面將揭示出閱讀的語義神經回路,從而解決閱讀神經網絡研究面臨的瓶頸問題。

聯結主義取向的一個重要觀點, 即認為閱讀是由語音和語義神經回路共同作用、相互協作的結果, 揭示這兩條回路的動態協作機制是當前閱讀認知神經科學研究的關鍵。Frost等人(2005)最早通過 fMRI實證數據表明, 閱讀相關功能腦區表現出激活的 trade-off效應, 當詞匯的語音信息較弱時, 大腦更多依賴于語義信息的加工, 從而在語義腦區上表現出顯著的語義效應。但是, 由于拼音文字系統的局限, 對兩條神經回路之間的動態協作機制還缺乏系統深入地探討。漢字閱讀的認知神經科學研究已經得到了間接的證據,Wang等人(2016)基于多參數相關分析技術, 發現隨著漢字材料的語義信息增加, 語義相關腦區的激活增強; 與此類似, 語音加工腦區會相應地隨著漢字材料的語音屬性增多而激活增強。Wang等人的研究結果表現出了兩條神經回路之間的相互作用, 但該研究是基于對現有數據的再分析,沒有進行嚴謹的實驗設計。而且, 語音和語義神經回路是如何受刺激和任務的影響而表現出動態協作的機制, 對此問題還缺乏最直接的實證結果。

因此, 在有效識別漢字閱讀的語音和語義加工相關功能腦區的基礎上, 從聯結主義神經網絡的角度, 厘清漢字語義線索起作用的大腦神經回路, 闡明語義與語音神經回路在刺激和任務調節下的動態協作機制, 尤其是建構統一的閱讀神經模型, 考察該模型受刺激和任務的驅動表現出來的神經回路之間的動態分工協作, 將為建立與聯結主義閱讀認知模型相應的神經生理模型提供最直接的證據, 為閱讀的認知理論與神經生理模型的統一提供實證支持。

目前的研究方案存在一個需要解決的關鍵點,就是能否在神經層面揭示出漢字形旁的語義效應。雖然相對于拼音文字系統, 漢字具有更為系統的字形到語義的對應關系(Yang et al., 2013),但已有研究對漢字形旁作用的發現大多基于啟動的實驗范式(詳見綜述, 張積家, 王娟, 陳新葵,2014), 還沒有在出聲閱讀或詞匯判斷任務下發現形旁的語義作用。本項目擬嘗試在閱讀和詞匯判斷任務下得到形旁的語義作用, 在神經層面很有可能得不到預期的效應。因此, 有必要及時調整實驗任務, 比如使用啟動、語義范疇判斷等實驗范式, 來加強對漢字部件的加工深度, 增加語義在閱讀中的作用來探討閱讀中語義加工的神經回路。如果真的需要通過增強任務加工深度才能達到實驗目的, 也從另一個角度表明了漢字和拼音文字系統一樣, 閱讀主要依賴于字形到語音的加工機制, 具有跨語言的普遍性。

劉燕妮, 舒華, 軒月. (2002). 漢字識別中形旁亞詞匯加工的發展研究.應用心理學, 8(1), 3–7.

王協順, 吳巖, 趙思敏, 倪超, 張明. (2016). 形旁和聲旁在形聲字識別中的作用.心理學報, 48(2), 130–140.

張積家, 彭聃齡. (1993). 漢字詞特征語義提取的實驗研究.

心理學報, 25(2), 30–37.

張積家, 王娟, 陳新葵. (2014). 義符研究 20年: 理論探討、實驗證據和加工模型.心理科學進展, 22(3), 381–399.

張積家, 王娟, 印叢. (2014). 聲符和義符在形聲字語音、語義提取中的作用――來自部件知覺眼動研究的證據.

心理學報, 46(7), 885–900.

Bi, Y. C., Han, Z. Z., Weekes, B., & Shu, H. (2007). The interaction between semantic and the nonsemantic systems in reading:Evidence from Chinese.Neuropsychologia, 45(12), 2660–2673.

Binder, J. R., & Desai, R. H. (2011). The neurobiology of semantic memory.Trends in Cognitive Science, 15(11),527–536.

Binder, J. R., Desai, R. H., Graves, W. W., & Conant, L. L.(2009). Where is the semantic system? A critical review and meta-analysis of 120 functional neuroimaging studies.Cerebral Cortex, 19(12), 2767–2796.

Bonner, M. F., Peelle, J. E., Cook, P. A., & Grossman, M.(2013). Heteromodal conceptual processing in the angular gyrus.NeuroImage, 71, 175–186.

Bonner, M. F., & Price, A. R. (2013). Where is the anterior temporal lobe and what does it do?Journal of Neuroscience the Official Journal of the Society for Neuroscience,33(10), 4213–4215.

Boukrina, O., & Graves, W. W. (2013). Neural networks underlying contributions from semantics in reading aloud.Frontiers in Human Neuroscience, 7, 518.

Cardin, V., Friston, K. J., & Zeki, S. (2011). Top-down modulations in the visual form pathway revealed with dynamic causal modeling.Cerebral Cortex, 21(3), 550–562.

Carreiras, M., Armstrong, B. C., Perea, M., & Frost, R.(2014). The what, when, where, and how of visual word recognition.Trends in Cognitive Science, 18(2), 90–98.

Cattinelli, I., Borghese, N. A., Gallucci, M., & Paulesu, E.(2013). Reading the reading brain: A new meta-analysis of functional imaging data on reading.Journal of Neurolinguistics,26(1), 214–238.

Cohen, L., & Dehaene, S. (2004). Specialization within the ventral stream: The case for the visual word form area.NeuroImage, 22(1), 466–476.

Coltheart, M., Rastle, K., Perry, C., Langdon, R., & Ziegler,J. (2001). DRC: A dual route cascaded model of visual word recognition and reading aloud.Psychological Review,108(1), 204–256.

Fedorenko, E., & Thompson-Schill, S. L. (2014). Reworking the language network.Trends in Cognitive Science, 18(3),120–126.

Fiez, J. A. (2000). Sound and meaning: How native language affects reading strategies.Nature Neuroscience, 3(1), 3–5.

Frost, R. (2012). Towards a universal model of reading.Behavioral and Brain Sciences, 35(5), 263–279.

Frost, S. J., Mencl, W. E., Sandak, R., Moore, D. L., Rueckl,J. G., Katz, L., ... Pugh, K. R. (2005). A functional magnetic resonance imaging study of the tradeoff between semantics and phonology in reading aloud.Neuroreport,16(6), 621–624.

Graves, W. W., Desai, R., Humphries, C., Seidenberg, M. S.,& Binder, J. R. (2010). Neural systems for reading aloud:A multiparametric approach.Cerebral Cortex, 20(8), 1799–1815.

Jobard, G., Crivello, F., & Tzourio-Mazoyer, N. (2003).Evaluation of the dual route theory of reading: A metanalysis of 35 neuroimaging studies.NeuroImage, 20(2), 693–712.

Kuo, W. J., Yeh, T. C., Lee, J. R., Chen, L. F., Lee, P. L.,Chen, S. S., ... Hsieh, J. C. (2004). Orthographic and phonological processing of Chinese characters: An fMRI study.NeuroImage, 21(4), 1721–1731.

Lee, C. Y., Tsai, J. L., Kuo, W. J., Yeh, T. C., Wu, Y. T., Ho,L. T., ... Hsieh, J. C. (2004). Neuronal correlates of consistency and frequency effects on Chinese character naming: An event-related fMRI study.NeuroImage, 23(4), 1235–1245.

Levy, J., Pernet, C., Treserras, S., Boulanouar, K., Aubry, F.,Démonet, J. F., & Celsis, P. (2009). Testing for the dual-route cascade reading model in the brain: An fMRI effective connectivity account of an efficient reading style.PLoS One, 4(8), e6675.

Liu, C., Zhang, W. T., Tang, Y. Y., Mai, X. Q., Chen, H. C.,Tardif, T., & Luo, Y. J. (2008). The Visual Word Form Area: Evidence from an fMRI study of implicit processing of Chinese characters.NeuroImage, 40(3), 1350–1361.

Liu, Y. Y., Shu, H., & Li, P. (2007). Word naming and psycholinguistic norms: Chinese.Behavior Research Methods,39(2), 192–198.

Ludersdorfer, P., Schurz, M., Richlan, F., Kronbichler, M., &Wimmer, H. (2013). Opposite effects of visual and auditory word-likeness on activity in the visual word form area.Frontiers in Human Neuroscience, 7, 491.

Mehta, S., Inoue, K., Rudrauf, D., Damasio, H., Tranel, D.,& Grabowski, T. (2016). Segregation of anterior temporal regions critical for retrieving names of unique and non-unique entities reflects underlying long-range connectivity.Cortex,75, 1–19.

Paulesu, E., Mccrory, E., Fazio, F., Menoncello, L., Brunswick,N., Cappa, S. F., ... Lorusso, M. (2000). A cultural effect on brain function.Nature Neuroscience, 3(1), 91–96.

Peng, D. L., Ding, G. S., Perry, C., Xu, D., Jin, Z., Luo, Q., ...Deng, Y. (2004). fMRI evidence for the automatic phonological activation of briefly presented words.Cognitive Brain Research, 20(2), 156–164.

Price, A. R., Bonner, M. F., Peelle, J. E., & Grossman, M.(2015). Converging evidence for the neuroanatomic basis of combinatorial semantics in the angular gyrus.The Journal of Neuroscience, 35(7), 3276–3284.

Price, C. J. (2012). A review and synthesis of the first 20 years of PET and fMRI studies of heard speech, spoken language and reading.NeuroImage, 62(2), 816–847.

Price, C. J., & Devlin, J. T. (2011). The interactive account of ventral occipitotemporal contributions to reading.Trends in Cognitive Sciences, 15(6), 246–253.

Pugh, K. R., Mencl, W. E., Jenner, A. R., Katz, L., Frost, S.J., Lee, J. R., ... Shaywitz, B. A. (2001). Neurobiological studies of reading and reading disability.Journal of Communication Disorders, 34(6), 479–492.

Richardson, F. M., Seghier, M. L., Leff, A. P., Thomas, M. S.C., & Price, C. J. (2011). Multiple routes from occipital to temporal cortices during reading.Journal of Neuroscience,31(22), 8239–8247.

Rueckl, J. G., Paz-Alonso, P. M., Molfese, P. J., Kuo, W.-J.,Bick, A., Frost, S. J., ... Frost, R. (2015). Universal brain signature of proficient reading: Evidence from four contrasting languages.Proceedings of the National Academy of Sciences of the United States of America, 112(50), 15510–15515.

Seidenberg, M. S. (2011). Reading in different writing systems: One architecture, multiple solutions. In P. McCardle,J. Ren, & O. Tzeng (Eds.),Dyslexia across language:Orthography and the gene-brain-behavior link(pp. 151–174).Baltimore, MD: Paul Brooke Publishing.

Shu, H., Chen, X., Anderson, R. C., Wu, N. N., & Xuan, Y.(2003). Properties of school Chinese: Implications for learning to read.Child Development, 74(1), 27–47.

Tan, L. H., Feng, C. M., Fox, P. T., & Gao, J. H. (2001). An fMRI study with written Chinese.Neuroreport, 12(1), 83–88.

Taylor, J. S. H., Rastle, K., & Davis, M. H. (2013). Can cognitive models explain brain activation during word and pseudoword reading? A meta-analysis of 36 neuroimaging studies.Psychological Bulletin, 139(4), 766–791.

Taylor, J. S. H., Rastle, K., & Davis, M. H. (2014). Interpreting response time effects in functional imaging studies.NeuroImage,99, 419–433.

Taylor, J. S. H., Duff, F. J., Woollams, A. M., Monaghan, P.,& Ricketts, J. (2015). How word meaning influences word reading.Current Directions in Psychological Science,24(4), 322–328.

Vogel, A. C., Miezin, F. M., Petersen, S. E., & Schlaggar, B.L. (2012). The putative visual word form area is functionally connected to the dorsal attention network.Cerebral Cortex,22(3), 537–549.

Wang, X. J., Yang, J. F., Shu, H., & Zevin, J. D. (2011). Left fusiform BOLD responses are inversely related to wordlikeness in a one-back task.NeuroImage, 55(3), 1346–1356.

Wang, X. J., Yang, J. F., Yang, J., Mencl, W. E., Shu, H., &Zevin, J. D. (2015). Language differences in the brain network for reading in naturalistic story reading and lexical decision.PLoS One, 10(5), e0124388.

Wang, X. J., Zhao, R., Zevin, J. D., & Yang, J. F. (2016). The neural correlates of the interaction between semantic and phonological processing for Chinese character reading.Frontiers in Psychology, 7, 947.

Williams, C., & Bever, T. (2010). Chinese character decoding: a semantic bias?Reading and Writing, 23(5), 589–605.

Wu, X., Lu, J., Chen, K. W., Long, Z. Y., Wang, X. Y., Shu,H., ... Yao, L. (2009). Multiple neural networks supporting a semantic task: an fMRI study using independent component analysis.NeuroImage, 45(4), 1347–1358.

Yang, J. F., McCandliss, B. D., Shu, H., & Zevin, J. D.(2009). Simulating language-specific and language-general effects in a statistical learning model of Chinese reading.Journal of Memory and Language, 61(2), 238–257.

Yang, J. F., Shu, H., McCandliss, B. D., & Zevin, J. D.(2013). Orthographic influences on division of labor in learning to read Chinese and English: Insights from computational modeling.Bilingualism: Language and Cognition,16(2), 354–366.

Yang, J. F., Wang, X. J., Shu, H., & Zevin, J. D. (2011).Brain networks associated with sublexical properties of Chinese characters.Brain and Language, 119(2), 68–79.

Yang, J. F., Wang, X. J., Shu, H., & Zevin, J. D. (2012).Task by stimulus interactions in brain responses during Chinese character processing.NeuroImage, 60(2), 979–990.

Yeatman, J. D., Rauschecker, A. M., & Wandell, B. A. (2013).Anatomy of the visual word form area: Adjacent cortical circuits and long-range white matter connections.Brain and Language, 125(2), 146–155.

Zhao, R., Fan, R., Liu, M. X., Wang, X. J., & Yang, J. F.(2017). Rethinking the function of brain regions for reading Chinese characters in a meta-analysis of fMRI studies.Journal of Neurolinguistics, 44, 120–133.

Zhu, Z. D., Hagoort, P., Zhang, J. X., Feng, G. Y., Chen, H.C., Bastiaansen, M., & Wang, S. P. (2012). The anterior left inferior frontal gyrus contributes to semantic unification.NeuroImage, 60(4), 2230–2237.