焦慮個體趨避沖突失調的認知神經機制

摘" 要" 在日常生活中， 如何有效應對趨避沖突至關重要， 而焦慮個體存在趨避沖突失調的行為表現。這種失調表現為以放棄積極結果為代價， 以此回避與實際威脅無關或威脅程度較低的刺激。以往的動機理論將個體應對趨避沖突分為信息輸入和行為輸出過程， 難以全面解釋趨避沖突失調的具體機制。因此， 本文嘗試提出一個全新的“沖突感知、沖突處理和反饋學習”三階段模型， 強調焦慮個體趨避沖突失調可能表現為威脅感知的增強、預期價值與動機比較的失衡、反饋學習的異常。未來研究可以進一步驗證該模型中三階段的相對獨立性， 通過分層和模塊化的方法對模型進行參數化， 從發展的角度來探討焦慮個體趨避沖突失調背后的認知神經機制。

關鍵詞" 焦慮， 趨避沖突， 預期價值， 動機， 認知神經機制

分類號" B845; R395

趨近和回避之間微妙平衡的紊亂是包括焦慮在內的許多精神障礙的重要表現， 即趨避沖突中異常的行為決策（Aupperle amp; Paulus， 2010; Letkiewicz et al.， 2023; Vogel amp; Schwabe， 2019）。趨避沖突的概念最早由Lewin （1935）提出， 指當一個目標同時導致積極和消極的結果時， 個體既想要追求積極結果又想避免消極結果， 從而產生進退兩難的心理沖突。比如， 社交焦慮患者可能希望多交一些朋友， 但是又想回避社交場合所帶來的不適感。在此情境中， 個體通過整合獎勵與威脅的相關信息以及結果發生的可能性， 從而做出趨近或回避的行為反應（Kirlic et al.， 2017; Quartz， 2009）。回避模型是焦慮障礙的經典模型， 但是真實社會環境比較復雜， 不僅包含對威脅刺激的回避， 也包含對積極刺激的趨近。所以， 趨避沖突的實驗模型逐漸取代傳統的回避范式， 成為評估和預測焦慮的綜合模型（Bach， 2022; Ball amp; Gunaydin， 2022; Korn et al.， 2017）。在沒有特別說明的情況下， 本文中的焦慮個體泛指臨床、亞臨床以及焦慮傾向的個體。

一直以來， 對于趨避沖突的理解主要從動機維度出發（Elliot， 2006; Gray， 1987; Monni et al.， 2020）：個體在趨近回避沖突中主要依賴趨利避害的內驅力進行決策， 并且將個體在整個趨避沖突中的反應簡化為信息輸入和行為輸出兩個階段。然而， 焦慮個體在獎賞刺激很強且威脅刺激很弱的情況下， 依舊選擇回避行為（Arnaudova et al.， 2017; Pittig et al.， 2021）， 并且只需要更少的信息就能快速地做出反應（Dillon et al.， 2022; Han et al.， 2023; Liu et al.， 2022）。這表明他們的行為可能并不僅是為了避免痛苦或尋求快樂， 還可能源于對潛在威脅的過度反應或習慣性回避（Ball amp; Gunaydin， 2022; Watson et al.， 2022）。當然， 焦慮個體趨近回避沖突失調也可能是由于預期價值計算的受損。因為從進化角度來說， 個體的決策往往基于價值的最大化， 那么這種放棄更高價值的非理性決策行為可能是個體對不同行為對應結果的概率和成本的復雜計算出現了問題（Rangel et al.， 2008; Walters amp; Redish， 2018）。然而現有理論框架未充分考慮預期價值與動機的相互作用， 難以全面解釋焦慮個體趨避沖突失調的具體機制。因為過度回避可能代表的是回避相關的動機程度， 也可能反映的是預期價值計算的受損。同時， 趨避沖突的解決涉及多個腦區的協同作用， 傳統的理論框架將趨近和回避動機作為基本獨立的神經機制， 局限于獨立腦區激活的結果， 而焦慮通常與多個腦區的過度激活或功能損傷相關， 這些區域并非獨立工作， 而是通過廣泛的網絡連接來共同調節行為決策。基于現有理論在認知和神經機制中的不足， 本文提出個體應對趨近回避沖突的三階段模型， 我們的核心科學問題是：“焦慮個體在沖突感知、沖突處理和反饋學習三個階段中的認知神經變化， 如何共同作用導致趨避沖突中的異常行為？” 對此， 本文首先總結了基于強化敏感性、巴甫洛夫條件化以及強化學習等與趨避沖突和焦慮相關的理論及其局限性， 在以往理論基礎上提出“沖突感知、沖突處理和反饋學習”的趨避沖突三階段模型; 其次， 總結該模型所依賴的認知神經基礎; 最后， 探討焦慮在威脅感知增強、預期價值和動機比較失衡以及反饋學習上的異常表現， 解釋焦慮對不同階段的影響， 為理解焦慮個體的趨避沖突失調提供新的視角， 并對未來的研究方向提供建議。

1" 趨避沖突系統的理論基礎

1.1" 強化敏感性理論

Gray （1987）首次提出強化敏感性理論（Reinforcement Sensitivity Theory， RST）解釋焦慮個體的異常回避和趨近行為。該理論包含三種動機系統：行為激活系統（Behavioral Activation System， BAS）與獎勵、積極情感及主動性相關， 促進個體繼續當前的行為; 行為抑制系統（Behavioral Inhibition System， BIS）與懲罰、負面情感和被動性相關， 抑制當前行為; 風險因素系統（Fight-Flight-Freeze system， FFFS）對危險產生自動應激反應， 包括戰斗、逃跑或僵化。在面對趨避沖突時， BIS作為沖突檢測和處理系統， 抑制正在進行的行為并喚醒注意資源（Gray amp; McNaughton， 2000）， 焦慮狀態被認為是BIS過度激活所引起（Corr amp; Cooper， 2016）。在此基礎上， 研究者提出了引導動機行為的兩階段模型（Corr amp; Cooper， 2016; Corr amp; McNaughton， 2012）：在評估輸入階段， 個體識別到強化物（刺激）同時具有吸引和排斥的屬性， 引起矛盾心理; 在動機輸出階段， 相應的行為系統（如BAS、FFFS或BIS）被激活， 產生趨近和回避的動機并做出最終決策。該模型解釋了沖突發生時的輸入和輸出階段， 并強調了動機在理解和處理趨避沖突中的核心作用。然而強化敏感性理論的初衷在于解釋特定刺激下的行為選擇， 但對于焦慮個體， 相同的回避行為可能在多種不同刺激下重復發生， 顯示出普遍的回避偏向性。

對此， Corr和McNaughton （2012）擴展了強化敏感性理論的特質維度用以解釋焦慮的穩定性， 并使用不同的敏感性來進行標記。其中， BAS的敏感性被定義為獎賞敏感性（Corr， 2004）， BIS的敏感性被定義為威脅敏感性（李小新 等， 2014）。焦慮個體容易受威脅敏感性的驅動從而引起過度的回避行為（Corr amp; Krupi?， 2017）， 而獎賞敏感性可能隨著焦慮的發展逐漸降低， 從而減少趨近行為（Richey et al.， 2019; Sequeira et al.， 2022）。在強化敏感性理論的框架下， 焦慮個體趨避沖突的失調可以被解釋為威脅敏感性和獎勵敏感性的失衡（Bishop amp; Gagne， 2018）。雖然強化敏感性理論通過不同程度的敏感性差異影響回避或趨近動機來解釋焦慮個體趨避失調的原因， 但是該理論過度簡化了個體在面對復雜決策時的內部認知過程， 也忽略了動機和認知之間的相互作用。有效地認知處理能夠幫助個體平衡趨近和回避動機， 但是這種認知處理本身可能在焦慮個體中出現異常， 因此對于趨避沖突的解釋還需要從認知過程的維度進行擴展。

1.2" 巴甫洛夫條件反射和回避學習理論

巴甫洛夫恐懼條件反射是研究焦慮的經典模型。行為主義認為回避是通過反復的刺激?反應聯結所產生， 因此回避行為是對焦慮和恐懼的直接反應（Miller， 1948; Mowrer， 1940; Watson amp; Rayner， 1920）。根據這一觀點， 回避行為將直接減少面對的恐懼， 從而被不斷強化。然而， 許多回避行為并未伴隨顯著的恐懼減弱， 這表明減少恐懼可能不是唯一的驅動力（Bolles， 1970; Rachman amp; Hodgson， 1974）。于是研究者逐漸將目光轉移到認知層面， 關注威脅預期在回避行為的習得和維持中的作用（即雖然恐懼減弱， 但對威脅的預期并沒有減弱）， 將回避從被動的行為反應轉向具有認知驅動的主動行為（Seligman amp; Johnston， 1973）。Lovibond （2006）提出了預期模型， 認為回避不僅是條件反射的結果， 還涉及個體對結果的預測和認知評估， 該模型強調威脅預期是回避行為的核心驅動力。另一種對持續性回避行為的解釋是習慣化， 即回避行為的高度自動化（Hofmann amp; Hay， 2018; Krypotos et al.， 2015）。因此， 目前普遍認為回避行為由兩個相互獨立的學習過程共同支配（de Wit amp; Dickinson， 2009; LeDoux et al.， 2017; Watson et al.， 2022）。首先是威脅預期過程：這是一種目標導向的學習， 即個體關注威脅線索和結果之間的聯系， 其回避反應是出于對威脅結果出現可能性的估計（de Wit amp; Dickinson， 2009）。焦慮個體在面對威脅線索時可能會高估威脅結果出現的可能性， 從而產生較高的恐懼水平和過度的回避反應; 其次是習慣化過程：通過大量重復的行為練習， 個體的回避反應逐漸自動化， 對威脅線索的回避反應成為習慣， 最終使得回避行為脫離了對結果的依賴（Wood amp; Neal， 2007）。雖然經典條件反射和回避學習理論在一定程度上補充了強化敏感性理論所缺乏的認知加工過程， 并解釋了在得到結果反饋后， 存在兩種不同的學習系統應對相同或類似的情況， 但是該理論只探討了威脅情況下個體如何從刺激?行為?結果的聯結中進行學習， 并不能全面地解釋焦慮個體趨避沖突失調的機制。

1.3" 強化學習理論

強化學習理論（Reinforcement Learning Theory）為獎勵驅動（或威脅驅動）行為的建模提供了一個框架， 個體在此框架下通過權衡決策結果的預期值， 旨在最大化獎勵并最小化損失。強化學習的概念源自操作性條件反射， 行為主義者認為通過強化物可以有效塑造行為， 而無需推測個體的內部心理過程（Skinner， 1938）。然而， Tolman （1948）發現動物可以通過對環境形成認知地圖， 在沒有強化物的情況下也能進行學習并調整行為。這一發現促使研究者從單純依賴強化物的行為主義轉向了包含預測、計劃和決策的認知心理學框架（Silvetti amp; Verguts， 2012）。Rescorla和Wagner （1972）模型提出預期結果和實際結果之間的差異（預測誤差）是驅動學習的關鍵。隨后， Sutton （1988）將預測誤差引入時序差分學習（Temporal- Difference Learning）， 即個體在每一步都更新對未來狀態和結果的預期值， 進而描述個體如何通過不斷更新對環境的預期來進行適應性的行為調整。發展至今， 強化學習通過計算預期價值來指導行為決策， 其中獎勵值代表趨近行為的預期收益， 而懲罰值則表示某行為可能導致的負面后果。預測誤差被認為是調整和優化行為決策的核心因素：如果行為的結果高于預期， 個體會增強對該行為的傾向; 如果實際結果不如預期， 個體將減少相同行為的發生（Enkhtaivan et al.， 2023; Letkiewicz et al.， 2023; Sharp et al.， 2022; Sutton amp; Barto， 2018）。利用計算建模， 該理論揭示了個體如何動態適應環境和調整預期的內部認知過程。

在此基礎上， 焦慮個體異常的行為決策被認為是對學習、感知和決策方面計算的異常變化所導致（Bach amp; Dayan， 2017; LeDoux amp; Pine， 2016; Yamamori amp; Robinson， 2023）。Pike和Robinson （2022）對強化學習參數的元分析發現相比于對照組， 焦慮障礙組的懲罰學習率升高以及獎勵學習率降低， 并將這種情況解釋為焦慮障礙對負面信號的高敏感性。該理論框架通過量化獎勵和威脅的期望值， 可以更深入地理解個體進行權衡和決策的認知過程。然而， 強化學習理論容易將預期和內部動機混淆。因為預測錯誤的定義是結果與預期之間差異的符號（正或負）， 這種定義將預測錯誤的大小和結果的動機性質混合， 例如， 超出預期的獎勵（正的預測錯誤）通常被視為有吸引力， 而超出預期的威脅（也是正的預測錯誤）則被視為有厭惡性。相反， 比預期少獲得的獎勵被視為厭惡性， 而比預期少遇到的威脅則被視為有吸引力（Kalisch et al.， 2019; Moughrabi et al.， 2022）。傳統的強化學習模型通常不擅長處理多維度結果， 這些后果難以簡單地分類為正面或負面， 因此限制了其在解釋復雜情境下個體如何權衡趨避沖突的適用性。

1.4" 趨避沖突的三階段模型

綜上所述， 我們認為前人的動機理論將趨避沖突的處理簡單劃分為一個靜態的評價輸入和動機輸出的兩階段模型， 難以解釋內部的認知神經機制和個體根據結果進行適應性的調整過程。而描述了認知過程和反饋學習的理論又往往局限于獎賞或威脅的單一維度， 沒有納入趨避沖突的情況。因此， 我們對上述理論基礎進行了整合和擴展， 強調沖突處理過程中價值和動機以及兩者的交互作用， 并且在得到反饋后獲得強化或者更新， 從而形成一個動態的認知回路（如圖1）。具體而言， 當沖突刺激輸入時， 引起個體對刺激的注意和解釋， 這受到威脅和獎賞敏感性的影響。隨后是沖突處理階段， 個體會對回避和趨近行為分別產生預期價值和動機， 并將兩者進行比較后做出決策。最后是反饋學習階段， 如果結果反饋與預期不相符， 個體以目標導向的學習來調整對信息的判斷; 如果結果反饋與預期相符， 個體強化現有模式， 對相同或類似的信息形成習慣化從而維持一貫的行為。下文將對該三階段模型進行詳細介紹， 闡明該模型的合理性與獨特性。

2" 趨避沖突三階段模型的認知神經基礎

2.1" 趨避沖突的認知機制

2.1.1" 沖突感知

當個體面臨趨避沖突刺激時， 會激活強化敏感性系統進行初步的感知和分類（Corr amp; Cooper， 2016; Corr amp; McNaughton， 2012; Monni et al.， 2020）。沖突感知階段涉及的是對沖突刺激的快速評估和響應， 即強化敏感性系統的獎賞敏感性和威脅敏感性， 它們各自影響個體對刺激的注意力分配和理解。例如， 高威脅敏感性的個體可能對威脅刺激產生較強的生理喚醒和持續的注意， 這通常表現為對威脅線索過度敏感， 從而在遇到潛在威脅時迅速產生回避行為（De Pascalis et al.， 2019）; 相對而言， 高獎賞敏感性的個體則可能對獎勵刺激的識別和反應更加敏感， 使得他們在預測到潛在的積極結果時更傾向于趨近行為（Amodio amp; Harmon-Jones， 2011; Kaye et al.， 2018）。敏感性差異還影響了個體對外部事件的理解， Hundt等（2013）要求被試連續一周每天8次匯報自己日常生活中的行為、感受和思考， 發現高威脅敏感性的個體在日常生活中經歷的負面情緒較多， 而在積極情境中感受到的正面情緒增加較少， 反映出消極的解釋偏向。他們也更傾向于將環境線索視為潛在威脅， 從而激發更多的消極情緒， 而高獎賞敏感性個體則表現出相反的傾向（Warr et al.， 2021）。雖然健康個體通常能夠較好地平衡這兩種敏感性， 但敏感性的失衡可能構成精神障礙的基礎（Bishop amp; Gagne， 2018; Katz et al.， 2020）。基于威脅敏感性和獎賞敏感性的差異， 個體在感知趨避沖突階段可能已經產生對回避或趨近行為的偏好， 并進一步影響下一個階段。

2.1.2" 沖突處理

個體對信息進行整合后， 開始處理趨避沖突并做出決策， 這個過程需要動機和預期價值的共同作用（Roesch amp; Olson， 2004; Verharen et al.， 2020）。在趨避沖突的情況下， 追求獎勵的趨近動機與避免威脅的回避動機相互對立， 產生動機競爭（McNally， 2021; McNaughton et al.， 2016）。其中， 趨近動機通常由行為激活系統（BAS）控制， 驅使個體追求可能帶來積極結果的行為; 而回避動機主要涉及避免懲罰和威脅， 由風險因素系統（FFFS）和行為抑制系統（BIS）控制， 促使個體避開可能產生消極結果的選擇。趨近和回避動機的強度因人而異， 這被認為是對某種行為的主觀偏好（Corr， 2004; Corr amp; Cooper， 2016; Gray amp; McNaughton， 2000）。除此之外， 個體還會基于對行為與結果之間關系的推測， 從客觀角度計算趨近和回避的預期價值（Biderman et al.， 2020; Lee et al.， 2012; Livermore et al.， 2021）。相應地， 研究發現個體在面臨可能帶來獎勵或威脅的選擇時， 與結果相關的記憶表征變得活躍， 并且表征的強度預測了隨后的行為選擇， 佐證了在做出決定前存在一個對潛在結果的價值進行模擬的過程（Castegnetti et al.， 2020; Cisler et al.， 2023）。盡管面對威脅與損失獎賞的預期編碼在認知過程中具有相似性（Kalisch et al.， 2019; Tom et al.， 2007）， 但是個體對損失的厭惡通常超過同等大小的收益（Kahneman amp; Tversky， 1979; Tymula et al.， 2023）。這表明獲得和損失并不可以等值替換， 獲得獎勵和面對威脅共同決定趨近的價值， 而失去獎勵和避免威脅共同決定回避的價值。進一步的研究發現， 雖然獎勵可以調節趨避沖突中的行為反應， 卻不能調節對威脅的預期（Pittig et al.， 2018; Pittig amp; Dehler， 2019; Schlund et al.， 2016）。也就是說趨近和回避的預期價值可能是先獨立計算出來， 隨后再相互比較從而做出決策。

在實際決策過程中， 動機和預期價值會相互影響， 動機引導個體的趨近或回避傾向， 而預期價值反過來又調節動機的強度和方向。具體來說， Moughrabi等（2022）讓被試在三個圖案中進行選擇， 每個圖案所獲得獎勵（積分）和遭受威脅（電擊）的概率都不同， 每個試次都包括了三個階段：選擇、預期和結果， 并分為一致和沖突兩種條件， 在一致條件下， 獎勵高的圖片觸發電擊概率的可能性低; 而在沖突條件下， 獎勵高的圖片發生電擊的概率也高。行為結果發現， 被試在較高的威脅情況下仍然傾向于趨近行為， 表現出明顯的偏好。模型比較顯示， 將威脅結果和獎賞結果的價值整合到一個總體期望中的模型效果更好， 這些價值由個體對威脅和獎勵的偏好加權。換而言之， 個體先對回避和趨近行為的預期價值與動機進行乘積后， 再進行比較和整合。并且沖突的核心不僅是刺激的動機屬性， 而更多地涉及對未來獎勵或威脅的預期（Doll et al.， 2015; Wise et al.， 2021）。經過對預期價值和動機的綜合評估后， 個體做出回避或趨近行為并得到結果反饋。

2.1.3" 反饋學習

結果反饋會影響未來的決策（Mileti? et al.， 2021）， 如果結果與預期相符合， 個體會強化現有的行為模式， 獎勵結果有助于強化刺激?行為的關聯， 從而增加趨近行為的可能性（Ranaldi， 2014）。威脅結果則被編碼以避免未來類似的威脅， 從而加強回避行為（Feigley amp; Spear， 1970）， 最終形成習慣化; 如果結果與預期不相符， 個體計算預測誤差， 實際與預期結果間的差異觸發目標導向的學習， 基于預測誤差的大小和方向， 重新調整回避或趨近的策略（Diederen amp; Schultz， 2015）。根據學習的雙系統理論， 習慣化系統會與目標導向系統進行競爭（Keramati et al.， 2011; Wood amp; Rünger， 2016）。Glück等人（2021）結合趨避沖突來評估習慣性回避對目標導向學習的影響， 首先是習慣性回避階段， 讓被試重復對特定刺激做出回避以避免電擊， 隨后移除電擊來降低威脅刺激的價值， 最后考察被試是否仍然表現出習慣性回避， 即便此時選擇趨近行為可能帶來獎勵。結果顯示， 即使特定刺激后面不再跟隨電擊而是獎勵， 習慣性回避仍然影響著被試的決策， 特別是在目標導向的行為與之前習慣化回避的不一致時， 準確率明顯降低。總之， 習慣化行為減少了個體對外部反饋和預測誤差的敏感性， 節省了認知資源的使用。然而當與預期不一致時， 即使明確提示舊有的行為策略不再最優， 習慣化行為會干擾目標導向的學習， 造成認知和行為上的不一致。同時， 無論是哪種反饋學習占據主導， 都會在整個認知模型中循環， 繼而影響后續相同或類似情境的決策。

2.2" 趨避沖突的神經機制

2.2.1" 沖突感知：情緒動機相關的皮質下結構激活

隨著刺激的輸入， 前扣帶回喚醒對沖突刺激的注意， 并快速啟動情緒驅動的加工過程， 這涉及到杏仁核和腹側紋狀體等與情緒動機相關的皮質下結構（Loijen et al.， 2020）。對于沖突感知階段， 杏仁核（Amygdala）在感知威脅時迅速響應， 促進個體對潛在威脅保持警覺， 從而增強對威脅刺激的注意和解釋偏向， 使高威脅敏感性個體的加工速度更快， 注意力更集中（Choi amp; Kim， 2010; Diehl et al.， 2019; Miller et al.， 2019）; 相反， 腹側紋狀體（ventral striatum）的激活增強了個體對獎賞刺激的注意和動機， 從而促進趨近動機并抑制回避動機， 高獎賞敏感性個體表現出更大的獎賞關注和積極的解釋偏向（LeBlanc et al.， 2020; Nguyen et al.， 2019）。如圖2a， 在面對趨避沖突刺激時， 首先被激活的是情緒和動機驅動的自下而上的加工系統， 主要涉及對威脅敏感的杏仁核以及對獎賞敏感的紋狀體， 這些結構為刺激提供情緒效價并傳遞信號。

2.2.2" 沖突處理：以海馬?前額葉為核心的調控通路

在自下而上的快速加工完成后， 沖突處理階段逐漸由自上而下的加工主導（Kelley et al.， 2017; Lacey amp; Gable， 2021; McNally， 2021）。此時， 個體需要編碼預期并比較趨避沖突， 從而做出決策。這個過程主要依賴于海馬和前額葉皮層及其之間的通路。

腹側海馬（Ventral Hippocampus， vHPC）被認為是處理沖突刺激的關鍵區域， 并與動機行為密切相關（Bryant amp; Barker， 2020; Fernández-Teruel amp; McNaughton， 2023; Ito amp; Lee， 2016）。在高度趨避沖突的情況下， vHPC激活并發揮看似相互排斥的作用。一方面vHPC抑制對動機沖突刺激的趨近反應（Rusconi et al.， 2022）。例如， Bach等（2014）要求被試在被劫匪抓住的威脅下選擇收集金幣（趨近）或為避免被抓住導致失去所有金幣（回避）， 并設置了3種威脅等級， 結果發現腹側海馬的同源區在受到威脅時激活以阻止趨近行為。進一步的研究表明， vHPC的損傷會增加沖突下的趨近行為（Bach et al.， 2019）， 回避行為也更能解釋海馬的血氧水平依賴信號（Abivardi et al.， 2020）。另一方面， vHPC亞區的失活也導致對沖突刺激的整體回避， 表明這些區域對趨近行為施加獨立的控制， 并促進趨近行為（Schumacher et al.， 2018; Yeates et al.， 2022）。這些證據說明vHPC在趨避沖突中表現出分離作用， 可能是將回避和趨近進行比較的關鍵區域。前額葉皮層（prefrontal cortex， PFC）是自上而下的認知控制的主要區域， 其中內側前額葉（medial prefrontal cortex， mPFC）是處理趨避沖突的關鍵節點（Duval et al.， 2015）。不同的mPFC 亞區和神經元群通過激活不同的下游回路， 編碼獎勵和威脅刺激（Pastor amp; Medina， 2021; Rozeske et al.， 2018; Ye et al.， 2016）， 并參與獎勵和厭惡體驗（Del Arco et al.， 2020）。Gazit等（2020）通過記錄被試在趨避沖突任務中mPFC以及杏仁核和海馬的神經元活動， 發現mPFC神經元更傾向于對威脅做出反應， 其選擇性編碼動機結果的消極性。這些研究說明mPFC不僅能調控對獎勵和威脅刺激的響應， 還是預期編碼的關鍵區域。

此外， 趨避沖突的處理還涉及其他神經回路， 其中一些傾向于追求獎勵， 而另一些則更多地避免威脅。vHPC對趨避沖突進行信息整合并做出決策， 既要接受來自包括杏仁核、紋狀體的信息輸入， 還需要將信息輸出到前額葉皮層等區域， 從而形成網絡連接（如圖 2b）。其中vHPC-杏仁核（amygdala， AMY）和vHPC-伏隔核（nucleus accumbens， NAcc）作為主要的傳入回路， vHPC-AMY對整合恐懼相關刺激尤為重要（Bryant amp; Barker， 2020; Yeates et al.， 2020）。vHPC-NAcc回路與對線索的決策以及維持動機行為有關（Barker et al.， 2018）， 該回路的化學抑制會導致決策時間增加（Patterson， 2020）。mPFC-vHPC則作為一個門控系統， PFC可以使用vHPC的信息來指導認知控制， 從而編碼獎賞信號以促進下游腦區制定趨近或回避的策略（Moscarello amp; Maren， 2018; Padilla-Coreano et al.， 2016）。mPFC對杏仁核自上而下的調節被厭惡刺激激活， 從而產生恐懼反應并促進回避行為（Fernández-Teruel amp; Tobe?a， 2020; Kirry et al.， 2020）; 同時， mPFC對NAcc的投射則被獎勵刺激激活， 并促進趨近行為（Ma et al.， 2020）， 該通路涉及對獎勵相關刺激的激活（Otis amp; Mueller， 2017）， 以及在面對厭惡線索時抑制尋求獎勵的作用（Piantadosi et al.， 2020）。這些結構和通路共同參與精細的神經調節， 從而決定個體對獎勵和威脅刺激的反應策略。

2.2.3" 反饋學習：皮質?基底神經節中的競爭通路

通過自上而下對趨避沖突的比較以及價值編碼后， 個體得以做出決策并開始反饋學習。反饋學習依賴的是連接皮質和基底神經節（basal ganglia， BG）回路（cortical-BG）， 紋狀體在其中起重要作用， 可以自主計算用于學習的預測信號誤差， 然后再將信息傳入回路從而調整行為策略（Baladron amp; Hamker， 2020; Engelhard et al.， 2019）。在這一過程中， 存在兩種學習系統：目標導向系統和習慣化系統， 兩個系統在皮質?基底神經節回路中相互競爭。

目標導向系統依賴于前額葉（PFC）和背內側紋狀體（dorsomedial striatum， DMS相當于人類的尾狀核）之間的回路， 其根據預期與實際結果之間的差異計算預測誤差， 使得個體能夠靈活地調整行為; 習慣化系統則涉及背外側紋狀體（dorsolateral striatum， DLS相當于殼核）在內的感覺運動皮層?基底神經節回路， 通過反復地強化現有模式， 可以減少個體對外部反饋和預測誤差的敏感性， 從而節省認知資源的使用（Baladron amp; Hamker， 2020; Kim amp; Hikosaka， 2015; Wood amp; Rünger， 2016）。Barnett等（2023）通過模擬皮質?基底神經節回路， 讓模型執行迫選任務， 并測試獎勵貶值和反轉條件下模型的適應性。結果發現DLS主導的學習顯示出對新規則的抵抗， 表現出習慣化行為; 而DMS主導的學習則能適應新規則， 反映出目標導向的學習。在破壞PFC的功能后， 目標導向的學習能力降低， 習慣更難以被改變。總之， 雖然目標導向和習慣化這兩種反饋學習系統都依賴于皮質?基底神經節回路， 但它們彼此競爭（如圖2c）。長期的習慣化行為可能導致大腦的決策制定路徑變得相對固定， 因而更新行為策略變得更加困難， 即使個體意識到新的策略可能帶來更大的獎勵， 改變根深蒂固的行為模式也需要更多的努力。

3" 焦慮個體的趨避沖突失調

趨避沖突的三階段模型認為解決趨避沖突包括沖突感知、沖突處理和反饋學習（圖1）， 而焦慮的影響可能不限于某一個階段， 且焦慮涉及的腦區與解決趨避沖突所依賴的神經機制相重疊（Aupperle amp; Paulus， 2010; Fernández-Teruel amp; Tobe?a， 2020， 圖2d）。接下來， 我們將詳細探討焦慮對這三個關鍵階段的具體影響， 揭示其趨避沖突失調的整體機制。

3.1" 威脅感知的增強

研究者開發了行為抑制量表（Behavioral Inhibition Scale， Carver amp; White， 1994）作為敏感性測量工具， 發現行為抑制得分與焦慮得分呈正相關且可以預測焦慮水平（Izadpanah et al.， 2016）。高威脅敏感性的個體會更傾向于關注與威脅相關的線索并產生更消極的反應， 這種傾向可能導致長時間的焦慮和恐懼。自我報告和點探測的研究發現， 焦慮個體對威脅的注意和解釋加工都會受到影響（Bar-Haim et al.， 2007; Kreuze et al.， 2020; Mathews amp; MacLeod， 2002）。Yamamori等（2023）通過計算建模對威脅敏感性和獎賞敏感性進行參數化， 研究結果發現較高的威脅敏感性能解釋處于焦慮狀態的個體在趨避沖突中為何傾向于采取回避行為。在趨避沖突的早期輸入階段， 焦慮個體的高威脅敏感性導致他們對威脅刺激的注意和解釋偏差， 這種威脅感知能力的增強可能反映出了焦慮個體對潛在的威脅更加敏感， 從而傾向于選擇回避作為一種適應性的反應。

以威脅、獎賞的神經處理為目標的研究確定了焦慮所帶來的影響， 主要表現為焦慮使得杏仁核對威脅的反應性增加， 也使紋狀體對獎賞的反應性降低（Auerbach et al.， 2022; Chavanne amp; Robinson， 2021; McDermott et al.， 2022; Stelly et al.， 2020）。具有焦慮傾向的個體， 其威脅注意偏向和高警覺性與杏仁核過度活躍有關（Fox et al.， 2018; Oler et al.， 2010）。而杏仁核的過度激活可能導致個體對線索關聯的感知出現紊亂， 可能是負性偏向的原因（Stout et al.， 2017）。總之， 焦慮個體在早期的信息加工處理中， 杏仁核和紋狀體在面對威脅和獎賞刺激時表現出不平衡的反應， 杏仁核的過度活躍加劇了趨避沖突信息中對威脅信息的感知， 而對獎賞敏感的紋狀體激活程度降低， 導致對威脅成分產生偏向。

3.2" 預期價值和動機比較的失衡

信息進入趨避沖突處理階段時， 焦慮個體過高的威脅敏感性導致BAS和FFFS兩個動機系統的過度激活， 促使個體采取回避行為以減少不安和恐懼， 導致其回避動機增加（Corr amp; Cooper， 2016; Dickson， 2006）， 而BAS的活性可能由于擔憂和害怕失敗而受到抑制， 從而減少趨近的動機（Richey et al.， 2019; Sequeira et al.， 2022）。另一方面， 由于對威脅的注意和解釋偏差可能會高估潛在威脅， 從而增加回避行為的相對價值和權重， 以此確保自己的安全， 導致焦慮個體對回避反應的期望值偏高。他們更有可能夸大威脅的成本和可能性， 形成過度悲觀的預期（Grupe amp; Nitschke， 2013; Mitte， 2008）， 并且難以減輕對未來威脅的期望（Rief et al.， 2022; Zorowitz et al.， 2020）。這導致他們在各種情況下都存在高水平的回避， 而不是特定于某種強化或過度學習的行為（Ball amp; Gunaydin， 2022; Loijen et al.， 2020）。Pittig等（2023）借助期望違背來改變焦慮障礙患者的威脅預期， 讓威脅呈現后不跟隨預期的結果（例如， 被試預期在發言時被嘲笑的概率很高， 實際上得到的是友好的提問）。發現威脅預期被違背的越多， 焦慮的治療效果越好。Charpentier等（2017）采用賭博任務發現焦慮患者在決策中表現出增強的風險厭惡， 而對獎賞得失的重視程度與對照組沒有顯著差異， 與此相似的是， 焦慮障礙組可以依靠更少的觀察來估計某種行為的厭惡值， 而對獎賞價值的估計沒有組間差異（Aylward et al.， 2019）。綜上所述， 焦慮個體可能會高估潛在威脅， 從而增加回避的預期價值以保證自己的安全， 但焦慮對趨近價值的計算所產生的影響還尚未清楚。對焦慮個體的趨避沖突失調的解釋需要同時關注動機和價值的異常計算， 焦慮個體回避動機的過度激活以及對回避價值的增加， 使得其乘積的異常增加， 因此即使威脅很小， 也表現出過度的回避行為; 而趨近動機又因為恐懼和擔憂受到抑制， 即使對趨近價值的評估與健康個體相同的情況下， 其趨近動機和價值的乘積依然低于正常值， 因此即使潛在獎賞很大， 在進行比較后， 焦慮個體依舊選擇回避行為。

動機和預期價值的失衡表明， 焦慮個體評估趨避沖突以及期望計算的神經回路可能存在異常。當趨避沖突發生時， 腹側海馬（vHPC）負責仲裁和比較， 在趨近和回避之間進行決策， 而vHPC對焦慮非常敏感（Bryant amp; Barker， 2020; Shi et al.， 2023; Xia amp; Kheirbek， 2020）， 一方面焦慮可以通過改變突觸可塑性， 影響vHPC的興奮?抑制平衡， 破壞趨避沖突中的比較功能（Couch et al.， 2021）; 另一方面， vHPC是調節焦慮的神經回路的中心， 其中vHPC-AMY回路負責接收與威脅相關的感官刺激， 并在處理與焦慮相關的事件中發揮作用， 其信號增強導致焦慮行為， 焦慮傾向個體vHPC-AMY的信息傳遞同步率顯著增強（Felix- Ortiz et al.， 2013; Jimenez et al.， 2018）。vHPC- mPFC作為主要的門控回路， 可以同時促進或抑制焦慮相關的行為表現， 從而實現雙向調節， 并在theta頻率范圍內傳遞焦慮信號， 這些信息與趨避沖突測試中的回避相關（Padilla-Coreano et al.， 2016; Sánchez-Bellot et al.， 2022）。總之， vHPC和相關腦區神經回路的連接是調節焦慮行為的生理基礎， 在以自上而下的控制占據主導時， 由于焦慮導致vHPC比較功能的損壞以及在回路中放大焦慮信號， 從而讓個體對無害的刺激也產生過高的威脅預期。

期望值的計算是一個動態的過程， 內部期望主要通過自上而下的神經投射傳遞， 該過程的功能障礙可能導致個體反復對可預測的事件感到意外， 夸大了刺激的顯著性， 導致神經資源過度分配（Howlett amp; Paulus， 2020）。自上而下的預期編碼需要PFC的參與， 而焦慮個體的威脅期望過高， 可能是PFC過度的激活從而在權衡時產生的偏差（Mack et al.， 2023）。此外， 焦慮還會引發內部預測信號的失調， 這主要依賴于紋狀體對獎勵幅度和概率的處理（Bech et al.， 2023; Cornwell et al.， 2017; Garrison et al.， 2013）， 以及杏仁核對威脅信息過度反應所引發的高度預期（Costa et al.， 2016; Iordanova et al.， 2021）。腹側紋狀體和杏仁核以不同的方式處理信號， 然后傳入mPFC來編碼回避和趨近的相對價值和權重。這些系統的穩態失衡將導致期望價值更消極， 從而引起趨避沖突失調。

3.3" 反饋學習的異常

焦慮個體放大的威脅預期和對回避過高的預期價值會影響得到反饋后的學習過程， 然而焦慮對目標導向和習慣化兩個學習系統的影響并不一致。在目標導向的學習中， Pittig等（2021）通過趨避沖突來調節焦慮障礙患者的回避反應， 結果表明當獎賞和威脅刺激相競爭時， 焦慮障礙組無法減少回避， 即使在威脅消失后， 其回避行為減少仍然有限。而焦慮狀態并不會顯著損害個體的目標導向的控制（Gillan et al.， 2021）; 對于習慣化學習的研究表明， 焦慮傾向會促進習慣性行為的轉變（Flores et al.， 2018; Pittig et al.， 2020）， 在另外一些研究中， 相比于健康對照組， 焦慮狀態組和焦慮障礙組都沒有顯示出更強的習慣性傾向， 即使他們整體表現出較低的趨近率（Gillan et al.， 2021; Glück et al.， 2023; Roberts et al.， 2022）。這種情況可能是由于焦慮個體在目標導向和習慣化兩者的切換中存在缺陷， 而不是如Gillan等（2015）假設的“脆弱的目標導向系統導致陷入習慣化”。Howlett和Paulus （2020）要求焦慮障礙被試在兩個無關項的干擾下識別目標刺激， 而每30個試次后， 目標刺激出現的頻率和獲得獎勵的條件都會改變， 結果發現焦慮對于符合預期的決策更新沒有影響， 而是與基于環境情境適應的能力受損有關， 這可能導致處理預期和實際不符結果的反應過度。焦慮傾向的個體對穩定環境和動蕩環境之間調整更新結果預期的能力較弱（Browning et al.， 2015; Lamba et al.， 2020）， 可能是由于更強的先驗信念造成的（Paulus， 2020）。因此， 焦慮個體的缺陷可能是由于期望的僵化即習慣化與目標導向的信息更新形成抵抗， 在需要對兩種學習系統進行頻繁的轉換時， 出現不靈活的問題， 導致行為調整的失敗。

涉及目標導向和習慣化系統的神經機制主要在額葉皮層和紋狀體以及周圍神經活動的變化（Banca et al.， 2015）， 這種異常的神經活動主要基于強迫癥的研究（見綜述Fineberg et al.， 2018）。mPFC過度激活與無法更新威脅預期顯著相關（Apergis-Schoute et al.， 2017）， 該區域的功能失調以及與紋狀體的功能連接減少導致無法靈活地更新恐懼反應， 并持續進行習慣性強迫活動。盡管焦慮狀態的誘發涉及到紋狀體（McDermott et al.， 2022; Robinson et al.， 2013）， 但Chavanne和Robinson （2021）的元分析認為， 焦慮狀態和焦慮障礙的重疊腦區在于mPFC的異常激活， 而非重疊區域（如紋狀體）的功能缺陷可能是焦慮狀態向焦慮障礙轉化的中間機制。焦慮個體在目標導向和習慣化系統之間的轉換不靈活， 可能是由于前額皮質節點缺乏自上而下的抑制控制， 額葉與尾狀核的功能連接的減少降低了認知靈活性， 從而阻礙了快速的學習轉換。因此， 焦慮導致反饋學習異常的關鍵節點或許在于mPFC受損， 這也需要后續更多的研究來證明。

4" 總結與展望

本文從理論模型和神經機制兩個層面對趨避沖突的認知神經機制進行了總結， 并在前人研究的基礎上提出了趨避沖突的三階段模型， 試圖進一步解釋焦慮個體趨避沖突失調的整體機制。該模型強調預期值計算和動機比較在趨避沖突處理中的相互作用， 并且在得到反饋后更新判斷從而幫助個體解決趨避沖突， 這依賴于自上而下相關神經回路的編碼和比較功能。焦慮會影響模型的各個階段以及相應神經系統的穩態， 導致個體在趨避沖突中的失衡。然而目前的研究還存在一些尚未解決的問題：

4.1" 趨避沖突三階段模型的進一步驗證

趨避沖突三階段模型的提出主要基于三點：（1）動機、條件化以及強化學習等不同領域的理論整合; （2）健康個體在趨避沖突中的行為和神經反應; （3）焦慮個體在趨避沖突中的異常表現以及焦慮涉及趨避沖突相關的神經機制。但將這三點聯系起來的實證研究較少， 鑒于趨避沖突情景和焦慮不同表型的復雜性， 未來的研究或許可以從以下兩個方面進行：

一方面， 在趨避沖突的復雜情景下， 模型中不同的認知機制可能在實驗設計中被混淆。常見的潛在獎賞為金錢或積分， 潛在威脅則通常是電擊或恐怖圖片， 這樣的設置可能導致對回避和趨近的預期價值并不匹配， 而個體對于回避動機和趨近動機也存在主觀偏好。如果不能嚴格控制， 可能導致預期編碼和內部動機之間的混淆， 可以在趨避沖突前增加威脅和獎勵的匹配程序（Wong amp; Pittig， 2022）。此外， 由于從經驗中學習偶發事件的概率與明確提供概率結果對行為決策的影響不同（Baczkowski et al.， 2023; Hertwig amp; Erev， 2009）， 表明不同階段還可能受到刺激結構（如不確定性）的影響。未來還需要進一步的實證工作來確定這些階段的相對獨立性。

另一方面， 未來研究需要評估趨避沖突失調與焦慮的關系。焦慮作為一種指向未來的情緒， 主要涉及對未來真實/想象的威脅預期（Fung et al.， 2019; Grupe amp; Nitschke， 2013）， 而趨避沖突的解決需要預測和模擬未來事件， 對于潛在獎勵和威脅的差異模擬分別使得行為偏向趨近與回避（Gilbert amp; Wilson， 2007; Moughrabi et al.， 2022）。后續的研究需要回答威脅感知的增強、動機和預期的失衡以及反饋學習的異常， 是否會增加患焦慮障礙的風險？還是說這些階段的受損是長期焦慮所導致的后果？此外， 以改變威脅預期為主要目的療法， 實現了對焦慮障礙的有效治療（Craske et al.， 2022; Pittig et al.， 2023）， 后續還可以繼續探索焦慮的改善與這三個階段的神經反應正常化是否相關。

4.2" 趨避沖突三階段模型的參數化

解決趨避沖突的過程可能涉及到刺激本身、個體自身的學習經驗以及個體對獎賞或威脅的敏感性差異（Aupperle amp; Paulus， 2010; Letkiewicz et al.， 2023）。其中的任一因素都可能受到焦慮的影響從而導致趨避沖突的失調， 然而其中的具體機制難以通過行為反應直接觀察到。計算精神病學（computational psychiatry）使用數學模型（例如， 基于貝葉斯定理的模型）來解釋無法直接觀察到的病理行為的心理和神經生理基礎（Smith et al.， 2020; Vasilchenko amp; Chumakov， 2023）。通過對學習和決策過程的參數化， 研究發現焦慮個體的趨避沖突失調可以用內部處理計算模型中特定參數的變異來解釋， 比如敏感性（Yamamori et al.， 2023）、悲觀信念（Zorowitz et al.， 2020）、行動的信心（Smith et al.， 2021）等。然而， 目前將計算模型的方法應用于理解焦慮中的趨避沖突的研究非常有限， 并且難以完整描述刺激感知、預期到行為輸出到底如何實現。未來可以嘗試將趨避沖突的階段劃分為不同的子模型， 通過分層和模塊化的方法， 不僅可以進一步理解焦慮如何影響個體在復雜情景中的表現， 還可以通過調整特定的模型參數（如增加或減少威脅， 或改變對獎賞的評價等）來模擬不同焦慮程度下的變化。

4.3" 從發展的視角考察焦慮個體的趨避沖突失調

先前的研究主要集中在焦慮個體的威脅敏感性和回避特征上（Katz et al.， 2020）， 其測試的群體以成年人為主， 然而焦慮障礙首次出現的高峰時期在青春期， 該時期對情緒高度敏感且具有高度的神經可塑性（Towner et al.， 2023）。最近的研究發現青少年的焦慮水平和冒險行為成正比， 獎賞敏感性在其中起調節作用， 焦慮水平高且獎賞敏感性高的青少年表現出更多尋求刺激的行為（Baker et al.， 2022; 李曉明 等， 2022）， 成年人的焦慮僅僅與回避和威脅敏感性相關， 而青少年的焦慮行為表現更為復雜。原因可能是青春期大腦發育的不平衡， 其中負責處理獎勵和威脅信息的系統（杏仁核和紋狀體）在面對刺激時過度激活， 而認知控制和比較系統（前額葉和海馬體）尚未發育完全（Baker amp; Galván， 2020; Fernández-Teruel， 2021）， 導致該時期對正反饋的渴望和對負反饋的害怕， 并且難以通過自上而下的調節來平衡沖突。總之， 焦慮青少年在面對沖突時表現出過度趨近或回避兩種截然相反的行為， 在成年人中卻只與過度回避有關。未來研究可以通過縱向追蹤和多模態的研究來探索焦慮個體趨避沖突失調的發展軌跡。

參考文獻

李曉明， 劉小丹， 戴婷. （2022）. 特質焦慮與青少年冒險行為的關系：基于雙系統模型的機制探討. 心理與行為研究， 20（4）， 529?535.

李小新， 郭永玉， 羋靜， 胡小勇. （2014）. 威脅敏感性的概念和測量：生理和認知兩種取向. 心理科學進展， 22（10）， 1608?1615.

Abivardi， A.， Khemka， S.， amp; Bach， D. R. （2020）. Hippocampal representation of threat features and behavior in a human approach-avoidance conflict anxiety task. The Journal of Neuroscience， 40（35）， 6748?6758.

Amodio， D. M.， amp; Harmon-Jones， E. （2011）. Trait emotions and affective modulation of the startle eyeblink： On the unique relationship of trait anger. Emotion， 11（1）， 47?51.

Apergis-Schoute， A. M.， Gillan， C. M.， Fineberg， N. A.， Fernandez-Egea， E.， Sahakian， B. J.， amp; Robbins， T. W. （2017）. Neural basis of impaired safety signaling in obsessive compulsive disorder. Proceedings of the National Academy of Sciences， 114（12）， 3216?3221.

Arnaudova， I.， Kindt， M.， Fanselow， M.， amp; Beckers， T. （2017）. Pathways towards the proliferation of avoidance in anxiety and implications for treatment. Behaviour Research and Therapy， 96， 3?13.

Auerbach， R. P.， Pagliaccio， D.， Hubbard， N. A.， Frosch， I.， Kremens， R.， Cosby， E.， … Pizzagalli， D. A. （2022）. Reward-Related neural circuitry in depressed and anxious adolescents： A human connectome project. Journal of the American Academy of Child amp; Adolescent Psychiatry， 61（2）， 308?320.

Aupperle， R. L.， amp; Paulus， M. P. （2010）. Neural systems underlying approach and avoidance in anxiety disorders. Dialogues in Clinical Neuroscience， 12（4）， 517?531.

Aylward， J.， Valton， V.， Ahn， W. -Y.， Bond， R. L.， Dayan， P.， Roiser， J. P.， amp; Robinson， O. J. （2019）. Altered learning under uncertainty in unmedicated mood and anxiety disorders. Nature Human Behaviour， 3（10）， 1116?1123.

Bach， D. R. （2022）. Cross-species anxiety tests in psychiatry： Pitfalls and promises. Molecular Psychiatry， 27（1）， 154?163.

Bach， D. R.， amp; Dayan， P. （2017）. Algorithms for survival： A comparative perspective on emotions. Nature Reviews. Neuroscience， 18（5）， 311?319.

Bach， D. R.， Guitart-Masip， M.， Packard， P. A.， Miro， J.， Falip， M.， Fuentemilla， L.， amp; Dolan， R. J. （2014）. Human hippocampus arbitrates approach-avoidance conflict. Current Biology， 24（5）， 541?547.

Bach， D. R.， Hoffmann， M.， Finke， C.， Hurlemann， R.， amp; Ploner， C. J. （2019）. Disentangling hippocampal and amygdala contribution to human anxiety-like behavior. The Journal of Neuroscience， 39（43）， 8517?8526.

Baczkowski， B. M.， Haaker， J.， amp; Schwabe， L. （2023）. Inferring danger with minimal aversive experience. Trends in Cognitive Sciences， 27（5）， 456?467.

Baker， A. E.， amp; Galván， A. （2020）. Threat or thrill？ The neural mechanisms underlying the development of anxiety and risk taking in adolescence. Developmental Cognitive Neuroscience， 45， 100841.

Baker， A. E.， Padgaonkar， N. T.， Peris， T. S.， amp; Galván， A. （2022）. Anxiety symptoms interact with approach motivations in adolescent risk-taking. PsyArXiv Preprints. https：//doi.org/10. 31234/osf.io/nqdxc

Baladron， J.， amp; Hamker， F. H. （2020）. Habit learning in hierarchical cortex-basal ganglia loops. The European Journal of Neuroscience， 52（12）， 4613?4638.

Ball， T. M.， amp; Gunaydin， L. A. （2022）. Measuring maladaptive avoidance： From animal models to clinical anxiety. Neuropsychopharmacology， 47（5）， 978?986.

Banca， P.， Voon， V.， Vestergaard， M. D.， Philipiak， G.， Almeida， I.， Pocinho， F.， Relvas， J.， amp; Castelo-Branco， M. （2015）. Imbalance in habitual versus goal directed neural systems during symptom provocation in obsessive-compulsive disorder. Brain ： A Journal of Neurology， 138（Pt 3）， 798?811.

Bar-Haim， Y.， Lamy， D.， Pergamin， L.， Bakermans-Kranenburg， M. J.， amp; van IJzendoorn， M. H. （2007）. Threat-related attentional bias in anxious and nonanxious individuals： A meta-analytic study. Psychological Bulletin， 133（1）， 1?24.

Barker， J. M.， Bryant， K. G.， amp; Chandler， L. J. （2018）. Inactivation of ventral hippocampus projections promotes sensitivity to changes in contingency. Learning amp; Memory， 26（1）， 1?8.

Barnett， W. H.， Kuznetsov， A.， amp; Lapish， C. C. （2023）. Distinct cortico-striatal compartments drive competition between adaptive and automatized behavior. PloS One， 18（3）， e0279841.

Bech， P.， Crochet， S.， Dard， R.， Ghaderi， P.， Liu， Y.， Malekzadeh， M.， … Sourmpis， C. （2023）. Striatal dopamine signals and reward learning. Function， 4（6）， zqad056.

Biderman， N.， Bakkour， A.， amp; Shohamy， D. （2020）. What are memories for？ The hippocampus bridges past experience with future decisions. Trends in Cognitive Sciences， 24（7）， 542?556.

Bishop， S. J.， amp; Gagne， C. （2018）. Anxiety， depression， and decision making： A computational perspective. Annual Review of Neuroscience， 41， 371?388.

Bolles， R. C. （1970）. Species-specific defense reactions and avoidance learning. Psychological Review， 77（1）， 32?48.

Browning， M.， Behrens， T. E.， Jocham， G.， O’Reilly， J. X.， amp; Bishop， S. J. （2015）. Anxious individuals have difficulty learning the causal statistics of aversive environments. Nature Neuroscience， 18（4）， 590?596.

Bryant， K. G.， amp; Barker， J. M. （2020）. Arbitration of approach-avoidance conflict by ventral hippocampus. Frontiers in Neuroscience， 14， 615337.

Carver， C. S.， amp; White， T. L. （1994）. Behavioral inhibition， behavioral activation， and affective responses to impending reward and punishment： The BIS/BAS Scales. Journal of Personality and Social Psychology， 67（2）， 319?333.

Castegnetti， G.， Tzovara， A.， Khemka， S.， Melin??ak， F.， Barnes， G. R.， Dolan， R. J.， amp; Bach， D. R. （2020）. Representation of probabilistic outcomes during risky decision-making. Nature Communications， 11（1）， 2419.

Charpentier， C. J.， Aylward， J.， Roiser， J. P.， amp; Robinson， O. J. （2017）. Enhanced risk aversion， but not loss aversion， in unmedicated pathological anxiety. Biological Psychiatry， 81（12）， 1014?1022.

Chavanne， A. V.， amp; Robinson， O. J. （2021）. The overlapping neurobiology of induced and pathological anxiety： A meta-analysis of functional neural activation. The American Journal of Psychiatry， 178（2）， 156?164.

Choi， J. S.， amp; Kim， J. J. （2010）. Amygdala regulates risk of predation in rats foraging in a dynamic fear environment. Proceedings of the National Academy of Sciences of the United States of America， 107（50）， 21773?21777.

Cisler， J. M.， Tamman， A. J. F.， amp; Fonzo， G. A. （2023）. Diminished prospective mental representations of reward mediate reward learning strategies among youth with internalizing symptoms. Psychological Medicine， 53（14）， 1?11.

Cornwell， B. R.， Garrido， M. I.， Overstreet， C.， Pine， D. S.， amp; Grillon， C. （2017）. The unpredictive brain under threat： A neurocomputational account of anxious hypervigilance. Biological Psychiatry， 82（6）， 447?454.

Corr， P. J. （2004）. Reinforcement sensitivity theory and personality. Neuroscience amp; Biobehavioral Reviews， 28（3）， 317?332.

Corr， P. J.， amp; Cooper， A. J. （2016）. The reinforcement sensitivity theory of personality questionnaire （RST-PQ）： Development and validation. Psychological Assessment， 28（11）， 1427?1440.

Corr， P. J.， amp; Krupi?， D. （2017）. Motivating personality： Approach， avoidance， and their conflict. In A. J. Elliot （Ed.）， Advances in motivation science （pp. 39?90）. Elsevier Academic Press.

Corr， P. J.， amp; McNaughton， N. （2012）. Neuroscience and approach/avoidance personality traits： A two stage （valuation?motivation） approach. Neuroscience amp; Biobehavioral Reviews， 36（10）， 2339?2354.

Costa， V. D.， Dal Monte， O.， Lucas， D. R.， Murray， E. A.， amp; Averbeck， B. B. （2016）. Amygdala and ventral striatum make distinct contributions to reinforcement learning. Neuron， 92（2）， 505?517.

Couch， A. C. M.， Berger， T.， Hanger， B.， Matuleviciute， R.， Srivastava， D. P.， Thuret， S.， amp; Vernon， A. C. （2021）. Maternal immune activation primes deficiencies in adult hippocampal neurogenesis. Brain， Behavior， and Immunity， 97， 410?422.

Craske， M. G.， Sandman， C. F.， amp; Stein， M. B. （2022）. How can neurobiology of fear extinction inform treatment？ Neuroscience amp; Biobehavioral Reviews， 143， 104923.

De Pascalis， V.， Scacchia， P.， Sommer， K.， amp; Checcucci， C. （2019）. Psychopathy traits and reinforcement sensitivity theory： Prepulse inhibition and ERP responses. Biological Psychology， 148， 107771.

de Wit， S.， amp; Dickinson， A. （2009）. Associative theories of goal-directed behaviour： A case for animal-human translational models. Psychological Research， 73（4）， 463?476.

Del Arco， A.， Park， J.， amp; Moghaddam， B. （2020）. Unanticipated stressful and rewarding experiences engage the same prefrontal cortex and ventral tegmental area neuronal populations. Eneuro， 7（3）， 1?13.

Dickson， J. M. （2006）. Perceived consequences underlying approach goals and avoidance goals in relation to anxiety. Personality and Individual Differences， 41（8）， 1527?1538.

Diederen， K. M.， amp; Schultz， W. （2015）. Scaling prediction errors to reward variability benefits error-driven learning in humans. Journal of Neurophysiology， 114（3）， 1628?1640.

Diehl， M. M.， Bravo-Rivera， C.， amp; Quirk， G. J. （2019）. The study of active avoidance： A platform for discussion. Neuroscience amp; Biobehavioral Reviews， 107， 229?237.

Dillon， D. G.， Lazarov， A.， Dolan， S.， Bar-Haim， Y.， Pizzagalli， D. A.， amp; Schneier， F. R. （2022）. Fast evidence accumulation in social anxiety disorder enhances decision making in a probabilistic reward task. Emotion， 22（1）， 1?18.

Doll， B. B.， Duncan， K. D.， Simon， D. A.， Shohamy， D.， amp; Daw， N. D. （2015）. Model-based choices involve prospective neural activity. Nature Neuroscience， 18（5）， 767?772.

Duval， E. R.， Javanbakht， A.， amp; Liberzon， I. （2015）. Neural circuits in anxiety and stress disorders： A focused review. Therapeutics and Clinical Risk Management， 11， 115?126.

Elliot， A. J. （2006）. The hierarchical model of approach-avoidance motivation. Motivation and Emotion， 30（2）， 111?116.

Engelhard， B.， Finkelstein， J.， Cox， J.， Fleming， W.， Jang， H. J.， Ornelas， S.， ... Witten， I. B. （2019）. Specialized coding of sensory， motor and cognitive variables in VTA dopamine neurons. Nature， 570（7762）， 509?513.

Enkhtaivan， E.， Nishimura， J.， amp; Cochran， A. （2023）. Placing approach-avoidance conflict within the framework of multi-objective reinforcement learning. Bulletin of Mathematical Biology， 85（11）， 116.

Feigley， D. A.， amp; Spear， N. E. （1970）. Effect of age and punishment condition on long-term retention by the rat of active- and passive-avoidance learning. Journal of Comparative and Physiological Psychology， 73（3）， 515?526.

Felix-Ortiz， A. C.， Beyeler， A.， Seo， C.， Leppla， C. A.， Wildes， C. P.， amp; Tye， K. M. （2013）. BLA to vHPC inputs modulate anxiety-related behaviors. Neuron， 79（4）， 658?664.

Fernández-Teruel， A. （2021）. Conflict between threat sensitivity and sensation seeking in the adolescent brain： Role of the hippocampus， and neurobehavioural plasticity induced by pleasurable early enriched experience. Brain Sciences， 11（2）， 268.

Fernández-Teruel， A.， amp; McNaughton， N. （2023）. Post-encounter freezing during approach-avoidance conflict： The role of the hippocampus. Nature Reviews Neuroscience， 24（7）， 451?452.

Fernández-Teruel， A.， amp; Tobe?a， A. （2020）. Revisiting the role of anxiety in the initial acquisition of two-way active avoidance： Pharmacological， behavioural and neuroanatomical convergence. Neuroscience amp; Biobehavioral Reviews， 118， 739?758.

Fineberg， N. A.， Apergis-Schoute， A. M.， Vaghi， M. M.， Banca， P.， Gillan， C. M.， Voon， V.， ... Robbins， T. W. （2018）. Mapping compulsivity in the DSM-5 obsessive compulsive and related disorders： Cognitive domains， neural circuitry， and treatment. International Journal of Neuropsychopharmacology， 21（1）， 42?58.

Flores， A.， López， F. J.， Vervliet， B.， amp; Cobos， P. L. （2018）. Intolerance of uncertainty as a vulnerability factor for excessive and inflexible avoidance behavior. Behaviour Research and Therapy， 104， 34?43.

Fox， A. S.， Oler， J. A.， Birn， R. M.， Shackman， A. J.， Alexander， A. L.， amp; Kalin， N. H. （2018）. Functional connectivity within the primate extended amygdala is heritable and associated with early-life anxious temperament. Journal of Neuroscience， 38（35）， 7611?7621.

Fung， B. J.， Qi， S.， Hassabis， D.， Daw， N.， amp; Mobbs， D. （2019）. Slow escape decisions are swayed by trait anxiety. Nature Human Behaviour， 3（7）， 702?708.

Garrison， J.， Erdeniz， B.， amp; Done， J. （2013）. Prediction error in reinforcement learning： A meta-analysis of neuroimaging studies. Neuroscience amp; Biobehavioral Reviews， 37（7）， 1297?1310.

Gazit， T.， Gonen， T.， Gurevitch， G.， Cohen， N.， Strauss， I.， Zeevi， Y.， ... Fried， I. （2020）. The role of mPFC and MTL neurons in human choice under goal-conflict. Nature Communications， 11（1）， 3192.

Gilbert， D. T.， amp; Wilson， T. D. （2007）. Prospection： Experiencing the future. Science， 317（5843）， 1351?1354.

Gillan， C. M.， Otto， A. R.， Phelps， E. A.， amp; Daw， N. D. （2015）. Model-based learning protects against forming habits. Cognitive， Affective， amp; Behavioral Neuroscience， 15（3）， 523?536.

Gillan， C. M.， Vaghi， M. M.， Hezemans， F. H.， van Ghesel Grothe， S.， Dafflon， J.， Brühl， A. B.， ... Robbins， T. W. （2021）. Experimentally induced and real-world anxiety have no demonstrable effect on goal-directed behaviour. Psychological Medicine， 51（9）， 1467?1478.

Glück， V. M.， Boschet-Lange， J. M.， Pittig， R.， amp; Pittig， A. （2023）. Persistence of extensively trained avoidance is not elevated in anxiety disorders in an outcome devaluation paradigm. Behaviour Research and Therapy， 170， 104417.

Glück， V. M.， Zwosta， K.， Wolfensteller， U.， Ruge， H.， amp; Pittig， A. （2021）. Costly habitual avoidance is reduced by concurrent goal-directed approach in a modified devaluation paradigm. Behaviour Research and Therapy， 146， 103964.

Gray， J. A. （1987）. Perspectives on anxiety and impulsivity： A commentary. Journal of Research in Personality， 21（4）， 493?509.

Gray， J. A.， amp; McNaughton， N. （2000）. The neuropsychology of anxiety： An enquiry into the functions of septo-hippocampal system. Oxford University Press.

Grupe， D. W.， amp; Nitschke， J. B. （2013）. Uncertainty and anticipation in anxiety： An integrated neurobiological and psychological perspective. Nature Reviews Neuroscience， 14（7）， 488?501.

Han， S.， Gao， J.， Hu， J.， Ye， Y.， Huang， H.， Liu， J.， … Xu， P. （2023）. Disruptions of salience network during uncertain anticipation of conflict control in anxiety. Asian Journal of Psychiatry， 88， 103721.

Hertwig， R.， amp; Erev， I. （2009）. The description-experience gap in risky choice. Trends in Cognitive Sciences， 13（12）， 517?523.

Hofmann， S. G.， amp; Hay， A. C. （2018）. Rethinking avoidance： Toward a balanced approach to avoidance in treating anxiety disorders. Journal of Anxiety Disorders， 55， 14?21.

Howlett， J. R.， amp; Paulus， M. P. （2020）. Where perception meets belief updating： Computational evidence for slower updating of visual expectations in anxious individuals. Journal of Affective Disorders， 266， 633?638.

Hundt， N. E.， Brown， L. H.， Kimbrel， N. A.， Walsh， M. A.， Nelson-Gray， R. O.， amp; Kwapil， T. R. （2013）. Reinforcement sensitivity theory predicts positive and negative affect in daily life. Personality and Individual Differences， 54（3）， 350?354.

Iordanova， M. D.， Yau， J. O. -Y.， McDannald， M. A.， amp; Corbit， L. H. （2021）. Neural substrates of appetitive and aversive prediction error. Neuroscience amp; Biobehavioral Reviews， 123， 337?351.

Ito， R.， amp; Lee， A. C. H. （2016）. The role of the hippocampus in approach-avoidance conflict decision-making： Evidence from rodent and human studies. Behavioural Brain Research， 313， 345?357.

Izadpanah， S.， Schumacher， M.， B?hr， A.， Stopsack， M.， Grabe， H. J.， amp; Barnow， S. （2016）. A 5-year longitudinal study of the adolescent reinforcement sensitivity as a risk factor for anxiety symptoms in adulthood： Investigating the indirect effect of cognitive emotion regulation. Personality and Individual Differences， 95， 68?73.

Jimenez， J. C.， Su， K.， Goldberg， A. R.， Luna， V. M.， Biane， J. S.， Ordek， G.， ... Kheirbek， M. A. （2018）. Anxiety cells in a hippocampal-hypothalamic circuit. Neuron， 97（3）， 670?683.

Kahneman， D.， amp; Tversky， A. （1979）. Prospect theory： An analysis of decision under risk. Econometrica， 47（2）， 313?327.

Kalisch， R.， Gerlicher， A. M. V.， amp; Duvarci， S. （2019）. A dopaminergic basis for fear extinction. Trends in Cognitive Sciences， 23（4）， 274?277.

Katz， B. A.， Matanky， K.， Aviram， G.， amp; Yovel， I. （2020）. Reinforcement sensitivity， depression and anxiety： A meta-analysis and meta-analytic structural equation model. Clinical Psychology Review， 77， 101842.

Kaye， S. A.， White， M. J.， amp; Lewis， I. （2018）. Young females' attention toward road safety images： An ERP study of the revised reinforcement sensitivity theory. Traffic Injury Prevention， 19（2）， 201?206.

Kelley， N. J.， Hortensius， R.， Schutter， D. J.， amp; Harmon-Jones， E. （2017）. The relationship of approach/avoidance motivation and asymmetric frontal cortical activity： A review of studies manipulating frontal asymmetry. International Journal of Psychophysiology， 119， 19?30.

Keramati， M.， Dezfouli， A.， amp; Piray， P. （2011）. Speed/accuracy trade-off between the habitual and the goal-directed processes. PLoS Computational Biology， 7（5）， e1002055.

Kim， H. F.， amp; Hikosaka， O. （2015）. Parallel basal ganglia circuits for voluntary and automatic behaviour to reach rewards. Brain， 138（7）， 1776?1800.

Kirlic， N.， Young， J.， amp; Aupperle， R. L. （2017）. Animal to human translational paradigms relevant for approach avoidance conflict decision making. Behaviour Research and Therapy， 96， 14?29.

Kirry， A. J.， Twining， R. C.， amp; Gilmartin， M. R. （2020）. Prelimbic input to basolateral amygdala facilitates the acquisition of trace cued fear memory under weak training conditions. Neurobiology of Learning and Memory， 172， 107249.

Korn， C. W.， Vunder， J.， Miró， J.， Fuentemilla， L.， Hurlemann， R.， amp; Bach， D. R. （2017）. Amygdala lesions reduce anxiety-like behavior in a human benzodiazepine- sensitive approach?avoidance conflict test. Biological Psychiatry， 82（7）， 522?531.

Kreuze， L. J.， Jonker， N. C.， Hartman， C. A.， Nauta， M. H.， amp; de Jong， P. J. （2020）. Attentional bias for cues signaling punishment and reward in adolescents： Cross-sectional and prognostic associations with symptoms of Anxiety and behavioral disorders. Journal of Abnormal Child Psychology， 48（8）， 1007?1021.

Krypotos， A. -M.， Effting， M.， Kindt， M.， amp; Beckers， T. （2015）. Avoidance learning： A review of theoretical models and recent developments. Frontiers in Behavioral Neuroscience， 9， 189.

Lacey， M. F.， amp; Gable， P. A. （2021）. Frontal asymmetry in an approach-avoidance conflict paradigm. Psychophysiology， 58（5）， e13780.

Lamba， A.， Frank， M. J.， amp; FeldmanHall， O. （2020）. Anxiety impedes adaptive social learning under uncertainty. Psychological Science， 31（5）， 592?603.

LeBlanc， K. H.， London， T. D.， Szczot， I.， Bocarsly， M. E.， Friend， D. M.， Nguyen， K. P.， ... Kravitz， A. V. （2020）. Striatopallidal neurons control avoidance behavior in exploratory tasks. Molecular Psychiatry， 25（2）， 491?505.

LeDoux， J. E.， Moscarello， J.， Sears， R.， amp; Campese， V. （2017）. The birth， death and resurrection of avoidance： A reconceptualization of a troubled paradigm. Molecular Psychiatry， 22（1）， 24?36.

LeDoux， J. E.， amp; Pine， D. S. （2016）. Using neuroscience to help understand fear and anxiety： A two-system framework. The American Journal of Psychiatry， 173（11）， 1083?1093.

Lee， D.， Seo， H.， amp; Jung， M. W. （2012）. Neural basis of reinforcement learning and decision making. Annual Review of Neuroscience， 35（1）， 287?308.

Letkiewicz， A. M.， Kottler， H. C.， Shankman， S. A.， amp; Cochran， A. L. （2023）. Quantifying aberrant approach- avoidance conflict in psychopathology： A review of computational approaches. Neuroscience amp; Biobehavioral Reviews， 147， 105103.

Lewin， K. （1935）. A dynamic theory of personality. McGraw-Hill Higher Education.

Liu， L.， Wu， J.， Geng， H.， Liu， C.， Luo， Y.， Luo， J.， amp; Qin， S. （2022）. Long-term stress and trait anxiety affect brain network balance in dynamic cognitive computations. Cerebral Cortex， 32（14）， 2957?2971.

Livermore， J. J.， Klaassen， F. H.， Bramson， B.， Hulsman， A. M.， Meijer， S. W.， Held， L.， ... Roelofs， K. （2021）. Approach-avoidance decisions under threat： The role of autonomic psychophysiological states. Frontiers in Neuroscience， 15， 621517.

Loijen， A.， Vrijsen， J. N.， Egger， J. I. M.， Becker， E. S.， amp; Rinck， M. （2020）. Biased approach-avoidance tendencies in psychopathology： A systematic review of their assessment and modification. Clinical Psychology Review， 77， 101825.

Lovibond， P. （2006）. Fear and Avoidance： An Integrated Expectancy Model. In M. G. Craske， D. Hermans， amp; D. Vansteenwegen （Eds.）， Fear and learning： From basic processes to clinical implications （pp. 117?132）. American Psychological Association.

Ma， L.， Chen， W.， Yu， D.， amp; Han， Y. （2020）. Brain-wide mapping of afferent inputs to accumbens nucleus core subdomains and accumbens nucleus subnuclei. Frontiers in Systems Neuroscience， 14， 15.

Mack， N. R.， Deng， S.， Yang， S. S.， Shu， Y.， amp; Gao， W. J. （2023）. Prefrontal cortical control of anxiety： Recent advances. The Neuroscientist， 29（4）， 488?505.

Mathews， A.， amp; MacLeod， C. （2002）. Induced processing biases have causal effects on anxiety. Cognition amp; Emotion， 16（3）， 331?354.

McDermott， T. J.， Berg， H.， Touthang， J.， Akeman， E.， Cannon， M. J.， Santiago， J.， ... Aupperle， R. L. （2022）. Striatal reactivity during emotion and reward relates to approach?avoidance conflict behaviour and is altered in adults with anxiety or depression. Journal of Psychiatry and Neuroscience， 47（5）， E311?E322.

McNally， G. P. （2021）. Motivational competition and the paraventricular thalamus. Neuroscience amp; Biobehavioral Reviews， 125， 193?207.

McNaughton， N.， DeYoung， C. G.， amp; Corr， P. J. （2016）. Approach/avoidance. In J. R. Absher， amp; J. Cloutier （Eds.）， Neuroimaging personality and character： Traits and mental states in the brain （pp. 25?49）. Elsevier.

Mileti?， S.， Boag， R. J.， Trutti， A. C.， Stevenson， N.， Forstmann， B. U.， amp; Heathcote， A. （2021）. A new model of decision processing in instrumental learning tasks. Elife， 10， e63055.

Miller， N. E. （1948）. Studies of fear as an acquirable drive： I. Fear as motivation and fear-reduction as reinforcement in the learning of new responses. Journal of Experimental Psychology， 38（1）， 89?101.

Miller， S. M.， Marcotulli， D.， Shen， A.， amp; Zweifel， L. S. （2019）. Divergent medial amygdala projections regulate approach?avoidance conflict behavior. Nature Neuroscience， 22（4）， 565?575.

Mitte， K. （2008）. Memory bias for threatening information in anxiety and anxiety disorders： A meta-analytic review. Psychological Bulletin， 134（6）， 886?911.

Monni， A.， Olivier， E.， Morin， A. J. S.， Belardinelli， M. O.， Mulvihill， K.， amp; Scalas， L. F. （2020）. Approach and avoidance in Gray's， Higgins'， and Elliot's perspectives： A theoretical comparison and integration of approach-avoidance in motivated behavior. Personality and Individual Differences， 166， 110163.

Moscarello， J. M.， amp; Maren， S. （2018）. Flexibility in the face of fear： Hippocampal?prefrontal regulation of fear and avoidance. Current Opinion in Behavioral Sciences， 19， 44?49.

Moughrabi， N.， Botsford， C.， Gruichich， T. S.， Azar， A.， Heilicher， M.， Hiser， J.， ... Cisler， J. M. （2022）. Large-scale neural network computations and multivariate representations during approach-avoidance conflict decision-making. NeuroImage， 264， 119709.

Mowrer， O. H. （1940）. Anxiety-reduction and learning. Journal of Experimental Psychology， 27（5）， 497?516.

Nguyen， D.， Alushaj， E.， Erb， S.， amp; Ito， R. （2019）. Dissociative effects of dorsomedial striatum D1 and D2 receptor antagonism in the regulation of anxiety and learned approach-avoidance conflict decision-making. Neuropharmacology， 146， 222?230.

Oler， J. A.， Fox， A. S.， Shelton， S. E.， Rogers， J.， Dyer， T. D.， Davidson， R. J.， ... Kalin， N. H. （2010）. Amygdalar and hippocampal substrates of anxious temperament differ in their heritability. Nature， 466（7308）， 864?868.

Otis， J. M.， amp; Mueller， D. （2017）. Reversal of cocaine-associated synaptic plasticity in medial prefrontal cortex parallels elimination of memory retrieval. Neuropsychopharmacology， 42（10）， 2000?2010.

Padilla-Coreano， N.， Bolkan， S. S.， Pierce， G. M.， Blackman， D. R.， Hardin， W. D.， Garcia-Garcia， A. L.， ... Gordon， J. A. （2016）. Direct ventral hippocampal-prefrontal input is required for anxiety-related neural activity and behavior. Neuron， 89（4）， 857?866.

Pastor， V.， amp; Medina， J. H. （2021）. Medial prefrontal cortical control of reward- and aversion-based behavioral output： Bottom-up modulation. The European Journal of Neuroscience， 53（9）， 3039?3062.

Patterson， D. A. J. （2020）. The role of the ventral hippocampal-accumbens shell circuit in cued approach-avoidance decision making. University of Toronto.

Paulus， M. P. （2020）. Driven by pain， not gain： Computational approaches to aversion-related decision making in psychiatry. Biological Psychiatry， 87（4）， 359?367.

Piantadosi， P. T.， Yeates， D. C. M.， amp; Floresco， S. B. （2020）. Prefrontal cortical and nucleus accumbens contributions to discriminative conditioned suppression of reward-seeking. Learning amp; Memory， 27（10）， 429?440.

Pike， A. C.， amp; Robinson， O. J. （2022）. Reinforcement learning in patients with mood and anxiety disorders vs control individuals： A systematic review and meta-analysis. JAMA Psychiatry， 79（4）， 313?322.

Pittig， A.， Boschet， J. M.， Glück， V. M.， amp; Schneider， K. （2021）. Elevated costly avoidance in anxiety disorders： Patients show little downregulation of acquired avoidance in face of competing rewards for approach. Depression and Anxiety， 38（3）， 361?371.

Pittig， A.， amp; Dehler， J. （2019）. Same fear responses， less avoidance： Rewards competing with aversive outcomes do not buffer fear acquisition， but attenuate avoidance to accelerate subsequent fear extinction. Behaviour Research and Therapy， 112， 1?11.

Pittig， A.， Heinig， I.， Goerigk， S.， Richter， J.， Hollandt， M.， Lueken， U.， ... Wittchen， H. U. （2023）. Change of threat expectancy as mechanism of exposure-based psychotherapy for anxiety disorders： Evidence from 8， 484 exposure exercises of 605 patients. Clinical Psychological Science， 11（2）， 199?217.

Pittig， A.， Hengen， K.， Bublatzky， F.， amp; Alpers， G. W. （2018）. Social and monetary incentives counteract fear-driven avoidance： Evidence from approach-avoidance decisions. Journal of Behavior Therapy and Experimental Psychiatry， 60， 69?77.

Pittig， A.， Wong， A. H. K.， Glück， V. M.， amp; Boschet， J. M. （2020）. Avoidance and its bi-directional relationship with conditioned fear： Mechanisms， moderators， and clinical implications. Behaviour Research and Therapy， 126， 103550.

Quartz， S. R. （2009）. Reason， emotion and decision-making： Risk and reward computation with feeling. Trends in Cognitive Sciences， 13（5）， 209?215.

Rachman， S.， amp; Hodgson， R. （1974）. I. Synchrony and desynchrony in fear and avoidance. Behaviour Research and Therapy， 12（4）， 311?318.

Ranaldi， R. （2014）. Dopamine and reward seeking： The role of ventral tegmental area. Reviews in the Neurosciences， 25（5）， 621?630.

Rangel， A.， Camerer， C.， amp; Montague， P. R. （2008）. A framework for studying the neurobiology of value-based decision making. Nature Reviews. Neuroscience， 9（7）， 545?556.

Rescorla， R. A.， amp; Wagner， A. R. （1972）. A theory of Pavlovian conditioning： Variations in the effectiveness of reinforcement and non-reinforcement. In A. H. Black amp; W. F. Prokasy （Eds.）， Classical conditioning II： Current research and theory （pp. 64?99）. Appleton-Century-Crofts.

Richey， J. A.， Brewer， J. A.， Sullivan-Toole， H.， Strege， M. V.， Kim-Spoon， J.， White， S. W.， amp; Ollendick， T. H. （2019）. Sensitivity shift theory： A developmental model of positive affect and motivational deficits in social anxiety disorder. Clinical Psychology Review， 72， 101756.

Rief， W.， Sperl， M. F.， Braun-Koch， K.， Khosrowtaj， Z.， Kirchner， L.， Sch?fer， L.， ... Panitz， C. （2022）. Using expectation violation models to improve the outcome of psychological treatments. Clinical Psychology Review， 98， 102212.

Roberts， C.， Apergis-Schoute， A. M.， Bruhl， A.， Nowak， M.， Baldwin， D. S.， Sahakian， B. J.， amp; Robbins， T. W. （2022）. Threat reversal learning and avoidance habits in generalised anxiety disorder. Translational Psychiatry， 12（1）， 216.

Robinson， O. J.， Overstreet， C.， Charney， D. R.， Vytal， K.， amp; Grillon， C. （2013）. Stress increases aversive prediction error signal in the ventral striatum. Proceedings of the National Academy of Sciences of the United States of America， 110（10）， 4129?4133.

Roesch， M. R.， amp; Olson， C. R. （2004）. Neuronal activity related to reward value and motivation in primate frontal cortex. Science， 304（5668）， 307?310.

Rozeske， R. R.， Jercog， D.， Karalis， N.， Chaudun， F.， Khoder， S.， Girard， D.， ... Herry， C. （2018）. Prefrontal-periaqueductal gray-projecting neurons mediate context fear discrimination. Neuron， 97（4）， 898?910.

Rusconi， F.， Rossetti， M. G.， Forastieri， C.， Tritto， V.， Bellani， M.， amp; Battaglioli， E. （2022）. Preclinical and clinical evidence on the approach-avoidance conflict evaluation as an integrative tool for psychopathology. Epidemiology and Psychiatric Sciences， 31， e90.

Sánchez-Bellot， C.， AlSubaie， R.， Mishchanchuk， K.， Wee， R. W.， amp; MacAskill， A. F. （2022）. Two opposing hippocampus to prefrontal cortex pathways for the control of approach and avoidance behaviour. Nature Communications， 13（1）， 339.

Schlund， M. W.， Brewer， A. T.， Magee， S. K.， Richman， D. M.， Solomon， S.， Ludlum， M.， amp; Dymond， S. （2016）. The tipping point： Value differences and parallel dorsal?ventral frontal circuits gating human approach?avoidance behavior. Neuroimage， 136， 94?105.

Schumacher， A.， Villaruel， F. R.， Ussling， A.， Riaz， S.， Lee， A. C.， amp; Ito， R. （2018）. Ventral hippocampal CA1 and CA3 differentially mediate learned approach-avoidance conflict processing. Current Biology， 28（8）， 1318?1324.

Seligman， M.， amp; Johnston， J. （1973）. A cognitive theory of avoidance learning. In F. J. McGuigan， amp; D. B. Lumsden （Eds.）. Contemporary approaches to conditioning and learning （pp. 69?110）. Wiley.

Sequeira， S. L.， Forbes， E. E.， Hanson， J. L.， amp; Silk， J. S. （2022）. Positive valence systems in youth anxiety development： A scoping review. Journal of Anxiety Disorders， 89， 102588.

Sharp， P. B.， Russek， E. M.， Huys， Q. J. M.， Dolan， R. J.， amp; Eldar， E. （2022）. Humans perseverate on punishment avoidance goals in multigoal reinforcement learning. eLife， 11， e74402.

Shi， H. J.， Wang， S.， Wang， X. P.， Zhang， R. X.， amp; Zhu， L. J. （2023）. Hippocampus： Molecular， cellular， and circuit features in anxiety. Neuroscience Bulletin， 39（6）， 1009?1026.

Silvetti， S.， amp; Verguts， T. （2012）. Reinforcement learning， high-level cognition， and the human brain. In P. Bright （Ed.）， Neuroimaging： Cognitive and clinical neuroscience （pp. 283?296）. InTech.

Skinner， B. F. （1938）. The behavior of organisms： An experimental analysis. Appleton-Century.

Smith， R.， Kirlic， N.， Stewart， J. L.， Touthang， J.， Kuplicki， R.， Khalsa， S. S.， ... Aupperle， R. L. （2021）. Greater decision uncertainty characterizes a transdiagnostic patient sample during approach-avoidance conflict： A computational modelling approach. Journal of Psychiatry and Neuroscience， 46（1）， E74?E87.

Smith， R.， Kuplicki， R.， Feinstein， J.， Forthman， K. L.， Stewart， J. L.， Paulus， M. P.， ... Khalsa， S. S. （2020）. A Bayesian computational model reveals a failure to adapt interoceptive precision estimates across depression， anxiety， eating， and substance use disorders. PLoS Computational Biology， 16（12）， e1008484.

Stelly， C. E.， Tritley， S. C.， Rafati， Y.， amp; Wanat， M. J. （2020）. Acute stress enhances associative learning via dopamine signaling in the ventral lateral striatum. Journal of Neuroscience， 40（22）， 4391?4400.

Stout， D. M.， Shackman， A. J.， Pedersen， W. S.， Miskovich， T. A.， amp; Larson， C. L. （2017）. Neural circuitry governing anxious individuals’ mis-allocation of working memory to threat. Scientific Reports， 7（1）， 8742.

Sutton， R. S. （1988）. Learning to predict by the methods of temporal differences. Machine Learning， 3（1）， 9?44.

Sutton， R. S.， amp; Barto， A. G. （2018）. Reinforcement learning： An introduction （2nd ed.）. MIT Press.

Tolman， E. C. （1948）. Cognitive maps in rats and men. Psychological Review， 55（4）， 189?208.

Tom， S. M.， Fox， C. R.， Trepel， C.， amp; Poldrack， R. A. （2007）. The neural basis of loss aversion in decision-making under risk. Science， 315（5811）， 515?518.

Towner， E.， Chierchia， G.， amp; Blakemore， S. J. （2023）. Sensitivity and specificity in affective and social learning in adolescence. Trends in Cognitive Sciences， 27（7）， 642?655.

Tymula， A.， Wang， X.， Imaizumi， Y.， Kawai， T.， Kunimatsu， J.， Matsumoto， M.， amp; Yamada， H. （2023）. Dynamic prospect theory： Two core decision theories coexist in the gambling behavior of monkeys and humans. Science Advances， 9（20）， eade7972.

Vasilchenko， K. F.， amp; Chumakov， E. M. （2023）. Current status， challenges and future prospects in computational psychiatry： A narrative review. Consortium Psychiatricum， 4（3）， 33?42.

Verharen， J. P.， Adan， R. A.， amp; Vanderschuren， L. J. （2020）. How reward and aversion shape motivation and decision making： A computational account. The Neuroscientist， 26（1）， 87?99.

Vogel， S.， amp; Schwabe， L. （2019）. Stress， aggression， and the balance of approach and avoidance. Psychoneuroendocrinology， 103， 137?146.

Walters， C. J.， amp; Redish， A. D. （2018）. A case study in computational psychiatry： Addiction as failure modes of the decision-making system. In A. Anticevic amp; J. D. Murray （Eds.）， Computational psychiatry： Mathematical modeling of mental illness （pp. 199?217）. Elsevier Academic Press.

Warr， P. B.， Sánchez-Cardona， I.， Taneva， S. K.， Vera， M.， Bindl， U. K.， amp; Cifre， E. （2021）. Reinforcement sensitivity theory， approach-affect and avoidance-affect. Cognition and Emotion， 35（4）， 619?635.

Watson， J. B.， amp; Rayner， R. （1920）. Conditioned emotional reactions. Journal of Experimental Psychology， 3（1）， 1?14.

Watson， P.， O’Callaghan， C.， Perkes， I.， Bradfield， L.， amp; Turner， K. （2022）. Making habits measurable beyond what they are not： A focus on associative dual-process models. Neuroscience amp; Biobehavioral Reviews， 142， 104869.

Wise， T.， Liu， Y.， Chowdhury， F.， amp; Dolan， R. J. （2021）. Model-based aversive learning in humans is supported by preferential task state reactivation. Science Advances， 7（31）， eabf9616.

Wong， A. H. K.， amp; Pittig， A. （2022）. A dimensional measure of safety behavior： A non-dichotomous assessment of costly avoidance in human fear conditioning. Psychological Research， 86（1）， 312?330.

Wood， W.， amp; Neal， D. T. （2007）. A new look at habits and the habit-goal interface. Psychological Review， 114（4）， 843?863.

Wood， W.， amp; Rünger， D. （2016）. Psychology of habit. Annual Review of Psychology， 67（1）， 289?314.

Xia， F.， amp; Kheirbek， M. A. （2020）. Circuit-based biomarkers for mood and anxiety disorders. Trends in Neurosciences， 43（11）， 902?915.

Yamamori， Y.， amp; Robinson， O. J. （2023）. Computational perspectives on human fear and anxiety. Neuroscience amp; Biobehavioral Reviews， 144， 104959.

Yamamori， Y.， Robinson， O. J.， amp; Roiser， J. P. （2023）. Approach-avoidance reinforcement learning as a translational and computational model of anxiety-related avoidance. ELife， 12， RP87720.

Ye， L.， Allen， W. E.， Thompson， K. R.， Tian， Q.， Hsueh， B.， Ramakrishnan， C.， ... Deisseroth， K. （2016）. Wiring and molecular features of prefrontal ensembles representing distinct experiences. Cell， 165（7）， 1776?1788.

Yeates， D. C.， Leavitt， D.， Sujanthan， S.， Khan， N.， Alushaj， D.， Lee， A. C.， amp; Ito， R. （2022）. Parallel ventral hippocampus-lateral septum pathways differentially regulate approach-avoidance conflict. Nature Communications， 13（1）， 3349.

Yeates， D. C. M.， Ussling， A.， Lee， A. C. H.， amp; Ito， R. （2020）. Double dissociation of learned approach-avoidance conflict processing and spatial pattern separation along the dorsoventral axis of the dentate gyrus. Hippocampus， 30（6）， 596?609.

Zorowitz， S.， Momennejad， I.， amp; Daw， N. D. （2020）. Anxiety， avoidance， and sequential evaluation. Computational Psychiatry， 4， 1?17.

Understanding approach-avoidance conflict dysregulation in anxiety： Cognitive processes and neural mechanisms

XIA Yi， ZHANG Jie， ZHANG Huoyin， LEI Yi， DOU Haoran

（Institute of Brain and Psychological Sciences， Sichuan Normal University， Chengdu 610066， China）

Abstract： Effectively resolving approach-avoidance conflicts is crucial in everyday life. However， anxious individuals exhibit behavioral manifestations of dysregulated approach-avoidance conflict. This dysregulation is characterized by abandoning positive outcomes to avoid stimuli that are unrelated to actual threats or less threatening. Traditional motivational theories divide individuals’ coping with approach-avoidance conflict into information input and behavioral output processes. However， these are insufficient to fully explain the specific mechanisms underlying approach-avoidance conflict dysregulation. In this review， we propose a three-stage model comprising conflict perception， conflict processing， and feedback learning. This model emphasizes that approach-avoidance conflict dysregulation in anxious individuals may manifest as heightened threat perception， imbalanced motivation-expected value comparison， and abnormal feedback learning. Future research can further validate the relative independence of these three stages in the model， parameterize the model through hierarchical and modular methods， and explore the mechanisms underlying approach-avoidance conflict dysregulation in anxious individuals through a developmental perspective.

Keywords： anxiety， approach-avoidance conflict， expected value， motivation， cognitive neural mechanism