基于反事實推理的閱讀理解去偏方法

扆雅欣，孫欣伊，譚紅葉，2

（1.山西大學 計算機與信息技術學院；2.山西大學 計算智能與中文信息處理教育部重點實驗室，山西 太原 030006）

0 引言

機器閱讀理解作為一項綜合的自然語言處理任務，受到了工業界和學術界的廣泛關注。該任務需要模型深度分析文章語義以及文章與問題之間的聯系，并準確回答問題。當前，絕大多數機器閱讀理解模型利用深度神經網絡進行建模和優化［1-2］，已在多個數據集上接近甚至超過人類表現。然而已有多項研究表明，閱讀理解模型傾向于利用數據集偏見［3-5］，不需要理解原文進行推理就能獲得高性能。

為了消除數據偏見對模型產生的不良影響，前人已進行許多研究［3，6-10］。現有方法可以分為兩類：①面向數據集的偏見消除方法，該類方法通過移除數據集中含偏樣例的方式生成無偏數據集，從而避免模型獲取有偏的先驗知識，如Yu 等［6］面向閱讀理解多項選擇任務中隨機猜測引起的數據偏見，提出對模型設置多個隨機種子，并移除模型在所有情況下預測正確的樣例，得到無偏數據集；②面向模型的偏見消除方法，有研究者通過調整模型對訓練集中每個樣例的學習強度以阻止模型利用偏見，降低數據偏見對模型的影響，如Mahabadi 等［3］提出兩階段的學習策略訓練模型，通過捕捉數據集中的有偏樣例并降低其權重，減少模型對偏見的依賴。

近年來，反事實推理作為因果推理的一種重要手段［11］，被引入偏見消除任務中。反事實推理是指對過去已發生的事實進行否定，進而構建一種可能性假設的思維活動［12］。基于反事實推理的消偏方法嘗試借助因果關系解釋反事實事件，分析模型中存在的偏見，并通過調整模型的預測輸出以減輕數據偏見對模型的影響。該方法不需要重新訓練模型，只在測試時調整模型的輸出，便可實現無偏預測。

本文提出一種基于反事實推理的閱讀理解去偏方法。首先在原始訓練集上訓練模型，形成有偏的閱讀理解模型；再基于問題和選項構建反事實輸入，生成對應的反事實輸出，反應模型捕捉到的偏見；最后結合模型的原始輸出和反事實輸出消除偏見，實現無偏預測。在典型的中英文閱讀理解數據集C3與Dream 上的相關實驗結果表明，本文提出的去偏方法能夠有效降低數據集中的問題導向偏見和選項導向偏見對模型的影響，提升模型性能。

1 相關工作

1.1 閱讀理解任務

當前主流閱讀理解方法主要基于注意力機制和預訓練語言模型［13］，這些方法在一些數據集上的性能已經接近甚至超過了人的預期表現。如：BERT［14］模型在SQuAD［15］數據集上F1值高達93.2%，超越人類表現（F1值91.2%）。

然而有研究表明，模型的閱讀理解能力遠不及人類。如Yu 等［8］在構建邏輯推理閱讀理解數據集Reclor 時，指出其中包含隨機猜測選中答案、特定詞匯指示正確答案等偏見，這些偏見會降低模型泛化能力；Sugawara 等［7］以SQuAD、DuoRC［14］等多個數據集為基礎研究閱讀理解任務，根據問題句主題詞是否指示答案類型、答案是否出現在與問題最相似的句子中，將數據集劃分為簡單子集和困難子集，發現模型在多個困難子集上的性能均明顯下降，表明模型存在偏見。因此，偏見消除是一個亟待解決的問題。

1.2 偏見消除

現有的偏見消除方法針對閱讀理解、自然語言推理和常識推理等自然語言處理任務進行研究，研究思路包括面向數據集的偏見消除和面向模型的偏見消除。

（1）面向數據集的偏見消除。該類方法通過一定的策略移除數據集中的有偏樣例，并形成無偏數據集，避免模型在訓練階段捕獲偏見。如Yu 等［8］為消除多項選擇任務中模型隨機猜測答案的影響，對模型設置多個隨機種子，并移除模型在所有情況下都預測正確的樣例；Zellers 等［17］提出對抗性過濾算法，將人類可識別的詞聯想轉化為機器可識別的向量聯想，過濾數據集中可能存在的詞匯選擇、假設句長度特征等引起的數據偏見；Sakaguchi 等［18］在文獻［17］的基礎上提出可減少迭代次數的輕量對抗過濾算法，去除僅基于向量表示就能得出正確答案的樣例，形成一個新的無偏或少偏的數據集。

（2）面向模型的偏見消除。目前，該類方法主要通過調整模型對訓練集中的有偏樣例和無偏樣例的學習權重，以阻止模型利用數據偏見。如Mahabadi 等［3］提出利用兩階段學習策略訓練模型，先找到數據集中的有偏樣例并調整訓練集中各類樣例的權值，使模型訓練時重點學習無偏樣例，降低數據偏見對模型的影響；Liu 等［19］對于機器學習模型在現實應用中出現的性別和種族歧視等問題，提出基于強化學習的去偏框架，并采用去偏獎勵函數和KL 值，降低了數據集中的政治偏見對模型的影響。

1.3 反事實推理

反事實推理是一種新的面向模型的消偏方法。反事實推理與因果推理密切相關，是個體對不真實的條件或可能性進行替換的一種思維過程［12］。該方法被應用于視覺問答［20］、文本分類［21］和推薦系統［10］等機器學習模型偏見消除任務中。如Niu 等［20］基于反事實推理分析視覺問答系統中存在的語言偏見；Wei 等［10］利用反事實推理，通過多任務訓練得到反事實輸出，消除物品流行度對推薦系統的影響；Chen 等［22］在文本分類去偏任務中引入反事實推理調整模型輸出，消除偏見。

已有的面向數據集的偏見消除方法需要一對一構建無偏數據集，經濟成本高昂，且可移植性較差，很難遷移到其他領域。本文受文獻［20］、文獻［22］的啟發，提出一種基于反事實推理的面向模型的閱讀理解去偏方法。本文與他們的不同之處在于：文獻［20］、文獻［22］分別面向視覺問答和文本分類任務，而本文面向閱讀理解任務進行偏見消除研究，并根據任務特點消除問題導向偏見和選項導向偏見對模型預測的影響。此外，文獻［20］對原始輸出和反事實輸出進行非線性組合得到去偏輸出，而本文與文獻［22］均采用線性組合調整模型輸出，實現無偏預測，這種方法具有模型簡單、訓練速度快等優勢，有效節約了時間成本。

2 去偏方法

2.1 相關定義與模型架構

2.1.1 相關定義

（1）因果推理與反事實推理。因果推理是研究如何科學地識別變量間因果關系的理論。反事實推理與因果推理密切相關，通常指人們對已發生事件進行否定的心理活動，一般以反事實條件句的形式出現，可以表示為“如果不......，那么.......”。如人們遲到時，會想“如果早點動身，那么就不會遲到了”。具體到模型去偏中，反事實推理可以用于分析如果某些變量采用不同的值（也稱反事實輸入），結果會如何改變，進而評估模型捕獲到的偏見。

（2）因果圖。反事實推理在具體應用中可以抽象化為如圖1 所示的因果示意圖。其中，節點X、Y和C分別表示原因、結果和中間變量（又稱混淆因子），當X直接作用于Y，則X到Y存在一條有向邊（如X→Y），稱為前門路徑。如果X和Y在變量C的作用下具有因果關系（如X→C→Y），稱為后門路徑［19］，這種情況很可能涉及到虛假的因果關系。為了正確分析X和Y之間的因果關系，需要消除混淆因子C的作用，阻斷后門路徑（如圖1（b）所示）。

Fig.1 Causal diagram圖1 因果示意圖

2.1.2 模型架構

本文提出一種基于反事實推理的閱讀理解去偏方法。利用圖1 中因果示意圖的原理，基于閱讀理解任務特點構造圖2 虛線框所示的反事實因果圖，其中篇章p、問題q和候選選項o均為原因節點，Y表示相應的模型輸出，對應結果節點，中間變量C表示模型捕捉到的多種偏見。

如圖2 所示，該方法包括偏見提取和偏見消除兩個模塊。

（1）偏見提取模塊。該模塊通過構建反事實輸入提取問題導向偏見和選項導向偏見。①問題導向偏見：通過在篇章、選項基礎上，僅保留問題疑問詞構建反事實輸入得到反事實輸出以獲得；②選項導向偏見：通過僅為模型提供選項而不提供篇章和問題構造反事實輸入得到反事實輸出，以此反映模型捕捉到的相應偏見。

（2）偏見消除模塊。基于模型的原始輸出和反事實輸出得到無偏預測，本文通過從原始輸出中移除模型捕捉到的問題導向偏見和選項導向偏見以調整模型預測，實現偏見消除。

2.2 偏見提取

傳統的閱讀理解模型通常基于數據集得到的先驗知識，在推理階段最大化先驗概率預測答案，但數據中存在的偏見會導致模型預測的置信度不高。本文借助貝葉斯公式表示偏見對模型預測的影響，如式（1）所示。

Fig.2 Reading comprehension debiasing method frame based on counterfactual reasoning圖2 基于反事實推理的閱讀理解去偏方法框架

在多項選擇閱讀理解任務中，X表示篇章p、問題q和候選選項o等模型輸入，Y表示模型的預測輸出，c∈C表示混淆因子。

消除X→C→Y后門路徑的常用方法是采用do(·)操作，得到X和Y之間真正的因果關系。do(·)操作形式化如式（2）所示。

（1）基于問題導向的反事實輸入。本文通過只提供問題q中的疑問詞，保持篇章p、選項o不變，構建基于問題導向的反事實輸入，獲得模型相應的反事實輸出f()。具體操作可以形式化為式（3）。

其中，qw表示問題中的疑問詞部分，[MASK]表示屏蔽某個詞的特殊標記。對于問題q中的第i個詞，如果屬于疑問詞qw則保留，否則用[MASK]進行標記。

（2）基于選項導向的反事實輸入。本文通過僅提供選項o，不提供篇章p和問題q，構建基于選項導向的反事實輸入，并通過模型獲得對應的反事實輸出f()。具體操作如式（4）所示。

對模型的反事實輸出進行統計發現，基于問題導向與選項導向的反事實輸出準確率分別為83%和73%，表明模型存在相應偏見。

2.3 偏見消除

本文通過從原始輸出中移除模型捕捉到的問題導向偏見和選項導向偏見調整模型預測，實現偏見消除。該過程可形式化為：

其中，c(x)和f(x)表示調整后的模型輸出，f(x)表示原始模型輸出，f()表示基于問題導向的反事實輸出，f()表示基于選項導向的反事實輸出，λ1和λ2是兩個獨立的參數，用于平衡兩類反事實輸出對模型的影響。該函數的目標是找到一組最優的參數組合，在優化參數的過程中不斷降低問題導向偏見和選項導向偏見對模型預測的影響，最終得到最優的去偏輸出。

具體應用中，在二維空間中采用網格搜索最佳的參數組合［20］，形式化表示如下：

其中，?表示評價指標，評價模型在驗證集Ddev上的性能，本文選擇準確率作為評價指標表示使模型性能最優的參數組合，[a，b]是搜索區間，具體實驗中設置為［-2，2］。

3 實驗與結果分析

3.1 實驗設置

3.1.1 數據集

本文選擇漢語閱讀理解數據集C3 和英文閱讀理解數據集Dream 進行實驗。主要原因為：①兩個數據集均為公開發布的閱讀理解數據集，被很多研究者用作基準數據集；②兩個數據集任務形式為多項選擇題，便于設計反事實輸入，探索本文所提思路的有效性。未來還將針對閱讀理解其他任務形式進行拓展研究；③C3 和Dream 數據集風格相同，但語種不同，前者為漢語，后者為英語，可以更好地探究本文所提方法在不同語種上的效果與普適性。

（1）C3 數據集。漢語多項選擇數據集，包含13 369 個對話或普通文本、19 557 道多項選擇題。數據來源于漢語第二語言考試。

（2）Dream 數據集。英語閱讀理解數據集，包含6 444個對話和10 197 個多項選擇問題。數據來源于英語第二語言考試。

3.1.2 模型

本文選擇3 種代表性閱讀理解模型Bert、Ernie［26］和XLNet［27］進行實驗。

（1）Bert。該模型采用多層雙向Transformer 架構，利用掩碼語言模型（Masked Language Model，MLM）和句子預測（Next Sentence Prediction）兩項預訓練任務在大規模文本語料上進行訓練得到。該模型在多個自然語言任務上取得最佳性能，包括閱讀理解任務。

（2）Ernie。其由百度提出，在基于Bert 模型的基礎上改進了預訓練MLM 任務，將對字掩蓋變為對詞、實體等語義單元進行掩蓋，使模型可以學習完整概念的語義表示，對先驗語義知識單元進行建模，增強了模型的語義表示能力。該模型在中文閱讀理解任務上超越Bert。

（3）XLNet。該模型作為Bert 的改進版，是一種通用的自回歸預訓練模型。其利用排列語言建模，結合了自回歸語言模型和自編碼語言模型的優點，克服了Bert 掩碼語言模型帶來的預訓練和微調效果存在差異的缺點，在10 多項任務上（如閱讀理解任務、自然語言推理任務等）的性能已經超過Bert。

3.1.3 準確率

C3 和Dream 問題的形式為多項選擇式，屬于客觀題，測評以準確率（Accuracy）作為評測標準。

3.2 實驗結果

3.2.1 模型去偏結果分析

C3 和Dream 數據集上的實驗結果如表1 所示。可以看出，與原始Bert、Ernie 和XLNet 模型相比，去偏后的模型在C3 和Dream 數據集上的性能均有提升。其中，Bert 去偏效果最好，與原始模型相比，去偏后的模型在C3 驗證集和測試集上的性能分別提升2.69%和2.31%，在Dream 驗證集和測試集上的性能分別提升3.12%和1.21%。

Table 1 Results of C3 and Dream datasets表1 C3和Dream數據集的實驗結果

同時，本文為了分析實驗結果的合理性，根據原始模型的答題結果，將C3 和Dream 測試集劃分為正確子集（如C3_true、Dream_true）和錯誤子集（如 C3_wrong、Dream_wrong）。原始模型在正確子集和錯誤子集上的性能分別為100%和0，去偏模型在錯誤子集和正確子集上的實驗結果如表2、表3所示。

Table 2 Results of debiasing models on wrong subsets表2 去偏模型在錯誤子集上的實驗結果

Table 3 Results of debiasing models on right subsets表3 去偏模型在正確子集上的實驗結果

從表2 可以看出，去偏后的模型在C3 與Dream 錯誤子集上的性能均有大幅度提升。其中，XLNet 去偏后的模型在C3_wrong 和Dream_wrong 數據集上的性能分別提升45.67%和38.72%，表明模型經過優化后，在錯誤樣例上的表現有極大提升。如表4 所示，樣例1 為原始模型預測錯誤而去偏模型預測正確的題目。

樣例1 的選項分布如圖3 所示。可以看出，原始模型的事實輸出和問題導向偏見的反事實輸出皆為A 選項正確，選項導向偏見的反事實輸出為B 選項正確。當λ1=0.2，λ2=-0.3 時，通過式（5）進行模型優化后，去偏模型的輸出為B 選項正確，同時也是正確答案。

Table 4 Example of debiasing model表4 模型去偏樣例

Fig.3 Option distribution for example 1圖3 樣例1選項分布

結合表1 和表2 可以看出，優化后的模型在所有數據上的提升幅度不如錯誤子集上的提升幅度，主要原因在于優化后的模型在正確子集上的性能相比原始模型（100%）有所下降（見表3），可能是由于原始模型利用了數據集偏見作出正確決策，當引入消偏方法后，模型會對決策方法進行修正，因此模型性能會有一定幅度的下降，這也表明去偏后的模型更為合理。具體如表5中樣例2所示。

Table 5 Example of debiasing model表5 模型去偏樣例

3.2.2 消融實驗

由于去偏后的Bert 模型效果最好，因此本文針對Bert進行消融實驗以分析問題導向偏見消除和選項導向偏見對模型的貢獻，結果如表6所示，其中Δ 表示模型準確率的增量。

從表6 可以看出，與原始Bert 模型在C3 數據集上的性能相比，引入問題導向偏見消除操作后模型性能提升3.70%，引入選項導向偏見消除操作后模型性能提升1.33%，表明問題導向偏見對模型影響更大。當同時引入兩種類型的偏見消除操作后，模型性能在平衡參數的作用下提升2.74%，有效減少了偏見對模型的影響。

Table 6 Ablation results of Bert表6 Bert消融實驗結果（%）

3.2.3 不同手段對去偏結果的影響

有研究者將反事實推理引入到其他自然語言推理去偏任務中，采用非線性組合的方式將反事實輸出和原始事實輸出結合起來［18］優化模型，而本文采用線性組合的方式實現閱讀理解任務的偏見消除。線性和非線性去偏方法對比結果如表7所示。

Table 7 Comparison of results表7 對比試驗結果（%）

從表7 可以看出，非線性去偏方法在閱讀理解任務中的效果低于本文方法，兩個方法在C3 測試集上的準確率相差4.64%。

4 結語

本文提出了一種基于反事實推理的閱讀理解任務去偏方法，首先在原始數據集上訓練得到包含多種偏見的基礎模型，然后構建模型的反事實輸入并獲得反事實輸出，提取模型中的問題導向偏見和選項導向偏見，最后結合模型的原始輸出和反事實輸出調整模型預測，降低偏見對模型的影響。本文在C3 和Dream 閱讀理解數據集上做了大量實驗，結果表明，本文所提方法能夠降低偏見對模型預測的影響，有效消除數據偏見，極大提升了模型能力。未來還將探索閱讀理解數據集中的多種偏見，并采用不同的手段消除偏見，提升模型性能。