融入說話者位置異構圖的多方對話實體關系抽取

摘 要：對話關系抽取旨在預測對話文本中的實體對之間的關系。在多方對話場景中，由于角色信息的不確定性，傳統的實體關系抽取方法面臨準確性挑戰。針對角色信息不明的問題，模型構建了對話文本異構圖，以捕捉多方對話的復雜結構。此外，為了有效處理不同對話輪次中的說話者信息，引入了長短時記憶網絡進行特征處理，并將這些特征嵌入到相應的句子節點中。在DialogRE數據集上的實驗顯示，該模型展現了出色的性能，具體體現在F1和F1c分別達到了66.8%和62.2%，從而驗證了其優越性。

關鍵詞：關系抽取；多方對話；角色信息；異構圖

中圖分類號：TP391.1 文獻標識碼：A 文章編號：2096-4706（2024）15-0042-05

Multi-party Dialogue Entity Relation Extraction Incorporating Speaker Position Heterogeneous Graph

ZHENG Siyuan

（School of Computer Science and Mathematics， Fujian University of Technology， Fuzhou 350118， China）

Abstract： Dialogue Relation Extraction aims to predict the relationship between entity pairs in dialogue texts. In multi-party dialogue scenarios， traditional methods of entity relation extraction face accuracy challenges due to the uncertainty of role information. To address the issue of unclear role information， the model constructs a heterogeneous graph of dialogue texts to capture the complex structure of multi-party dialogue. Moreover， in order to handle the speaker information effectively in different rounds of dialogue， the Long Short-Term Memory network is introduced for feature processing and these features are embedded into the corresponding sentence nodes. Experiments on the DialogRE dataset demonstrate the outstanding performance of model， specifically reflected in achieving F1 and F1c scores of 66.8% and 62.2% respectively， thus confirming its superiority.

Keywords： relation extraction; multi-party dialogue; role information; heterogeneous graph

0 引 言

對話關系抽取是自然語言處理領域的一項關鍵任務，隨著社交媒體和在線對話數據的爆炸性增長，人們在互聯網上的廣泛互動，對話成為人們表達觀點、分享信息和建立聯系的主要方式。社交媒體平臺上海量的對話數據，蘊含了人們的思想、情感和互動方式。但由于其碎片化、非結構化的特性，要想從中準確抽取有意義的對話關系變得復雜而具有挑戰性。因此，對話關系抽取成為研究者們關注的焦點之一[1]。在這一領域研究中，Yu等人提供了DialogRE對話數據集[2]。該數據集致力于對話關系抽取任務并提供真實場景的數據，為研究者提供了一個豐富的對話語境，涵蓋了多個領域和主題。通過引入對話關系標注，使得研究者能夠更全面地理解對話中實體之間的關系，并推動了該領域的研究進展。研究者利用DialogRE數據集進行模型訓練和評估，探索了不同深度學習架構、圖神經網絡以及預訓練模型在對話關系抽取任務上的性能。

對話關系抽取面臨的主要困難在于多方對話中涉及多個說話者，每位說話者可能在對話中扮演提問者或回答者的角色，而且其角色在對話過程中可能頻繁轉變。這種非線性的交互模式使得關系抽取任務更加具有挑戰性，因為不同說話者在不同語境中表達觀點或提出問題，需要模型能夠靈活地捕捉這種復雜的關系。傳統的問答格式無法很好地適應這種多樣性和靈活性，因此需要更全面且適應性強的模型來準確地抽取對話中實體之間的關系。在此背景下，融合說話者位置信息異構圖的對話實體關系抽取模型提供了一種有效的解決方案，能夠更全面地考慮多方對話中的說話者多樣性和角色變化。

1 相關工作

近年來對話實體關系抽取任務的研究主要集中在基于圖神經的模型構建。Xue等人[3]通過將對話文本構建為高斯多視圖，捕捉對話文本中詞語之間可能存在的關系。由于多視圖的初始構建為全連接圖，模型缺乏理解上下文能力。Ghosal等人[4]提出了對話關系圖卷積模型，通過將對話信息構建為圖節點，利用圖卷積對關系圖聚合對話有關聯中的對話信息。王琪琪等人[5]考慮到對話中不同輪次語句的差別，根據對話的特點構建情景對話圖。將對話句子作為圖節點，節點之間邊的權重通過句子間距離決定。Lin等人[6]通過對觸發詞的預測提高關系抽取能力，引入注意力機制關注文本的關鍵信息和觸發詞信息。自彥丞等人[7]針對對話關系抽取任務中的關系重疊的問題，引入動態機制利用觸發詞信息進行推理。Duan等人[8]通過自適應觸發詞融合模塊和標簽感知知識的引入，利用觸發詞信息避免噪聲引入，有效提升標簽感知引導對話實體關系抽取。然而現有的對話關系抽取方法大多忽視了對話參與者的角色信息，限制了對復雜對話結構的深入理解。隨著對話場景的多樣化和開放性的增加，多方對話中涉及的角色信息變得復雜和不明確。在多輪對話中，經常出現同一實體在不同輪次中具有不同的說話者標識，或者同一說話者在不同輪次中涉及不同的實體關系。這種多方對話中的角色信息不明確使得現有大多模型在這類場景下表現欠佳。Ishiwatari等人[9]在關系圖上進行改進，在圖上加入說話者信息并通過圖注意力機制對關系圖進行處理，保留說話者信息，提升模型的上下文理解能力。Lee等人[10]通過引入對話輪次上下文感知機制，編碼說話者信息并采用多頭注意力提取輪次表示，考慮輪次節點和說話者聯系的序列特性構建異構對話圖，模型的性能取得提升。徐洋等人[11]使用圖注意力網絡模型，通過構建說話者節點并將外部數據源與人物指代信息相融合，以提升關系抽取的準確度。

2 模型設計

本文介紹的模型主要包括對話信息提取和異構圖神經網絡兩個關鍵部分，如圖1所示，首先利用BERT（Bidirectional Encoder Representations from Transformers）[12]提取對話文本及參與者信息，以此來把握上下文含義并識別說話者身份，同時捕捉其隨時間變化的序列依賴性。這一過程結合了BERT模型和LSTM（Long Short-Term Memory）的優勢，有效地整合了對話內容和說話者信息。接下來，基于這些提取的信息，構建了一個對話異構圖，進而采用異構圖卷積網絡來分析文本中的實體及其之間的復雜關系。通過這種方式，模型綜合考慮了文本內容和說話者角色，為分類任務提供了一個全面的視角，從而能夠更準確地抽取和識別對話中的實體關系。

2.1 對話信息提取

本節詳細闡述了兩種不同的編碼策略，旨在有效處理涉及多個參與者的對話文本。這兩種策略分別從各自獨特的角度提取對話內容的特征以及說話者的信息，進而促進了對話文本的深入分析和理解。

2.1.1 對話文本信息

本文采用BERT模型作為文本編碼器，旨在從對話文本中提取關鍵特征。將對話視為一系列相互關聯的交流輪次，每輪包括一個參與者及其發言，表示為D = {Sp1：u1，Sp2：u2，…，Spn：un｝。這種結構化的表示有助于捕捉對話的流動性和復雜性。研究的核心目標在于利用這種對話結構來預測兩個實體之間可能存在的聯系。為此，將其輸入編碼為X1 = {[CLS]D[SEP]a1[SEP]a2[SEP]｝，不僅包括了對話文本本身，還將對話中提到的兩個實體（a1，a2）整合在一起。為了模型可以區分對話內容和實體信息，采用[CLS]和[SEP]標記。[CLS]用于分類任務開始，[SEP]分隔對話內容和實體信息。將編碼輸入到Bert模型中獲得文本向量表示，如式（1）所示：

（1）

其中E ∈ RN×d為經過BERT編碼后的文本詞嵌入，e為每個標記的向量表示。N為X1中所含元素的總個數，d為BERT輸出向量維度。t為D中標記總數。

2.1.2 說話者信息

以圖1為例，本部分著重于在處理對話文本時捕捉說話者信息的方法。具體操作中，首先對對話文本中的每個說話者進行編碼，生成一個特定的輸入編碼X2 = {[S1][S2][S3][S1][S3][S2]｝。然后，這個輸入編碼被作為輸入數據傳遞給BERT模型進行處理。通過這種方式，模型能夠在分析對話內容的同時，有效地識別并理解說話者的角色和特性，如式（2）所示：

（2）

為了更深入地挖掘和利用時間序列數據中的信息，采取了對輸出向量進行LSTM處理的策略。通過將LSTM網絡引入到處理流程中，理解說話者在不同順序輪次的狀態，揭示出說話者序列數據中的深層次模式和關聯，獲得說話者向量表示S。具體如式（3）所示：

（3）

2.2 對話異構圖

異構圖方法在對話文本的實體關系抽取中通過融合多樣節點和邊，優化了實體及其關系的表示，提高了信息檢索和圖推理效率。這種方法支持多任務學習，改善少樣本性能，增強模型解釋性，為實體關系的理解和處理提供了有效的方案。

2.2.1 節點構建

在構建異構圖以分析和預測對話文本中的實體信息時，采用了一種包含四種類型節點的異構圖模型。具體而言，本模型由對話輪次節點、關系特征節點、全局信息節點和實體節點組成。

對話輪次節點用于表示對話中的每個輪次，即一個說話者的完整表述。這些節點捕獲對話特定時刻的信息，幫助理解對話的進展和上下文。節點特征由文本的詞嵌入向量平均值和說話者信息拼接而成，經過線性層降維處理，如式（4）和式（5）所示：

（4）

其中，en為第i輪次中第n個詞的向量，m為這個輪次中詞的總數，Si為輪次i的說話者，hi為這輪次的整體語義特征的一個簡單表示。

關系特征節點代表實體節點間的潛在關系特征，揭示實體如何相互作用和關聯，增強模型對實體間交互的理解。這些節點通過多視圖卷積構建，捕捉實體對的潛在關系，并使用GDPnet模型[3]獲取這些特征，如式（5）所示：

（5）

全局信息節點hg是對話文本的整體信息的代表，它融合了文檔級別的語義和結構特征，在模型中發揮關鍵作用。使用[CLS]標簽的特征ecls作為代表，增強了模型對整體對話脈絡和主題的理解和處理。

實體節點表示在對話文本中所需預測的實體信息。這些節點是模型預測工作的焦點，通過分析這些節點與其他類型節點的關系和互動，模型能夠有效地識別和預測對話中的關鍵實體及其屬性。為了表示這些實體節點，模型采用了特定的特征ea1和ea2作為he1和he2。

2.2.2 邊構建

在構建異構圖時，重點關注對話輪次節點、全局信息節點和實體節點，以及關系特征節點。這些節點通過邊相連，邊代表了節點間的關系和交互，是理解圖的關鍵。具體來說：對話輪次節點與全局信息節點的連接映射了對話輪次與整體對話內容的關系，揭示每個對話輪次在整個對話中的作用和地位。實體節點與對話輪次節點的連接表示實體在特定對話輪次中的參與和作用，這有助于理解實體在對話流中的位置和語境。實體節點與關系特征節點的連接通過特定的關系或屬性豐富實體的語義表示，捕捉實體間的復雜關系。

2.2.3 異構圖卷積網絡

異構圖卷積網絡HGCN（Heterogeneous Graph Convolutional Networks）是一種處理具有多種類型節點和邊的圖的神經網絡。這種網絡能夠捕獲圖中不同類型的節點和邊之間的復雜關系。對于每種類型的邊，執行圖卷積操作。如式（6）所示：

（6）

其中，l為異構圖層數，Nr（v）為節點v在關系類型r下的鄰居節點集合，R為邊的關系類型集合， 為關系類型r在第l層的權重矩陣，σ為非線性激活函數。

將不同類型邊的卷積結果通過簡單的求和平均聚合起來，以更新每個節點的特征表示，如式（7）所示：

（7）

其中| R |為邊的類型總數，這種方法在聚合時考慮了各類型邊的平均貢獻。重復式（6）和式（7），通過多層卷積來捕獲更高階的鄰域信息。最后一層卷積的輸出用于預測對話實體對關系。

2.3 分類層

異構圖卷積操作能夠捕獲整個圖結構中的關鍵信息，通過綜合這些不同的信息并采用拼接操作，將這些特征向量合并成一個長向量送入到全連接網絡中進行分類，如式（8）和式（9）所示：

（8）

（9）

3 實驗與分析

3.1 數據集與評價指標

DialogRE數據集是一個專為對話關系抽取任務構建的數據集，該數據集涵蓋了來自《老友記》的1 788個對話片段，總共標注了10 168個關系三元組，定義了37種實體關系，包括36個具體實體類別和一個表示無法確定具體類別的“un-answerable”類別。該數據集中包含了來自對話文本的實體關系三元組，其中實體是對話參與者，關系是他們之間的關聯，每個對話都被注釋為包含一系列關系事實，數據集詳細信息如表1所示。

實驗沿用DialogRE數據集中的評價指標F1和F1c。其中，F130e697d4866799d6ce498e8a06ad1ae3f5177fec40d8e3ed8e513cef8162d831是常見的評價指標，用于衡量模型的準確性。F1c是DialogRE數據集特有的一個評價指標，是對F1評價指標的一個擴展，用于更細致地評估模型在處理復雜對話場景中的性能。

3.2 實驗訓練

本文實驗采用PyTorch 1.4.0框架，在配備Tesla T4 GPU的服務器環境下進行模型訓練與測試。為了優化模型性能，選擇BertAdam優化器，并將訓練周期定為20次。在每個訓練周期中，模型處理的數據批量大小設定為12個樣本，學習率設置為3×10-5。為了進一步優化訓練效果，采取了梯度累計策略，梯度累計步數為2，以減少內存消耗同時保持訓練效率。同時，模型中引入了兩層異構圖結構，以增強模型處理復雜數據結構的能力，從而提高模型的整體性能和準確率，模型訓練迭代在驗證集和測試集的F1和F1c值變化如圖2所示。

3.3 實驗結果分析

模型性能對比如表2所示，在DialogRE數據集的測試集上，模型在F1和F1c指標上都表現出色，分別達到了66.8和62.2。與此同時，將模型性能與其他先進的模型進行比較。

首先，與TLAG模型相比，本文模型在F1指標上提高了0.2，而在F1c指標上提高了1.4。這表明本文方法在捕捉關系信息方面更為優越，特別是在處理復雜關系時表現出色。這種提升可以歸因于在模型中引入了一些規則來構建關系異構圖，并強調了角色信息的重要性。此外，與CGCN和TUCORE這兩個同樣采用異構圖的模型相比，模型也表現出了顯著的優勢。CGCN模型在F1指標上只達到了58.1，而TUCORE模型在F1c指標上只達到了60.2，這進一步突顯了該模型在處理DialogRE數據集中的關系抽取任務時的卓越性能。總的來說，通過引入關系異構圖和關注角色信息，模型在DialogRE數據集上取得了良好成績，優于其他先進的模型。這個結果強調了在關系抽取任務中考慮關系之間的復雜性和角色信息的重要性。

為了探究對話文本信息和說話者信息對模型性能的貢獻，設計了一系列消融實驗，結果如表3所示。實驗結果揭示了說話者信息的融入對模型準確度的影響，具體來說，當從模型中剔除說話者信息后，模型的F1得分下降到66.2%，而在考慮類別平衡的F1c得分也降低到61.8%。這表明說話者信息在理解對話文本中扮演了重要角色，有助于提升模型的預測準確性。進一步地，實驗還考察了關系特征節點的移除對性能的影響，結果顯示F1c得分顯著下降了1.7%。這一結果強調了關系特征在捕捉對話中細微關系動態方面的重要性，進而對模型整體性能產生顯著影響。最后，全局信息的缺失對模型性能有著最顯著的負面影響，其中F1和F1c得分分別下降了1%和0.9%。這表明全局信息在提供對話上下文和增強模型理解能力方面的關鍵作用。

4 結 論

本文提出了一種針對多方對話中實體關系抽取模型，通過構建異構圖，將對話中的實體、說話者、關系特征及全局信息有效地結合在一起，從而更好地捕捉對話中的實體關系。此外，長短時記憶網絡的引入進一步增強了模型對于不同對話輪次中說話者信息的處理能力，使模型能夠更準確地識別和理解對話中的實體關系。實驗結果表明，模型在DialogRE數據集上優于當前先進的方法，證明了模型在處理多方對話關系抽取任務時的有效性和優越性。未來的研究可以進一步探索異構圖和深度學習技術在其他自然語言處理任務中的應用，以提高模型的通用性和效率。此外，考慮到對話數據的多樣性和復雜性，開發更高效的算法來處理大規模對話數據集也是未來工作的重要方向。

參考文獻：

[1] 陸亮，孔芳.面向對話的融入交互信息的實體關系抽取 [J].中文信息學報，2021，35（8）：82-88+97.

[2] YU D，SUN K，CARDIE C，et al. Dialogue-based Relation Extraction [C]//Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics，2020：4927-4940.

[3] XUE F Z，SUN A X，ZHANG H，et al. GDPNet： Refining Latent Multi-view Graph for Relation Extraction [J/OL].arXiv：2012.06780 [cs.CL].（2020-12-12）.https：//arxiv.org/abs/2012.06780.

[4] GHOSAL D，MAJUMDER N，PORIA S，et al. DialogueGCN： A Graph Convolutional Neural Network for Emotion Recognition in Conversation [J/OL].arXiv：1908.11540 [cs.CL].（2019-08-30）.https：//arxiv.org/abs/1908.11540.

[5] 王琪琪，李培峰.基于GCN的多人對話實體關系抽取方法 [J].中文信息學報，2023，37（5）：80-87.

[6] LIN P W，SU S Y，CHEN Y N. TREND： Trigger-enhanced Relation-extraction Network for Dialogues [J/OL].arXiv：2108.13811 [cs.CL].（2021-08-31）.https：//arxiv.org/abs/2108.13811v1.

[7] 自彥丞，李衛疆.TDGCN：觸發器增強的兩階段動態圖卷積網絡的對話關系抽取研究 [J].小型微型計算機系統.

[8] DUAN G D，DONG Y R，MIAO J Y，et al. Position-aware Attention Mechanism-based Bi-graph for Dialogue Relation Extraction [J].Cognitive Computation，2023，15（1）：359-372.

[9] ISHIWATARI T，YASUDA Y，MIYAZAKI T，et al. Relation-aware Graph Attention Networks with Relational Position Encodings for Emotion Recognition in Conversations [C]//Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing（EMNLP）.online：Association for Computational Linguistics，2020：7360-7370.

[10] LEE B，CHOI Y S. Graph Based Network with Contextualized Representations of Turns in Dialogue [J/OL].arXiv：2109.04008 [cs.CL].（2021-09-09）.https：//arxiv.org/abs/2109.04008v1.

[11] 徐洋，蔣玉茹，張禹堯，等.融合角色指代的多方對話關系抽取方法研究 [J].北京大學學報：自然科學版，2022，58（1）：13-20.

[12] DEVLIN J，CHANG M-W，LEE K，et al. BERT： Pre-training of Deep Bidirectional Transformers for Language Understanding [J/OL].arXiv：1810.04805 [cs.CL].（2018-10-11）.https：//arxiv.org/abs/1810.04805v2.

作者簡介：鄭思源（1997—），男，漢族，福建羅源人，碩士研究生在讀，研究方向：自然語言處理。