基于Prompt的兩階段澄清問題生成方法

王培冰 張寧 張春

收稿日期：2023-07-02；修回日期：2023-08-23? 基金項(xiàng)目：國(guó)家重點(diǎn)研發(fā)計(jì)劃資助項(xiàng)目（2019YFB1405202）

作者簡(jiǎn)介：王培冰（1997—），男，河南許昌人，碩士研究生，主要研究方向?yàn)樽匀徽Z(yǔ)言處理（21120463@bjtu.edu.cn）；張寧（1958—），男，北京人，研究員，博導(dǎo)，博士，主要研究方向?yàn)殍F路信息、智能信息處理、嵌入式系統(tǒng)；張春（1966—），女（滿族），北京人，研究員，博導(dǎo)，碩士，主要研究方向?yàn)殍F路信息、智能信息處理．

摘? 要：在自然語(yǔ)言相關(guān)系統(tǒng)中，當(dāng)用戶輸入存在歧義時(shí)，生成澄清問題詢問用戶有助于系統(tǒng)理解用戶需求；基于Prompt的方法可以更好地挖掘預(yù)訓(xùn)練語(yǔ)言模型的潛在知識(shí)，但往往需要手動(dòng)設(shè)計(jì)模板，限制其生成澄清問題的多樣性。為解決這一問題，提出了TSCQG（two-stage clarification question generation）方法。首先，在動(dòng)態(tài)Prompt模板生成階段，利用歧義上下文和預(yù)訓(xùn)練語(yǔ)言模型生成動(dòng)態(tài)的Prompt模板；然后在缺失信息生成階段，將Prompt模板與外部知識(shí)相結(jié)合，充分利用預(yù)訓(xùn)練語(yǔ)言模型的生成能力生成相應(yīng)的缺失信息。實(shí)驗(yàn)結(jié)果表明，在CLAQUA數(shù)據(jù)集的多輪對(duì)話情況中，BLEU值和ROUGE-L值分別達(dá)到了58.31和84.33，在ClariQ-FKw數(shù)據(jù)集上，BLEU值和ROUGE-L值分別達(dá)到了31.18和58.86。實(shí)驗(yàn)結(jié)果證明了TSCQG方法在澄清問題生成任務(wù)上的有效性。

關(guān)鍵詞：預(yù)訓(xùn)練語(yǔ)言模型；Prompt；澄清問題生成；自然語(yǔ)言系統(tǒng)

中圖分類號(hào)：TP391??? 文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695（2024）02-015-0421-05

doi：10.19734/j.issn.1001-3695.2023.07.0271

Two-stage clarification question generation method based on Prompt

Wang Peibing，Zhang Ning，Zhang Chun

（School of Computer & Information Technology，Beijing Jiaotong University，Beijing 100044，China）

Abstract：In natural language-oriented systems，generating clarification questions to ask users when their input is ambiguous can help the system better understand the users requirements.Although Prompt-based approaches can better exploit the latent knowledge of pre-trained language models，they often require hand-designed templates，constraining their diversity in generating clarification questions.To address this limitation，this paper proposed the two-stage clarification question generation（TSCQG） method.Firstly，in the dynamic Prompt template generation stage，the TSCQG method used the ambiguous context and the pre-trained language models to generate Prompt templates.Then，in the missing information generation stage，it combined the Prompt templates and relevant external knowledge and capitalized on the generative potential of the pre-trained model to gene-rate relevant missing information.Experimental results demonstrate that the BLEU value and ROUGE-L value of the multi-round dialogue situation on the CLAQUA dataset reach 58.31 and 84.33，and the BLEU value and ROUGE-L value on the ClariQ-FKw dataset reach 31.18 and 58.86，respectively.The experimental results validate the effectiveness of the TSCQG method in clarification question generation tasks.

Key words：pre-trained language model；Prompt；clarification question generation；natural language system

0? 引言

在一些需要與人進(jìn)行交互的自然語(yǔ)言系統(tǒng)中，比如對(duì)話系統(tǒng)、搜索系統(tǒng)等，用戶的輸入難免會(huì)因?yàn)樵~匯的多義性、上下文信息缺失等原因?qū)е孪到y(tǒng)難以理解用戶的意圖，最終導(dǎo)致系統(tǒng)返回給用戶不準(zhǔn)確的答案，降低用戶的體驗(yàn)度。在對(duì)話系統(tǒng)中，對(duì)話出現(xiàn)歧義是很常見的現(xiàn)象，如何處理自然語(yǔ)言的歧義性將是模型優(yōu)化中的一個(gè)關(guān)鍵挑戰(zhàn)。Liu等人［1］發(fā)現(xiàn)即使是大型自然語(yǔ)言處理模型如GPT-4［2］，也面臨著語(yǔ)言歧義導(dǎo)致模型難以準(zhǔn)確理解句子真正含義的問題。Shao等人［3］指出澄清問題生成（clarification question generation，CQG）是指當(dāng)用戶的輸入存在歧義時(shí)，系統(tǒng)可以向用戶生成自然語(yǔ)言問題來(lái)對(duì)缺失信息提問以滿足信息需求。Zou等人［4］通過調(diào)查發(fā)現(xiàn)，對(duì)于用戶的歧義輸入，提供針對(duì)性的澄清問題可以大幅度減少用戶與系統(tǒng)的交互，提高搜索結(jié)果的準(zhǔn)確性，從而提高用戶滿意度。

目前對(duì)于CQG的研究還相對(duì)較少，主要可以分為自動(dòng)生成的方法和基于模板的方法。對(duì)于自動(dòng)生成的方法，主要是通過歧義上下文和外部信息直接生成澄清問題，如Rao等人［5］基于生成對(duì)抗網(wǎng)絡(luò)使用強(qiáng)化學(xué)習(xí)算法來(lái)生成澄清問題，之后使用基于相關(guān)答案的判別器對(duì)生成的澄清問題進(jìn)行評(píng)估，從而優(yōu)化生成器模型。而基于模板的方法則是預(yù)定義一些澄清問題模板來(lái)引導(dǎo)生成澄清問題，如Xu等人［6］采用分階段生成澄清問題的思想，首先將歧義上下文輸入到模板生成模塊中來(lái)生成相關(guān)澄清問題模板，再通過實(shí)體渲染模塊來(lái)生成槽位詞，最終生成澄清問題；Wang等人［7］基于模板引導(dǎo)澄清問題生成，通過交叉注意力機(jī)制來(lái)訓(xùn)練模型學(xué)習(xí)用戶的輸入、外部知識(shí)以及模板信息之間的關(guān)系，以此找到最合適的模板和槽位詞。然而對(duì)于自動(dòng)生成的方法，其效果高度依賴于訓(xùn)練數(shù)據(jù)的數(shù)量和質(zhì)量，在訓(xùn)練數(shù)據(jù)量較小或質(zhì)量較差的情況下，生成的澄清問題質(zhì)量會(huì)受到較大影響，可能會(huì)出現(xiàn)語(yǔ)法錯(cuò)誤、生成的澄清問題過于一般化等問題，同時(shí)整個(gè)過程解釋性較差。對(duì)于基于模板的方法，雖然可以保證最終澄清問題的質(zhì)量不會(huì)出現(xiàn)語(yǔ)法錯(cuò)誤，但是需要人工對(duì)數(shù)據(jù)集進(jìn)行統(tǒng)計(jì)分析并從中觀察，手動(dòng)設(shè)計(jì)對(duì)于該數(shù)據(jù)集較為通用的模板。該方法可擴(kuò)展性較差，其生成的結(jié)果缺乏多樣性，同時(shí)耗費(fèi)大量人力。

近幾年，隨著數(shù)據(jù)量和計(jì)算能力的增加，各大研究機(jī)構(gòu)開始利用大規(guī)模的數(shù)據(jù)集和計(jì)算資源預(yù)訓(xùn)練語(yǔ)言模型，如谷歌的BERT［8］、OpenAI提出的GPT［9］系列模型等。這些預(yù)訓(xùn)練模型使用海量的數(shù)據(jù)和大量的計(jì)算資源進(jìn)行訓(xùn)練，能夠捕捉更多的語(yǔ)言結(jié)構(gòu)、語(yǔ)義信息和常識(shí)，從而提高了模型的泛化能力。為了讓預(yù)訓(xùn)練模型更好地適應(yīng)具體任務(wù)，研究人員逐漸采用預(yù)訓(xùn)練-微調(diào)策略，在此策略下，模型在大規(guī)模數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，然后下游任務(wù)訓(xùn)練微調(diào)某些層或參數(shù)以適應(yīng)具體任務(wù)。如Majumder等人［10］為生成高質(zhì)量的澄清問題，首先通過全局和局部的知識(shí)對(duì)比找到缺失信息，然后再通過BART［11］和PPLM［12］生成有效的澄清問題。

將預(yù)訓(xùn)練語(yǔ)言模型應(yīng)用在澄清問題生成任務(wù)中將會(huì)極大提升模型理解用戶歧義和生成澄清問題的能力，然而如果預(yù)訓(xùn)練語(yǔ)言模型和下游任務(wù)訓(xùn)練目標(biāo)不同，會(huì)產(chǎn)生兩者之間的差異。基于Prompt范式的方法可以更好地激發(fā)預(yù)訓(xùn)練模型所蘊(yùn)涵的知識(shí)，Prompt范式的思想是通過某個(gè)模板將要解決的問題轉(zhuǎn)換成語(yǔ)言模型預(yù)訓(xùn)練任務(wù)類似的形式來(lái)進(jìn)行處理。如圖1所示，對(duì)于用戶的初始輸入，通過結(jié)合相關(guān)模板的方式將其轉(zhuǎn)換成預(yù)訓(xùn)練模型訓(xùn)練時(shí)的輸入形式。例如，為了預(yù)測(cè)文本“I missed the bus today.”的情感類型，可以使用Prompt模板構(gòu)建“I missed the bus today.I felt so［MASK］”并使用遮蓋語(yǔ)言模型 MLM（masked language model） 來(lái)預(yù)測(cè)［MASK］的輸出，而［MASK］的輸出就是文本的情感類型。但是Prompt性能的好壞非常依賴于模板以及表意與任務(wù)的匹配程度，大部分工作依然采用手工方式構(gòu)建模板和表意，即使是經(jīng)驗(yàn)豐富的設(shè)計(jì)者也難以人工發(fā)現(xiàn)最優(yōu)的Prompt模板。為了能夠動(dòng)態(tài)地生成Prompt模板來(lái)激發(fā)大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型蘊(yùn)涵的知識(shí)，最終生成流利順暢且多樣性較高的澄清問題，本文提出了基于Prompt的兩階段澄清問題生成方法TSCQG。在動(dòng)態(tài)Prompt模板生成階段，通過用戶輸入的歧義上下文，先動(dòng)態(tài)生成合適的Prompt模板；在缺失信息生成階段，通過上一階段生成的Prompt模板和相關(guān)的外部知識(shí)生成對(duì)應(yīng)的澄清問題所需要的缺失信息；最后將缺失信息插入到Prompt模板中生成最終的澄清問題。通過實(shí)驗(yàn)，TSCQGY方法在CLAQUA［6］和ClariQ-FKw［13］兩個(gè)公開的英文澄清問題數(shù)據(jù)集上的性能相比于現(xiàn)有的基線均有所提升，實(shí)驗(yàn)結(jié)果說(shuō)明了TSCQG方法的有效性。

1? 基于Prompt的兩階段澄清問題生成研究

TSCQG方法如圖2所示，它主要由動(dòng)態(tài)Prompt模板生成模塊和缺失信息生成模塊兩部分組成。在動(dòng)態(tài)Prompt模板生成階段，先利用T5（text-to-text transfer transformer）［14］模型，通過用戶輸入的歧義上下文信息自適應(yīng)地生成合適的Prompt模板，該模板不僅為下一階段生成澄清問題缺失信息提供先驗(yàn)知識(shí)，同時(shí)也為最終生成的澄清問題提供框架。在缺失信息生成階段，主要是利用上一階段生成的模板和相關(guān)的外部知識(shí)，基于Prompt范式使用BART（bidirectional and auto-regressive transformer）［11］模型，讓模型識(shí)別出對(duì)于該澄清問題模板，相關(guān)外部知識(shí)的哪些重要信息能夠補(bǔ)全澄清問題的缺失信息，最后將缺失信息插入到Prompt模板中，生成完整的澄清問題。

1.1? 問題定義與解決方案

本文中，澄清問題生成任務(wù)的定義為：給定有歧義的上下文C=［c1，c2，…，clenc］，lenc表示歧義上下文的長(zhǎng)度，ci表示歧義上下文第i個(gè)token；歧義上下文相關(guān)的外部知識(shí)K=［k1，k2，…，klenk］，lenk表示外部知識(shí)的長(zhǎng)度，ki表示第i個(gè)外部知識(shí)的token。模型可以輸出一個(gè)澄清問題Q=［q1，q2，…，qlenq］來(lái)詢問用戶關(guān)于歧義上下文C的缺失信息，以此滿足信息需求，其中l(wèi)enq表示輸出澄清問題的長(zhǎng)度，qi表示澄清問題的第i個(gè)token。歧義上下文是指在歷史上下文對(duì)話語(yǔ)句中，用戶的輸入未能明確表達(dá)自己的意圖，其常見的特征包括詞語(yǔ)的多義性、語(yǔ)義角色的模糊性等；外部知識(shí)為歧義上下文中相關(guān)實(shí)體的外部信息。以CLAQUA數(shù)據(jù)集為例，輸入的歧義上下文C為“What is Aldaras ingredient？”，其中相關(guān)的外部知識(shí)K為關(guān)于Aldara的實(shí)體類型和描述，由外部知識(shí)可知，關(guān)于Aldara，一種是“brand Aldara”，另一種是“non brand Aldara”，因此模型生成澄清問題Q為“Which one do you mean，brand Aldara or non brand Aldara，when you say the active constituent？”來(lái)詢問用戶想問的是哪類Aldara。受文獻(xiàn)［6］的啟發(fā)，本文并不是直接將歧義上下文C和外部知識(shí)K一起作為輸入，而是將此任務(wù)視為兩階段的任務(wù)來(lái)處理。在動(dòng)態(tài)Prompt模板生成階段，使用歧義上下文C生成Prompt模板T：“Which one do you mean，［MASK］，when you say the active constituent？”；在缺失信息生成任務(wù)，使用Prompt模板T和外部知識(shí)K生成缺失信息M：“brand Aldara or non brand Aldara”。最終將T和M結(jié)合生成澄清問題Q。

1.2? 動(dòng)態(tài)Prompt模板生成模塊

在動(dòng)態(tài)Prompt模板生成任務(wù)中，可以將任務(wù)描述為

T=f（C，Θ1）（1）

其中：Θ1是模型的參數(shù)。Prompt模板T是將澄清問題的缺失信息用［MASK］替換之后的序列。如Aldara的例子中，歧義上下文C為“What is Aldaras ingredient？”，Prompt模板T為“Which one do you mean，［MASK］，when you say the active constituent？”為該任務(wù)的輸出。由于Prompt模板中不包含相關(guān)的缺失信息，所以也就無(wú)須結(jié)合相關(guān)的外部知識(shí)，只需將歧義上下文作為輸入，再利用大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型的優(yōu)勢(shì)就可以很好地生成。需要注意的是，因?yàn)樯傻哪０逯行枰跰ASK］，所以在訓(xùn)練時(shí)需要先將［MASK］當(dāng)作一個(gè)token加入到模型的分詞器中。該任務(wù)選取的預(yù)訓(xùn)練語(yǔ)言模型為T5模型，T5模型采用了Transformer［15］網(wǎng)絡(luò)結(jié)構(gòu)，通過自監(jiān)督的方式進(jìn)行多任務(wù)學(xué)習(xí)，然后對(duì)這些轉(zhuǎn)換后的文本進(jìn)行無(wú)監(jiān)督訓(xùn)練，從而獲得一種通用的表示能力。T5模型的架構(gòu)包括編碼器和解碼器，分別用于對(duì)輸入文本進(jìn)行編碼和解碼。編碼器和解碼器由多個(gè)Transformer塊組成，每個(gè)塊由多頭自注意力機(jī)制、前饋網(wǎng)絡(luò)以及層歸一化組成。在本文中，模型輸入的是用戶的歧義上下文，輸出為動(dòng)態(tài)的Prompt模板。

為了捕捉歧義上下文中不同位置的相關(guān)性，進(jìn)而對(duì)輸入序列編碼，在T5的編碼階段使用了多頭注意力機(jī)制對(duì)嵌入向量進(jìn)行計(jì)算。首先將歧義上下文C變?yōu)榍度胂蛄縓=［x1，x2，…，xn］，xi∈Euclid Math TwoRApdembedding，其中每個(gè)xi是輸入序列中對(duì)應(yīng)的嵌入詞向量，dembddding為嵌入向量的維度。對(duì)于T5的位置編碼，采用的是相對(duì)位置編碼，即每個(gè)位置編碼都是一個(gè)標(biāo)量，并添加到每一個(gè)嵌入詞向量中。然后通過X和三個(gè)參數(shù)矩陣WQ、WK、WV的計(jì)算來(lái)獲得每個(gè)注意力頭的查詢向量Q、鍵向量K和值向量V，其中Q=XWQ、K=XWK、V=XWV，WQ，WK，WV∈Euclid Math TwoRApdmodel×dk是模型可學(xué)習(xí)的參數(shù)，dk表示預(yù)定義的單頭維度。自注意力計(jì)算公式為

Att（Q，K，V）=softmax（QKTdk）V（2）

第i個(gè)頭的注意力得分為headi=Attention（Qi，Ki，Vi），那么最終的多頭注意力機(jī)制得分為

mulAtte（Q，K，V）=concat（head1，head2，…，headh）·Wo（3）

其中：concat表示將每個(gè)頭的注意力張量拼接起來(lái)；h表示頭的數(shù)量；Wo為可學(xué)習(xí)的參數(shù)矩陣。

為防止模型梯度爆炸或梯度消失，采用殘差網(wǎng)絡(luò)和層歸一化對(duì)輸出向量Z進(jìn)行處理。T5采用了一種簡(jiǎn)化版的layer normalization，去除了layer norm的bias，并且將layer norm放在殘差連接外面。T5模型的解碼層用于將歧義上下文的編碼進(jìn)行解碼，輸出所需的Prompt模板。解碼模塊與編碼模塊非常相似，由多層堆疊的子模塊組成，每一層主要包括遮掩多頭自注意力機(jī)制、交叉注意力機(jī)制和全連接前饋網(wǎng)絡(luò)。解碼器的輸入是編碼器的輸出向量以及目標(biāo)Prompt模板中已經(jīng)生成的部分，用來(lái)生成下一個(gè)目標(biāo)詞語(yǔ)的概率分布，并根據(jù)該分布生成目標(biāo)詞匯，一直循環(huán)進(jìn)行直到輸出整個(gè)序列，其中的每個(gè)詞匯都是根據(jù)其前面已經(jīng)生成的詞匯而生成的。模型的損失函數(shù)為交叉熵?fù)p失函數(shù)和正則化項(xiàng)的加權(quán)和。交叉熵?fù)p失函數(shù)可用于度量生成序列與目標(biāo)序列的相似程度，正則化項(xiàng)在損失函數(shù)中被廣泛使用以避免模型過擬合，相關(guān)公式如下：

lossce（x，y）=-1L∑Lt=1yt log （st）（4）

其中：L表示序列的長(zhǎng)度；yt表示目標(biāo)序列中第t個(gè)token的one-hot表示；st表示模型在第t個(gè)時(shí)間步的輸出。

lossreg（θ）=12‖θ‖22（5）

其中：θ表示模型的參數(shù)；‖θ‖22表示θ各個(gè)元素的平方和，即模長(zhǎng)的平方。

loss=α lossce（x，y）+β lossreg（θ）（6）

其中：α和β分別表示交叉熵?fù)p失函數(shù)和正則化項(xiàng)的權(quán)重。

1.3? 缺失信息生成模塊

對(duì)于缺失信息生成任務(wù)可以表述為

M=f（T，K，Θ2）（7）

其中：Θ2為模型的參數(shù)。在該任務(wù)中，通過第一階段生成的模板T和相關(guān)的外部知識(shí)K，利用Prompt的思想，使用大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型生成缺失信息M，再將T和M結(jié)合生成澄清問題Q。如Aldara的例子中，模型需要上個(gè)任務(wù)生成的Prompt模板和相關(guān)的外部知識(shí)來(lái)生成缺失信息“brand Aldara or non brand Aldara”。

BART模型是一種用于生成式自然語(yǔ)言處理任務(wù)的預(yù)訓(xùn)練語(yǔ)言模型，其預(yù)訓(xùn)練任務(wù)主要有text infilling和sentence permutation，主要是將帶有噪聲的文本輸入到模型中去，模型的任務(wù)是將其還原為正常的序列。通過這種方式，BART可以利用部分信息重新構(gòu)建整個(gè)文本。而在缺失信息生成模塊，該階段的任務(wù)同樣是對(duì)上一階段生成的模板中［MASK］信息的預(yù)測(cè)，這與BART的text Infilling預(yù)訓(xùn)練任務(wù)是非常接近的。因此，上一階段動(dòng)態(tài)生成的Prompt模板可以很好地利用到BART學(xué)習(xí)到的知識(shí)來(lái)生成相關(guān)缺失信息。

BART模型采用的是標(biāo)準(zhǔn)Transformer模型，其包含的編碼器和解碼器都與Transformer模型基本一致，不過做了一些改變，比如將ReLU激活函數(shù)改為GeLU激活函數(shù)，還有將解碼器的各層對(duì)編碼器最終隱藏層額外執(zhí)行cross-attention等。

在該模塊，輸入的是Prompt模板T和外部知識(shí)K，兩者通過〈SEP〉特殊符號(hào)連接起來(lái)，其輸入記為U={t1，t2，…，［MASK］，…，tlent，〈SEP〉，k1，…，klenk}，其中ti為Prompt模板序列，ki為外部知識(shí)序列。首先將U輸入到編碼器中：

Z=Encoder（U）（8）

編碼器將輸入序列U轉(zhuǎn)換為一個(gè)捕捉了輸入序列語(yǔ)義信息的上下文編碼信息Z，之后將Z輸入到解碼器中；解碼器通過自回歸的方式逐步生成每一個(gè)token，直到生成完整的缺失信息M。

M1：i=Decoder（Z，M1：i-1）（9）

自回歸過程中，解碼器根據(jù)上下文編碼信息Z和已生成的部分序列M1：i-1 來(lái)生成下一個(gè)標(biāo)記M1：i。模型最終得到的是Prompt模板中的缺失信息，也就是對(duì)［MASK］位置的相關(guān)預(yù)測(cè)。

模型的損失函數(shù)為交叉熵?fù)p失函數(shù)，用于度量生成的序列與目標(biāo)序列之間的差異。損失函數(shù)的計(jì)算如下：

loss=-∑mi=1log P（Mi|Z，M1：i-1）（10）

其中：P（Mi|Z，M1：i-1）表示在給定上下文表示Z和已生成的部分序列M1：i-1的條件下，生成下一個(gè)標(biāo)記Mi的概率。

2? 實(shí)驗(yàn)及分析

2.1? 數(shù)據(jù)集

本文實(shí)驗(yàn)采用CLAQUA和ClariQ-FKw數(shù)據(jù)集來(lái)評(píng)估TSCQG方法的性能。這兩個(gè)數(shù)據(jù)集的統(tǒng)計(jì)信息如表1所示。

CLAQUA數(shù)據(jù)集于2019年公開發(fā)布，涵蓋多個(gè)領(lǐng)域的對(duì)話和相應(yīng)的澄清問題，并支持三種與澄清相關(guān)的任務(wù)，包括澄清識(shí)別、澄清問題生成和基于澄清的問題回答。本實(shí)驗(yàn)主要關(guān)注澄清問題生成任務(wù)，該數(shù)據(jù)集包含單回合對(duì)話情況和多回合對(duì)話情況。在本實(shí)驗(yàn)中對(duì)這兩種情況都進(jìn)行了測(cè)試。ClariQ-FKw為對(duì)話搜索相關(guān)的數(shù)據(jù)集，包含（query，fact，quesiton）三元組，query是用戶的初始查詢，fact是相關(guān)的類型信息，question是人工生成的澄清問題。數(shù)據(jù)集包含1 756個(gè)訓(xùn)練示例和425個(gè)驗(yàn)證示例。由于沒有測(cè)試集，將訓(xùn)練集的20%作為測(cè)試集。

2.2? 基線模型

本文選取了三個(gè)文本生成模型Transformer、Coarse-to-fine［6］、SHiP［3］作為基線模型。其中Transformer采用傳統(tǒng)的編碼器-解碼器框架，該框架首先將歧義上下文通過注意力機(jī)制進(jìn)行編碼，然后依次解碼為目標(biāo)澄清問題；Coarse-to-fine由模板生成模塊和實(shí)體渲染模塊組成，分別生成模板和槽位詞組成最終的澄清問題；SHiP是端到端的自監(jiān)督模型，該框架結(jié)合了分層Transformer機(jī)制和指針生成器機(jī)制來(lái)生成澄清問題。

2.3? 實(shí)驗(yàn)細(xì)節(jié)

對(duì)于數(shù)據(jù)集CLAQUA，在動(dòng)態(tài)Prompt模板生成階段，需要先將輸入的上下文和相關(guān)的外部知識(shí)分離出來(lái)，只需要用上下文來(lái)生成模板。在缺失信息生成階段，需要將模板和外部知識(shí)通過〈SEP〉符號(hào)連接起來(lái)并輸入到BART模型中去。而對(duì)于ClariQ-FKw數(shù)據(jù)集，由于目標(biāo)澄清問題沒有預(yù)定義的模板，通過觀察數(shù)據(jù)發(fā)現(xiàn)，絕大部分澄清問題的形式都是類似的，可以先進(jìn)行數(shù)據(jù)預(yù)處理，將目標(biāo)澄清問題分離出澄清問題模板和缺失信息兩部分以供模型訓(xùn)練。

本文中T5和BART的模型參數(shù)均使用預(yù)訓(xùn)練模型的參數(shù)進(jìn)行初始化。兩階段的訓(xùn)練超參數(shù)基本一致，優(yōu)化器采用的是Transformers庫(kù)提供的AdamW［16］動(dòng)態(tài)優(yōu)化算法。學(xué)習(xí)率設(shè)為2E-5，在訓(xùn)練時(shí)，對(duì)學(xué)習(xí)率進(jìn)行調(diào)整以優(yōu)化模型的性能，學(xué)習(xí)率調(diào)整器的類型設(shè)為L(zhǎng)inear，預(yù)熱步數(shù)設(shè)為50。在兩個(gè)模型上微調(diào)的epoch均為20。實(shí)驗(yàn)中對(duì)比的基線模型，超參數(shù)均參考原始論文及其代碼設(shè)置。

2.4? 實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證TSCQG方法的有效性，在兩個(gè)澄清問題生成數(shù)據(jù)集上與基線模型進(jìn)行對(duì)比，同時(shí)在這兩個(gè)數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)，對(duì)兩階段澄清問題生成方法的有效性和Prompt范式的有效性進(jìn)行了驗(yàn)證，并測(cè)試了模型參數(shù)規(guī)模對(duì)實(shí)驗(yàn)結(jié)果的影響。

2.4.1? 性能對(duì)比分析

表2給出了各個(gè)模型在各個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，以及消融實(shí)驗(yàn)和模型參數(shù)對(duì)比實(shí)驗(yàn)的結(jié)果。從實(shí)驗(yàn)結(jié)果可以看出，標(biāo)準(zhǔn)的Transformer模型在生成澄清問題方面已經(jīng)具備了一定的能力，證明了Transformer的編碼器-解碼器框架對(duì)于澄清問題生成任務(wù)的有效性。Coarse-to-fine模型的性能高于Transfomer模型，說(shuō)明在編碼器-解碼器框架的基礎(chǔ)上分別生成模板和缺失信息對(duì)于生成澄清問題是有意義的。SHiP模型的效果更進(jìn)一步說(shuō)明使用自監(jiān)督的方式對(duì)模型進(jìn)行預(yù)訓(xùn)練以及分層Transformer機(jī)制和指針生成機(jī)制對(duì)生成任務(wù)的有效性。而TSCQG方法性能均優(yōu)于基線模型，首先這得益于大規(guī)模預(yù)訓(xùn)練模型的潛在知識(shí)，同時(shí)基于Prompt范式的兩階段方式可以更好地激發(fā)大規(guī)模語(yǔ)言模型蘊(yùn)涵的知識(shí)，使其生成的澄清問題更加流利通順且多樣性高。

2.4.2? 消融實(shí)驗(yàn)

為驗(yàn)證兩階段生成方法的有效性，設(shè)計(jì)了消融實(shí)驗(yàn)no-BART，直接將上下文信息和外部知識(shí)結(jié)合起來(lái)，然后輸入到T5模型中去生成澄清問題。為驗(yàn)證Prompt范式的有效性，設(shè)計(jì)了消融實(shí)驗(yàn)no-T5，不使用Prompt模板，單單利用外部知識(shí)來(lái)生成缺失信息。從no-BART消融實(shí)驗(yàn)可以看出，得益于大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型的潛在知識(shí)，直接將上下文和外部知識(shí)結(jié)合起來(lái)，雖然生成的澄清問題效果不錯(cuò)，但是性能依然略低于TSCQG，證明了兩階段生成方式的有效性。no-T5實(shí)驗(yàn)性能低于TSCQG的性能，證明了通過Prompt模板，能夠更好地激發(fā)BART模型的預(yù)訓(xùn)練知識(shí)，生成更為準(zhǔn)確的缺失信息。

2.4.3? 對(duì)比實(shí)驗(yàn)

為驗(yàn)證T5和BART模型在本任務(wù)中相較于其他模型更有優(yōu)勢(shì)，使用BERT和UniLM［17］模型分別替換T5和BART模型，設(shè)計(jì)了對(duì)比實(shí)驗(yàn)BERT-BART、T5-BERT、UniLM-BART、T5-UniLM。由表2結(jié)果可知，雖然BERT和UniLM也屬于大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型，但是無(wú)論是替換T5還是替換BART，其結(jié)果都不如T5和BART相結(jié)合的性能，說(shuō)明在動(dòng)態(tài)生成Prompt模板方面，T5模型可以根據(jù)上下文信息生成質(zhì)量更高的Prompt模板；在缺失信息生成方面，Prompt模板可以更好地激發(fā)BART模型的潛在知識(shí)，生成更準(zhǔn)確的缺失信息。

2.4.4? 模型參數(shù)對(duì)模型性能的影響

為評(píng)估參數(shù)對(duì)模型性能的影響，設(shè)計(jì)了實(shí)驗(yàn)R-T5-small，即使用T5-small模型來(lái)替代T5模型；設(shè)計(jì)了實(shí)驗(yàn)R-BART-small，即使用BART-small模型來(lái)替代BART模型。

T5-small模型的參數(shù)規(guī)模約為原模型的1/3，BART-small模型的參數(shù)規(guī)模約為原模型的1/8，然而兩者與TSCQG的模型性能相差不多，甚至在CLAQUA的multi-turn數(shù)據(jù)集上，R-BART-small要優(yōu)于TSCQG，其原因是BART模型的參數(shù)更多，需要更多的訓(xùn)練數(shù)據(jù)來(lái)準(zhǔn)確地估計(jì)這些參數(shù)。而CLAQUA數(shù)據(jù)集的規(guī)模不足，與BART模型的參數(shù)規(guī)模不匹配，模型可能無(wú)法充分學(xué)習(xí)到參數(shù)之間的關(guān)系，導(dǎo)致性能下降。同時(shí)過多的參數(shù)也可能使得模型更容易過度擬合訓(xùn)練數(shù)據(jù)，導(dǎo)致在測(cè)試數(shù)據(jù)上的性能下降。

2.5? 樣例分析

如表3所示，本文挑選了CLAQUA中multi-turn數(shù)據(jù)集的兩條數(shù)據(jù)作為樣例，將TSCQG生成結(jié)果與其他兩種模型的生成結(jié)果進(jìn)行對(duì)比。通過觀察可以發(fā)現(xiàn)，TSCQG生成的澄清問題相較于Coarse-to-fine和SHiP包含更多必要的關(guān)鍵詞或短語(yǔ)，能夠準(zhǔn)確地針對(duì)原問題中的模糊之處進(jìn)行澄清，并且能夠引導(dǎo)回答者提供具體的信息或解釋。

3? 結(jié)束語(yǔ)

生成澄清問題對(duì)提高自然語(yǔ)言系統(tǒng)理解用戶準(zhǔn)確語(yǔ)義有著重大意義，目前基于大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型微調(diào)的方法還較少，而Prompt范式的方法可以更好地激發(fā)大規(guī)模語(yǔ)言模型蘊(yùn)涵的知識(shí)。為將基于Prompt范式的方法應(yīng)用到澄清問題生成任務(wù)中，同時(shí)可以動(dòng)態(tài)地生成Prompt模板，本文提出了基于Prompt的兩階段澄清問題生成方法TSCQG。在動(dòng)態(tài)Prompt模板生成階段，通過將歧義上下文輸入到T5模型中生成Prompt模板；在缺失信息生成階段，通過Prompt模板和相關(guān)外部知識(shí)來(lái)生成缺失信息，最終將兩者組合成完整的澄清問題。從實(shí)驗(yàn)結(jié)果可以看到，TSCQG優(yōu)于其他基線模型。 澄清問題生成可以幫助對(duì)話系統(tǒng)更好地與用戶進(jìn)行交互，進(jìn)一步提升用戶體驗(yàn)。隨著對(duì)話系統(tǒng)的發(fā)展，澄清問題生成會(huì)更加智能化和靈活，未來(lái)的澄清問題生成可以通過自適應(yīng)學(xué)習(xí)和個(gè)性化技術(shù)，根據(jù)用戶的偏好和歷史對(duì)話數(shù)據(jù)生成更適合用戶的澄清問題，這將提升對(duì)話系統(tǒng)的個(gè)性化服務(wù)和用戶滿意度。同時(shí)，未來(lái)的澄清問題生成可以更加充分利用知識(shí)圖譜和上下文信息，通過結(jié)合知識(shí)圖譜中實(shí)體和關(guān)系信息以及對(duì)話的上下文，澄清問題生成可以更準(zhǔn)確地理解用戶的意圖，生成更具針對(duì)性的澄清問題。目前關(guān)于澄清問題生成的數(shù)據(jù)集還相對(duì)較少，而大部分的方法也都是有監(jiān)督的學(xué)習(xí)，未來(lái)的研究將進(jìn)一步探索如何在小樣本或者零樣本的基礎(chǔ)上生成通順且特異的澄清問題。

參考文獻(xiàn)：

［1］Liu A，Wu Zhaofeng，Michael J，et al.Were afraid language models arent modeling ambiguity［EB/OL］.（2023-04-27）.https：//arxiv.org/pdf/2304.14399.pdf.

［2］OpenAI.GPT-4 technical report［EB/OL］.（2023-03-27）.https：//arxiv.org/pdf/2303.08774.pdf.

［3］Shao Taihua，Cai Fei，Chen Wanyu，et al.Self-supervised clarification question generation for ambiguous multi-turn conversation［J］.Information Sciences，2022，587（3）：626-641.

［4］Zou Jie，Aliannejadi M，Kanoulas E，et al.Users meet clarifying questions：toward a better understanding of user interactions for search clarification［J］.ACM Trans on Information Systems，2023，41（1）：article No.16.

［5］Rao S，Daumé III H.Answer-based adversarial training for generating clarification questions［C］//Pro of Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.Stroudsburg，PA：Association for Computational Linguistics，2019：143-155.

［6］Xu Jingjing，Wang Yuechen，Tang Duyu，et al.Asking clarification questions in knowledge-based question answering［C］//Proc of Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2019：1618-1629.

［7］Wang Jian，Li Wenjie.Template-guided clarifying question generation for Web search clarification［C］//Proc of the 30th ACM International Conference on Information & Knowledge Management.New York：ACM Press，2021：3468-3472.

［8］Devlin J，Chang Mingwei，Lee K，et al.BERT：pre-training of deep bidirectional transformers for language understanding［C］//Proc of Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.Stroudsburg，PA：Association for Computational Linguistics，2019：4171-4186.

［9］Brown T，Mann B，Ryder N，et al.Language models are few-shot lear-ners［C］//Proc of the 34th International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2020：1877-1901.

［10］Majumder B P，Rao S，Galley M，et al.Ask whats missing and whats useful：improving clarification question generation using global know-ledge［C］//Proc of Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.Stroudsburg，PA：Association for Computational Linguistics，2021：4300-4312.

［11］Lewis M，Liu Yinhan，Goyal N，et al.BART：denoising sequence-to-sequence pre-training for natural language generation，translation，and comprehension［C］//Proc of the 58th Annual Meeting of the Association for Computational Linguistics.Stroudsburg，PA：Association for Computational Linguistics，2020：7871-7880.

［12］Dathathri S，Madotto A，Lan J，et al.Plug and play language models：a simple approach to controlled text generation［EB/OL］.（2020-03-03）.https：//arxiv.org/pdf/1912.02164.pdf.

［13］Sekulic′ I，Aliannejadi M，Crestani F.Towards facet-driven generation of clarifying questions for conversational search［C］//Proc of ACM SIGIR International Conference on Theory of Information Retrieval.New York：ACM Press，2021：167-175.

［14］Raffel C，Shazeer N，Roberts A，et al.Exploring the limits of transfer learning with a unified text-to-text transformer［J］.Journal of Machine Learning Research，2020，21（1）：5485-5551.

［15］Vaswani A，Shazeer N，Parmar N，et al.Attention is all you need［C］//Proc of the 31st International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2017：6000-6010.

［16］Loshchilov I，Hutter F.Decoupled weight decay regularization［EB/OL］.（2019-01-04）.https：//arxiv.org/pdf/1711.05101.pdf.

［17］Dong Li，Yang Nan，Wang Wenhui，et al.Unified language model pre-training for natural language understanding and generation［C］//Proc of the 33rd International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2019：13063-13075.

［18］Rao S，Daumé III H.Learning to ask good questions：ranking clarification questions using neural expected value of perfect information［C］//Proc of the 56th Annual Meeting of the Association for Computational Linguistics.Stroudsburg，PA：Association for Computational Linguistics，2018：2737-2746.

［19］Zhang Zhiling，Zhu K.Diverse and specific clarification question generation with keywords［C］//Proc of the Web Conference.New York：ACM Press，2021：3501-3511.

［20］Wang Zhenduo，Tu Yuancheng，Rosset C，et al.Zero-shot clarifying question generation for conversational search［C］//Proc of the ACM Web Conference.New York：ACM Press，2023：3288-3298.

［21］Imran M M，Damevski K.Using clarification questions to improve software developers Web search［J］.Information and Software Technology，2022，151（11）：107021.

［22］Zhao Ziliang，Dou Zhicheng，Mao Jiaxin，et al.Generating clarifying questions with Web search results［C］//Proc of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval.New York：ACM Press，2022：234-244.