基于弱語(yǔ)義樣本的對(duì)比學(xué)習(xí)句嵌入方法

徐斌斌,嚴(yán)大川,王建尚,王小敏

(蘭州交通大學(xué) 電子與信息工程學(xué)院,蘭州 730070)

表示學(xué)習(xí)是自然語(yǔ)言處理領(lǐng)域的重要分支,用于在稀少數(shù)據(jù)中挖掘有效的特征信息,作為機(jī)器學(xué)習(xí)算法的輸入,從而進(jìn)行分類(lèi)或者預(yù)測(cè)[1]。隨著網(wǎng)絡(luò)平臺(tái)的發(fā)展,不同領(lǐng)域、不同語(yǔ)種、不同粒度的語(yǔ)料數(shù)據(jù)迅速增長(zhǎng),提取含有豐富語(yǔ)義特征的句嵌入,是文本匹配、文本分類(lèi)、智能問(wèn)答等任務(wù)的基礎(chǔ)。文本語(yǔ)義的有效識(shí)別對(duì)后續(xù)的自然語(yǔ)言處理操作有重要意義。

早期文本表示的研究主要針對(duì)詞嵌入,后來(lái)逐漸地發(fā)展為通用句嵌入。Mikolov等[2]提出詞嵌入方法Word2Vec,通過(guò)上下文預(yù)測(cè)中心詞或者通過(guò)中心詞預(yù)測(cè)上下文,學(xué)習(xí)詞的嵌入表示。句嵌入可以表示為詞嵌入的加權(quán)平均。Le等[3]引入段落標(biāo)識(shí),學(xué)習(xí)段落與上下文的關(guān)系,用段落向量表示一段文本。隨著神經(jīng)網(wǎng)絡(luò)的發(fā)展,循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)逐漸地被應(yīng)用于句嵌入生成。Graves[4]基于長(zhǎng)短期記憶(long short term memory,LSTM)網(wǎng)絡(luò),捕捉離散的長(zhǎng)序列結(jié)構(gòu)之間語(yǔ)義關(guān)聯(lián)后進(jìn)行文本預(yù)測(cè)。Xiong等[5]提出改進(jìn)的動(dòng)態(tài)記憶網(wǎng)絡(luò),將每個(gè)詞的位置編碼加權(quán)求和后作為句子的編碼信息,通過(guò)門(mén)控循環(huán)單元學(xué)習(xí)句子上下文的關(guān)聯(lián),結(jié)合注意力機(jī)制更新記憶。Zhang等[6]提出將字母和符號(hào)進(jìn)行獨(dú)熱編碼,構(gòu)建字符級(jí)的卷積神經(jīng)網(wǎng)絡(luò)處理文本分類(lèi)任務(wù),具備多語(yǔ)種遷移能力。

近年來(lái),深度學(xué)習(xí)被廣泛應(yīng)用于自然語(yǔ)言處理任務(wù)中并取得了一些成果。序列到序列的轉(zhuǎn)換器(Transformers)通過(guò)基于注意力的編碼器-解碼器架構(gòu),有效挖掘數(shù)據(jù)的潛在語(yǔ)義特征[7]。Radford等[8]提出基于Transformers解碼器的預(yù)訓(xùn)練生成式模型(generative pre-training,GPT),通過(guò)帶掩碼的多頭自注意力機(jī)制,單向?qū)W習(xí)詞與前文的關(guān)聯(lián)。Devlin等[9]使用Transformers編碼器構(gòu)建雙向表征編碼變換神經(jīng)網(wǎng)絡(luò)(bidirectional encoder representation from transformers,BERT),結(jié)合掩碼語(yǔ)言模型(masked language models,MLM)和后文預(yù)測(cè)任務(wù)學(xué)習(xí)每個(gè)詞的上下文關(guān)聯(lián),但該方法缺少針對(duì)高頻詞對(duì)語(yǔ)義表征造成偏置的消除策略。Li等[10]提出基于標(biāo)準(zhǔn)化流的生成式模型,將BERT的語(yǔ)義表征可逆地映射到均勻空間,把句嵌入轉(zhuǎn)換為各向同性的高斯分布。Su等[11]提出通過(guò)白化操作將句嵌入從高維向量降維成多個(gè)標(biāo)準(zhǔn)正交基的表示,減少對(duì)冗余特征的學(xué)習(xí),解決流計(jì)算開(kāi)銷(xiāo)大的問(wèn)題。

上述基于Transformers的研究方法從不同角度解決了句嵌入生成的問(wèn)題,且各具優(yōu)勢(shì),但通過(guò)數(shù)據(jù)增強(qiáng)構(gòu)建具有相似特征的樣本會(huì)造成語(yǔ)義的偏離,模型對(duì)底層特征的過(guò)度重視可能導(dǎo)致對(duì)語(yǔ)義理解的偏置,改變學(xué)習(xí)結(jié)果[12]。基于此分析,本文提出一種基于弱語(yǔ)義樣本的對(duì)比學(xué)習(xí)句嵌入方法:通過(guò)MLM構(gòu)建弱語(yǔ)義樣本,調(diào)整對(duì)局部語(yǔ)義信息的關(guān)注;設(shè)計(jì)基于BERT編碼器的對(duì)比學(xué)習(xí)網(wǎng)絡(luò),實(shí)現(xiàn)不同機(jī)器學(xué)習(xí)算法的優(yōu)勢(shì)互補(bǔ),進(jìn)而完成對(duì)文本語(yǔ)義特征的準(zhǔn)確抽取,構(gòu)建有效的句嵌入。

1 相關(guān)工作

1.1 自監(jiān)督對(duì)比學(xué)習(xí)

自監(jiān)督學(xué)習(xí)是無(wú)監(jiān)督學(xué)習(xí)的一個(gè)子類(lèi),對(duì)于無(wú)標(biāo)簽數(shù)據(jù),通過(guò)設(shè)計(jì)輔助任務(wù)來(lái)挖掘數(shù)據(jù)本身的表征特性并作為監(jiān)督信息,以提升模型的特征提取能力。其中對(duì)比式方法是一種判別式模型,使用代理任務(wù)定義樣本間的相似關(guān)系,根據(jù)給定樣本的相似性劃分正負(fù)樣本,然后投影到特征空間進(jìn)行比對(duì)。縮小同類(lèi)特征之間的距離,擴(kuò)大異類(lèi)特征之間的距離,學(xué)習(xí)特征之間的相似性,以獲得語(yǔ)義區(qū)分效果更好的特征表示[13]。

構(gòu)建softmax分類(lèi)器并作為目標(biāo)函數(shù),如式(1)所示。

LNCE=E(-ln(exp(f(x)f(x+))/(exp(f(x)

(1)

其中:x為原樣本,x+為原樣本通過(guò)數(shù)據(jù)增廣得到的正樣本,xj為其他樣本經(jīng)過(guò)數(shù)據(jù)增廣后的樣本,f表示對(duì)樣本的編碼。

1.2 文本數(shù)據(jù)增強(qiáng)

近年來(lái),數(shù)據(jù)增強(qiáng)技術(shù)的發(fā)展,顯著改善了依靠數(shù)據(jù)推理的模型的泛化能力和性能表現(xiàn)。文本數(shù)據(jù)增強(qiáng)的方法依然在探索中,其中的一個(gè)難點(diǎn)是,相較于其他類(lèi)型數(shù)據(jù),文本數(shù)據(jù)具有半結(jié)構(gòu)化的特點(diǎn),同時(shí)包含日期、標(biāo)題這樣的結(jié)構(gòu)化數(shù)據(jù)以及內(nèi)容和摘要等非結(jié)構(gòu)化數(shù)據(jù)。文本數(shù)據(jù)存在一詞多義、上下文語(yǔ)義相關(guān)等情況,計(jì)算機(jī)視覺(jué)中常見(jiàn)的人工制作、結(jié)構(gòu)化的數(shù)據(jù)增強(qiáng)方法無(wú)法直接套用在文本數(shù)據(jù)上。傳統(tǒng)的數(shù)據(jù)增強(qiáng)方法直接修改文本內(nèi)容,存在語(yǔ)義改變明顯或者人力花費(fèi)大、計(jì)算成本高等問(wèn)題。Wu等[14]提出對(duì)樣本執(zhí)行同義詞替換、隨機(jī)插入、隨機(jī)交換和隨機(jī)刪除操作;Xie等[15]提出以半監(jiān)督方式對(duì)文本數(shù)據(jù)進(jìn)行回譯,利用機(jī)器翻譯系統(tǒng)進(jìn)行多語(yǔ)言互譯;孫可佳等[16]提出用生成對(duì)抗的方式優(yōu)化文本生成。雖然上述方法對(duì)數(shù)據(jù)增強(qiáng)方式進(jìn)行了有效優(yōu)化,但在保留原始語(yǔ)義完整性和減小計(jì)算開(kāi)銷(xiāo)方面仍然存在較大的提升空間。

2 基于弱語(yǔ)義樣本的對(duì)比學(xué)習(xí)句嵌入

圖1 整體框架

2.1 弱語(yǔ)義樣本生成

標(biāo)記重復(fù)是一種數(shù)據(jù)增強(qiáng)方法,對(duì)隨機(jī)位置的非停用詞進(jìn)行復(fù)制,實(shí)現(xiàn)文本語(yǔ)義拓展。為解決標(biāo)記重復(fù)對(duì)語(yǔ)義改變大的問(wèn)題,本文結(jié)合掩碼語(yǔ)言模型,設(shè)計(jì)用于構(gòu)建弱語(yǔ)義樣本的生成器模塊,如圖2所示,其中:Trm表示Transformers網(wǎng)絡(luò)的神經(jīng)元,{T1,T2,…,Tn}表示網(wǎng)絡(luò)最后一層隱藏層的狀態(tài),矩陣左側(cè)的序號(hào)表示位置編號(hào)。對(duì)大小為l×d的嵌入矩陣使用標(biāo)記重復(fù)算法選擇lrep行進(jìn)行復(fù)制并隨機(jī)遮掩或替換。遮掩或替換的部分使用[mask]進(jìn)行標(biāo)記,通過(guò)多層Transformers網(wǎng)絡(luò)預(yù)測(cè)并生成被標(biāo)記的內(nèi)容,構(gòu)建新嵌入矩陣。

圖2 生成器結(jié)構(gòu)

對(duì)于每個(gè)輸入的詞嵌入集合,標(biāo)記重復(fù)方法根據(jù)句子長(zhǎng)度,以均勻分布的方式隨機(jī)采樣一定數(shù)量的標(biāo)記進(jìn)行復(fù)制,獲得和原始句子相似但存在局部語(yǔ)義差異的樣本。

令輸入的數(shù)據(jù)集合為{x1,x2,…,xn},復(fù)制詞的數(shù)量lrep計(jì)算公式如式(2)所示。

(2)

其中:n為標(biāo)記個(gè)數(shù),r為最大重復(fù)率。隨機(jī)采樣lrep個(gè)非重復(fù)位置的詞并復(fù)制,得到新的集合{x1,x2,…,xn+lrep}。

生成器通過(guò)Transformers神經(jīng)網(wǎng)絡(luò)將標(biāo)記序列{x1,x2,…,xn}映射為包含上下文信息的向量表示序列{h1,h2,…,hn},經(jīng)過(guò)softmax歸一化后輸出序列的概率分布。對(duì)于任意序列元素xi,其概率分布如式(3)所示。

(3)

其中:x為標(biāo)記的嵌入向量,hG(x)為x對(duì)應(yīng)的生成器編碼向量。

生成器對(duì)輸入序列{x1,x2,…,xn}執(zhí)行MLM任務(wù)。對(duì)重復(fù)的標(biāo)記進(jìn)行詞語(yǔ)級(jí)的遮掩或者替換,用[MASK]表示。[MASK]有85%的概率替換為空白文本,15%的概率保持原有標(biāo)記不變,得到遮掩序列{m1,m2,…,mlrep}。例如,原始生成器學(xué)習(xí)并預(yù)測(cè)被遮掩詞的原始標(biāo)記,獲得弱語(yǔ)義序列{w1,w2,…,wn}。計(jì)算MLM損失,如式(4)所示。

(4)

其中:xmasked為被替換為[MASK]標(biāo)簽的部分。

本研究提出的生成器模塊可以作為一種輔助預(yù)訓(xùn)練網(wǎng)絡(luò)的訓(xùn)練樣本擴(kuò)充,加深模型對(duì)局部語(yǔ)言信息的理解,減小模型對(duì)局部特征的過(guò)多依賴(lài),通過(guò)已經(jīng)學(xué)習(xí)到的特征推測(cè)新的特征,降低過(guò)擬合的風(fēng)險(xiǎn)。

2.2 語(yǔ)義信息編碼

BERT編碼器使用Transformers網(wǎng)絡(luò)對(duì)數(shù)據(jù)雙向編碼,利用多頭自注意力機(jī)制學(xué)習(xí)語(yǔ)句內(nèi)詞的上下文關(guān)聯(lián),具備強(qiáng)大的語(yǔ)義特征抽取能力。本文使用BERT編碼器對(duì)文本進(jìn)行編碼,提取隱含語(yǔ)義特征,并通過(guò)隨機(jī)失活構(gòu)建對(duì)比學(xué)習(xí)所需的樣本。

輸入長(zhǎng)度為l的d維嵌入矩陣X,并分別與3個(gè)不同的權(quán)重矩陣加權(quán)求和,得到矩陣Q、K、V,如式(5)～(7)所示。

Q=WQX+bQ

(5)

K=WKX+bK

(6)

V=WVX+bV

(7)

其中:WQ、WK、WV為權(quán)重矩陣,bQ、bK、bV為偏置向量。

將Q、K、V矩陣根據(jù)維數(shù)均分為l份,得到d維頭向量q、k、v。頭向量q與頭向量k相乘,得到當(dāng)前頭向量v對(duì)應(yīng)的注意力分?jǐn)?shù),如式(8)～(11)所示。

qj=[q0q1…ql-1]

(8)

kij=[ki0ki1…ki(l-1)]

(9)

vij=[vi0vi1…vi(l-1)]

(10)

(11)

根據(jù)伯努利分布隨機(jī)生成概率向量b,使用softmax分類(lèi)器對(duì)所有注意力分?jǐn)?shù)做歸一化處理。然后,將兩者相乘得到隨機(jī)失活后的歸一化注意力分?jǐn)?shù)pij,與頭向量v相乘得到當(dāng)前頭的輸出向量rj,如式(12)～(13)所示。

(12)

(13)

將所有注意力頭的輸出向量連接,得到最終輸出向量r=[r0r1…rl-1]。

hi=f(xi,zi)

(14)

(15)

(16)

2.3 自監(jiān)督對(duì)比學(xué)習(xí)

在編碼器中引入對(duì)比學(xué)習(xí),采用端對(duì)端方法進(jìn)行訓(xùn)練。每次采樣1個(gè)正樣本和多個(gè)負(fù)樣本,計(jì)算對(duì)比損失。正負(fù)樣本均進(jìn)行反向梯度傳播。本文使用噪聲對(duì)比估計(jì)函數(shù)的變體InfoNCE(info nosie contrastive estimation)度量正負(fù)樣本間的相似性變化,并將其作為對(duì)比損失函數(shù),學(xué)習(xí)相似樣本間的相似性和相異樣本間的差異性,見(jiàn)式(17)。

(17)

(18)

對(duì)于弱語(yǔ)義樣本,其損失函數(shù)可以表示為式(19)。

(19)

最終損失函數(shù)可以表示為對(duì)比損失、帶權(quán)弱語(yǔ)義樣本損失與MLM損失之和,如式(20)所示。

L=LCON+λLWSS+LMLM

(20)

其中:λ為影響系數(shù),是一個(gè)超參數(shù),用于調(diào)節(jié)弱語(yǔ)義樣本對(duì)整體相似性學(xué)習(xí)的影響。

3 實(shí)驗(yàn)分析

3.1 實(shí)驗(yàn)數(shù)據(jù)

本文實(shí)驗(yàn)數(shù)據(jù)來(lái)自公開(kāi)的通用語(yǔ)義文本相似性(semantic textual similarity,STS)基準(zhǔn)數(shù)據(jù)集。STS12[17]、STS13[18]、STS14[19]、STS15[20]、STS16[21]、STS-B[22]數(shù)據(jù)集是2012-2017年間SentVal組織的語(yǔ)義文本相似性識(shí)別比賽所用的英語(yǔ)數(shù)據(jù)集,數(shù)據(jù)來(lái)源于圖像標(biāo)題、新聞標(biāo)題和微軟論壇的文本。SICK-R[23]數(shù)據(jù)集是由ImageFlickr數(shù)據(jù)集結(jié)合基于短視頻的SemEval 2012 MSR-Video數(shù)據(jù)集所形成的句子集。每條數(shù)據(jù)包含兩段文本和一個(gè)標(biāo)簽。標(biāo)簽由人工標(biāo)注,表示句子語(yǔ)義的相似程度,數(shù)值范圍為[0,5]。通過(guò)分詞工具將所有文本對(duì)轉(zhuǎn)換為單句,得到86 436條無(wú)標(biāo)簽數(shù)據(jù)并將它作為無(wú)監(jiān)督訓(xùn)練集。訓(xùn)練完成后分別在各個(gè)數(shù)據(jù)集的測(cè)試集進(jìn)行檢驗(yàn),數(shù)據(jù)集中樣本數(shù)的統(tǒng)計(jì)見(jiàn)表1。

表1 數(shù)據(jù)集中樣本數(shù)統(tǒng)計(jì)

3.2 評(píng)估標(biāo)準(zhǔn)

使用模型預(yù)測(cè)每一個(gè)文本對(duì)的余弦相似度,以評(píng)估語(yǔ)義相似度。文本序列分別按照余弦相似度和標(biāo)簽降序排列,構(gòu)成集合X和Y。利用集合X和Y的斯皮爾曼相關(guān)系數(shù)(Spearman correlation coefficient)衡量?jī)山M值的相關(guān)性,評(píng)估模型對(duì)語(yǔ)義相似文本的識(shí)別能力。根據(jù)原始數(shù)據(jù)的排序位置求解斯皮爾曼相關(guān)系數(shù),計(jì)算方法見(jiàn)式(21)。

(21)

其中:xi、yi分別為第i個(gè)文本對(duì)在集合X、Y中的位次,n為數(shù)據(jù)集中的文本對(duì)數(shù)量。

3.3 參數(shù)設(shè)置

3.4 典型句嵌入算法對(duì)比

設(shè)計(jì)語(yǔ)義相似度識(shí)別的對(duì)比實(shí)驗(yàn),比較基于弱語(yǔ)義樣本的對(duì)比學(xué)習(xí)方法WSSCSE與典型句嵌入生成算法之間的性能差異。這些典型句嵌入生成算法包括BERT、基于動(dòng)態(tài)掩碼遮掩策略的BERT優(yōu)化算法(robustly optimized BERT approach,RoBERTa)、基于圖像表征網(wǎng)絡(luò)的句表示算法(contrastive learning for sentence representation,CLEAR)、通過(guò)多種數(shù)據(jù)增強(qiáng)策略組合進(jìn)行樣本構(gòu)建的對(duì)比學(xué)習(xí)框架(contrastive framework for self-supervised sentence representation transfer,ConSERT)。WSSCSE、RoBERTa、ConSERT均是基于BERT的改進(jìn)算法。為驗(yàn)證算法在多參數(shù)大模型上的有效性,每種算法分別基于淺層和深層的BERT進(jìn)行實(shí)驗(yàn),分別用下標(biāo)base和large進(jìn)行區(qū)分。

表2給出了不同方法的語(yǔ)義相似性檢測(cè)對(duì)比結(jié)果,表中數(shù)據(jù)為斯皮爾曼相關(guān)系數(shù)。對(duì)所有數(shù)據(jù)集的斯皮爾曼相關(guān)系數(shù)取平均值,作為相似度識(shí)別性能分?jǐn)?shù)。由表2可以看出:WSSCSE具有最佳的相似性識(shí)別效果,淺層網(wǎng)絡(luò)將平均相似性評(píng)估分?jǐn)?shù)提高至73.48%,深層網(wǎng)絡(luò)將平均相似性評(píng)估分?jǐn)?shù)提高至77.38%;通過(guò)基于弱語(yǔ)義樣本的對(duì)比學(xué)習(xí),淺層和深層的BERT的性能分別提升25.02和25.89個(gè)百分點(diǎn)。由于BERT采用基于字符的MLM遮掩策略,影響了對(duì)完整詞組語(yǔ)義的學(xué)習(xí),使得模型對(duì)詞語(yǔ)級(jí)文本的語(yǔ)義理解能力相對(duì)較弱。WSSCSE通過(guò)基于弱語(yǔ)義樣本的對(duì)比學(xué)習(xí),削弱網(wǎng)絡(luò)對(duì)局部信息的過(guò)多關(guān)注,減少高頻詞對(duì)學(xué)習(xí)的主導(dǎo),進(jìn)一步地對(duì)神經(jīng)網(wǎng)絡(luò)抽取的隱含語(yǔ)義信息進(jìn)行對(duì)比分類(lèi),強(qiáng)化了網(wǎng)絡(luò)對(duì)特征相似性的判別。因此,WSSCSE能夠生成有效的句嵌入,加強(qiáng)語(yǔ)義表達(dá)效果,克服了預(yù)訓(xùn)練模型生成句嵌入的各向同性問(wèn)題。

表2 不同網(wǎng)絡(luò)的相似度識(shí)別性能對(duì)比

為進(jìn)一步比較引入WSSCSE方法后所帶來(lái)的語(yǔ)義識(shí)別效果,使用淺層網(wǎng)絡(luò)在STS-B數(shù)據(jù)集上進(jìn)行文本對(duì)余弦相似度對(duì)比實(shí)驗(yàn)。對(duì)比結(jié)果如圖3所示,可以看出:淺層BERT預(yù)測(cè)的余弦相似度集中在[0.6,1]之間,意味著語(yǔ)義完全不同的文本也具有高相似性;淺層WSSCSE預(yù)測(cè)的余弦相似度分布則相對(duì)均勻。此結(jié)果說(shuō)明WSSCSE能夠有效學(xué)習(xí)文本之間的語(yǔ)義差異,構(gòu)建的句嵌入可以表示更廣泛的語(yǔ)義信息。

圖3 句嵌入相似度散布圖

3.5 數(shù)據(jù)增強(qiáng)策略對(duì)性能的影響分析

設(shè)計(jì)仿真實(shí)驗(yàn),對(duì)比生成器內(nèi)文本數(shù)據(jù)增強(qiáng)策略對(duì)句嵌入語(yǔ)義表達(dá)能力的影響,探究標(biāo)記重復(fù)和MLM的文本增強(qiáng)效果。通過(guò)文本語(yǔ)義相似度識(shí)別任務(wù),比較無(wú)數(shù)據(jù)增強(qiáng)、標(biāo)記重復(fù)、標(biāo)記重復(fù)與MLM結(jié)合3種策略的性能差異。仿真實(shí)驗(yàn)結(jié)果見(jiàn)表3,實(shí)驗(yàn)數(shù)據(jù)為斯皮爾曼相關(guān)系數(shù)取值。由表3可以看出:單一的標(biāo)記重復(fù)造成了模型性能的倒退,標(biāo)記重復(fù)和MLM結(jié)合的數(shù)據(jù)增強(qiáng)策略在各個(gè)數(shù)據(jù)集上均取得較高的相似性評(píng)估分?jǐn)?shù)。仿真結(jié)果表明:標(biāo)記重復(fù)是一種敏感的數(shù)據(jù)增強(qiáng)方式,能顯著改變文本的語(yǔ)義,造成語(yǔ)義偏置;基于詞進(jìn)行遮掩預(yù)測(cè)的MLM減弱了重復(fù)文本的影響,通過(guò)進(jìn)一步學(xué)習(xí)重復(fù)文本的上下文關(guān)聯(lián),提升了模型對(duì)文本整體語(yǔ)義的理解。

表3 文本增強(qiáng)方式的比較

3.6 超參數(shù)對(duì)性能的影響分析

設(shè)計(jì)具有不同影響系數(shù)、最大重復(fù)率的對(duì)比實(shí)驗(yàn),分析不同參數(shù)下模型的性能。使用淺層WSSCSE在STS-B數(shù)據(jù)集上進(jìn)行文本語(yǔ)義相似度實(shí)驗(yàn),仿真實(shí)驗(yàn)結(jié)果見(jiàn)圖4,可以看出:當(dāng)最大重復(fù)率取0.24,影響系數(shù)取0.1時(shí),網(wǎng)絡(luò)具有最佳語(yǔ)義信息抽取能力。最大重復(fù)率影響文本語(yǔ)義的改變程度,影響系數(shù)控制弱語(yǔ)義樣本對(duì)模型學(xué)習(xí)的影響,兩者均反映局部語(yǔ)義對(duì)整體語(yǔ)義表達(dá)的影響,參數(shù)過(guò)大或者過(guò)小均會(huì)造成負(fù)面干擾。

圖4 不同超參數(shù)的性能比較

4 結(jié)論

本文提出一種基于弱語(yǔ)義樣本的對(duì)比學(xué)習(xí)句嵌入構(gòu)建方法,以解決當(dāng)前語(yǔ)言模型生成的句嵌入具有各向同性、不同文本之間語(yǔ)義相似度高的問(wèn)題。以標(biāo)記重復(fù)聯(lián)合MLM構(gòu)建弱語(yǔ)義樣本的方式實(shí)現(xiàn)數(shù)據(jù)增強(qiáng),減少冗余信息干擾;通過(guò)對(duì)比學(xué)習(xí)增強(qiáng)句嵌入的語(yǔ)義甄別能力。實(shí)驗(yàn)結(jié)果表明:該方法能夠有效增強(qiáng)模型的語(yǔ)義理解和表達(dá)能力,減少過(guò)擬合,提高模型的魯棒性。本文使用的語(yǔ)料是英語(yǔ)短文本,未來(lái)將進(jìn)一步研究算法在長(zhǎng)文本和中文語(yǔ)料上的表現(xiàn),進(jìn)一步提高模型的泛用性。