基于三維空間旋轉(zhuǎn)平移的自適應(yīng)知識表示方法

李子茂 湯先毅 尹帆 王燦 姜海

摘 要：現(xiàn)有知識圖譜表示學(xué)習(xí)研究中普遍存在忽視特定關(guān)系的語義空間、難以建模非單射復(fù)雜關(guān)系或多種關(guān)系模式等問題，尤其是在不可交換的組合以及子關(guān)系兩種關(guān)系模式上表現(xiàn)不佳。針對該問題，在對實體自適應(yīng)投影的基礎(chǔ)上，利用羅德里格斯旋轉(zhuǎn)公式將旋轉(zhuǎn)操作從二維空間拓展到三維空間并進(jìn)行平移優(yōu)化，提出一種新的具有強表征能力的模型ATR3DKRL。通過理論推導(dǎo)可以證明該模型能夠建模非單射復(fù)雜關(guān)系以及多種關(guān)系模式。在多個通用數(shù)據(jù)集上的實驗結(jié)果表明，該模型可以有效提高鏈接預(yù)測精度，在數(shù)據(jù)集DB100K與FB15K-237中四個指標(biāo)上領(lǐng)先現(xiàn)有基線模型，其中在DB100K上評價指標(biāo)MRR和H@1相較于基線模型RotatE分別大幅提高了3.3%以及6.5%。

關(guān)鍵詞：知識圖譜； 表示學(xué)習(xí)； 自適應(yīng)投影； 旋轉(zhuǎn)平移

中圖分類號：TP391.1?? 文獻(xiàn)標(biāo)志碼：A?? 文章編號：1001-3695（2024）01-009-0059-06

doi：10.19734/j.issn.1001-3695.2023.05.0282

Adaptive knowledge representation method based on rotation and translation in 3D space

Abstract：The existing knowledge graph representation learning studies generally suffer from the problems of neglecting the semantic space of specific relations， or difficulty in modeling non-injective complex relations， or difficulty in modeling multiple relation patterns， especially poor performance on two relation patterns of non-commutative combinations as well as sub-relations. To address this problem， based on the adaptive projection of entities， this paper proposed a new model with strong representation ability， called ATR3DKRL. By extending the rotation operation from 2D to 3D using the Rodrigues rotation formula with translation optimization， it could be demonstrated through theoretical derivation that the model could model non-injective complex relationships and multiple relation patterns. The experimental results on several generic datasets show that the model can effectively improve link prediction accuracy， leading existing baseline models in four metrics in dataset DB100K and FB15K-237. Comparing to the baseline model RotatE on the evaluation indicators MRR and H@1 in DB100K， it can significantly increase by 3.3% and 6.5%.

Key words：knowledge graph; representation learning; adaptive projection; rotation and translation

0 引言

知識圖譜常用三元組（h，r，t）表示，h、r、t分別代表頭實體、關(guān)系和尾實體，其中存在大量缺失的信息，而知識表示學(xué)習(xí)，也稱知識圖譜嵌入，通過將實體和關(guān)系嵌入到低維向量空間，進(jìn)而預(yù)測知識圖譜缺失的事實三元組，達(dá)到知識圖譜補全的目的。現(xiàn)有成功構(gòu)建的大型知識圖譜，如Freebase［1］、DBpedia［2］、YAGO［3］等已被廣泛應(yīng)用于推薦系統(tǒng)［4］、智能搜索［5］、知識庫問答［6］以及自然語言處理［7］等下游任務(wù)領(lǐng)域。現(xiàn)有知識表示學(xué)習(xí)主要存在以下難點：難以自適應(yīng)地有效建模一對多、多對一、多對多的非單射復(fù)雜關(guān)系［8］；難以有效建模不可交換組合［9］以及子關(guān)系［10］兩種關(guān)系模式，進(jìn)而同時滿足對稱、反對稱、自反、可交換組合、不可交換組合以及子關(guān)系六種關(guān)系模式［9～11］。假設(shè)存在人物關(guān)系知識圖譜如圖1所示，在預(yù)測張壹男母親是誰時，僅與圖中右側(cè)描述的親屬關(guān)系有聯(lián)系，與圖中左側(cè)描述的職業(yè)關(guān)系無關(guān)；在導(dǎo)演關(guān)系中，張藝謀與電影《十面埋伏》以及《英雄》就是非單射復(fù)雜關(guān)系中一對多的情況；張藝謀父親的妻子與妻子的父親分別指代張孝友與陳繼宗，因此“父親”與“妻子”屬于不可交換的組合關(guān)系；張藝謀既是張壹男的父親也是張壹男的長輩，長輩關(guān)系稱為父親關(guān)系的子關(guān)系。

在知識表示學(xué)習(xí)中，研究者們主要考慮對復(fù)雜關(guān)系的建模，現(xiàn)有研究如RotatE［11］，在對稱、反對稱、自反以及可交換組合關(guān)系中取得良好成效，但受限于向量Hadamard乘積的特性，在關(guān)系模式中很難區(qū)分不可交換組合關(guān)系以及子關(guān)系，同時忽略了對非單射復(fù)雜關(guān)系的建模。部份考慮到非單射復(fù)雜關(guān)系的模型，如TransH［12］，卻又只能建模對稱和反對稱兩種關(guān)系模式。

本文考慮到實體在不同關(guān)系下的語義，以及對非單射復(fù)雜關(guān)系和六種關(guān)系模式的建模，將實體進(jìn)行自適應(yīng)投影，并把RotatE模型中的二維旋轉(zhuǎn)通過羅德里格斯旋轉(zhuǎn)公式［13］拓展到三維，結(jié)合平移思想提出了一種新的模型ATR3DKRL。在FB15K［8］、FB15K-237［14］以及DB100K［15］三個數(shù)據(jù)集中進(jìn)行實驗，并驗證了本文模型尤其是在組合關(guān)系以及子關(guān)系的有效性。

1 相關(guān)工作

目前，知識表示學(xué)習(xí)的方法主要分為基于語義匹配的模型和基于翻譯的模型兩類。

1.1 語義匹配模型

RESCAL模型［16］用向量表示實體，用矩陣表示關(guān)系，以此模擬各個要素之間成對的相互影響，但是產(chǎn)生了大量的參數(shù)導(dǎo)致模型難以訓(xùn)練。DistMult模型［17］通過限制關(guān)系矩陣為對角矩陣，極大地減少了RESCAL模型中的參數(shù)，但是過于簡化了關(guān)系矩陣，導(dǎo)致僅適用于模擬對稱關(guān)系問題，大多情況下表示能力反而不如RESCAL模型。ComplEx［18］首次引入復(fù)數(shù)向量空間，通過將關(guān)系和實體嵌入到復(fù)數(shù)向量空間來改進(jìn)DistMult，滿足對稱、反對稱以及自反三種關(guān)系模式。HolE模型［19］對頭尾實體的維度循環(huán)操作，再聯(lián)合關(guān)系進(jìn)行語義匹配計算得分，兼具了RESCAL模型和DistMult模型兩者的優(yōu)勢。Anology模型［20］則將關(guān)系矩陣解釋為實體的線性變換，利用矩陣的交換性約束建模類似平行四邊形的類比推理屬性。上述語義匹配模型均難以建模非單射復(fù)雜關(guān)系，以及子關(guān)系、可交換組合與不可交換組合關(guān)系兩種關(guān)系模式。ComplEx-NNE+AER［15］則在ComplEx的基礎(chǔ)上添加了子關(guān)系約束，僅能夠使其額外建模出子關(guān)系。CrossE［21］通過交互矩陣讓實體能夠根據(jù)特定關(guān)系自適應(yīng)表示，但是難以建模非單射復(fù)雜關(guān)系以及對稱、子關(guān)系兩種關(guān)系模式。SEEK［22］綜合考慮了模型的復(fù)雜性以及表達(dá)性，使用分段的方式提出了一種輕量化模型，增強了對稱與反對稱關(guān)系模式的建模，并且統(tǒng)一了DistMult與ComplEx作為該模型的特殊情況，但忽視了非單射復(fù)雜關(guān)系以及不可交換的組合關(guān)系。

1.2 基于翻譯的模型

基于翻譯的模型具有更強的可解釋性，更適合建模復(fù)雜的關(guān)系，是當(dāng)前研究的熱點。TransE模型［8］受到word2vec［23］的啟發(fā)，將關(guān)系看作頭實體與尾實體之間的距離，模型效果雖然不錯，但是過于簡單，且無法建模非單射的復(fù)雜關(guān)系。TransH模型和TransR模型［24］為了能夠建模非單射的復(fù)雜關(guān)系，分別將實體映射到關(guān)系的超平面中以及通過矩陣變換將實體嵌入到關(guān)系的特定向量空間中去，但是TransH與TransR只能夠滿足對稱與反對稱兩種關(guān)系模式。TransD模型［25］優(yōu)化了TransR，將映射矩陣拆分為頭尾兩個部分，且將映射矩陣簡化為向量，減少了計算量，但是實體和關(guān)系都需要兩個向量來表示，相較于TransH增大了參數(shù)量。TransA模型［26］增加了一個非負(fù)的權(quán)重矩陣為每一維學(xué)習(xí)不同的權(quán)重，從而達(dá)到實體自適應(yīng)的目的，但是無法建模非單射復(fù)雜關(guān)系以及多種關(guān)系模式。TransAD模型［27］則結(jié)合了TransD與TransA的優(yōu)勢，卻同樣無法建模多種關(guān)系模式。

RotatE模型［11］與Trans系列的平移思想不同，受到歐拉公式的啟發(fā)將實體與關(guān)系嵌入到復(fù)數(shù)空間，把關(guān)系解釋為頭實體與尾實體之間的旋轉(zhuǎn)操作，滿足了對稱、反對稱、自反、可交換組合四種關(guān)系模式，但是二維空間的旋轉(zhuǎn)缺乏對不可交換組合、子關(guān)系以及非單射復(fù)雜關(guān)系的建模能力。Rotate3D［9］將二維空間拓展到三維空間，利用四元數(shù)將關(guān)系解釋為三維空間中頭實體與尾實體之間的旋轉(zhuǎn)操作，增加了對不可交換組合的關(guān)系模式的建模能力，但缺乏對非單射復(fù)雜關(guān)系的建模能力。RotatCT［28］同樣對RotatE進(jìn)行了改進(jìn)，將旋轉(zhuǎn)操作拓展為旋轉(zhuǎn)與平移，增強了模型對不可交換組合的關(guān)系模式的建模能力，但也存在與Rotate3D同樣的問題。RotatH［29］引入超平面，將RotatE與TransH結(jié)合，解決了非單射復(fù)雜關(guān)系的建模問題，但依然缺乏對不可交換組合以及子關(guān)系兩種關(guān)系模式的建模能力。HRotat［30］使用逆反嵌入的方式結(jié)合了RotatE以及SimplE［31］，提升了RotatE模型對自反關(guān)系的建模能力，但并沒有帶來其他提升。

當(dāng)前主流模型的建模能力如表1所示，無論是語義匹配模型還是翻譯模型，均不能很好地同時建模出非單射復(fù)雜關(guān)系以及六種關(guān)系模式。

2 關(guān)系模式定義

本文使用E表示實體的集合，R表示關(guān)系的集合，令S表示所有真實三元組的集合，S-表示所有負(fù)樣本三元組的集合。知識圖譜中主要存在對稱、反對稱、自反、可交換的組合關(guān)系、不可交換的組合關(guān)系以及子關(guān)系六種關(guān)系模式，定義如下：

定義1 關(guān)系r是對稱關(guān)系，如果：

x，y∈E，（x，r，y）∈S（y，r，x）∈S

定義2 關(guān)系r是反對稱關(guān)系，如果：

x，y∈E，（x，r，y）∈S（y，r，x）∈S-

定義3 關(guān)系r1和r2是自反關(guān)系，如果：

x，y∈E，（x，r1，y）∈S（y，r2，x）∈S

定義4 關(guān)系r3是由r1和r2構(gòu)成的組合關(guān)系，則如果：

x，y，z∈E，（x，r1，y）∈S∧（y，r2，z）∈S（x，r3，z）∈S

定義4.1 當(dāng)r1和r2是可交換的，如果：

x，y∈E，（x，r1r2，y）∈S（x，r2r1，y）∈S

定義4.2 當(dāng)r1和r2是不可交換的，如果：

x，y∈E，（x，r1r2，y）∈S（x，r2r1，y）∈S-

定義5 關(guān)系r2為r1的子關(guān)系，如果：

x，y∈E，（x，r1，y）∈S（x，r2，y）∈S

3 ATR3DKRL模型設(shè)計

本文ATR3DKRL模型通過實體的自適應(yīng)投影與實體的三維空間旋轉(zhuǎn)平移兩個步驟解決上述難點。

3.1 實體的自適應(yīng)投影

本文采用圖2所示的方式進(jìn)行實體向量的投影，由于實體通過由關(guān)系決定的超平面進(jìn)行投影，使得實體擁有根據(jù)不同關(guān)系下的語義空間進(jìn)行自適應(yīng)表示的能力；同時不同實體也能夠投影成相同的向量，解決了非單射復(fù)雜關(guān)系的建模問題。

投影后的頭尾實體可表示為

hA=h－nTrhn（1）

tA=t－nTrtn（2）

其中：nr，hA，tA∈RAp3d。nr由關(guān)系決定，是關(guān)系的超平面法向量;hA和tA則分別代表投影后的頭尾實體;超平面法向量nr的模長對實體投影沒有影響，所以限制‖nr‖=1，使其成為該方向上的單位向量。

3.2 實體的三維空間旋轉(zhuǎn)平移

二維空間的旋轉(zhuǎn)模型RotatE僅考慮了四種關(guān)系模式就已經(jīng)取得不錯的成績，說明了在翻譯模型中旋轉(zhuǎn)的有效性。但是二維空間的旋轉(zhuǎn)無法區(qū)分旋轉(zhuǎn)的先后順序，所以不能建模出不可交換的組合關(guān)系，同時在頭尾實體固定的情況下，旋轉(zhuǎn)角度也被固定，所以也無法建模子關(guān)系。為了額外建模出不可交換組合以及子關(guān)系兩種關(guān)系模式，本文借助羅德里格斯旋轉(zhuǎn)公式［12］將旋轉(zhuǎn)拓展到三維空間，提出了三維空間中的旋轉(zhuǎn)平移模型，將每個關(guān)系定義為從頭部實體h到尾部實體t的旋轉(zhuǎn)與平移。對于每一個關(guān)系r都有一個旋轉(zhuǎn)軸wr，一個旋轉(zhuǎn)角度θ以及一個平移向量dr。由于并不關(guān)心旋轉(zhuǎn)軸wr的模長，所以為了使關(guān)系r與頭尾實體維度保持一致，將wr的模長定義為θ。旋轉(zhuǎn)和平移的過程如圖3所示。

根據(jù)羅德里格斯旋轉(zhuǎn)公式，假設(shè)wr=（wrx，wry，wrz）T，其中wrx、wry、wrz分別表示在三維空間中的三個分量，則旋轉(zhuǎn)后的頭向量hR定義為

hR=RhA（3）

其中：R∈SO（3），代表旋轉(zhuǎn)矩陣，屬于特殊正交群，可表示為

式（3）表明旋轉(zhuǎn)操作可以看作投影后的頭實體hA經(jīng)過由關(guān)系r所決定的旋轉(zhuǎn)矩陣R作空間變換，可以得到旋轉(zhuǎn)后的頭實體hR，而旋轉(zhuǎn)矩陣R由旋轉(zhuǎn)軸wr以及旋轉(zhuǎn)角度θ所決定。一次三維空間的旋轉(zhuǎn)操作可以解釋為頭實體hA繞旋轉(zhuǎn)軸wr旋轉(zhuǎn)θ度得到旋轉(zhuǎn)后的頭實體hR。

單一的旋轉(zhuǎn)操作不會影響實體的模長，表征空間限制在球面上，適當(dāng)增加平移操作能夠起到縮放模長的效果，使得表征空間拓展成實心球體。旋轉(zhuǎn)以及平移得到的頭實體hT定義為

hT=hR+λdr=RhA+λdr（6）

其中：λ為超參數(shù)表示平移的影響因子;dr∈RAp3d表示平移向量。將式（6）進(jìn)一步化簡，引入齊次坐標(biāo)變換，得到：

其中：T∈SE（3），屬于特殊歐氏群，表示變換矩陣，即旋轉(zhuǎn)平移矩陣。對于一個三元組（h，r，t），可以定義一個基于距離的得分函數(shù)，如式（8）所示。

3.3 關(guān)系模式證明

本文ATR3DKRL模型能夠建模出對稱、反對稱、自反、可交換組合、不可交換組合、子關(guān)系六種關(guān)系模式。圖4～8中的頭尾實體用紅色表示，旋轉(zhuǎn)軸用紫色表示，平移向量用藍(lán)色表示，旋轉(zhuǎn)后的向量用綠色表示（見電子版）。

定理1 ATR3DKRL模型能夠建模對稱、反對稱、自反、可交換組合關(guān)系、不可交換組合關(guān)系以及子關(guān)系六種關(guān)系模式。

證明如下：

1）r為對稱關(guān)系時

如果（e1，r，e2）∈S，并且（e2，r，e1）∈S，則

T［eT11］T=［eT21］T∧T［eT21］T=［eT11］T

TT［eT11］T=［eT11］TTT=E

如圖4所示，頭實體e1與尾實體e2均能繞旋轉(zhuǎn)軸旋轉(zhuǎn)180°以后加上相同的平移分量得到對方。因此，當(dāng)旋轉(zhuǎn)角度滿足θ=π，平移向量dr在由旋轉(zhuǎn)軸wr為法向量的平面上時，變換矩陣T滿足TT=E。

2）r為反對稱關(guān)系時

如果（e1，r，e2）∈S，并且 （e2，r，e1）∈S－，則

T［eT11］T=［eT21］T∧T［eT21］T≠［eT11］T

TT［eT11］T≠［eT11］TTT≠E

從圖4可以看出，只要旋轉(zhuǎn)角度θ≠π或者平移向量dr不在由旋轉(zhuǎn)軸wr為法向量的平面上時，變換矩陣T滿足TT≠E。

3）r1與r2為自反關(guān)系時

如果（e1，r1，e2）∈S，并且（e2，r1，e1）∈S，則

T1［eT11］T=［eT21］T∧T2［eT21］T=［eT11］T

T1T2［eT21］T=［eT21］TT1T2=E

如圖5所示，關(guān)系r1確定旋轉(zhuǎn)軸wr1、旋轉(zhuǎn)角度θ1與平移向量dr1；關(guān)系r2確定旋轉(zhuǎn)軸wr2、旋轉(zhuǎn)角度θ2與平移向量dr2。頭實體e1先繞旋轉(zhuǎn)軸wr1旋轉(zhuǎn)θ1度，然后加上平移向量dr1到達(dá)尾實體e2，尾實體e2則可以繞旋轉(zhuǎn)軸wr2旋轉(zhuǎn)θ2度，然后加上平移向量dr2回到頭實體e1。這樣的兩組由關(guān)系r1和r2決定的旋轉(zhuǎn)軸，旋轉(zhuǎn)角以及平移向量使得等式T1T2=E成立，從而使得r1與r2滿足自反關(guān)系。

4）r3為r1與r2的組合關(guān)系時

如果（e1，r1，e2）∈S，（e2，r2，e3）∈S，并且（e1，r3，e3）∈S，則

T1［eT11］T=［eT21］T

T2［eT21］T=［eT31］T∧T3［eT11］T=［eT31］TT1T2［eT11］T=［eT31］T∧T3［eT11］T=［eT31］TT1T2=T3

a）當(dāng)r3為r1與r2的可交換組合關(guān)系時：

T1T2=T2T1

b）當(dāng)r3為r1與r2的不可交換組合關(guān)系時：

T1T2≠T2T1

由于變化過程被分解為旋轉(zhuǎn)與平移兩個部分，而平移部份的平移向量在計算過程中做加法運算，加法運算滿足交換律，因此平移部份的先后順序在任何情況下都是可交換的，可以得出結(jié)論只有旋轉(zhuǎn)部份影響組合關(guān)系是否可交換。

如圖6所示，實體e1先繞旋轉(zhuǎn)軸wr旋轉(zhuǎn)θ1度得到實體e2，再繞同一個旋轉(zhuǎn)軸wr旋轉(zhuǎn)θ2度得到實體e3，等價于實體e1繞旋轉(zhuǎn)軸wr旋轉(zhuǎn)θ1+θ2度得到實體e3，由于兩次旋轉(zhuǎn)的旋轉(zhuǎn)軸wr相同，兩次旋轉(zhuǎn)均在同一個平面上，此時三維空間的旋轉(zhuǎn)退化為二維空間的旋轉(zhuǎn)，所以旋轉(zhuǎn)的先后順序無關(guān)，最終均等于θ1+θ2度，滿足可交換組合關(guān)系，而兩次旋轉(zhuǎn)操作的旋轉(zhuǎn)軸不同時，則無法保證組合的可交換性。故而得出結(jié)論，當(dāng)關(guān)系r1與r2的旋轉(zhuǎn)軸wr相同時，變換矩陣滿足T1T2=T2T1，此時為可交換組合關(guān)系；當(dāng)關(guān)系r1與r2的旋轉(zhuǎn)軸wr不同時，變換矩陣滿足T1T2≠T2T1，此時為不可交換組合關(guān)系。

5）r2為r1的子關(guān)系

如果（e1，r1，e2）∈S，能得到（e1，r2，e2）∈S，則

T1［eT11］T=［eT21］TT2［eT11］T=［eT21］T

T1［eT11］T=T2［eT11］T

當(dāng)把變換操作看作旋轉(zhuǎn)和平移兩個單獨操作時，假設(shè)不同關(guān)系中的平移向量dr相同，如圖7所示，存在一個過原點的平面均等分割頭尾實體，在此平面中從原點出發(fā)的任意向量均可作為旋轉(zhuǎn)軸wr，因此存在多組不同的旋轉(zhuǎn)軸wr與旋轉(zhuǎn)角θ使得變換矩陣T滿足條件。

當(dāng)把變換操作看作整體時，則如圖8所示，頭實體e1繞旋轉(zhuǎn)軸wr1旋轉(zhuǎn)θ1度再加上平移向量dr1得到尾實體e2。同時也存在無數(shù)個由不相同的關(guān)系ri所決定的旋轉(zhuǎn)軸、旋轉(zhuǎn)角度以及平移向量，使得頭實體e1仍然能夠變換到尾實體e2，其中平移向量dr起到調(diào)節(jié)旋轉(zhuǎn)操作的作用。因此這類情況下也存在多組不同的旋轉(zhuǎn)軸wr、旋轉(zhuǎn)角θ以及平移向量dr使得變換矩陣T滿足條件。

3.4 損失函數(shù)

在知識圖譜的數(shù)據(jù)及樣本中，往往只有正例樣本，在構(gòu)建負(fù)樣本時，本文按照RotatE提出的自對抗采樣方式，對生成的負(fù)樣本附加一個權(quán)重，模型的損失函數(shù)為

其中：γ是一個超參數(shù)表示固定的間隔;σ表示sigmoid函數(shù)；（h′i，r，t′i）是第i個負(fù)樣本；m是負(fù)樣本的數(shù)目；μ是正則化系數(shù)；Reg表示正則化項，表示為

其中：α≥0為采樣的溫度。當(dāng)α=0時就是均勻采樣；當(dāng)α>0時，越具有訓(xùn)練價值的負(fù)樣本生成的概率越高。

3.5 模型算法設(shè)計

ATR3DKRL的訓(xùn)練算法見算法1。

算法1 ATR3DKRL的訓(xùn)練算法

輸入：訓(xùn)練集S={（h，r，t）};知識圖譜實體集E和關(guān)系集R;嵌入維度d;學(xué)習(xí)率η;平移系數(shù)λ;固定間隔γ;自對抗采樣溫度α;批次大小b;負(fù)樣本的數(shù)目m;模型訓(xùn)練的輪數(shù)max_step;正則化系數(shù)μ。

輸出：實體集E與關(guān)系集R的向量表示。

初始化實體集E和關(guān)系集R。

for step≤max_step：

采樣大小為b的一批正樣本Sbatch

for （h，r，t）∈Sbatch do

隨機替換頭實體或尾實體，構(gòu)造m個負(fù)樣本

end

根據(jù)式（8）計算正樣本和負(fù)樣本的得分

根據(jù)式（9）計算損失函數(shù)的值

通過Adam優(yōu)化器更新實體集E和關(guān)系集R

end

輸入為實體集合E、關(guān)系集合R、訓(xùn)練樣本S={（h，r，t）}以及訓(xùn)練時的超參數(shù)。其中實體集合E表示實體向量的集合，由頭實體h和尾實體t構(gòu)成，進(jìn)行隨機初始化，關(guān)系集合R中每個關(guān)系由超平面法向量nr、旋轉(zhuǎn)軸wr、旋轉(zhuǎn)角度θ以及平移向量dr構(gòu)成，初始值分別進(jìn)行隨機初始化。在每一輪的訓(xùn)練中，模型按照上述損失函數(shù)公式計算出結(jié)果，然后采用Adam優(yōu)化器梯度下降反向傳播更新實體集合E與關(guān)系集合R。

4 實驗與分析

4.1 實驗數(shù)據(jù)集

本文使用數(shù)據(jù)集的統(tǒng)計結(jié)果見表2所示。數(shù)據(jù)集主要有FB15K［8］、FB15K-237［14］和DB100K［15］三個。FB15K是知識圖譜Freebase的子集，數(shù)據(jù)集中的關(guān)系模式主要是對稱、反對稱以及自反。FB15K-237是FB15K的子集，刪除了其中的自反關(guān)系，只保留了237種關(guān)系，數(shù)據(jù)集中關(guān)系模式多為對稱、反對稱以及組合。DB100K是從DBpedia中構(gòu)建的，主要關(guān)系模式為組合、自反以及子關(guān)系。本實驗通過數(shù)據(jù)集FB15K來驗證模型建模非單射復(fù)雜關(guān)系的有效性；通過數(shù)據(jù)集FB15K-237來驗證在不可交換的組合關(guān)系下模型具有良好的效果；通過數(shù)據(jù)集DB100K來驗證模型能夠有效建模子關(guān)系。

4.2 實驗結(jié)果分析

實驗代碼在RotatE提供的框架基礎(chǔ)上進(jìn)行，因此在數(shù)據(jù)集FB15K和FB15K-237上所選參數(shù)為RotatE文獻(xiàn)中所提供的最佳參數(shù)，與基線模型保持一致，而在數(shù)據(jù)集DB100K上由于RotatE沒有進(jìn)行實驗，所以所選參數(shù)參考了前兩個數(shù)據(jù)集的最佳參數(shù)，并通過實驗確定最終參數(shù)選擇，且復(fù)現(xiàn)的RotatE結(jié)果選取同樣的參數(shù)。

本文在DB100K數(shù)據(jù)集上將嵌入維度設(shè)置為d=1 000，邊距γ=14.0，批次大小b=512，負(fù)樣本批次大小m=256，采樣溫度α=0.5，平移系數(shù)λ=0.1，最大訓(xùn)練次數(shù)max_step=150 000，學(xué)習(xí)率η=0.000 05。實驗結(jié)果如表3所示，RotatE結(jié)果為本文復(fù)現(xiàn)結(jié)果，其余對比模型結(jié)果取自SEEK［23］。

由于數(shù)據(jù)集DB100K數(shù)據(jù)量龐大，且有大量的子關(guān)系存在，更加適合復(fù)雜模型的訓(xùn)練，所以本文模型ATR3DKRL在MRR、H@1、H@3、H@10四個指標(biāo)中表現(xiàn)最佳，且具有明顯優(yōu)勢。表中RotatE的結(jié)果為本文復(fù)現(xiàn)的結(jié)果。相較RotatE，本文模型的優(yōu)勢在于能夠?qū)ψ雨P(guān)系進(jìn)行有效建模，因此在MRR、H@1、H@3、H@10中分別提升3.3%、6.5%、0.7%以及0.6%。而同樣能建模子關(guān)系的SEEK由于不能對不可交換的組合關(guān)系建模，導(dǎo)致在各項指標(biāo)中也遠(yuǎn)遠(yuǎn)落后本文模型。

本文在FB15k-237數(shù)據(jù)集上將嵌入維度設(shè)置為d=1 000，邊距γ=12.0，批次大小b=512，負(fù)樣本批次大小m=256，采樣溫度α=1.0，平移系數(shù)λ=0.1，最大訓(xùn)練次數(shù)max_step=150 000，學(xué)習(xí)率η=0.000 05。實驗結(jié)果如表4所示，其余對比實驗結(jié)果均取自對應(yīng)文獻(xiàn)。

在消除了自反關(guān)系以后的子集FB15K-237中，包含可交換與不可交換兩類的組合關(guān)系占比增大，使得能夠同時建模出這兩種關(guān)系模式的模型更具優(yōu)勢。本文模型在四個指標(biāo)上均取得了最優(yōu)結(jié)果，相較于基線模型RotatE，在MR中提升了11名，在MRR、H@1、H@3、H@10中分別提升了1.3%、1.2%、1.4%以及1.6%。反映出RotatE缺乏對不可交換組合關(guān)系的建模，同時也驗證了本文模型在此關(guān)系模式上建模的有效性。

本文在FB15K數(shù)據(jù)集上將嵌入維度設(shè)置為d=1 000，邊距γ=12.0，批次大小b=512，負(fù)樣本批次大小m=256，采樣溫度α=0.5，平移系數(shù)λ=0.1，最大訓(xùn)練次數(shù)max_step=150 000，學(xué)習(xí)率η=0.00 005。實驗結(jié)果如表5所示，其余結(jié)果均取自對應(yīng)文獻(xiàn)。

本文模型在FB15K上表現(xiàn)良好，在H@3以及H@10兩個指標(biāo)上取得最優(yōu)，相較于基線模型RotatE分別提升了0.4%以及1%，但是在MRR以及H@1上均有降低，尤其是在H@1上，可能是由于FB15K中有大量簡單學(xué)習(xí)的自反關(guān)系，相比于RotatE，本文模型表征能力更強，但不易學(xué)習(xí)到最優(yōu)的結(jié)果，在處理簡單關(guān)系時選擇唯一正確結(jié)果的能力不如簡單模型。

為了驗證模型對非單射復(fù)雜關(guān)系的建模能力，本文在FB15K數(shù)據(jù)集中對復(fù)雜關(guān)系分別進(jìn)行實驗，以H@10作為評價指標(biāo)，結(jié)果如表6所示，其余結(jié)果取自RotatE。

在處理復(fù)雜非單射復(fù)雜關(guān)系中，本文模型在處理N-1以及N-N關(guān)系時表現(xiàn)最佳，同時也在所有非單射復(fù)雜關(guān)系中領(lǐng)先基線模型RotatE，在一對一、一對多、多對一、多對多四個方面分別提升了9.4%、0.6%、5.2%、0.4%，驗證了本文模型處理非單射復(fù)雜關(guān)系的能力。

5 結(jié)束語

本文提出了ATR3DKRL模型，利用關(guān)系超平面進(jìn)行投影，并借助羅德里格斯旋轉(zhuǎn)公式將旋轉(zhuǎn)操作由二維空間引拓展到三維空間，同時引入平移操作，使模型擁有對非單射復(fù)雜關(guān)系以及六種關(guān)系模式的建模能力。本文從理論以及實驗中相互印證了模型的有效性，尤其是在不可交換組合以及子關(guān)系居多的數(shù)據(jù)集中表現(xiàn)良好。但是，本文模型同樣存在模型復(fù)雜度高的局限性，在關(guān)系簡單、數(shù)據(jù)量不充分的數(shù)據(jù)集中難以取得突出的效果，例如在關(guān)系簡單的FB15K中僅取得兩個指標(biāo)的領(lǐng)先，且領(lǐng)先幅度很小，模型訓(xùn)練時間也較長。未來，可以考慮對模型參數(shù)就行優(yōu)化，也可以進(jìn)一步把研究拓展到時序知識圖譜中去，同時還可以考慮融合一些輔助信息，如文本描述、圖片、關(guān)系路徑、關(guān)系類型等。

參考文獻(xiàn)：

[1]Bollacker K. Freebase：a collaboratively created graph database for structuring human knowledge［C］//Proc of ACM SIGMOD International Conference on Management of Data.New York：ACM Press，2008：1247-1250.

［2]Bizer C， Lehmann J， Kobilarov G， et al. DBpedia—a crystallization point for the web of data［J］.Web Semantics Science Services & Agents on the World Wide Web，2009，7（3）：154-165.

［3]Suchanek F M， Kasneci G， Weikum G. YAGO：a core of semantic knowledge［C］//Proc of the 16th International Conference on World Wide Web.New York：ACM Press，2007：697-706.

［4]Ma Weizhi， Zhang Ming， Cao Yue， et al. Jointly learning explainable rules for recommendation with knowledge graph［C］//Proc of the World Wide Web Conference.New York：ACM Press，2019：1210-1221.

［5]Xiong Chenyan， Power R， Callan J. Explicit semantic ranking for academic search via knowledge graph embedding［C］//Proc of the 26th International Conference on World Wide Web.New York：ACM Press，2017：1271-1279.

［6]Hao Yanchao， Zhang Yuanzhe， Kang Liu， et al. An end-to-end model for question answering over knowledge base with cross-attention combining global knowledge［C］//Proc of the 55th Annual Meeting of the Association for Computational Linguistics.Stroudsburg，PA：Association for Computational Linguistics，2017：221-231.

［7]Yang Bishan， Mitchell T. Leveraging knowledge bases in LSTMs for improving machine reading［C］//Proc of the 55th Annual Meeting of the Association for Computational Linguistics. Stroudsburg，PA：Association for Computational Linguistics， 2017：1436-1446.

［8]Bordes A， Usunier N， Garcia-Durán A， et al. Translating embeddings for modeling multi-relational data［C］//Proc of the 26th International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2013：2787-2795.

［9]Gao Chang， Sun Chengjie， Shan Lili， et al. Rotate3D： representing relations as rotations in three-dimensional space for knowledge graph embedding［C］//Proc of the 29th ACM International Conference on Information & Knowledge Management.New York：ACM Press，2020：385-394.

［10]Qu Meng， Tang Jian. Probabilistic logic neural networks for reasoning［C］//Proc of the 33rd International Conference on Neural Information Processing Systems.New York：ACM Press，2019：7712-7722.

［11]Sun Zhiqing， Deng Z H， Nie J Y， et al. Rotate：knowledge graph embedding by relational rotation in complex space［EB/OL］.（2019-02-26）.https：//arxiv.org/abs/1902.10197.

［12]Wang Zhen， Zhang Jianwen， Feng Jianlin， et al. Knowledge graph embedding by translating on hyperplanes［C］//Proc of the 28th AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2014，28：1112-1119.

［13]Rodrigues O. Des lois géométriques qui régissent les déplacements dun système solide dans lespace， et de la variation des coordonnées provenant de ses déplacements consideéerés indépendamment des causes qui peuvent les produire［J］.Journal des Mathématiques Pures et Appliquées，1840，5（1）：380-440.

［14]Toutanova K， Chen Danqi. Observed versus latent features for know-ledge base and text inference［C］//Proc of the 3rd Workshop on Continuous Vector Space Models and Their Compositionality.Stroudsburg，PA：Association for Computational Linguistics，2015：57-66.

［15]Ding Boyang， Wang Quan， Wang Bin， et al. Improving knowledge graph embedding using simple constraints［EB/OL］.（2018-05-08）.https：//arxiv.org/abs/1805.02408.

［16]Nickel M， Tresp V， Kriegel H P. A three-way model for collective learning on multi-relational data［C］//Proc of the 28th International Conference on International Conference on Machine Learning.Madison，WI：Omnipress，2011：809-816.

［17]Yang Bishan， Yih W T， He Xiaodong， et al. Embedding entities and relations for learning and inference in knowledge bases［EB/OL］.（2014-12-20）.https：//arxiv.org/abs/1412.6575.

［18]Trouillon T， Welbl J， Riedel S， et al. Complex embeddings for simple link prediction［C］//Proc of the 33rd International Conference on International Conference on Machine Learning.［S.l.］：JMLR.org，2016：2071-2080.

［19]Nickel M， Rosasco L， Poggio T. Holographic embeddings of know-ledge graphs［C］//Proc of AAAI Conference on Artificial Intel-ligence.Palo Alto，CA：AAAI Press，2016：1955-1961.

［20]Liu Hanxiao， Wu Yuexin， Yang Yiming. Analogical inference for multi-relational embeddings［C］//Proc of the 34th International Conference on Machine Learning.［S.l.］：JMLR.org，2017：2168-2178.

［21]Zhang Wen， Paudel B， Zhang Wei， et al. Interaction embeddings for prediction and explanation in knowledge graphs［C］//Proc of the 20th ACM International Conference on Web Search and Data Mining.New York：ACM Press，2019：96-104.

［22]Xu Wentao， Zheng Shun， He Liang， et al. SEEK： segmented embedding of knowledge graphs［EB/OL］.（2020-06-23）.https：//arxiv.org/abs/2005.00856.

［23]Mikolov T， Chen Kai， Corrado G， et al. Efficient estimation of word representations in vector space［EB/OL］.（2013-09-07）.https：//arxiv.org/abs/1301.3781.

［24]Lin Yankai， Liu Zhiyuan， Sun Maosong， et al. Learning entity and relation embeddings for knowledge graph completion［C］//Proc of AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2015：2181-2187.

［25]Ji Guoliang， He Shizhu， Xu Liheng， et al. Knowledge graph embedding via dynamic mapping matrix［C］//Proc of the 53rd Annual Mee-ting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2015：687-696.

［26]Xiao Han， Huang Minlie， Hao Yu， et al. TransA：an adaptive app-roach for knowledge graph embedding［EB/OL］.（2015-09-28）.https：//arxiv.org/abs/1509.05490.

［27]孟小艷，蔣同海，周喜，等.一種改進(jìn)的自適應(yīng)知識圖譜嵌入式表示方法［J］.計算機應(yīng)用研究，2021，38（1）：39-43.（Meng Xiao-yan， Jiang Tonghai， Zhou Xi， et al. Improved adaptive embedding method for knowledge graph representation［J］.Application Research of Computers，2021，38（1）：39-43.）

［28]Dong Yao， Wang Lei， Xiang Ji， et al. RotateCT： knowledge graph embedding by rotation and coordinate transformation in complex space［C］//Proc of the 29th International Conference on Computational Linguistics.New York：International Committee on Computational Linguistics，2022：4918-4932.

［29]Wei Yuyang， Chen Wei， Li Zhixu， et al. Incremental update of knowledge graph embedding by rotating on hyperplanes［C］//Proc of IEEE International Conference on Web Services.Piscataway，NJ：IEEE Press，2021：516-524.

［30]Shah A， Molokwu B， Kobti Z. Hrotate： hybrid relational rotation embedding for knowledge graph［C］//Proc of International Joint Confe-rence on Neural Networks.Piscataway，NJ：IEEE Press，2021：1-8.

［31]Kazemi S M， Poole D. Simple embedding for link prediction in knowledge graphs［C］//Proc of the 32nd International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2018：4289-4300.