超邊約束的異質(zhì)超網(wǎng)絡(luò)表示學(xué)習(xí)方法

王可可，朱宇，王曉英，黃建強(qiáng)，曹騰飛

超邊約束的異質(zhì)超網(wǎng)絡(luò)表示學(xué)習(xí)方法

王可可，朱宇*，王曉英，黃建強(qiáng)，曹騰飛

（青海大學(xué) 計(jì)算機(jī)技術(shù)與應(yīng)用系，西寧 810000）（?通信作者電子郵箱zhuyu@qhu.edu.cn）

與普通網(wǎng)絡(luò)相比，超網(wǎng)絡(luò)具有復(fù)雜的元組關(guān)系（超邊），然而現(xiàn)有的大多數(shù)網(wǎng)絡(luò)表示學(xué)習(xí)方法并不能捕獲元組關(guān)系。針對(duì)上述問(wèn)題，提出一種超邊約束的異質(zhì)超網(wǎng)絡(luò)表示學(xué)習(xí)方法（HRHC）。首先，引入一種結(jié)合團(tuán)擴(kuò)展和星型擴(kuò)展的方法，從而將異質(zhì)超網(wǎng)絡(luò)轉(zhuǎn)換為異質(zhì)網(wǎng)絡(luò)；其次，引入感知節(jié)點(diǎn)語(yǔ)義相關(guān)性的元路徑游走方法捕獲異質(zhì)節(jié)點(diǎn)之間的語(yǔ)義關(guān)系；最后，通過(guò)超邊約束機(jī)制捕獲節(jié)點(diǎn)之間的元組關(guān)系，從而獲得高質(zhì)量的節(jié)點(diǎn)表示向量。在3個(gè)真實(shí)世界的超網(wǎng)絡(luò)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，對(duì)于鏈接預(yù)測(cè)任務(wù)，所提方法在drug、GPS和MovieLens數(shù)據(jù)集上都取得了較好的結(jié)果；對(duì)于超網(wǎng)絡(luò)重建任務(wù)，當(dāng)超邊重建比率大于0.6時(shí)，所提方法在drug數(shù)據(jù)集上的準(zhǔn)確性（ACC）優(yōu)于次優(yōu)的Hyper2vec（biased 2nd order random walks in Hyper-networks），同時(shí)所提方法在GPS數(shù)據(jù)集上的ACC超過(guò)其他基線方法中次優(yōu)的基于關(guān)聯(lián)圖的超邊超邊約束的異質(zhì)超網(wǎng)絡(luò)表示學(xué)習(xí)方法（HRHC-關(guān)聯(lián)圖）15.6個(gè)百分點(diǎn)。

網(wǎng)絡(luò)表示；超網(wǎng)絡(luò)；超邊約束；鏈接預(yù)測(cè)；超網(wǎng)絡(luò)重建

0 引言

網(wǎng)絡(luò)在日常生活中無(wú)處不在，例如，社會(huì)網(wǎng)絡(luò)、生物網(wǎng)絡(luò)、大腦網(wǎng)絡(luò)等。為了挖掘網(wǎng)絡(luò)中蘊(yùn)含的豐富的數(shù)據(jù)信息，網(wǎng)絡(luò)表示學(xué)習(xí)［1］方法被提出并受到了廣泛關(guān)注。網(wǎng)絡(luò)表示學(xué)習(xí)，也稱為網(wǎng)絡(luò)嵌入，它的目的是為網(wǎng)絡(luò)節(jié)點(diǎn)學(xué)習(xí)低維表示向量。節(jié)點(diǎn)表示向量可用于節(jié)點(diǎn)分類(lèi)［2］、鏈接預(yù)測(cè)［3］和社區(qū)檢測(cè)［4］等網(wǎng)絡(luò)分析任務(wù)。具體地，節(jié)點(diǎn)分類(lèi)預(yù)測(cè)節(jié)點(diǎn)的類(lèi)別和標(biāo)簽，在網(wǎng)絡(luò)安全中檢測(cè)網(wǎng)絡(luò)中的欺詐實(shí)體就屬于節(jié)點(diǎn)分類(lèi)問(wèn)題；鏈接預(yù)測(cè)即預(yù)測(cè)節(jié)點(diǎn)之間是否存在潛在的鏈接（邊），它的常見(jiàn)應(yīng)用有社交網(wǎng)站的好友推薦、預(yù)測(cè)蛋白質(zhì)之間的相互影響、預(yù)測(cè)犯罪嫌疑人的關(guān)系和商品推薦等；社區(qū)檢測(cè)將節(jié)點(diǎn)劃分為集群，它在生物信息領(lǐng)域被用來(lái)發(fā)現(xiàn)相同功能或結(jié)果的生物分子。

現(xiàn)有的大多數(shù)網(wǎng)絡(luò)表示學(xué)習(xí)方法僅具有節(jié)點(diǎn)之間成對(duì)關(guān)系的普通網(wǎng)絡(luò)設(shè)計(jì)，然而現(xiàn)實(shí)世界中的物體之間存在復(fù)雜的元組關(guān)系（超邊），此時(shí)可以使用超網(wǎng)絡(luò)對(duì)復(fù)雜的元組關(guān)系建模。根據(jù)超網(wǎng)絡(luò)表示學(xué)習(xí)方法的特點(diǎn)，可以將它分為譜分析方法、神經(jīng)網(wǎng)絡(luò)方法和其他方法，按照建模思路再細(xì)分為展開(kāi)式方法和非展開(kāi)式方法［5］。其中：展開(kāi)式譜分析方法的典型算法包括SE（Star Expansion）［6］、CE（Clique Expansion）［6］等；展開(kāi)式神經(jīng)網(wǎng)絡(luò)方法將超圖拉普拉斯矩陣代入傳統(tǒng)圖卷積神經(jīng)網(wǎng)絡(luò)，典型算法有HGNN（HyperGraph Neural Network）［7］。非展開(kāi)式方法有非展開(kāi)式譜分析方法和非展開(kāi)式神經(jīng)網(wǎng)絡(luò)方法，其中，將非展開(kāi)式神經(jīng)網(wǎng)絡(luò)方法進(jìn)一步又劃分為3種方法：基于自編碼器、自注意力機(jī)制和卷積的方法，典型算法有Hyper2vec （biased 2nd order random walks in Hyper-networks）［8］、DHNE （Deep Hyper-Network Embedding）［9］、Hyper-SAGNN（a Self-Attention based Graph Neural Network for Hypergraphs）［10］、DHGNN （Dynamic HyperGraph Neural Networks）［11］等。

展開(kāi)式方法和非展開(kāi)式方法都各有優(yōu)劣。展開(kāi)式方法雖然直觀靈活，但會(huì)丟失超網(wǎng)絡(luò)結(jié)構(gòu)信息；非展開(kāi)式方法雖然沒(méi)有分解超邊，但也會(huì)有各自的缺點(diǎn)。例如Hyper2vec雖然在Skip-gram［12］框架中將有偏二階隨機(jī)游走策略應(yīng)用于超網(wǎng)絡(luò)，可以靈活地應(yīng)用于各種類(lèi)型的超網(wǎng)絡(luò)，但是它沒(méi)有充分考慮超邊；DHNE通過(guò)結(jié)合多層感知器捕獲元組關(guān)系，但它很難擴(kuò)展到任意規(guī)模的超網(wǎng)絡(luò)；Hyper-SAGNN相較于DHNE有更好的泛化性，但該模型計(jì)算的復(fù)雜度較高；DHGNN是動(dòng)態(tài)超圖構(gòu)造模塊和超圖卷積模塊的堆疊，然而該方法使用的數(shù)據(jù)集是由傳統(tǒng)網(wǎng)絡(luò)數(shù)據(jù)集構(gòu)造的超網(wǎng)絡(luò)數(shù)據(jù)集，因此該數(shù)據(jù)集并不算真正意義上的超網(wǎng)絡(luò)數(shù)據(jù)集。

為了解決上述問(wèn)題，本文提出一種超邊約束的異質(zhì)超網(wǎng)絡(luò)表示學(xué)習(xí)方法（Heterogeneous hypernetwork Representation learning method with Hyperedge Constraint， HRHC），綜合考慮節(jié)點(diǎn)之間的成對(duì)關(guān)系和元組關(guān)系。相較于基于平移約束的異質(zhì)超網(wǎng)絡(luò)表示學(xué)習(xí)（Heterogeneous hypernetwork Representation learning with the Translation Constraint， HRTC）［13］，本文方法可以看作拓?fù)渑缮Ｐ?、集合約束模型和平移約束模型的有機(jī)統(tǒng)一，它有效地將超邊信息融合到超網(wǎng)絡(luò)表示學(xué)習(xí)中，以學(xué)習(xí)高質(zhì)量的節(jié)點(diǎn)表示向量。異質(zhì)超網(wǎng)絡(luò)的節(jié)點(diǎn)表示向量擁有廣泛的應(yīng)用場(chǎng)景，如趨勢(shì)預(yù)測(cè)［14］、事件監(jiān)測(cè)［15］和推薦系統(tǒng)［16］等各種在線應(yīng)用，具有實(shí)際的應(yīng)用價(jià)值。

本文的主要工作為：首先結(jié)合團(tuán)擴(kuò)展和星型擴(kuò)展的方法，實(shí)現(xiàn)了異質(zhì)超網(wǎng)絡(luò)到異質(zhì)網(wǎng)絡(luò)的轉(zhuǎn)換；其次通過(guò)感知節(jié)點(diǎn)語(yǔ)義相關(guān)性的元路徑游走方法獲取異質(zhì)節(jié)點(diǎn)序列；最后提出了超邊約束的異質(zhì)超網(wǎng)絡(luò)表示學(xué)習(xí)方法，將超邊融入超網(wǎng)絡(luò)表示學(xué)習(xí)過(guò)程。

1 問(wèn)題定義

圖1　異質(zhì)超網(wǎng)絡(luò)

2 預(yù)備知識(shí)

受文獻(xiàn)［17］啟發(fā)，文獻(xiàn)［18］中提出將超圖轉(zhuǎn)換為2-截圖+關(guān)聯(lián)圖和感知節(jié)點(diǎn)語(yǔ)義相關(guān)性的元路徑游走方法，同時(shí)，本文還引用了文獻(xiàn)［19］中的TransE（Translating Embeddings）模型。

2.1　超圖轉(zhuǎn)換為2-截圖、關(guān)聯(lián)圖、2-截圖+關(guān)聯(lián)圖

本節(jié)介紹超圖轉(zhuǎn)換為2-截圖、關(guān)聯(lián)圖的詳細(xì)策略［17］。

2.1.12-截圖

2）與超邊關(guān)聯(lián)的任意兩個(gè)節(jié)點(diǎn)之間兩兩相連。

圖2是圖1對(duì)應(yīng)的2-截圖。

圖2　2-截圖

2.1.2關(guān)聯(lián)圖

圖3為圖1對(duì)應(yīng)的關(guān)聯(lián)圖。

圖3　關(guān)聯(lián)圖

2.1.32-截圖+關(guān)聯(lián)圖

2）若超邊內(nèi)部節(jié)點(diǎn)之間全部語(yǔ)義相關(guān)、全部語(yǔ)義不相關(guān)、部分節(jié)點(diǎn)之間語(yǔ)義相關(guān)，則2-截圖+關(guān)聯(lián)圖分別為2-截圖和關(guān)聯(lián)圖的完全組合圖、關(guān)聯(lián)圖、關(guān)聯(lián)圖加上具有語(yǔ)義相關(guān)性節(jié)點(diǎn)之間的邊［18］。

圖4　二-截圖+關(guān)聯(lián)圖

2.2　感知節(jié)點(diǎn)語(yǔ)義相關(guān)性的元路徑游走

2.3　TransE模型

圖5　TransE模型

3 HRHC

圖6　HRHC的框架

3.1　拓?fù)渑缮繕?biāo)函數(shù)

基于拓?fù)渑缮繕?biāo)函數(shù)的模型學(xué)習(xí)了節(jié)點(diǎn)之間的成對(duì)關(guān)系。

因此，式（2）可以寫(xiě)為：

式（1）重新表示為：

3.2　集合約束目標(biāo)函數(shù)

3.3　平移約束目標(biāo)函數(shù)

此外，受TransE模型中平移機(jī)制的啟發(fā)，通過(guò)引入平移機(jī)制為目標(biāo)節(jié)點(diǎn)增加關(guān)系約束，即超邊約束。

3.4　聯(lián)合約束目標(biāo)函數(shù)

HRHC細(xì)節(jié)如算法1所示。

算法1 HRHC。

/*將節(jié)點(diǎn)對(duì)應(yīng)的向量進(jìn)行初始化*/

7） end for

8） end for

9） end for

/*優(yōu)化拓?fù)渑缮繕?biāo)函數(shù)*/

14） end for

16） end for

/*優(yōu)化集合約束目標(biāo)函數(shù)*/

20） end for

/*優(yōu)化平移約束目標(biāo)函數(shù)*/

24） end for

26） end for

27） end for

4 實(shí)驗(yàn)與結(jié)果分析

4.1　數(shù)據(jù)集

一個(gè)藥物網(wǎng)絡(luò)、一個(gè)全球定位系統(tǒng)網(wǎng)絡(luò)和一個(gè)電影網(wǎng)絡(luò)被用來(lái)評(píng)估HRHC的性能。數(shù)據(jù)集詳情如表1所示。

1）drug（https：//www.fda.gov/drugs）。該數(shù)據(jù)集來(lái)自食品藥品監(jiān)督管理局（Food and Drug Administration， FDA）不良事件報(bào)告系統(tǒng)（FDA Adverse Event Reporting System， FAERS）。它包括提交給FDA的不良事件和用藥錯(cuò)誤報(bào)告的信息。（用戶，藥物，反應(yīng)）關(guān)系被看作超邊，以構(gòu)建超網(wǎng)絡(luò)，即用戶吃了具有一些副作用的藥品將導(dǎo)致不良事件。

2）GPS（Global Positioning System）［20］。該數(shù)據(jù)集描述了用戶在某個(gè)位置參加活動(dòng)。（用戶，位置，活動(dòng)）關(guān)系被看作超邊，用于超網(wǎng)絡(luò)的構(gòu)建。

3）MovieLens［21］。該數(shù)據(jù)集描述了MovieLens的用戶標(biāo)記活動(dòng)。（用戶，電影，標(biāo)簽）關(guān)系被看作超邊，以構(gòu)建超網(wǎng)絡(luò)。

表1　數(shù)據(jù)集詳情

4.2　基線方法

DeepWalk［22］。是一個(gè)經(jīng)典的網(wǎng)絡(luò)表示學(xué)習(xí)方法，被用來(lái)學(xué)習(xí)節(jié)點(diǎn)表示向量。

node2vec［23］。引入深度優(yōu)先和廣度優(yōu)先策略學(xué)習(xí)節(jié)點(diǎn)表示向量。

metapath2vec［24］。采用元路徑的隨機(jī)游走策略，來(lái)捕獲異質(zhì)節(jié)點(diǎn)之間的語(yǔ)義關(guān)系，以便于學(xué)習(xí)節(jié)點(diǎn)表示向量。

CoarSAS2hvec （Self-Avoid short sequence Sampling with the hin Coarsening procedure）［25］。通過(guò)HIN粗化和自避免短序列采樣過(guò)程捕獲異質(zhì)網(wǎng)絡(luò)的豐富信息，從而學(xué)習(xí)節(jié)點(diǎn)表示向量。

HRTC［13］。通過(guò)引入知識(shí)表示學(xué)習(xí)中的平移機(jī)制捕獲節(jié)點(diǎn)之間的元組關(guān)系，從而學(xué)習(xí)節(jié)點(diǎn)表示向量。

Hyper2vec［8］。在超邊上進(jìn)行有偏二階隨機(jī)游走采樣高階關(guān)系，從而學(xué)習(xí)節(jié)點(diǎn)表示向量。

HPSG（Hyper-Path-based random walks + Skip-Gram）［26］。首先通過(guò)基于超路徑的隨機(jī)游走保留異質(zhì)超網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)信息，其次通過(guò)Skip-gram模型學(xué)習(xí)節(jié)點(diǎn)表示向量。

HPHG（Hyper-Path-based random walks + Hyper-Gram）［26］。首先通過(guò)基于超路徑的隨機(jī)游走保留異質(zhì)超網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)信息，其次通過(guò)Hyper-gram模型學(xué)習(xí)節(jié)點(diǎn)表示向量。

Event2vec［27］。將一個(gè)事件表示為多個(gè)對(duì)象之間的關(guān)系，然后利用事件嵌入學(xué)習(xí)對(duì)象嵌入。

4.3　鏈接預(yù)測(cè)

鏈接預(yù)測(cè)比較流行，例如個(gè)性化推薦、推薦系統(tǒng)是鏈接預(yù)測(cè)的典型應(yīng)用。本節(jié)在GPS、MovieLens和drug這3個(gè)超網(wǎng)絡(luò)數(shù)據(jù)集上進(jìn)行鏈接預(yù)測(cè)實(shí)驗(yàn)。通過(guò)AUC（Area Under Curve）［28］評(píng)估HRHC的鏈接預(yù)測(cè)性能。

在鏈接預(yù)測(cè)中，在學(xué)習(xí)到節(jié)點(diǎn)和的表示向量和后，使用表2所列的二元算子［23］獲取節(jié)點(diǎn)對(duì)的成對(duì)相似性。

表2　二元算子

從表2可以得到以下結(jié)果：

1）HRHC、HRTC、DeepWalk、node2vec、metapath2vec和CoarSAS2hvec分別在2-截圖、關(guān)聯(lián)圖和2-截圖+關(guān)聯(lián)圖上都進(jìn)行了鏈接預(yù)測(cè)實(shí)驗(yàn)。因?yàn)镠RHC針對(duì)超網(wǎng)絡(luò)設(shè)計(jì)，所以該方法在3個(gè)超網(wǎng)絡(luò)數(shù)據(jù)集上的鏈接預(yù)測(cè)效果均好于普通網(wǎng)絡(luò)表示學(xué)習(xí)方法，即DeepWalk、node2vec、metapath2vec和CoarSAS2hvec。

2）在drug和GPS數(shù)據(jù)集上，HRHC優(yōu)于超網(wǎng)絡(luò)表示學(xué)習(xí)方法Hyper2vec和HPSG，接近超網(wǎng)絡(luò)表示學(xué)習(xí)方法HPHG和Event2vec。原因是Hyper2vec和HPSG主要訓(xùn)練了節(jié)點(diǎn)之間的成對(duì)關(guān)系，而HRHC綜合訓(xùn)練了節(jié)點(diǎn)之間的成對(duì)關(guān)系和元組關(guān)系（超邊）。HPHG和Event2vec均適用于具有較高不可分解性的drug和GPS超網(wǎng)絡(luò)。在MovieLens數(shù)據(jù)集上，HRHC優(yōu)于特定訓(xùn)練節(jié)點(diǎn)之間的元組關(guān)系的超網(wǎng)絡(luò)表示學(xué)習(xí)方法HPHG和Event2vec，接近特定訓(xùn)練節(jié)點(diǎn)之間的成對(duì)關(guān)系的超網(wǎng)絡(luò)表示學(xué)習(xí)方法HPSG，原因是MovieLens超網(wǎng)絡(luò)具有較低程度的不可分解性，即節(jié)點(diǎn)之間具有較強(qiáng)的相關(guān)性。

3）在3個(gè)超網(wǎng)絡(luò)數(shù)據(jù)集上，HRHC優(yōu)于超網(wǎng)絡(luò)表示學(xué)習(xí)方法HRTC。原因是HRHC相較于HRTC方法增加了集合約束目標(biāo)函數(shù)，并通過(guò)隨機(jī)梯度上升算法使得式（10）達(dá)到平衡最優(yōu)解，融入了更多有效的超邊信息，因此HRHC較好地保留了超網(wǎng)絡(luò)結(jié)構(gòu)信息，從而獲得了高質(zhì)量的節(jié)點(diǎn)表示向量。

綜上所述，通過(guò)綜合考慮節(jié)點(diǎn)之間的成對(duì)關(guān)系和元組關(guān)系，HRHC學(xué)習(xí)了高質(zhì)量的節(jié)點(diǎn)表示向量，可以較好地預(yù)測(cè)未知鏈接。

注：加粗表示最優(yōu)值，下畫(huà)線表示次優(yōu)值。

4.4　超網(wǎng)絡(luò)重建

節(jié)點(diǎn)的良好表示應(yīng)該很好地保留原始網(wǎng)絡(luò)的結(jié)構(gòu)信息。評(píng)估節(jié)點(diǎn)表示質(zhì)量的典型方法是重建網(wǎng)絡(luò)。本節(jié)在GPS和drug數(shù)據(jù)集上進(jìn)行超網(wǎng)絡(luò)重建實(shí)驗(yàn)。

超網(wǎng)絡(luò)重建［8］的準(zhǔn)確性（ACCuracy， ACC）評(píng)價(jià)指標(biāo)如式（25）所示：

由圖7可知，在drug和GPS數(shù)據(jù)集上，HRHC在2-截圖+關(guān)聯(lián)圖上的超網(wǎng)絡(luò)重建效果均優(yōu)于2-截圖和關(guān)聯(lián)圖，特別地，在GPS超網(wǎng)絡(luò)重建中，對(duì)基于2-截圖+關(guān)聯(lián)圖的HRHC方法從=0.1到=1的ACC值求平均，以同樣的區(qū)間對(duì)HRHC-關(guān)聯(lián)圖的ACC值求平均，兩項(xiàng)差值為15.6，即HRCH-2-截圖+關(guān)聯(lián)圖超過(guò)其他基線方法中次優(yōu)的HRHC-關(guān)聯(lián)圖15.6個(gè)百分點(diǎn)。這說(shuō)明了2-截圖+關(guān)聯(lián)圖能夠更好地保留超網(wǎng)絡(luò)結(jié)構(gòu)信息。在drug數(shù)據(jù)集上，在超邊重建比率大于0.6時(shí)，HRHC的超網(wǎng)絡(luò)重建效果優(yōu)于其他基線方法；在GPS數(shù)據(jù)集上，HRHC整體都優(yōu)于其他基線方法；此外，HRHC相較于其他基線方法，在增大超邊重建比率時(shí)，HRHC的ACC值下降較為緩慢。上述結(jié)果表明超邊約束機(jī)制能夠充分考慮到超邊，較好地保留超網(wǎng)絡(luò)結(jié)構(gòu)信息。

4.5　參數(shù)敏感度

圖7　超網(wǎng)絡(luò)重建

圖8　參數(shù)敏感度分析

5 結(jié)語(yǔ)

為了應(yīng)對(duì)超網(wǎng)絡(luò)表示學(xué)習(xí)面臨的挑戰(zhàn)，本文提出超邊約束的異質(zhì)超網(wǎng)絡(luò)表示學(xué)習(xí)方法，該方法綜合考慮節(jié)點(diǎn)之間的成對(duì)關(guān)系和元組關(guān)系以學(xué)習(xí)高質(zhì)量的節(jié)點(diǎn)表示向量。在3個(gè)超網(wǎng)絡(luò)數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，HRHC整體性能優(yōu)于其他基線方法。盡管該方法通過(guò)超圖到圖的轉(zhuǎn)換策略開(kāi)展了超網(wǎng)絡(luò)表示學(xué)習(xí)研究，并嘗試在表示學(xué)習(xí)過(guò)程中融入超邊，但是仍然會(huì)丟失一部分超網(wǎng)絡(luò)結(jié)構(gòu)信息，因此，今后的研究將不再對(duì)超邊進(jìn)行分解，而是將超邊看成一個(gè)整體進(jìn)行超網(wǎng)絡(luò)表示學(xué)習(xí)研究。

[1] ZHU Y， YE Z L， ZHAO H X， et al. Text-enhanced network representation learning ［J］. Frontiers of Computer Science， 2020， 14（6）： 146322.

[2] SHEIKH N， KEFATO Z T， MONTRESOR A. Semi-supervised heterogeneous information network embedding for node classification using 1D-CNN ［C］// Proceedings of the 2018 Fifth International Conference on Social Networks Analysis， Management and Security. Piscataway： IEEE， 2018：177-181.

[3] 劉昱陽(yáng)，李龍杰，單娜，等.融合聚集系數(shù)的鏈接預(yù)測(cè)方法［J］. 計(jì)算機(jī)應(yīng)用， 2020， 40（1）： 28-35.（LIU Y Y， LI L J， SHAN N， et al. Link prediction method fusing clustering coefficients ［J］. Journal of Computer Applications， 2020， 40（1）： 28-35.）

[4] 陳吉成，陳鴻昶.基于張量建模和進(jìn)化均值聚類(lèi)的社區(qū)檢測(cè)方法［J］. 計(jì)算機(jī)應(yīng)用， 2021， 41（11）： 3120-3126.（CHEN J C， CHEN H C. Community detection method based on tensor modeling and evolutionary-means clustering ［J］. Journal of Computer Applications， 2021， 41（11）： 3120-3126.）

[5] 胡秉德，王新根，王新宇，等. 超圖學(xué)習(xí)綜述：算法分類(lèi)與應(yīng)用分析［J］. 軟件學(xué)報(bào)， 2022， 33（2）： 498-523.（HU B D， WANG X G， WANG X Y， et al. Survey on hypergraph learning： algorithm classification and application analysis ［J］. Journal of Software， 2022， 33（2）：498-523.）

[6] AGARWAL S， BRANSON K， BELONGIE S. Higher order learning with graph ［C］// Proceedings of the 23rd International Conference on Machine Learning. New York： ACM， 2006： 17-24.

[7] FENG Y， YOU H， ZHANG Z， et al. Hypergraph neural networks ［C］// Proceedings of the 33rd AAAI Conference on Artificial Intelligence and 31st Innovative Applications of Artificial Intelligence Conference and 9th AAAI Symposium on Educational Advances in Aritificial Intelligence. Palo Alto： AAAI Press， 2019： 3558-3565.

[8] HUANG J， CHEN C， YE F， et al. Hyper2vec： biased random walk for hyper-network embedding ［C］// Proceedings of the 2019 International Conference on Database Systems for Advanced Applications. Cham： Springer， 2019： 273-277.

[9] TU K， CUI P， WANG F， et al. Structural deep embedding for hyper-networks ［C］// Proceedings of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2018： 426-433.

[10] ZHANG R， ZOU Y， MA J. Hyper-SAGNN： a self-attention based graph neural network for hypergraphs ［EB/OL］. ［2019-11-06］. https：// arxiv.org/pdf/1911.02613.pdf.

[11] JIANG J， WEI Y， FENG Y， et al. Dynamic hypergraph neural networks ［C］// Proceedings of the 28th International Joint Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2019： 2635-2641.

[12] MIKOLOV T， SUTSKEVER I， CHEN K， et al. Distributed representations of words and phrases and their compositionality ［C］// Proceedings of the 26th International Conference on Neural Information Processing Systems. Palo Alto： AAAI Press， 2013，2： 3111-3119.

[13] 劉貞國(guó)，朱宇，趙海興，等.基于平移約束的異質(zhì)超網(wǎng)絡(luò)表示學(xué)習(xí)［J］. 中文信息學(xué)報(bào)， 2022， 36（12）： 74-84.（LIU Z G， ZHU Y， ZHAO H X， et al. Heterogeneous hypernetwork representation learning with the translation constraint ［J］. Journal of Chinese Information Processing， 2022， 36（12）： 74-84.）

[14] HONG S， ZHOU Z， ZIO E， et al. An adaptive method for health trend prediction of rotating bearings ［J］. Digital Signal Processing， 2014， 35： 117-123.

[15] MATHIOUDALKIS M， KOUDAS N. TwitterMonitor： trend detection over the twitter stream ［C］// Proceedings of the 29th ACM SIGMOD International Conference on Management of Data. New York： ACM， 2010： 1155-1158.

[16] JANNACH D， ZANKER M， FELFERNIG A， et al. Recommender Systems： An Introduction ［M］. New York： Cambridge University Press， 2010：1-10.

[17] BRETTO A. Hypergraph Theory： An Introduction ［M］. Cham： Springer， 2013： 43-49.

[18] 劉貞國(guó)，朱宇，劉連照，等.基于轉(zhuǎn)化策略的異質(zhì)超網(wǎng)絡(luò)表示學(xué)習(xí)［J］.計(jì)算機(jī)應(yīng)用研究， 2022， 39（11）： 3333-3339.（LIU Z G， ZHU Y， LIU L Z， et al. Heterogeneous hypernetwork representation learning with transformation strategy ［J］. Application Research of Computers， 2022， 39（11）： 3333-3339.）

[19] BORDES A， USUNIER N， GARCIA-DURáN A. Translating embeddings for modeling multi-relational data ［C］// Proceedings of the 26th International Conference on Neural Information Processing Systems. Cham： Springer， 2013，2： 2787-2795.

[20] ZHENG V W， CAO B， ZHENG Y， et al. Collaborative filtering meets mobile recommendation： a user-centered approach ［C］// Proceedings of the 24th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2010： 236-241.

[21] HARPER F M， KONSTAN J A. The MovieLens datasets： history and context ［J］. ACM Transactions on Internet and Information Systems， 2016， 5（4）： 19.

[22] PEROZZI B， AL-RFOU R， SKIENA S. DeepWalk： online learning of social representations ［C］ // Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2014： 701-710.

[23] GROVER A， LESKOVEC J. node2vec： scalable feature learning for networks ［C］// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2016： 855-864.

[24] DONG Y， CHAWLA N V， SWAMI A. metapath2vec： scalable representation learning for heterogeneous networks ［C］// Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2017： 135-144.

[25] ZHAN L， JIA T. CoarSAS2hvec： heterogeneous information network embedding with balanced network sampling ［J］. Entropy， 2022， 24（2）： 276.

[26] HUANG J， LIU X， SONG Y. Hyper-path-based representation learning for hyper-networks ［C］// Proceedings of the 28th ACM International Conference on Information and Knowledge Management. New York： ACM， 2019： 449-458.

[27] FU G， YUAN B， DUAN Q， et al. Representation learning for heterogeneous information networks via embedding events ［C］// Proceedings of the 26th International Conference on Neural Information Processing Systems. Cham： Springer， 2019： 327-339.

[28] 杜航原，郝思聰，王文劍.結(jié)合圖自編碼器與聚類(lèi)的半監(jiān)督表示學(xué)習(xí)方法［J］. 計(jì)算機(jī)應(yīng)用， 2022， 42（9）： 2643-2651.（DU H Y， HAO S C， WANG W J. Semi-supervised representation learning method combining graph auto-encoder and clustering ［J］. Journal of Computer Applications， 2022， 42（9）： 2643-2651.）

Heterogeneous hypernetwork representation learning method with hyperedge constraint

WANG Keke， ZHU Yu*， WANG Xiaoying， HUANG Jianqiang， CAO Tengfei

（，，810000，）

Compared with ordinary networks， hypernetworks have complex tuple relationships， namely hyperedges. However， most existing network representation learning methods cannot capture the tuple relationships. To solve the above problem， a Heterogeneous hypernetwork Representation learning method with Hyperedge Constraint （HRHC） was proposed. Firstly， a method combining clique extension and star extension was introduced to transform the heterogeneous hypernetwork into the heterogeneous network. Then， the meta-path walk method that was aware of semantic relevance among the nodes was introduced to capture the semantic relationships among the heterogeneous nodes. Finally， the tuple relationships among the nodes were captured by means of the hyperedge constraint to obtain high-quality node representation vectors. Experimental results on three real-world datasets show that， for the link prediction task， the proposed method obtaines good results on drug， GPS and MovieLens datasets. For the hypernetwork reconstruction task， when the hyperedge reconstruction ratio is more than 0.6， the ACCuracy （ACC） of the proposed method is better than the suboptimal method Hyper2vec（biased 2nd order random walks in Hyper-networks）， and the average ACC of the proposed method outperforms the suboptimal method， that is heterogeneous hypernetwork representation learning method with hyperedge constraint based on incidence graph （HRHC-incidence graph） by 15.6 percentage points on GPS dataset.

network representation; hypernetwork; hyperedge constraint; link prediction; hypernetwork reconstruction

This work is partially supported by National Natural Science Foundation of China （62166032）， Natural Science Foundation of Qinghai Province （2022-ZJ-961Q）.

WANG Keke， born in 1999， M. S. candidate. Her research interest is network representation learning.

ZHU Yu， born in 1986， Ph. D.， lecturer. His research interests include machine learning， network representation learning.

WANG Xiaoying， born in 1982， Ph. D.， professor. Her research interests include high-performance computing， green computing.

HUANG Jianqiang， born in 1985， Ph. D.， professor. His research interests include high-performance computing， performance analysis.

CAO Tengfei， born in 1987， Ph. D.， associate professor. His research interests include edge computing， privacy protection.

TP181

A

1001-9081（2023）12-3654-08

10.11772/j.issn.1001-9081.2022121908

2022?12?30；

2023?03?23；

2023?03?28。

國(guó)家自然科學(xué)基金資助項(xiàng)目（62166032）；青海省自然科學(xué)基金資助項(xiàng)目（2022?ZJ?961Q）。

王可可（1999—），女，河南濮陽(yáng)人，碩士研究生，主要研究方向：網(wǎng)絡(luò)表示學(xué)習(xí)；朱宇（1986—），男，山東菏澤人，副教授，博士，CCF會(huì)員，主要研究方向：機(jī)器學(xué)習(xí)、網(wǎng)絡(luò)表示學(xué)習(xí)；王曉英（1982—），女，吉林雙遼人，教授，博士，CCF高級(jí)會(huì)員，主要研究方向：高性能計(jì)算、綠色計(jì)算；黃建強(qiáng)（1985—），男，陜西西安人，教授，博士，CCF高級(jí)會(huì)員，主要研究方向：高性能計(jì)算、性能分析；曹騰飛（1987—），男，湖北鐘祥人，副教授，博士，CCF高級(jí)會(huì)員，主要研究方向：邊緣計(jì)算、隱私保護(hù)。