基于圖結(jié)構(gòu)增強(qiáng)的圖神經(jīng)網(wǎng)絡(luò)方法

摘" " 要： 針對(duì)圖卷積網(wǎng)絡(luò)（GCNs）在面對(duì)低同質(zhì)性的圖結(jié)構(gòu)時(shí)性能驟降問(wèn)題，提出了一種新穎的基于圖結(jié)構(gòu)增強(qiáng)的圖神經(jīng)網(wǎng)絡(luò)方法，用于學(xué)習(xí)改善的圖節(jié)點(diǎn)表示。首先將節(jié)點(diǎn)信息通過(guò)消息傳播和聚合，得到節(jié)點(diǎn)的初始表示；然后計(jì)算節(jié)點(diǎn)表示的相似性度量，得到圖的同質(zhì)結(jié)構(gòu)；最后融合圖的原始結(jié)構(gòu)和同質(zhì)結(jié)構(gòu)進(jìn)行節(jié)點(diǎn)的信息傳遞得到節(jié)點(diǎn)表示用于下游任務(wù)。結(jié)果表明：在6個(gè)公開(kāi)的數(shù)據(jù)集上，所提算法在節(jié)點(diǎn)分類的多個(gè)指標(biāo)上均優(yōu)于對(duì)比算法，特別是在同質(zhì)性較低的4個(gè)數(shù)據(jù)集上，所提算法的準(zhǔn)確度（ACC）分?jǐn)?shù)分別超過(guò)最高基準(zhǔn)5.53%、6.87%、3.08%、4.00%，宏平均（F1）值分別超過(guò)最高基準(zhǔn)5.75%、8.06%、6.46%、5.61%，獲得了遠(yuǎn)高于基準(zhǔn)的優(yōu)越表現(xiàn)，表明所提方法成功改善了圖數(shù)據(jù)的結(jié)構(gòu)，驗(yàn)證了該算法對(duì)圖結(jié)構(gòu)優(yōu)化的有效性。

關(guān)鍵詞： 圖結(jié)構(gòu)增強(qiáng)； 相似性度量； 圖卷積網(wǎng)絡(luò)； 節(jié)點(diǎn)分類

中圖分類號(hào)： TP183" " " " " " 文獻(xiàn)標(biāo)志碼： A" " " " " " " " 文章編號(hào)： １６７１－０２４Ｘ（２０24）０3－００58－08

Graph neural network method based on graph structure enhancement

ZHANG Fang1，2， SHAN Wanjin3， WANG Wen1，2

（1. School of Life Sciences， Tiangong University， Tianjin 300387， China； 2. Tianjin Key Laboratory of Optoelectronic Detection Technology and System， Tiangong University， Tianjin 300387， China； 3. School of Electronics and Information Engineering， Tiangong University， Tianjin 300387， China）

Abstract： In response to the problem of sudden performance degradation in graph convolutional networks（GCNs） facing low homogeneity graph structures， a novel graph structure enhancement method is proposed for learning improved graph node representations. Firstly， the node information is propagated and aggregated by messages to obtain an initial representation of the nodes. Then the similarity metric of the node representation is calculated to obtain the homogeneous structure of the graph. Finally， the original structure of the graph and the homogeneous structure are fused for node information transfer to obtain the node representation for downstream tasks. The results show that the proposed algorithm outperforms the comparison algorithm in several metrics of node classification on six publicly available datasets， especially on the four datasets with low homogeneity， the ACC scores of the proposed algorithm exceed the highest benchmark by 5.53%， 6.87%， 3.08% and 4.00%， and the F1 values exceed the highest benchmark by 5.75%， 8.06%， 6.46% and 5.61%， respectively， obtaining superior performance well above the benchmark， indicating that the proposed method successfully improves the structure of graph data and verifies the effectiveness of the algorithm for graph structure optimization.

Key words： graph structure enhancement； similarity measure； graph convolution network； node classification

為了實(shí)現(xiàn)對(duì)各種信息網(wǎng)絡(luò)的可靠定量分析，獲取圖結(jié)構(gòu)數(shù)據(jù)的高質(zhì)量表示已成為當(dāng)前的熱門(mén)話題之一。圖神經(jīng)網(wǎng)絡(luò)（graph neural networks， GNNs）[1]在從知識(shí)譜圖[2]到社交網(wǎng)絡(luò)[3]以及金融網(wǎng)絡(luò)的各種應(yīng)用中的表示學(xué)習(xí)非常強(qiáng)大。近年來(lái)，GNNs發(fā)展出了許多人工神經(jīng)網(wǎng)絡(luò)，例如圖卷積網(wǎng)絡(luò)（GCN）[1]、圖注意力網(wǎng)絡(luò)（GAT）[4]和圖同構(gòu)網(wǎng)絡(luò)（GIN）[5]等。對(duì)于GNNs，每個(gè)節(jié)點(diǎn)可以通過(guò)聚合節(jié)點(diǎn)本身及其鄰居的特征表示來(lái)迭代更新其特征表示。鄰域通常被定義為圖中的相鄰節(jié)點(diǎn)集，GNNs可以采用多種聚合函數(shù)聚合其鄰居信息來(lái)迭代更新其特征表示[6]，例如求和、最大值和平均值[7-9]。圖學(xué)習(xí)的基本思想是提取圖結(jié)構(gòu)數(shù)據(jù)中的高維信息，并將其嵌入到低維向量表示中。這些節(jié)點(diǎn)表示向量可以潛在地用于各種下游任務(wù)，例如節(jié)點(diǎn)分類[10]、鏈路預(yù)測(cè)[11]、圖分類[12]和推薦系統(tǒng)[13]。

但是，由于現(xiàn)有的GNNs依賴于節(jié)點(diǎn)的信息傳播[14]，所以其鄰居的類別會(huì)直接影響節(jié)點(diǎn)獲得的消息表示。當(dāng)鄰居具有正確的信息即節(jié)點(diǎn)及其鄰居屬于同一類時(shí)，節(jié)點(diǎn)經(jīng)過(guò)網(wǎng)絡(luò)傳播后會(huì)獲得較好的表示。而當(dāng)節(jié)點(diǎn)和它的鄰居不屬于同一類，它將會(huì)接收到相對(duì)錯(cuò)誤的信息。在統(tǒng)計(jì)樣本的連接關(guān)系時(shí)會(huì)獲得較為真實(shí)的邊連接，但是具有連接關(guān)系的樣本之間可能只具有弱相關(guān)，并不屬于同一類，而同一類的樣本在現(xiàn)實(shí)生活中可能并沒(méi)有交集，這樣統(tǒng)計(jì)而來(lái)的圖數(shù)據(jù)具有較低的同質(zhì)性[15]。同質(zhì)性即連接的節(jié)點(diǎn)通常屬于同一類，可分為邊同質(zhì)性（edge homophily， hedge） [16]以及節(jié)點(diǎn)同質(zhì)性（node homophily， hnode）[8]，具體的同質(zhì)性定義在符號(hào)定義章節(jié)給出。

所以現(xiàn)階段如何得到神經(jīng)網(wǎng)絡(luò)所期待的同質(zhì)性較高的圖結(jié)構(gòu)成為一個(gè)具有挑戰(zhàn)的話題[17]。上述問(wèn)題引發(fā)了圍繞圖結(jié)構(gòu)學(xué)習(xí)（graph structure learning， GSL）[18]這一中心主題的大量研究，現(xiàn)有的解決這一問(wèn)題的方法要么固定節(jié)點(diǎn)間的相似度圖，要么同時(shí)學(xué)習(xí)GNNs參數(shù)和圖結(jié)構(gòu)。在這兩種情況下，一個(gè)主要目標(biāo)是構(gòu)建或?qū)W習(xí)相對(duì)于標(biāo)簽具有高度同質(zhì)性的圖結(jié)構(gòu)，以幫助GNNs分類。后一種方法被稱為潛在圖學(xué)習(xí)（latent graph learning）[19]，與前一種方法相比，通常會(huì)產(chǎn)生更高的預(yù)測(cè)性能。但是上述方法在完成重構(gòu)圖結(jié)構(gòu)的同時(shí)會(huì)丟棄掉原始的圖結(jié)構(gòu)[18]，這是不可取的，因?yàn)樵嫉膱D結(jié)構(gòu)代表現(xiàn)實(shí)生活中的真實(shí)連接，即使它們不是同質(zhì)的。當(dāng)拋棄原始圖結(jié)構(gòu)時(shí)，圖數(shù)據(jù)已然不復(fù)存在，只剩下孤立的樣本，這違背了GNNs的初衷。

為應(yīng)對(duì)上述問(wèn)題，本文提出了一種基于相似性度量的圖結(jié)構(gòu)增強(qiáng)學(xué)習(xí)方法，獲取節(jié)點(diǎn)表示，以用于下游任務(wù)。首先，將原始節(jié)點(diǎn)特征和鄰接矩陣數(shù)據(jù)經(jīng)過(guò)GCN編碼進(jìn)行節(jié)點(diǎn)的傳播和聚合；其次將初步得到的節(jié)點(diǎn)表示進(jìn)行相似性計(jì)算，進(jìn)而將具有較高相似度的節(jié)點(diǎn)之間賦予權(quán)重邊；然后把得到的權(quán)重邊加上原始邊和節(jié)點(diǎn)特征輸入至GCN編碼器中得到節(jié)點(diǎn)的高級(jí)表示；最后將高級(jí)節(jié)點(diǎn)表示與給定的標(biāo)簽進(jìn)行對(duì)比優(yōu)化。在此節(jié)點(diǎn)高級(jí)表示的基礎(chǔ)上可以對(duì)節(jié)點(diǎn)進(jìn)行分類任務(wù)。

1 相關(guān)工作

推斷圖結(jié)構(gòu)的一種方法是選擇相似性度量，并將兩個(gè)節(jié)點(diǎn)之間的邊權(quán)重設(shè)置為它們的相似性[19]。為了獲得稀疏結(jié)構(gòu)，可以創(chuàng)建k近鄰相似圖，僅連接相似度超過(guò)某個(gè)預(yù)定義閾值的節(jié)點(diǎn)對(duì)。Wang等[20]通過(guò)在GNN的每一層中基于嵌入在該層中的節(jié)點(diǎn)的相似性創(chuàng)建新的圖來(lái)擴(kuò)展這一思想。Halcrow等[21]不是選擇單一的相似性度量，而是融合了多個(gè)相似性度量。這些方法的預(yù)測(cè)質(zhì)量在很大程度上取決于相似性度量的選擇。

另一種方法是從完全連通的圖開(kāi)始，并使用可用的元數(shù)據(jù)來(lái)分配邊權(quán)重，或者使用GNN變體，其經(jīng)由注意力機(jī)制為每條邊提供權(quán)重[22]。這種方法已經(jīng)用于計(jì)算機(jī)視覺(jué)[23]、自然語(yǔ)言處理[24]和少樣本學(xué)習(xí)[25]。這種方法的復(fù)雜性迅速增加，使其僅適用于小尺寸的圖。劉杰等[26]建議為每個(gè)節(jié)點(diǎn)定義本地鄰居，并且僅假設(shè)這些本地鄰居是完全連接的。他們的方法依賴于一個(gè)初始的圖結(jié)構(gòu)來(lái)定義當(dāng)?shù)厣鐓^(qū)。

2 模 型

本章介紹所提出的基于圖結(jié)構(gòu)增強(qiáng)的圖神經(jīng)網(wǎng)絡(luò)方法，并具體介紹所提出方法的關(guān)鍵技術(shù)以及優(yōu)化方法。圖1展示了本文方法的整體框架圖。首先對(duì)原始的節(jié)點(diǎn)特征和鄰接矩陣通過(guò)GCN進(jìn)行消息的傳播和聚合得到節(jié)點(diǎn)表示，計(jì)算節(jié)點(diǎn)表示的相似度作為生成的權(quán)重邊，然后將節(jié)點(diǎn)表示和原始鄰接矩陣以及生成的權(quán)重邊作為下一層GCN編碼器的輸入；最后由GCN編碼出高級(jí)節(jié)點(diǎn)表示HS。HS即為最終的節(jié)點(diǎn)表示用于類別預(yù)測(cè)對(duì)節(jié)點(diǎn)進(jìn)行分類。

2.1 符號(hào)定義

首先定義本文用到的各種變量及其符號(hào)表示。本文將無(wú)向圖定義為G = （V，E），使用的圖數(shù)據(jù)集，它們的節(jié)點(diǎn)集用V = {v1，v2，…，vN}表示，vi代表節(jié)點(diǎn)i；節(jié)點(diǎn)特征矩陣用X = {x1，x2，…，xN}∈R表示。其中xi表示節(jié)點(diǎn)vi的特征向量，N代表節(jié)點(diǎn)數(shù)量，d0代表節(jié)點(diǎn)的特征維度。A∈R表示圖的鄰接矩陣，其中邊ei，j = （vi，vj）∈E意味著節(jié)點(diǎn)vi和vj具有連接關(guān)系，|E|代表邊的數(shù)量。表1給出了本文的符號(hào)定義。

定義1" " 邊同質(zhì)性：指連接同一類節(jié)點(diǎn)的邊占總邊數(shù)的比例：

hedge = "（1）

定義2" " 節(jié)點(diǎn)同質(zhì)性：指節(jié)點(diǎn)的一階鄰居中和節(jié)點(diǎn)屬于同一類的節(jié)點(diǎn)所占的比例：

hnode = "（2）

式中：d為節(jié)點(diǎn)vi的一階鄰居的數(shù)量；d 為和節(jié)點(diǎn)vi具有相同類別標(biāo)簽的鄰居數(shù)量。

2.2 基于相似性度量的圖結(jié)構(gòu)增強(qiáng)學(xué)習(xí)框架

本文的圖結(jié)構(gòu)增強(qiáng)學(xué)習(xí)模型框架如圖1所示。框架的每層由圖結(jié)構(gòu)重構(gòu)和圖編碼兩部分組成，是一種融合原始圖拓?fù)浣Y(jié)構(gòu)并重構(gòu)為同質(zhì)圖的人工神經(jīng)網(wǎng)絡(luò)，致力于得到節(jié)點(diǎn)的高級(jí)表示并應(yīng)用于下游任務(wù)。

圖結(jié)構(gòu)重構(gòu)致力于連接在原始圖中沒(méi)有連接關(guān)系但具有較高相似性的節(jié)點(diǎn)，由圖編碼器GCN和相似性度量組成，使節(jié)點(diǎn)能夠正確聚合同類節(jié)點(diǎn)的信息，從而得到正確的節(jié)點(diǎn)表示。將節(jié)點(diǎn)的特征矩陣X和鄰接矩陣A作為GCN的輸入，經(jīng)GCN對(duì)節(jié)點(diǎn)進(jìn)行信息的傳播和聚合得到低維的節(jié)點(diǎn)表示：

H0 = σ（XWGCN） （3）

式中：H0∈R 為經(jīng)過(guò)GCN編碼得到的節(jié)點(diǎn)表示矩陣；為歸一化的鄰接矩陣；WGCN為GCN的網(wǎng)絡(luò)權(quán)重參數(shù)；σ（·）為非線性激活函數(shù)，本文采用ReLU非線性激活函數(shù)。

接著計(jì)算節(jié)點(diǎn)之間的相似性，可以采用的相似性度量有余弦相似度、歐氏距離和曼哈頓距離等。為了計(jì)算的簡(jiǎn)單，本文采用向量的內(nèi)積作為節(jié)點(diǎn)之間的相似性度量：

si，j = h· h （4）

式中：si，j為節(jié)點(diǎn)，表示hi和hj之間的相似性度量，hi，hj∈H0。則對(duì)于整個(gè)圖來(lái)說(shuō)各節(jié)點(diǎn)之間的相似性度量可表示為：

S0 = H0·H" " " " "（5）

式中：S0為節(jié)點(diǎn)的相似性矩陣。

最后取每個(gè)節(jié)點(diǎn)的前Top_k個(gè)相似節(jié)點(diǎn)進(jìn)行連接，除去相似度較低的連接，即采取kNN策略，增加圖結(jié)構(gòu)的同質(zhì)性， 并歸一化相似度矩陣：

0 = normalize（kNN（S0）） （6）

在圖結(jié)構(gòu)重構(gòu)后即可進(jìn)行圖編碼工作得到高級(jí)節(jié)點(diǎn)表示。原始鄰接矩陣代表圖數(shù)據(jù)的真實(shí)連接，能夠代表節(jié)點(diǎn)之間的真實(shí)關(guān)系，但這種關(guān)系可能并不是網(wǎng)絡(luò)所期望的同質(zhì)性較高的連接關(guān)系，所以需要將原始圖鄰接矩陣和生成的相似度矩陣以及節(jié)點(diǎn)表示H0作為輸入傳入下一層GCN編碼器，繼續(xù)重構(gòu)圖結(jié)構(gòu)。經(jīng)過(guò)最后一層GCN編碼器得到高級(jí)節(jié)點(diǎn)表示：

Hs = ReLU（GCN（ + s-1，Hs-1））（7）

Hs經(jīng)過(guò)softmax進(jìn)行類別預(yù)測(cè)：

Z = softmax（Hs）（8）

對(duì)于半監(jiān)督多類分類，本文評(píng)估所有帶標(biāo)簽樣本節(jié)點(diǎn)的交叉熵?fù)p失：

L = -Yi， j ln Zi，j（9）

式中：YL為具有標(biāo)簽Y的節(jié)點(diǎn)索引集；C為類別數(shù)。經(jīng)過(guò)反向傳播來(lái)優(yōu)化神經(jīng)網(wǎng)絡(luò)的參數(shù)，從而達(dá)到較好的結(jié)果。

3 實(shí) 驗(yàn)

本文基于引文網(wǎng)絡(luò)圖數(shù)據(jù)集和維基百科圖數(shù)據(jù)集，將提出的用于節(jié)點(diǎn)分類的潛在圖學(xué)習(xí)方法與其他方法進(jìn)行了對(duì)比，并且分析了實(shí)驗(yàn)結(jié)果，通過(guò)消融實(shí)驗(yàn)展示了算法實(shí)現(xiàn)的關(guān)鍵部分。

3.1 數(shù)據(jù)集

為了驗(yàn)證本文所提的圖結(jié)構(gòu)增強(qiáng)學(xué)習(xí)網(wǎng)絡(luò)的有效性，本文選取了6個(gè)圖數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，包括Cora和Citeseer 2個(gè)具有較高同質(zhì)性的引文網(wǎng)絡(luò)圖數(shù)據(jù)集，以及Chameleon、Squirrel、Actor和 Wisconsin 4個(gè)具有較低同質(zhì)性的維基百科圖數(shù)據(jù)集（https：//github.com/CUAI/Non-Homophily-Large-Scale）。6個(gè)數(shù)據(jù)集的信息在表 2中給出。

表2中，Cora和Citeseer數(shù)據(jù)集跟隨文獻(xiàn)[1]的分割方式，Chameleon、Squirrel、Actor和Wisconsin按照文獻(xiàn)[27]的分割方式。

3.2 對(duì)比方法

為了驗(yàn)證本文所提出的潛在圖學(xué)習(xí)方法的有效性，本文將其與GCN[1]、GAT[4]兩種經(jīng)典的網(wǎng)絡(luò)以及先進(jìn)的圖結(jié)構(gòu)增強(qiáng)網(wǎng)絡(luò)SLAPS[18]進(jìn)行對(duì)比：

（1） GCN是一種半監(jiān)督圖卷積網(wǎng)絡(luò)框架，它聚集來(lái)自鄰居的輸入以學(xué)習(xí)節(jié)點(diǎn)表示。

（2） GAT是一種使用注意力機(jī)制聚集節(jié)點(diǎn)特征的半監(jiān)督圖神經(jīng)網(wǎng)絡(luò)框架。

（3） SLAPS是一種圖結(jié)構(gòu)學(xué)習(xí)框架，通過(guò)計(jì)算節(jié)點(diǎn)之間的相似度生成權(quán)重邊，并且通過(guò)額外的自監(jiān)督任務(wù)解決圖結(jié)構(gòu)增強(qiáng)中存在的監(jiān)督匱乏問(wèn)題。

3.3 實(shí)驗(yàn)設(shè)置

本文采用GCN作為編碼器，使用Adam優(yōu)化器來(lái)訓(xùn)練，并且將訓(xùn)練的初始學(xué)習(xí)率設(shè)置為0.001。對(duì)6個(gè)數(shù)據(jù)集在本文方法以及對(duì)比方法上分別進(jìn)行了節(jié)點(diǎn)的多分類實(shí)驗(yàn)，對(duì)于每個(gè)方法均采用GCN中使用的softmax作為分類器。對(duì)于節(jié)點(diǎn)分類，本文一方面采用準(zhǔn)確度（accuracy， ACC）和宏平均（Macro_F1， F1）作為評(píng)價(jià)指標(biāo)，并且采用10次實(shí)驗(yàn)取平均值的方法來(lái)減少隨機(jī)誤差；另一方面，為了進(jìn)一步評(píng)價(jià)方法的有效性，本文對(duì)學(xué)習(xí)到的節(jié)點(diǎn)表示還進(jìn)行了不同類型的聚類可視化實(shí)驗(yàn)，這樣可以直觀地看出節(jié)點(diǎn)表示的表現(xiàn)力。

3.4 實(shí)驗(yàn)結(jié)果分析

本文對(duì)比了2種經(jīng)典的網(wǎng)絡(luò)以及1種先進(jìn)的圖結(jié)構(gòu)學(xué)習(xí)網(wǎng)絡(luò)用于半監(jiān)督節(jié)點(diǎn)分類。表3展示了節(jié)點(diǎn)分類在ACC和F1指標(biāo)上的所有結(jié)果，最佳結(jié)果標(biāo)記為粗體。

從表3可以觀察到，在每個(gè)數(shù)據(jù)集的分類結(jié)果中，本文提出的方法均好于其他對(duì)比方法，在多個(gè)指標(biāo)的節(jié)點(diǎn)分類實(shí)驗(yàn)中，本文所提方法在同質(zhì)性較低的數(shù)據(jù)集上相比于對(duì)比方法獲得了更加優(yōu)秀的結(jié)果，相比于GCN更是獲得超過(guò)5%的提升，而同質(zhì)性較高的數(shù)據(jù)集在以GCN為編碼器的條件下仍然普遍好于GCN。造成這種結(jié)果的原因在于提出的方法充分考慮了低同質(zhì)性圖的特征，即低同質(zhì)性的圖中的節(jié)點(diǎn)不能夠從自己的同類節(jié)點(diǎn)中獲取足夠的同類信息，導(dǎo)致和其他類節(jié)點(diǎn)不能夠徹底區(qū)分開(kāi)。

3.5 實(shí)驗(yàn)結(jié)果可視化

為了更加直觀地看到本文方法與對(duì)比方法在節(jié)點(diǎn)表示方面的差異，本文對(duì)得到的節(jié)點(diǎn)表示進(jìn)行可視化操作。為了展示本文方法在同質(zhì)性較高和較低的數(shù)據(jù)集上的表現(xiàn)力，實(shí)驗(yàn)在本文方法和對(duì)比方法上分別對(duì)同質(zhì)性較高的Cora數(shù)據(jù)集和同質(zhì)性較低的Chameleon數(shù)據(jù)集上進(jìn)行了t-SNE[28]可視化和熱圖可視化，分別如圖2和圖3所示。

3.5.1 t-SNE可視化

為了直觀地反映出節(jié)點(diǎn)表示在向量空間中的分布情況，本文接著對(duì)測(cè)試集的節(jié)點(diǎn)表示進(jìn)行了t-SNE可視化操作。從圖2中可以看出，在Cora數(shù)據(jù)集下，相比于其他方法，本文的算法具有更小的類內(nèi)距離以及更大的類間距離，并且可以明顯看出7個(gè)突觸和類別數(shù)相對(duì)應(yīng)；在Chameleon數(shù)據(jù)集上，本文方法相對(duì)于對(duì)比方法擁有更加清晰的類別簇，這些要?dú)w功于網(wǎng)絡(luò)的優(yōu)秀設(shè)計(jì)：將具有同質(zhì)性的節(jié)點(diǎn)進(jìn)行連接，使每個(gè)節(jié)點(diǎn)可以獲取更多的同類信息，在分類時(shí)更具有競(jìng)爭(zhēng)力。

3.5.2 熱圖可視化

熱圖可視化能夠直觀地看出同一類別內(nèi)的樣本之間的相似程度。在熱力圖中，從對(duì)角線上的方塊邊長(zhǎng)可以看出此樣本的數(shù)量多少，而方塊的顏色深淺則帶邊同類節(jié)點(diǎn)的相似程度。從圖3中可以看出，在具有高同質(zhì)性的Cora數(shù)據(jù)集上，相比于其他方法，本文方法擁有更加清晰的方塊邊界以及顏色更深的方塊顏色，這代表它在獲取節(jié)點(diǎn)表示上具有強(qiáng)大的表現(xiàn)力。低同質(zhì)性的數(shù)據(jù)集Chameleon在測(cè)試集中每類節(jié)點(diǎn)數(shù)量分別為224、245、227、252、190，每一類數(shù)量幾乎相等，但是在圖3中，3種對(duì)比方法的Heatmap可視化中的方塊都不具有幾乎相等大小的方塊，但是本文方法擁有幾乎相等大小的方塊，且邊界較為清晰。以上實(shí)驗(yàn)結(jié)果充分展示出所提方法在各類數(shù)據(jù)集上的優(yōu)秀表現(xiàn)，證明增加圖結(jié)構(gòu)的同質(zhì)性可以有效獲取節(jié)點(diǎn)的鄰居信息，從而獲得更好的節(jié)點(diǎn)表示用于下游任務(wù)。

3.6 消融實(shí)驗(yàn)

為了直觀地看出融合原始拓?fù)浣Y(jié)構(gòu)對(duì)模型的影響，本文對(duì)模型進(jìn)行了消融實(shí)驗(yàn)來(lái)探索其影響。為此，需要將公式（7）變成：

Hs = ReLU（GCN（S-1，HS-1））（10）

則輸入變成重構(gòu)后的同質(zhì)圖結(jié)構(gòu)和節(jié)點(diǎn)表示，忽略原始圖結(jié)構(gòu)，具體的表現(xiàn)如圖4所示。

由圖4可以觀察到，在ACC精度和F1值2個(gè)指標(biāo)上，完整的模型表現(xiàn)均優(yōu)于缺失原始拓?fù)浣Y(jié)構(gòu)的模型，證明了融合原始圖拓?fù)浣Y(jié)構(gòu)的有效性。

4 結(jié)束語(yǔ)

本文研究了圖結(jié)構(gòu)的同質(zhì)性對(duì)節(jié)點(diǎn)表示學(xué)習(xí)的影響，并提出了一種基于圖結(jié)構(gòu)增強(qiáng)的圖學(xué)習(xí)框架。首先對(duì)節(jié)點(diǎn)特征通過(guò)原始圖結(jié)構(gòu)進(jìn)行消息傳播和聚合進(jìn)行特征提取，得到節(jié)點(diǎn)表示；然后計(jì)算節(jié)點(diǎn)表示的相似度從而獲得同質(zhì)矩陣；最后將節(jié)點(diǎn)表示，原始圖結(jié)構(gòu)以及生成的同質(zhì)結(jié)構(gòu)輸入至圖編碼器中獲得高級(jí)節(jié)點(diǎn)表示用于下游任務(wù)。結(jié)果表明，在節(jié)點(diǎn)分類任務(wù)中，本文方法在同質(zhì)性較高的Cora和Citeseer數(shù)據(jù)集上獲得了優(yōu)于基線的結(jié)果，在同質(zhì)性較低的Chame-leon等4個(gè)數(shù)據(jù)集上獲得了優(yōu)于基線平均5%以上的性能提升。這些實(shí)驗(yàn)充分驗(yàn)證了本文所提模型在圖結(jié)構(gòu)重構(gòu)上的強(qiáng)大能力，有效地提高了節(jié)點(diǎn)的分類結(jié)果。

參考文獻(xiàn)：

[1]" " 徐冰冰，岑科廷，黃俊杰，等. 圖卷積神經(jīng)網(wǎng)絡(luò)綜述[J]. 計(jì)算機(jī)學(xué)報(bào)，2020，43（5）：755-780.

XU B B， CEN K T， HUANG J J， et al. A survey on graph convolutional neural network[J]. Chinese Journal of Computers， 2020， 43（5）： 755-780（in Chinese）.

[2]" " SCHLICHTKRULL M， KIPF T N， BLOEM P， et al. Modeling relational data with graph convolutional networks[C]//European Semantic Web Conference. Cham： Springer， 2018： 593-607.

[3]" " 郝志峰， 柯妍蓉， 李爍， 等. 基于圖編碼網(wǎng)絡(luò)的社交網(wǎng)絡(luò)節(jié)點(diǎn)分類方法[J]. 計(jì)算機(jī)應(yīng)用， 2020， 40（1）： 188-195.

HAO Z F， KE Y R， LI S， et al. Node classification method in social network based on graph encoder network[J]. Journal of Computer Applications， 2020， 40（1）： 188-195 （in Chinese）.

[4]" " 范洪玉， 張永庫(kù)， 孟祥福. 基于知識(shí)圖殘差注意力網(wǎng)絡(luò)的推薦方法[J]. 計(jì)算機(jī)科學(xué)， 2023，50（S2）：479-485.

FAN H Y， ZHANG Y K， MENG X F. Recommendation me-thod based on residual attention network of knowledge graph[J]. Computer Science， 2023， 50（S2）： 479-485（in Chinese）.

[5]" " 徐立祥， 葛偉， 陳恩紅， 等. 基于圖核同構(gòu)網(wǎng)絡(luò)的圖分類方法[J]. 計(jì)算機(jī)研究與發(fā)展， 2024， 61（4）： 903-915.

XU L X， GE W， CHEN E H， et al. Graph classification method based on graph kernel isomorphism network[J]. Journal of Co-mputer Research and Development， 2024，61（4）： 903-915（Chinese）

[6]" " HUANG W B， ZHANG T， RONG Y， et al. Adaptive sampling towards fast graph representation learning[C]//Proceedings of the 32nd International Conference on Neural Information Processing" Systems. Montréal， Canada： ACM， 2018： 4563-4572.

[7]" " 劉俊奇， 涂文軒， 祝恩. 圖卷積神經(jīng)網(wǎng)絡(luò)綜述[J]. 計(jì)算機(jī)工程與科學(xué)，2023，45（8）： 1472-1481.

LIU J Q， TU W X， ZHU E. Survey on graph convolutional ne-ural network[J]. Computer Engineering amp; Science， 2023， 45（8）： 1472-1481（in Chinese）.

[8]" " 張麗英， 孫海航， 孫玉發(fā)， 等. 基于圖卷積神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)分類方法研究綜述[J]. 計(jì)算機(jī)科學(xué)，2024，51（4）：95-105.

ZHANG L Y， SUN H H， SUN Y F， et al. Review of node classification methods based on graph convolutional neural networks[J]. Computer Science， 2024， 51（4）：95-105（in Chinese）.

[9]" " CORSO G， CAVALLERI L， BEAINI D， et al. Principal neig-hbourhood aggregation for graph nets[C]//Proceedings of the 34th International Conference on Neural Information Processing Systems. Vancouver， BC， Canada： ACM， 2020： 13260-13271.

[10]" ABU-EL-HAIJA S， PEROZZI B， KAPOOR A， et al. MixHop： Higher-order graph convolutional architectures via sparsified neighborhood mixing[C]//Proceedings of the 36th International Conference on Machine Learning. Long Beach， California， USA：PMLR， 2019： 21-29.

[11]" 代勁， 張奇瑞， 王國(guó)胤， 等. 基于多維云概念嵌入的變分圖自編碼器研究[J]. 電子學(xué)報(bào)，2023，51（12）：3507-3519.

DAI J， ZHANG Q R， WANG G Y， et al. Research on variational graph auto-encoder based on multidimensional cloud concept embedding[J]. Acta Electronica Sinica， 2023， 51（12）： 3507-3519（in Chinese）.

[12]" ZHANG M H， CUI Z C， NEUMANN M， et al. An end-to-end deep learning architecture for graph classification[C]//Proceedings of the 32nd AAAI Conference on Artificial Intelligence. New Orleans， Louisiana， USA：AAAI，" 2018： 4438-4445.

[13]" YING R， HE R N， CHEN K F， et al. Graph convolutional neural networks for web-scale recommender systems[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. London， United Kingdom： ACM， 2018： 974–983.

[14]" GILMER J， SCHOENHOLZ S S， RILEY P F， et al. Neural message passing for Quantum chemistry[C]//Proceedings of the 34th International Conference on Machine Learning. Sydney， NSW， Australia： ACM， 2017： 1263-1272.

[15]" BOJCHEVSKI A， GASTEIGER J， PEROZZI B， et al. Scaling graph neural networks with approximate PageRank[C]//Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. CA， USA： ACM， 2020： 2464-2473.

[16]" ZHU J， YAN Y J， ZHAO L X， et al. Beyond homophily in graph neural networks： Current limitations and effective designs[C]//Proceedings of the 34th International Conference on Neural Information Proceeding Systems. Vancouver， Canada： MIT Press， 2020：7793-7804.

[17]" LUO D S， CHENG W， YU W C， et al. Learning to drop： Robust graph neural network via topological denoising[C]//Proceedings of the 14th ACM International Conference on Web Search and Data Mining. Israel： ACM， 2021： 779-787.

[18]" FATEMI B， EL ASRI L， KAZEMI S M. SLAPS： Self-supervision improves structure learning for graph neural networks[C]//Proceedings of the 35th International Conference on Neural Information Processing Systems. Beijing： MIT Press， 2021： 22667-22681.

[19]" TENENBAUM J B， DE SILVA V， LANGFORD J C. A global geometric framework for nonlinear dimensionality reduction[J]. Science， 2000， 290（5500）： 2319-2323.

[20]" WANG Y， SUN Y B， LIU Z W， et al. Dynamic graph CNN for learning on point clouds[J]. ACM Transactions on Graphics， 2019， 38（5）： 146.

[21]" HALCROW J， MOSOI A， RUTH S， et al. Grale： Designing networks for graph learning[C]//Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. CA， USA： ACM， 2020： 2523-2532.

[22]" ZHANG J N， SHI X J， XIE J Y， et al. GaAN： Gated attention networks for learning on large and spatiotemporal graphs[C]//Proceedings of the 34th Conference on Uncertainty in Artificial Intelligence. Monterey， California， USA：AUAI， 2018：339-349.

[23]" SUHAIL M， SIGAL L. Mixture-kernel graph attention network for situation recognition[C]//2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Seoul， Korea （South）： IEEE， 2019： 10362-10371.

[24]" ZHU H， LIN Y K， LIU Z Y， et al. Graph neural networks with generated parameters for relation extraction[C]//Proceeding of the 57th Conference of the Association for Computational Linguistics. Florence， Italy： Association for Computational Linguistics， 2019：1331-1339.

[25]" 楊潔祎， 董一鴻，錢(qián)江波. 基于圖神經(jīng)網(wǎng)絡(luò)的小樣本學(xué)習(xí)方法研究進(jìn)展[J]. 計(jì)算機(jī)研究與發(fā)展，2024，61（4）：856-876.

YANG J Y， DONG Y H， QIAN J B. Research progress of few-shot learning methods based on graph neural networks[J]. Journal of Computer Research and Development， 2024， 61（4）： 856-876（in Chinese）.

[26]" 劉杰， 尚學(xué)群， 宋凌云， 等. 圖神經(jīng)網(wǎng)絡(luò)在復(fù)雜圖挖掘上的研究進(jìn)展[J]. 軟件學(xué)報(bào)， 2022， 33（10）： 3582-3618.

LIU J， SHANG X Q， SONG L Y， et al. Progress of graph neural networks on complex graph mining[J]. Journal of Software， 2022， 33（10）： 3582-3618（in Chinese）.

[27]" LIM D， HOHNE F， LI X， et al. Large scale learning on non-homophilous graphs： New benchmarks and strong simple me-thods[C]//Proceedings of the 35th International Conference on Neural Information Processing" Systems. Beijing： MIT Press，" 2021： 20887-20902.

[28]" 陳挺， 李國(guó)鵬， 王小梅. 基于t-SNE降維的科學(xué)基金資助項(xiàng)目可視化方法研究[J]. 數(shù)據(jù)分析與知識(shí)發(fā)現(xiàn)， 2018， 2（8）： 1-9.

CHEN T， LI G P， WANG X M. Visualizing appropriation of research funding with t-SNE algorithm[J]. Data Analysis and Knowledge Discovery， 2018， 2（8）： 1-9（in Chinese）.

本文引文格式：

張芳，單萬(wàn)錦，王雯，等. 基于圖結(jié)構(gòu)增強(qiáng)的圖神經(jīng)網(wǎng)絡(luò)方法[J]. 天津工業(yè)大學(xué)學(xué)報(bào)，2024， 43（3）： 58-65.

ZHANG F， SHAN W J， WANG W， et al. Graph neural network method based on graph structure enhancement[J]. Journal of" Tiangong University， 2024， 43（3）： 58-65（in Chinese）.