保留低階和高階關系的圖表示深度學習集成算法

作者簡介：歐陽勐涔（1996－），男，碩士研究生，主要研究方向為圖表示學習；張應龍，男（通信作者），副教授，碩導，博士，主要研究方向為數據挖掘、機器學習（zhang_yinglong@126.com）；夏學文，教授，碩導，博士，主要研究方向為計算智能及其應用；徐星，教授，碩導，博士，主要研究方向為智能算法研究.

摘 要：高質量學習圖中節點的低維表示是當前的一個研究熱點。現有淺模型的方法無法捕捉圖結構的非線性關系，圖神經網絡技術中的圖卷積模型會產生過平滑問題。同時，如何確定不同跳數關系在圖表示學習中的作用亦是研究中尚需解決的問題。以解決上述問題為目的，提出一個基于T（Tgt;1）個前饋神經網絡的深度學習模型，該框架利用深度模型抽取圖結構的非線性關系，T個子模型有效地捕獲圖的局部和全局（高階）關系信息，并且它們在最終的向量表示中賦予了不同的作用、從而發揮不同跳數關系的優勢。在頂點分類和鏈接預測任務中的實驗結果表明，該框架比現有方法具有競爭力，對比基準算法可以獲得20%左右的提升。

關鍵詞：圖表示；深度學習；神經網絡；頂點分類；鏈接預測

中圖分類號：TP18 文獻標志碼：A 文章編號：1001－3695（2023）04－027－1130－07doi： 10.19734/j.issn.1001－3695.2022.08.0411

Abstract：Highquality learning lowdimensional representation of nodes in the graph is a current research hotspot. The existing shallow model methods cannot capture the nonlinear relationship of the graph structure， and the graph convolution model in the graph neural network technology will cause an oversmoothing problem. At the same time， how to determine the role of different hop number relationships in graph representation learning is also a problem that needs to be solved in the research. To solve the above problems， this paper proposed a deep learning model based on T（Tgt;1） feedforward neural networks. The framework used deep learning models to extract the nonlinear relationship of the graph structure， and T submodels effectively capture the local and global （higherorder） relationship information of the graph， and they gave different roles in the final vector representation to take advantage of different hop relations. Experimental results on vertex classification and link prediction tasks show that the framework is competitive with existing methods， the benchmark algorithm can be improved by about 20%.

Key words：graph representation; deep learning; neural network; vertex classification; link prediction

0 引言

圖表示學習旨在將頂點映射到低維稠密空間、同時保留頂點的圖結構信息［1］。獲取到的頂點向量表示作為輸入供下游任務使用，如頂點分類［2，3］、鏈接預測［4，5］和推薦［6，7］等。

當前的工作大多通過深度學習［8］、矩陣分解［9］和隨機游走［2，3，10］等方式獲得頂點嵌入。然而，圖表示學習還主要面臨兩方面的挑戰：a）圖結構的高度非線性，使得圖表示學習模型常常難以有效地捕獲圖信息［11］；b）由于網絡結構的復雜性［12］，如何有效整合局部和全局圖結構信息進行圖表示學習面臨挑戰。

代表性算法DeepWalk［3］、LINE［13］、GraRep［14］、NetMF［9］和InfiniteWalk［15］等能夠很好捕獲圖的結構信息，由于這些方法屬于淺模型，難以獲取非線性關系［16］。

深度學習已被證明具有強大的表示能力［16］，并在處理圖像［17］、文本［18，19］和音頻［20］等工作中有出色的表現。為此，研究者基于圖神經網絡（GNN）［8，21，22］進行圖表示學習。然而，圖卷積神經網絡（GCN）［21，22］面臨過平滑的問題，即堆疊過多的GNN層而使得頂點的嵌入變得十分相似，這一定程度上影響了它的表示能力。

SDNE［8］設計了一個由多個非線性函數組成的多層架構，它可以將圖數據映射到一個高度非線性的空間中，從而捕獲它的結構信息。特別地，這一方法整合一階和二階鄰近度，從而獲得了良好的全局表示。該方法已在實驗中獲得有競爭力的表現。然而，深度學習模型如何捕獲更高的T（Tgt;2）階圖結構信息，以及如何將不同的t（1≤t≤T）階圖信息進一步整合為最終的表示尚不明確。

本文方法通過T個深度前饋神經網絡的模型來分別學習t階的圖信息，并根據它們的作用集成為全局表示。據此，T個模型獲得的表示將被施加不同的權重，并以定值分配于全局表示當中。同時，針對訓練多個模型將導致的時間效率問題，本文受到知識蒸餾［23］的啟發，第t個模型將使用t－1個模型訓練得到的參數作為初始參數并對其進行優化和更新，這一策略已證明能夠有效地提高時間效率。簡言之，本文創新性地使用T個深度學習模型來整合圖的全局表示，并考慮了它們在全局表示中的不同作用。綜上，本文方法的主要貢獻如下：

a）提出了一種基于T個前饋神經網絡的深度學習框架，它能夠抽取圖結構的非線性關系，同時可以捕獲t階信息并集成為最終的圖全局表示；

b）更進一步，根據T個神經網絡獲得的不同t步頂點關系，本文根據它們在全局表示中的作用給定相應的權重和比例，從而有效保留低階和高階關系，并發揮不同跳數關系的優勢；

c）在多個真實的數據集上，與多個代表性算法在頂點分類和鏈接預測任務中進行了大量實驗，實驗結果表明，本文方法更具競爭力。

1 相關工作

a）基于矩陣分解的方法。這一類方法和經典的光譜聚類方法有著密切聯系［24］，光譜聚類［25，26］作為一種數據聚類技術，它可以選取表示矩陣的特征值或者特征向量來獲得低維嵌入，并適用于聚類任務。GraRep通過操作K步的概率矩陣并整合所獲信息作為全局表示。文獻［9］還進一步分析了基于矩陣分解的方法與skipgram方法［27］的聯系，證明DeepWalk和node2vec實際上是隱式的矩陣分解。在后續的工作中，文獻［15］對NetMF進行了改進，并進一步研究了窗口大小T（步長）對向量表示起到的作用。然而，這些方法大多使用SVD來獲得低維表示，這使得它們難以操作大型網絡。文獻［28～30］嘗試在不顯式計算近似矩陣的情況下獲得嵌入，例如使用鄰接矩陣S進行SVD計算，從而降低計算成本。在最近的工作中，文獻［31］提出了一個具有可訓練的接近度度量的框架，它包含了可微的支持向量差，并使用反向傳播（back propagation）來訓練參數。

b）基于深度神經網絡的方法。基于圖神經網絡的工作提出許多有效的方法［32，33］，這為生成節點嵌入提供了良好的解決方案。SDNE和DNGR［31］使用帶有目標矩陣的多層自編碼器生成嵌入，DRNE［33］利用LSTM［34］通過遞歸聚合每個頂點的鄰居生成表示向量。在后續的工作中，GraphGAN［5］則進一步將生成對抗網絡和圖表示學習相結合，通過對抗博弈獲得圖嵌入。文獻［8］通過在神經網絡中操作鄰接矩陣來獲得每個頂點的鄰接關系。AW［6］提出了一種基于轉移矩陣的圖嵌入模型，該模型通過優化上游目標來引導訓練關注隨機游動中的重要信息。最近，文獻［35］的方法能夠自適應地調節全通和低通濾波器之間的平衡，以此在訓練圖神經網絡時獲得最優的圖核。

盡管現有方法已經可以捕獲高階的頂點關系并以此獲取圖的全局結構，然而，不同階數的頂點信息在全局表示中如何作用還尚不明確。本文方法將通過T個模型獲得T個不同階數的表示，并進一步根據第t個模型在全局表示中的作用給定權重和在空間維度中的比例。

2 圖表示深度學習集成算法模型

2.1 問題定義

為了具體闡述本文的框架，本節給出一些基本定義。

2.2 框架

本文通過T個前饋神經網絡模型來分別捕獲不同t（1≤t≤T）階的鄰接關系，根據不同跳數的關系并按給定比例整合得到的T個表示矩陣作為全局表示。對于前饋神經網絡，它由輸入層、隱藏層和輸出層三部分組成。輸入層將給定的輸入數據xi映射到表示空間，經隱藏層逐層處理后得到y（K）i，再由輸出層輸出。

圖1展示了本文框架。對于第一個模型，它將鄰接矩陣S作為圖數據輸入，之后使用神經網絡進行處理，在這里將使用深度信念網絡（deep belief network）［36］來初始化一組參數，它們在訓練中被優化并保存用于第二個模型當中，同時，第一個模型得到相應的表示矩陣將作為最終表示的一部分，在全局表示中按給定的比例保存。同樣地，第二個模型將二階的關系矩陣S2作為輸入，它將在訓練中優化上一個模型得到的參數并用于第三個模型當中，第二個模型得到的表示亦將被按一定的比例保存到全局表示中。依此類推，通過T個深度模型的訓練，該框架將整合得到的T個模型的表示作為全局表示。深度模型為前饋神經網絡，求解過程如算法1所示。

2.6 時間復雜度分析

通過分析，不難得到本文算法的時間復雜度為O（nTcdI），其中T是前饋神經網絡的個數，n是頂點的個數，c是網絡的平均度，d是隱藏層的最大維數，I是迭代的次數。

對于頂點個數n而言，I是獨立的。通常情況下c被視為一個常數，例如，在引文網絡中，一篇文章被引用的次數是有限的。而T的取值也獨立于n，因此，可以認為整體訓練復雜度與網絡中頂點的數量呈線性關系。

2.7 小結

至此，已詳細闡述本文的具體框架DLEGR。該模型利用神經網絡解決了淺模型難以捕獲圖結構的非線性關系的問題。通過T 個不同前饋神經網絡來學習頂點間的不同距離關系，從而捕獲了從低階到高階的節點間關系。該框架進一步考慮了如何整合這些局部表示，通過調整這些表示的權重和在全局表示中的比例來獲得最終的全局表示。本文框架還考慮了知識蒸餾的有關知識，探索這T 個前饋神經網絡之間的聯系。實驗表明，當第t個模型使用t-1個模型的參數時對時間效率有一定的提升。DLEGR源碼的GitHub地址為http：//github.com/MCCare/DLRGR.git。

3 實驗

本章將闡述本文方法在幾個真實數據集上執行頂點分類和鏈接預測任務的表現情況，實驗結果表明，本文算法DLEGR在這兩個任務中具備競爭力。

3.1 實驗設置

實驗環境：本文所使用機器的處理器配置為Intel i510500 CPU@3.10 GHz，其內存為8 GB。其次，本文利用EvalNE［37］來評估實驗結果，作為一個開源的Python平臺，它可用于評估嵌入在頂點分類、鏈接預測等任務上運行的結果。

1）對比算法

在對比實驗中使用以下代表性算法：a）DeepWalk［3］，它是一種結合了隨機游走和word2vec的圖學習算法，該算法能夠學習網絡中所隱藏的信息，同時將圖中的頂點表示為包含相應信息的向量；b）node2vec［2］，它是一種綜合考慮鄰域的廣度遍歷和深度遍歷的網絡嵌入方法，node2vec還被看做是DeepWalk的一個擴展，在算法中，它將DeepWalk與DFS和BFS進行了結合；c）GraRep［14］，這是一種基于奇異值分解的學習頂點的低維表示的方法，它通過整合K步的頂點信息來學習圖的全局結構；d）NetMF［9］，學者深入研究了基于skipgram的圖嵌入方法與圖拉普拉斯矩陣之間的聯系，同時利用矩陣分解技術來獲得低維表示；e）

InfiniteWalk［15］，該基于矩陣分解的方法將DeepWalk和光譜圖嵌入聯系了起來，同時深入研究了窗口大小T與圖表示質量的聯系，并簡化了NetMF的表示；f）random walk embedding［10］，這是最近提出的一種應用自協方差來創建頂點嵌入的算法，它利用隨機游走的相似度進一步優化了算法的性能；g）SDNE［8］，學者設計了一個由多個非線性函數組成的多層架構，這一算法可以將圖數據映射到一個高度非線性的空間中，從而捕獲它的結構信息；h）GraphSAGE［21］，為圖卷積神經網絡算法，該方法通過聚合函數來聚合頂點的鄰居信息，并通過訓練對其更新，隨著迭代次數的增加，頂點能夠聚合到高階的鄰居信息。

2）數據集

為了全面評估生成嵌入的有效性，本文使用了五個真實的數據集，其中包括社交網絡、蛋白質網絡、引文網絡和語言網絡。它們的細節如表1所示，下面分別進行簡單介紹。

a）BlogCatalog［38］，它是由真實的在線用戶生成的社交網絡，每一個用戶至少有一類標簽，在數據集中共有39類標簽；b）PPI［39］，它是由人類蛋白質生成的一個子圖，不同的蛋白質具有不同的標簽，在這一數據集中共有50個標簽；c）Cora［40］，它是一種引文網絡，根據引文的不同，在這一網絡中共有7個標簽；d）Wikipedia［41］，它是由維基百科生成的一種詞貢獻網絡，在這里有17種標簽；e）PubMed［42］，數據集包括來自PubMed數據庫的19 717篇關于糖尿病的科學出版物，其中，它將整個數據集分為了三類。

3）參數設置 對于所有的算法，訓練集的大小從0.1～09不等，其余為測試集。本文使用的所有源代碼均來自GitHub，對于相應算法的設置均采用作者的建議設置，其中表示向量的維度均被設置為128。ct的值在分類任務中被設置為ct=ε/∑t1εt（0lt;εlt;1）。通過比較，實驗中ε在不同數據集中的影響有所不同，本文將在3.3節中根據實驗結果討論其具體取值，而在鏈接預測中ct均被設置為1。訓練模型的個數T被設置為4。

3.2 實驗結果

本節根據實驗結果驗證了DLEGR在鏈接預測和頂點分類任務的有效性，并與其他基線算法進行了比較。這里取10次實驗的平均值作為結果。

頂點分類任務的目的是根據訓練獲得的嵌入來預測每個頂點的標簽。這里，通過microF1值來比較不同算法的競爭力。

表2～5展示了DLEGR在四個真實的數據集上與其他幾個基線算法的比較情況。實驗結果顯示，本文方案更有競爭力，特別是在Wikipedia、PPI和Blogcatalog中的多數情況下可以比SDNE的性能提高將近10%，而在PPI上則在所有情況下都獲得了更好的實驗結果。另外在PPI和Blogcatalog兩個數據集中可以實現比最近的頂點表示方案random walk embedding更好的性能。

對于不同的算法，如random walk embedding在Wikipedia中訓練集為10%時獲得了更好的效果，然而在其他情況下卻不能取得更好的表現；同樣，InfiniteWalk在Cora中當訓練集為10%和30%時表現良好，但在其他情況下并不能保持良好的表現。

表6和7展示了DLEGR在兩個數據集上完成鏈接預測任務的情況，通過對比可以看到，它在多數情況下獲得了更有競爭力的結果，其中，在PubMed這一數據集中可以達到對SDNE約6%的提升，另外，對于InfiniteWalk的提升幅度可以達到20%左右。雖然DLEGR在PubMed數據集上不能優于random walk embedding，但是本文方法在多數情況下好于后者。另外，在Blogcatalog這一數據上也可以獲得十分有競爭力的結果。

圖2（a）展示了當第t個模型使用第t-1個模型的參數與再隨機生成參數的用時對比情況。結果表明，當使用上一個模型的參數可以獲得約10%的時間效率提升。圖2（b）則展示了DLEGR與其他六種算法在Cora中執行分類任務時的時間開銷對比，可以看到它在用時上要遠低于傳統的算法node2vec、DeepWalk和GraRep。雖然本文提出的DLEGR在時間效率上不能優于InfiniteWalk和Netmf，但是它在鏈接預測和分類任務中的多數情況下都能取得比它們更好的表現。實驗中已證明在Wikipedia、Blogcatalog和PPI等數據集中有同樣的情況。

3.3 參數敏感度分析

圖3展示了在不同數據集中執行鏈接預測時改變ε值對auroc和Fscore值的影響，從面的圖表中可以清晰地看到其在不同數據集中的影響有所不同。在PPI中，當ε≤0.5時獲得了較好的表現并趨于穩定。而在Blogcatalog和Wikipedia兩個數據集中，改變ε值對實驗結果的影響較無規律。其次，在Cora中，改變ε值對實驗結果的影響較弱，調整其值對實驗結果的影響不大。根據上述的結果，ε值為1時在Blogcatalog、Cora和Wikipedia獲得了有競爭力的表現，本文在執行鏈接預測時將其值設置為1。

圖4和5展示了實驗中T的取值和ε值的不同對嵌入在Cora、Blogcatalog、PPI、Wikipedia上執行分類任務時macroF1和microF1得分的影響。結果顯示，總體上，當T值為4時獲得了較好的結果，反之增加或提升其個數得分下降。然而在Blogcatalog中的情況有所不同，當T值為5時獲得了更好的microF1值，而當T值為3時獲得了更好的macroF1值。

ε值對不同的數據集的影響不同，在Blogcatalog中對于microF1的影響并不顯著，難以區分何時可以獲得更好的結果，而對于macroF1則在ε值取0.6時獲得了更好的結果；在Cora和PPI兩個數據集中則對macroF1和microF1的影響相近，分別在ε值取0.75和0.2時獲得了更好的結果；此外，在Wikipedia中ε取值對macroF1和microF1的影響均比較有限，不易區分何種情況下能獲得更好的結果。本文中，在Blogcatalog數據集中執行頂點分類時ε的取值為0.6，在Wikipedia中ε的取值為結果較好且較為平滑的0.4。

圖6展示了不同K值對分類結果的影響，在Cora和PPI中可以看到，當K值為5時可以獲得更好的表現。在Blogcatalog中，當K值為5時取得了更好的microF1值，而對于macroF1則影響有限。對于Cora，在K取值為5時獲得了更好的表現。圖7展示了不同K值對鏈接預測結果的影響，在Blogcatalog中當K值取1～10時對auroc值的影響較小，而對于F_score的影響則較無規律。在Cora、PPI和Wikipedia中，K值的大小對實驗結果無明顯規律，而當K值為5時結果較為理想。

4 結束語

本文提出了一個基于T個前饋神經網絡的框架進行圖表示學習，通過這些神經網絡捕獲了t（1≤t≤T）階的頂點間關系，并根據它們的作用給定相應的權重和在空間維度中的占比。實驗結果表明，本文方法在分類和鏈接預測任務中更具競爭力。

在后續的研究中將基于知識蒸餾［23］技術探索T個模型間如何知識遷移，從而提高模型訓練時間效率，同時，研究其中的理論依據。此外，本文對于ε的取值尚為手動調整，在后續的研究中可以嘗試研究自動地對不同的數據集匹配合適的ε值。

參考文獻：

［1］Chang Shiyu，Han Wei，Tang Jiliang，et al. Heterogeneous network embedding via deep architectures ［C］// Proc of the 21st ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press，2015： 119－128.

［2］Aditya G，Jure L. node2vec： scalable feature learning for networks ［C］// Proc of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press，2016： 855－864.

［3］Perozzi B，AlRfou R，Skiena S. DeepWalk： online learning of social representations ［C］//Proc of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press，2014： 701－710.

［4］Anton T，Davide M，Panagiotis K，et al. VERSE： versatile graph embeddings from similarity measures ［C］// Proc of World Wide Web Conference. 2018： 539－548.

［5］Wang Hongwei，Wang Jia，Wang Jialin，et al. GraphGAN： graph representation learning with generative adversarial nets ［C］// Proc of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto，CA：AAAI Press，2018： 2508－2515.

［6］Fouss F，Pirotte A，Renders J，et al. RandomWalk computation of similarities between nodes of a graph with application to collaborative recommendation ［J］. IEEE Trans on Knowledge and Data Engineering，2007，19（3）： 355－369.

［7］Yu Xiao，Ren Xiang，Sun Yizhou，et al. Personalized entity recommendation： a heterogeneous information network approach ［C］// Proc of the 7th ACM International Conference on Web Search and Data Mining. New York： ACM Press，2014： 283－292.

［8］Wang Daixin，Cui Peng，Zhu Wenwu. Structural deep network embedding ［C］// Proc of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press，2016： 1225－1234.

［9］Qiu Jiezhong，Dong Yuxiao，Ma Hao，et al. Network embedding as matrix factorization： unifying DeepWalk，LINE，PTE，and node2vec ［C］// Proc of the 11th ACM International Conference on Web Search and Data Mining. New York： ACM Press，2018： 459－467.

［10］Huang Zexi，Silva A，Singh A. A broader picture of randomwalk based graph embedding ［C］//Proc of the 27th ACM SIGKDD Conference on Knowledge Discovery amp; Data Mining. New York： ACM Press，2021： 685－695.

［11］Luo Dijun，Ding C，Nie Feiping，et al. Cauchy graph embedding ［C］// Proc of the 28th International Conference on Machine Learning. New York： ACM Press，2011： 553－560.

［12］Shaw B，Jebara T. Structure preserving embedding ［C］// Proc of the 26th International Conference on Machine Learning. New York： ACM Press，2009： 937－944.

［13］Tang Jian，Meng Qu，Wang Mingzhe，et al. LINE： largescale information network embedding ［C］//Proc of the 24th International Conference on World Wide Web. 2015： 1067－1077.

［14］Cao Shaosheng，Lu Wei，Xu Qiongkai. GraRep： learning graph representations with global structural information ［C］//Proc of the 24th ACM International Conference on Information and Knowledge Management. New York： ACM Press，2015： 891－900.

［15］Chanpuriya S，Musco C. InfiniteWalk： deep network embeddings as Laplacian embeddings with a nonlinearity ［C］// Proc of the 26th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. New York： ACM Press，2020： 1325－1333.

［16］Bengio Y. Learning deep architectures for AI ［M］. California： Now Publishers，2009.

［17］Krizhevsky A，Sutskever I，Hinton G E. ImageNet classification with deep convolutional neural networks ［J］. Communications of the ACM，2012，60（6）： 1097－1105.

［18］Socher R，Perelygin A，Wu J，et al. Recursive deep models for semantic compositionality over a sentiment treebank ［C］// Proce of Conference on Empirical Methods in Natural Language Processing. 2013： 1631－1642.

［19］趙京勝，宋夢雪，高祥，等. 自然語言處理中的文本表示研究 ［J］. 軟件學報，2022，33（1）：102－128. （Zhao JingSheng，Song MengXue，Gao Xiang，et al. Research on text representation in natural language processing ［J］. Journal of Software，2022，33（1）： 102－128.）

［20］Hinton G E，Deng Li，Yu Dong，et al. Deep neural networks for acoustic modeling in speech recognition： the shared views of four research groups ［J］. IEEE Signal Processing Magazine，2012，29（6）： 82－97.

［21］Hamilton W L，Ying R，Leskovec J. Inductive representation learning on large graphs ［C］// Proc of Neural Information Processing Systems 30. 2017： 1025－1035.

［22］Kipf T N，Welling M. Semisupervised classification with graph convolutional networks ［C］// Proc of the 5th International Conference on Learning Representations. 2016： 02907.

［23］黃震華，楊順志，林威，等. 知識蒸餾研究綜述 ［J］. 計算機學報，2022，45（3）： 624－653. （Huang Zhenhua，Yang Shunzhi，Lin Wei，et al. Knowledge distillation： a survey ［J］. Chinese Journal of Computers，2022，45（3）： 624－653.）

［24］Ng A Y，Jordan M I，Weiss Y，et al. On spectral clustering： analysis and an algorithm ［C］// Proc of the 14th International Conference on Neural Information Processing Systems： Natural and Synthetic. 2001： 849－856.

［25］Brand M，Huang Kun. A unifying theorem for spectral embedding and clustering ［C］// Proc of the 9th International Workshop on Artificial Intelligence and Statistics. 2003： 41－48.

［26］Luxburg U V. A tutorial on spectral clustering ［J］. Statistics and Computing，2007，17（4）： 395－416.

［27］Mikolov T，Sutskever I，Chen Kai，et al. Distributed representations of words and phrases and their compositionality ［C］// Advances in Neural Information Processing Systems 26. 2013： 3111－3119.

［28］Ou Mingdong，Cui Peng，Pei Jian，et al. Asymmetric transitivity preserving graph embedding ［C］// Proc of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press，2016： 1105－1114.

［29］Zhang Ziwei，Cui Peng，Wang Xiao，et al. Arbitraryorder proximity preserved network embedding ［C］// Proc of the 24th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. New York： ACM Press，2018： 2778－2786.

［30］Yang Renchi，Shi Jieming，Xiao Xiaokui，et al. Homogeneous network embedding for massive graphs via reweighted personalized PageRank ［C］// Proc of VLDB Endowment. 2020： 670－683.

［31］Zhang Xingyi，Huang Zengfeng. Learning based proximity matrix factorization for node embedding ［C］// Proc of the 27th ACM SIGKDD Conference on Knowledge Discovery amp; Data Mining. New York： ACM Press，2021： 2243－2253.

［32］Cao Shaosheng，Lu Wei，Xu Qiongkai. Deep neural networks for learning graph representations ［C］// Proc of the 30th AAAI Conference on Artificial Intelligence. Palo Alto，CA：AAAI Press，2016： 1145－1152.

［33］Tu Ke，Cui Peng，Wang Xiao，et al. Deep recursive network embedding with regular equivalence ［C］// Proc of the 24th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining. New York： ACM Press，2018： 2357－2366.

［34］Hochreiter S，Schmidhuber J. Long shortterm memory ［J］. Neural Computation，1997，9（8）： 1735－1780.

［35］Ju Mingxuan，Hou Shifu，Fan Yujie，et al. Adaptive kernel graph neural network ［C］// Proc of the 36th AAAI Conference on Artificial Intelligence. Palo Alto，CA：AAAI Press，2022： 7051－7058.

［36］Hinton G E，Osindero S，Teh Y W. A fast learning algorithm for deep belief nets ［J］. Neural Computation，2006，18（7）： 1527－1554.

［37］Mara A，Lijffijt J，Bie T D. EvalNE： a framework for evaluating network embeddings on link prediction ［EB/OL］. （2019－01－22）. https：//doi.org/10.48550/arXiv.1901. 09691.

［38］Agarwal N，Liu Huan，Murthy S，et al. A social identity approach to identify familiar strangers in a social network ［C］//Proc of the 23rd AAAI Conference on Artificial Intelligence. Palo Alto，CA：AAAI Press，2009： 1－9.

［39］Marinka Z，Jure L. Predicting multicellular function through multilayer tissue networks ［J］. Bioinformatics，2017，33（14）： 190－198.

［40］Sen P，Namata G，Bilgic M，et al. Collective classification in network data ［J］. AI Magazine，2008，29（3）： 93－107.

［41］Mahoney M. Large text compression benchmark ［EB/OL］. （2006－03－06）. https：//mattmahoney.net/dc/textdata.

［42］Yang Zhilin，Cohen W W，Salakhutdinov R. Revisiting semisupervised learning with graph embeddings ［C］// Proc of the 33rd International Conference on Machine Learning. 2016： 40－48.