面向復雜網絡的異構網絡表示學習綜述

顏銘江，董一鴻，蘇江軍，陳華輝，錢江波

綜述

面向復雜網絡的異構網絡表示學習綜述

顏銘江，董一鴻，蘇江軍，陳華輝，錢江波

（寧波大學信息科學與工程學院，浙江 寧波 315211）

異構信息網絡包含豐富的節點信息和鏈接信息，具有復雜異質性、高稀疏性、屬性高維性等特性，這些特性給網絡表示學習任務帶來了巨大的挑戰。異構網絡表示學習通過在嵌入過程中將多樣化的異質信息和結構信息進行有效融合，學習得到更有利于下游機器學習任務的低維特征向量。從異構網絡表示學習方法的研究粒度出發，對近年的研究現狀進行了比較全面的分析和討論。首先探討網絡表示學習的產生動機，闡述了近年的異構網絡表示學習的研究歷程；然后對具有代表性的算法模型進行分類討論，歸納其主要的研究內容和所使用的嵌入技巧。最后給出了未來工作中異構網絡表示學習可能的研究方向和比較有價值的研究內容。

網絡表示學習；異構信息網絡；圖嵌入；圖神經網絡；異質信息

1 引言

互聯網基礎建設的快速發展使各種線下信息數字化，導致可利用信息呈爆炸式增長。這些龐大數據中多樣化實體和實體間關聯構成了一系列不同的信息網絡，如社交網絡[1-2]、生物分子網絡[3]等，催生了針對網絡數據進行數據挖掘的研究。網絡表示學習[4]（network representation learning/ network embedding，NRL）又稱為圖嵌入，是為了能有效地進行信息網絡數據挖掘任務而產生的研究方法。網絡表示學習依據相關優化目標，將具有高維復雜信息的網絡中實體節點映射到低維向量空間中，并能保留原始網絡中節點信息與網絡結構信息，之后將映射后的低維向量應用于各種機器學習任務，比如節點分類[5-6]、可視化[7]、推薦系統[8-9]等。最開始對于網絡的研究是從網絡的拓撲結構出發的，忽略網絡中節點和關系的類型信息，即將網絡視為同構網絡以矩陣分解[10]的方式利用鄰接矩陣實現節點嵌入。

然而，真實網絡中包含的節點類型是多樣化的，節點之間也存在著不同含義的作用關系，這種復雜的內容單純依靠傳統網絡學習方法是無法提取的。另外，這種信息多樣化的異構信息網絡中還包含描述節點自身特征的屬性信息，如文本、圖像等，因此需要有效的方式對這些信息進行融合學習。異構網絡表示學習通過融合節點屬性信息和網絡結構信息，探索各種異質信息之間的潛在作用關系，在網絡結構的基礎上捕捉節點的微觀特性，以獲取保留信息量更多的節點嵌入，提高任務性能，其整體學習框架如圖1所示。

對真實異構網絡進行表示學習主要有3個優點：（1）有效緩解現實世界網絡數據的高稀疏性、高維性問題，通過學習將異構信息網絡中的節點和邊都轉化為低維稠密向量，降低了存儲空間和節點間度量復雜度；（2）有效解決真實網絡中異質信息的融合利用，通過異構信息網絡表示學習模型能將不同類型節點映射到統一的低維向量空間中，有效融合節點屬性信息和節點間的關系信息，提高了嵌入有效性；（3）有效控制計算復雜度，異構信息網絡表示學習模型在設計時同時考慮大規模網絡問題，保證信息融合的計算復雜度。這些優點更加符合實際應用中的工作需求，使異構網絡表示學習成為目前網絡表示學習中的研究熱點。

2 異構信息網絡表示學習發展

在早期同構網絡表示學習的研究過程中，基于矩陣分解的算法由于計算復雜度過高不適用于大規模網絡表示學習。后來受自然語言處理的啟發，DeepWalk[11]開始利用游走和Skip-gram結合的方式從序列中節點共現的角度學習節點嵌入；Node2vec[12]進一步改進游走方式，同時捕捉局部和全局結構信息；LINE[13]則是從節點對間一階相似性和二階相似性出發學習節點嵌入；GraphWave[14]通過小波擴散的方式學習節點結構特征，將小波視為圖上概率分布。以上這些方式都是從網絡結構的相似性出發，不同的是：Node2vec和GraphWave分別通過偏向游走和小波擴散的方式捕捉網絡結構，而LINE則是非常直接地保留目標節點對之間的結構相似度。但是，隨著同構網絡研究的不斷發展，研究者們發現單純拓撲結構已經很難再對網絡嵌入性能有更高的提升，而真實網絡中隨處可見的異質信息（如實體附帶的屬性、文本信息）以及實體間的語義信息在嵌入過程中并沒有得到有效的利用。

圖1 異構信息網絡表示學習框架

異構信息網絡表示學習便是從網絡中這些復雜的異質信息出發，將網絡的拓撲結構信息與多種異質信息進行有效的融合嵌入，并且能有效解決異構信息網絡高稀疏性、高異質性等特點。由于異構信息網絡中節點類型和關系類型是最基本的異質信息，受DeepWalk在同構網絡中隨機游走策略的啟發，研究者們利用節點類型和關系類型設計元路徑來指導隨機游走方式，保留節點間具有人工經驗的語義信息，Metapath2vec[15]、HINE[16]等便是利用此種方式實現對節點間特定關系的保留。DDRW[17]等則將截斷的隨機游走與層級Softmax進行結合，配合分類目標函數捕獲節點的相似性。ProxEmbed[18]等利用LSTM具有時間記憶性的特點，意圖將隨機游走序列模擬為節點間的“時間”演化過程匹配LSTM輸入，同時在嵌入過程中考慮節點異質性。HNE[19]、PTE[20]等方法從簡化嵌入的角度出發，將原始異構信息網絡根據不同內容拆分為多個子圖進行獨立嵌入。由于神經網絡在計算機視覺領域迅速發展，并取得了非常不錯的成果，研究者們開始嘗試將相關方法應用到網絡表示學習過程中，實現端到端學習。比如PinSage[21]借鑒卷積方式探索節點間的消息傳遞；DKN[22]受遷移學習的啟發，利用現有知識圖譜模型和CNN實現新聞推薦；HeGAN[23]等利用GAN提高網絡嵌入的魯棒性。

3 相關概念

為了學習異構網絡中具有異質性的拓撲結構，設計符合異構網絡的隨機游走策略是十分必要的，因此許多工作中引入了人工經驗，提出了元路徑的概念。

4 異構網絡表示學習方法

本節從異構信息網絡的研究內容出發，根據不同的研究內容和方式將現有異構網絡表示學習方法分為4種：基于邊采樣的方法、基于隨機游走的方法、基于子圖的方法和基于圖神經網絡的方法。

4.1 基于邊采樣的方法

網絡中的邊代表了兩個節點之間存在著某種關系，在網絡表示學習的過程中，研究者們常將邊作為衡量兩個節點是否相似的直接體現。在同構網絡中，類似LINE[13]的方法在通過邊采樣學習節點嵌入時只需要考慮節點間拓撲結構關系即可。但是在異構網絡中，需要考慮多樣化的邊類型信息，比如社交網絡中用戶之間有朋友和敵對關系。如果只考慮節點間有邊而不考慮邊的類型，則無法區分社交網絡中兩個實體間具體關系，可能導致最終給目標推薦的用戶是目標極為討厭的對象，造成推薦失敗。因此在從邊采樣角度出發進行節點嵌入時必須考慮不同語義關系帶來的差異性，這樣才能準確描述和保留節點間語義特性。

與以上單純預測節點語義關系的方法不同，Qu等[27]認為不同類型的邊在邊采樣過程中的先后順序可能會對最終的嵌入效果產生不同的影響。因此模型在采樣過程中引入強化學習機制，劃分計劃模塊和學習模塊，前者根據LINE的評價結果計算類型采樣價值Q，后者利用查表和神經網絡確定價值Q，兩者結合獲取最優邊采樣類型序列。HEER[28]則認為不同語義關系可能會存在不兼容的問題，導致原本比較相近的節點在投影到低維向量空間后變得較為疏遠。因此HEER將節點根據語義關系進行分組，然后進行獨立嵌入，利用邊向量定義節點對的類型接近度，用來度量邊與類型的耦合程度：

基于邊采樣的方法將關注點放在網絡的局部結構特征，每次只涉及部分節點，計算復雜度低。另外，異構網絡中的邊采樣以邊的類型為主導，考慮節點間語義關系，更有利于完成類似社區內用戶推薦等任務。但是邊采樣涉及的關系類型較為簡單，難以推測復雜語義關系。

4.2 基于隨機游走的方法

雖然這種方法在構造鄰居節點時考慮了節點類型，但是在利用Softmax計算共現概率時并沒有考慮節點類型信息帶來的影響。因此在原始模型的基礎之上進一步改進異構Skip-gram模型概率計算，設計考慮節點類型的負采樣，使Softmax計算時只考慮特定類型節點，降低計算復雜度：

基于隨機游走的方法能有效捕獲遠距離節點的相似度信息，同時也能將節點屬性信息和局部結構特征融入嵌入過程中，提高信息保留量。由于隨機游走帶來的感受野非常大，并且能非常靈活地融入各種輔助信息，因此是當前的研究熱點。

4.3 基于子圖的方法

圖2 SPE子圖模式mi

除了以上通過游走路徑聚合方式組成新的子圖，還有些方法直接根據實體類型將網絡拆分成不同的子圖。比如，HNE[19]根據圖片和文本類型將原始網絡拆分成兩個只包含圖片或文本的子網絡，并使用現有方式分別對其進行嵌入，最終實現跨模態的相似度度量。PTE[20]根據文本中僅有的部分標簽數據，將原異構文本網絡拆分成3個子網絡——word-word網絡、word-document網絡和word-label網絡，并對上述網絡分別利用LINE進行學習得到不同類型對象的向量表示，之后利用詞向量的平均求和獲得任意文本的嵌入表示。SHINE[37]根據情感得分和用戶信息將原始網絡拆分為社交網絡、情感網絡和簡介網絡，通過3個網絡的獨立嵌入分別獲得名人和普通人的3種向量表示，隨后進行簡單聚合獲得最終嵌入，最后利用兩種向量的情感符號預測進行模型優化。

另外，還有一些任務驅動型拆分方法，根據不同任務將原始異構網絡拆分成有利于任務目標的子網絡，比如PGCN[38]為實現推薦任務，將網絡拆分成3個子網絡——user-item、item-item和user-subseq，分別對應用戶的商品偏好、商品依賴和用戶相似度信息。同時，模型根據節點類型和距離篩選鄰居節點并進行加權聚合產生虛擬節點解決節點鄰居數目多變問題，然后利用卷積操作對虛擬節點特征進行聚合學習，保留網絡局部特征。HGAT[39]與之類似，為實現用戶屬性標簽的推理，同樣將原始網絡拆分成3個子網絡——attribute-item、item-user和user-user，以層級推進的方式依次實現item和user的嵌入，同時給出了3種聚合方法有效性的討論。

基于子圖的方法通常是將原始網絡根據研究內容或研究任務拆分成不同的子網絡，對每個子網絡采用不同的方式進行獨立嵌入，降低了多種信息融合嵌入的難度，同時也降低了嵌入計算復雜度。另外，由于拆分后的子網絡具有某種特定含義，且包含的節點類型比較一致，因此更有利于針對特定任務進行網絡嵌入。

4.4 基于圖神經網絡的方法

人工智能和機器學習在圖像和自然語言處理等方面取得的顯著成果，鼓勵了更多的研究者將深度神經網絡應用于網絡表示學習中，期望能通過無監督或半監督的方式自主學習網絡中的非線性特征，比如SHINE[37]等利用無監督自編碼器實現自適應的關鍵信息提取等。受益于CNN[40]在計算機視覺上取得的顯著效果，GCN[41]和GraphSage[42]將CNN的卷積操作適配于在非矩陣結構的不規則網絡中，利用圖的Laplacian矩陣作為規則化輸入，進行圖卷積操作。但是這種同構方法并不適用于類型稀疏的大規模異構信息網絡。隨著GNN[43]（圖神經網絡）可解釋性的提出，如何有效利用圖神經網絡進行網絡嵌入進入了研究高潮期。GNN的核心思想很簡單，即通過迭代的方式將目標節點的鄰居信息不斷聚合到的嵌入中，從而達到節點間信息傳遞的效果。具體第次迭代運算如下所示：

隨著GNN迭代次數的增加，能捕獲的局部特征信息就越接近于全局特征信息。HetGNN[44]根據節點類型對鄰居節點進行聚合，并利用兩個RNN實現網絡嵌入：第一個RNN用于編碼每個節點的特征交互以獲得節點的上下文嵌入；另一個RNN將鄰居分組上下文嵌入進行聚合，進一步引入注意力機制度量不同類型節點的影響程度。受到局部信息迭代聚合的啟發，PinSage[21]提出局部圖卷積模型，將圖卷積中的矩陣運算替代為消息傳遞的聚合運算，根據當前節點子節點訪問次數確定鄰居節點的重要程度，并不斷將鄰居特征進行加權聚合到中心節點。IntentGC[45]在此基礎之上設計快速圖卷積模型，在鄰居聚合過程中采用多尺度過濾器，從多個角度對不同類型的鄰居節點進行加權聚合，如式（7）所示，以此降低圖卷積計算復雜度，使其能有效部署在十億級別網絡中運行。

DKN[22]利用遷移學習的思想，結合現有的知識圖譜模型設計了KCNN，將文本和實體利用卷積的方式保持對齊關系，并利用知識圖譜模型實現新聞內容的預訓練，然后將實體、上下文和詞嵌入共同匹配卷積輸入，同時引入候選新聞與用戶的注意力權重，實現最終用戶與新聞的推薦任務。NeRank[46]則利用不同嵌入方式對問答社區內的用戶和問題文本進行獨立嵌入，然后利用CNN實現排名成績的計算。

GraphGAN[47]在假設節點之間的鏈接具有潛在分布的前提下，通過對抗性訓練讓生成器生成的節點鏈接分布不斷逼近真實潛在分布。它的出現使GAN開始在網絡表示方面綻放光芒，以對抗學習的方式探索網絡中潛在的隱藏信息。NetRA[48]利用LSTM完成正則化自動編碼器功能實現對游走路徑信息的自主學習，將輸出的路徑嵌入作為真實樣本，利用GAN進行對抗性訓練學習網絡異質結構分布，使嵌入具有更強的魯棒性，提高抗干擾能力。

為了有效利用邊類型生成具有特定語義關系的目標節點，HeGAN[23]提出泛化生成器，在Metapath2vec初始化節點向量的基礎上，意圖從連續分布中直接采樣“潛在”節點，同時在生成器和判別器中引入關系類型感知以捕獲更加豐富的語義關系，實現對訓練集中不可見節點的正確嵌入。

基于圖神經網絡的方法利用神經網絡強大的自主學習能力對異構網絡中的異質信息進行自主嵌入，簡化嵌入過程，在實現端到端學習的同時降低模型構造難度。目前神經網絡對于各種屬性信息（如圖片、文本等）都具有良好的學習能力，能有效處理異構信息網絡中節點和邊的額外屬性信息，減少信息損失。圖神經網絡能根據不同的任務靈活搭建，因此更受研究者們的喜愛。

5 模型歸納

本節從主要研究內容、嵌入方法、具體應用等方面對近幾年的異構網絡表示學習的代表性研究算法進行了相關內容的整理，結果見表1。異構信息網絡中節點和邊的類型信息是最容易獲取的異質信息，因此大多數算法從類型信息出發對節點進行低維嵌入，這與表1中大部分學習模型的主要研究內容保持一致。此類算法大多關注節點語義關系，由此產生的節點嵌入多用于節點分類、鏈路預測等任務，基于邊采樣和隨機游走的方法便是如此。此外，單純利用類型信息的方法算法復雜度較低，在大規模網絡中也能達到不錯的運行效率。基于子圖嵌入的方法從簡化網絡嵌入角度出發，依據類型信息和任務內容拆分重組原始網絡形成不同的子網絡，利用已有網絡表示學習方法獨立嵌入，最后將子圖嵌入結果進行組合或直接利用。這種類似分治的算法將復雜問題簡單化，降低了整個算法的計算復雜度，且在不同子網絡中能進行針對性信息融合。此外，拆分后的子圖將具有相似內容或相同偏好的節點聚集在一起，更有利于實現社區發現、近似查詢等任務。但是根據某種特定信息對原始圖進行拆分會造成一些信息的截斷，導致信息丟失，在一定程度上降低嵌入有效性。基于圖神經網絡的方法實現端到端的學習方式，將整個網絡作為輸入，考慮不同異質信息之間的潛在聯系，在整個嵌入過程中利用不同的嵌入模塊有效融合更多的異質信息，保證整個模型具有足夠的魯棒性和有效性。此類方法在設計時更加側重于實際應用，大部分是任務驅動型算法，多用于推薦系統中。雖然這類算法在模型設計時靈活性更高，難度更低，能利用各種類型的內容信息，但是在有效融合不同嵌入模塊時控制計算復雜度仍是比較困難的點。

表1 主要模型歸納與概括

6 結束語

異構信息網絡中具有很多能描述個體特征的異質性信息，更加逼近于真實世界中實體及實體間的關系，因此異構信息網絡表示學習在近幾年成為網絡表示學習的熱點內容。雖然目前的算法都對異構信息網絡中異質性信息的保留進行了較為有效的嘗試，但是大部分算法只利用了單一的異質信息，比如常用的文本信息，而視頻信息、音頻信息等還未得到有效利用，而且大部分算法都無法達到工業級應用，距離實際應用還有很長一段距離。因此異構網絡表示學習的研究還具有很大的發展空間，在未來工作中可以從以下幾個方面著手研究。

（1）異構信息網絡中異質信息的融合

異構信息網絡中除了類型信息，還有多種模態的屬性信息，比如數值、圖像、文本、音頻等。這些信息都是異構網絡中可以利用的有效信息，若能有效保留這些具有明顯特異性的個體信息，對于網絡嵌入性能而言能有很好的提升。目前大多數異構表示學習算法主要有3種方式保留異質性信息：第一種是制定游走策略利用類型信息，在嵌入過程中融入屬性特征；第二種是將異構信息網絡拆分成不同含義的子圖，利用現有嵌入模型簡化嵌入難度，最終對嵌入結果進行聚合；第三種是利用目前發展火熱的圖神經網絡實現端到端的學習方式，以原始網絡作為輸入，在嵌入過程中利用不同模塊學習不同異質信息，但是不同模塊的有效融合是最大的難題。這3種方法的使用也不一定完全獨立，比如NetRA[48]便是第一種和第三種方式的組合。因此，設計一種對異質信息具有高容納性的靈活嵌入工具是異構信息網絡表示學習未來的研究方向之一。

（2）大規模網絡算法有效性

而今各種網絡規模在不斷擴大，大部分算法模型都是基于小規模網絡設計的，無法直接應用于工業級的大規模網絡分析任務中，并沒有太高的實際應用價值。為了提高大規模網絡上的算法有效性，設計符合實際工作的工業級算法，許多大企業和科研團隊開始進行合作研究，并取得了一些不錯的成果，比如PinSage[21]被設計部署于有30億節點規模的Pinterest網站，IntentGC[45]被設計部署于有30億節點規模的淘寶網站。這些工作都是根據實際工作而設計的工業級算法，能在有效時間內完成對大規模網絡學習的任務。因此從算法的運行效率出發，設計能實際落地的工業級圖嵌入算法也是目前網絡表示學習發展的主要趨勢。

（3）模型泛化能力

異構信息網絡對應現實世界中的真實群體，因此網絡的規模和內容并不是恒久不變的，會隨著網絡新節點的加入以及節點間交互的產生而變化。如網絡中會出現新的節點，甚至是孤立點，而這些新節點對于已有模型的執行而言并不友好。因為現有模型在訓練過程中使用的訓練集基本都是利用網絡歷史數據構造的，因此模型在訓練過程中只能獲取已有節點的內在特性，對于訓練過程中并未出現的新節點可能無法進行有效的嵌入。比如在商品推薦系統中，新加入的用戶并沒有購買任何物品，能利用的信息僅有注冊時的一些個人信息，此時推薦模型便無法根據用戶歷史記錄對用戶進行有效的商品推薦。隨著GAN在計算機視覺上的有效發展，網絡表示學習的工作者們開始利用GAN提高模型泛化能力[23,48]，以解決實際應用中經常出現的“冷啟動”問題。此外，良好地運用節點屬性信息也可以提升模型泛化能力。

（4）結合具體應用

通過網絡表示學習得到的低維向量表示本質是為后續的應用場景服務的，比如推薦系統等。隨著圖神經網絡的發展，研究者們開始根據具體任務設計端到端的學習模型。這種針對具體任務設計具體算法的方式，更加符合現在工業生產中的需要，且能根據具體任務中的一些特殊信息進行模型微調，學得具有針對性的嵌入向量。如何有效根據任務目標設計具有實際應用價值的算法模型，也是未來異構信息網絡表示學習有價值的研究方向之一。

[1] TYLENDA T, ANGELOVA R, BEDATHUR S. Towards time-aware link prediction in evolving social networks[C]//Proceedings of the 3rd Workshop on Social Network Mining and Analysis. [S.l.:s.n.], 2009.

[2] 顧秋陽, 琚春華, 吳功興. 融入用戶合作與領導激勵的社交網絡知識傳播模型[J]. 電信科學, 2020, 36(10): 172-182.

GU Q Y, JU C H, WU G X. Knowledge communication model of social network with user cooperation and leadership encouragement[J]. Telecommunications Science, 2020, 36(10): 172-182.

[3] THEOCHARIDIS A, VAN DONGEN S, ENRIGHT A J, et al. Network visualization and analysis of gene expression data using BioLayout Express 3D[J]. Nature Protocols, 2009, 4 (10): 1535.

[4] 尹贏, 吉立新, 黃瑞陽, 等. 網絡表示學習的研究與發展[J]. 網絡與信息安全學報, 2019, 5(2): 77-87.

YIN Y, JI L X, HUANG R Y, et al. Research and development of network representation learning[J]. Chinese Journal of Network and Information Security, 2019, 5(2): 77-87.

[5] TANG J, AGGARWAL C, LIU H. Node classification in signed social networks[C]//Proceedings of the 2016 SIAM International Conference on Data Mining. [S.l.:s.n.], 2016: 54-62.

[6] THEOCHARIDIS A, VAN DONGEN S, ENRIGHT A J, et al. Network visualization and analysis of gene expression data using BioLayout Express 3D[J]. Nature Protocols, 2009, 4(10): 1535.

[7] 鄔少清, 董一鴻, 王雄, 等. 基于高階相似性的屬性網絡表示學習[J]. 電信科學, 2020, 36(12): 20-32.

WU S Q, DONG Y H, WANG X, et al. Learning attribute network algorithm based on high-order similarity[J]. Telecommunications Science, 2020, 36(12): 20-32.

[8] ZHOU C, LIU Y, LIU X, et al. Scalable graph embedding for asymmetric proximity[C]//Proceedings of Thirty-First AAAI Conference on Artificial Intelligence. [S.l.:s.n.], 2017.

[9] 周晶, 孫喜民, 于曉昆, 等. 知識圖譜與數據應用——智能推薦[J]. 電信科學, 2019, 35(8): 165-172.

ZHOU J, SUN X M, YU X K, et al. Knowledge graph and data application: intelligent recommendation[J]. Telecommunications Science, 2019, 35(8): 165-172.

[10] BALASUBRAMANIAN M, SCHWARTZ E L J S. The isomap algorithm and topological stability[J]. Science, 2002, 295 (5552): 7.

[11] PEROZZI B, AL-RFOU R, SKIENA S. Deepwalk: online learning of social representations[C]//Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York: ACM Press, 2014: 701-710.

[12] GROVER A, LESKOVEC J. Node2vec: scalable feature learning for networks[C]//Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York: ACM Press, 2016: 855-864.

[13] TANG J, QU M, WANG M, et al. LINE: large-scale information network embedding[C]//Proceedings of the 24th International Conference on World Wide Web. New York: ACM Press, 2015: 1067-1077.

[14] DONNAT C, ZITNIK M, HALLAC D, et al. Learning structural node embeddings via diffusion wavelets[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York: ACM Press, 2018: 1320-1329.

[15] DONG Y, CHAWLA N V, SWAMI A. Metapath2vec: scalable representation learning for heterogeneous networks[C]// Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York: ACM Press, 2017: 135-144.

[16] HUANG Z, MAMOULIS N J A P A. Heterogeneous information network embedding for meta path based proximity[J]. arXiv: 1701. 05291v1, 2017.

[17] LI J, ZHU J, ZHANG B. Discriminative deep random walk for network classification[C]//Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). [S.l.:s.n.], 2016: 1004-1013.

[18] LIU Z, ZHENG V W, ZHAO Z, et al. Semantic proximity search on heterogeneous graph by proximity embedding[C]//Proceedings of Thirty-First AAAI Conference on Artificial Intelligence. [S.l.:s.n.], 2017.

[19] CHANG S, HAN W, TANG J, et al. Heterogeneous network embedding via deep architectures[C]//Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York: ACM Press, 2015: 119-128.

[20] TANG J, QU M, MEI Q. PTE: predictive text embedding through large-scale heterogeneous text networks[C]// Proceedings of the 21th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York: ACM Press, 2015: 1165-1174.

[21] YING R, HE R, CHEN K, et al. Graph convolutional neural networks for Web-scale recommender systems[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York: ACM Press, 2018: 974-983.

[22] WANG H, ZHANG F, XIE X, et al. DKN: deep knowledge-aware network for news recommendation[C]// Proceedings of the 2018 World Wide Web Conference. [S.l.:s.n.], 2018: 1835-1844.

[23] HU B, FANG Y, SHI C. Adversarial learning on heterogeneous information networks[C]//Proceedings of KDD 2019. [S.l.:s.n.], 2019.

[24] SHI C, LI Y, ZHANG J, et al. A survey of heterogeneous information network analysis[J]. IEEE Transactions on Knowledge and Data Engineering, 2016, 29 (1): 17-37.

[25] FU TY, LEE WC, LEI Z. Hin2vec: Explore meta-paths in heterogeneous information networks for representation learning[C]//Proceedings of the 2017 ACM on Conference on Information and Knowledge Management. New York: ACM Press, 2017: 1797-1806.

[26] YANG L, ZHANG Z, CAI X, et al. Citation recommendation as edge prediction in heterogeneous bibliographic network: a network representation approach[J]. IEEE Access, 2019(7): 23232-23239.

[27] QU M, TANG J, HAN J. Curriculum learning for heterogeneous star network embedding via deep reinforcement learning[C]//Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining. New York: ACM Press, 2018: 468-476.

[28] SHI Y, ZHU Q, GUO F, et al. Easing embedding learning by comprehensive transcription of heterogeneous information networks[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York: ACM Press, 2018: 2190-2199.

[29] YIN Y, JI L, HUANG R, et al. Heterogeneous network representation learning method based on meta-path[C]//Proceedings of 2019 IEEE 4th International Conference on Cloud Computing and Big Data Analysis (ICCCBDA). Piscataway: IEEE Press, 2019: 664-670.

[30] WANG X, JI H, SHI C, et al. Heterogeneous graph attention network[C]//Proceedings of the World Wide Web Conference. [S.l.:s.n.], 2019: 2022-2032.

[31] VELI?KOVI? P, CUCURULL G, CASANOVA A, et al. Graph attention networks[J]. arXiv preprint arXiv: 1710. 10903, 2017.

[32] ZHUO W, ZHAN Q, LIU Y, et al. Context attention heterogeneous network embedding[J]. Computational Intelligence and Neuroscience, 2019.

[33] LU M, WEI X, YE D, et al. A unified link prediction framework for predicting arbitrary relations in heterogeneous academic networks[J]. IEEE Access, 2019(7): 124967-124987.

[34] LIU Z, ZHENG V W, ZHAO Z, et al. Distance-aware dag embedding for proximity search on heterogeneous graphs[C]//Proceedings of Thirty-Second AAAI Conference on Artificial Intelligence. [S.l.:s.n.], 2018.

[35] LIU Z, ZHENG V W, ZHAO Z, et al. Interactive paths embedding for semantic proximity search on heterogeneous graphs[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York: ACM Press, 2018: 1860-1869.

[36] LIU Z, ZHENG V W, ZHAO Z, et al. Subgraph-augmented path embedding for semantic user search on heterogeneous social network[C]//Proceedings of the 2018 World Wide Web Conference. [S.l.:s.n.], 2018: 1613-1622.

[37] WANG H, ZHANG F, HOU M, et al. SHINE: signed heterogeneous information network embedding for sentiment link prediction[C]//Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining. New York: ACM Press, 2018: 592-600.

[38] XU Y, ZHU Y, SHEN Y, et al. Learning shared vertex representation in heterogeneous graphs with convolutional networks for recommendation[C]//Proceedings of the 28th International Joint Conference on Artificial Intelligence. [S.l.:s.n.], 2019: 4620-4626.

[39] CHEN W, GU Y, REN Z, et al. Semi-supervised user profiling with heterogeneous graph attention networks[C]//Proceedings of the 28th International Joint Conference on Artificial Intelligence. [S.l.:s.n.], 2019: 2116-2122.

[40] KRIZHEVSKY A, SUTSKEVER I, HINTON G E. Imagenet classification with deep convolutional neural networks[C]//Proceedings of Advances in Neural Information Processing Systems. [S.l.:s.n.], 2012: 1097-1105.

[41] KIPF T N, WELLING M J A P A. Semi-supervised classification with graph convolutional networks[C]//Proceedings of the 5th International Conference on Learning Representations(ICLR). [S.l.:s.n.], 2017.

[42] HAMILTON W, YING Z, LESKOVEC J. Inductive representation learning on large graphs[C]//Proceedings of Advances in Neural Information Processing Systems. [S.l.:s.n.], 2017: 1024-1034.

[43] XU K, HU W, LESKOVEC J, et al. How powerful are graph neural networks?[J]. arXiv: 1810.00826v3, 2018.

[44] ZHANG C, SONG D, HUANG C, et al. Heterogeneous graph neural network[C]//Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York: ACM Press, 2019: 793-803.

[45] ZHAO J, ZHOU Z, GUAN Z, et al. IntentGC: a scalable graph convolution framework fusing heterogeneous information for recommendation[C]//Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York: ACM Press, 2019: 2347-2357.

[46] LI Z, JIANG JY, SUN Y, et al. Personalized question routing via heterogeneous network embedding[C]//Proceedings of Proceedings of the AAAI Conference on Artificial Intelligence. [S.l.:s.n.], 2019: 192-199.

[47] WANG H, WANG J, WANG J, et al. Graphgan: graph representation learning with generative adversarial nets[C]//Proceedings of Thirty-Second AAAI Conference on Artificial Intelligence. [S.l.:s.n.], 2018.

[48] YU W, ZHENG C, CHENG W, et al. Learning deep network representations with adversarially regularized autoencoders[C]//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York: ACM Press, 2018: 2663-2671.

A survey of heterogeneous network representation learning for complex networks

YAN Mingjiang, DONG Yihong, SU Jiangjun, CHEN Huahui, QIAN Jiangbo

Faculty of Electrical Engineering and Computer Science, Ningbo University, Ningbo 315211, China

Heterogeneous information networks contain rich information about node and link, and have some characteristics, such as complex heterogeneity, high sparsity, high-dimensionality of attributes, etc, which brings huge challenges to network representation learning tasks. The heterogeneous network representation learning learns low-dimensional feature vectors that are more conducive to downstream machine learning tasks by effectively integrating diverse heterogeneous information and structural information in the embedding process. It conducts a relatively comprehensive analysis and discussion of the research status in recent years, starting from the research granularity of the heterogeneous network representation learning method. Firstly, the motivation of network representation learning and the research history of heterogeneous information network representation learning in recent years was discussed. Then some representative algorithm models were classified, followed by the summary of their main research contents and embedding skills. Finally, some possible directions and valuable contents of heterogeneous information network representation learning research in future work were listed.

network representation learning, heterogeneous information network, graph embedding, graph neural network, heterogeneous information

TP391

A

10.11959/j.issn.1000?0801.2021013

2020?04?26；

2020?12?10

董一鴻，dongyihong@nbu.edu.cn

浙江省自然科學基金資助項目（No.LY20F020009，No.LZ20F020001）；國家自然科學基金資助項目（No.61572266）；寧波市自然科學基金資助項目（No.202003N4086）

The Natural Science Foundation of Zhejiang Province (No.LY20F020009, No.LZ20F020001), The National Natural Science Foundation of China (No.61572266), Ningbo Natural Science Foundation (No.202003N4086)

顏銘江（1996? ），男，寧波大學碩士生，主要研究方向為大數據、數據挖掘。

董一鴻（1969? ），男，博士，寧波大學教授、碩士生導師，主要研究方向為大數據、數據挖掘、人工智能。

蘇江軍（1994? ），男，寧波大學碩士生，主要研究方向為大數據、數據挖掘。

陳華輝（1964? ），男，博士，寧波大學教授，主要研究方向為數據處理與挖掘、云計算。

錢江波（1974? ），男，博士，寧波大學教授，主要研究方向為數據處理與挖掘、邏輯電路設計、多維索引與查詢優化。