一種異質(zhì)信息網(wǎng)絡(luò)表示學(xué)習(xí)方法

張蝶依，尹立杰

(河北地質(zhì)大學(xué)信息工程學(xué)院，河北 石家莊 050031)

0 引言

網(wǎng)絡(luò)數(shù)據(jù)作為表達(dá)物體間關(guān)系的一種載體，在現(xiàn)實世界中無處不在，例如生物、社交和計算機(jī)系統(tǒng)等，在這些系統(tǒng)中相互作用的組件可以抽象為信息網(wǎng)絡(luò)[1]。由此可見，信息網(wǎng)絡(luò)已經(jīng)成為我們?nèi)粘Ｉ钪兄匾M成部分，對信息網(wǎng)絡(luò)進(jìn)行研究和分析已經(jīng)引起學(xué)術(shù)界眾多研究者們的廣泛關(guān)注。隨著網(wǎng)絡(luò)時代的迅猛發(fā)展，信息網(wǎng)絡(luò)所面臨的復(fù)雜性越來越高，如何有效、快速處理網(wǎng)絡(luò)中的數(shù)據(jù)成為亟待解決的問題。

采用鄰接矩陣[2]這種高維稀疏的編碼方式來表示網(wǎng)絡(luò)中的節(jié)點，很難被機(jī)器學(xué)習(xí)算法處理。網(wǎng)絡(luò)表示學(xué)習(xí)采用低維向量表示網(wǎng)絡(luò)中的節(jié)點，同時盡可能地保留網(wǎng)絡(luò)原始的結(jié)構(gòu)特征。由于低維向量很容易被機(jī)器學(xué)習(xí)算法處理，因此被廣泛應(yīng)用于節(jié)點分類[3-5]、聚類[6-7]、鏈接預(yù)測[8-9]和推薦[10-13]等應(yīng)用場景中。

現(xiàn)在已有大量工作致力于同質(zhì)網(wǎng)絡(luò)的表示學(xué)習(xí)，相關(guān)研究工作包括 DeepWalk[14]、LINE[15]、Node2vec[16]、GraRep[17]等，但是這些算法只考慮了網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，使得學(xué)到的節(jié)點或邊的特征表示在后續(xù)的實驗任務(wù)中并沒有取得很好的效果。現(xiàn)實世界的網(wǎng)絡(luò)除了包含拓?fù)湫畔⒅猓€包含更多可利用的輔助信息，例如微博中包含用戶信息、微博內(nèi)容等屬性信息，充分利用這些異質(zhì)信息有助于學(xué)習(xí)更加準(zhǔn)確的節(jié)點表示。將現(xiàn)實世界的信息網(wǎng)絡(luò)建模為異質(zhì)信息網(wǎng)絡(luò)，即由多種類型的節(jié)點通過多種類型的連邊形成的網(wǎng)絡(luò)，不僅保留了網(wǎng)絡(luò)中的拓?fù)浣Y(jié)構(gòu)信息，而且可以獲取網(wǎng)絡(luò)中豐富的語義信息，例如，學(xué)術(shù)網(wǎng)絡(luò)包含作者、論文、會議等不同類型的節(jié)點，以及作者和論文間的撰寫關(guān)系、論文和會議間的發(fā)表關(guān)系等。近年來，大量學(xué)者開始研究異質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)的相關(guān)方法，本文將從不同角度對這些表示學(xué)習(xí)方法進(jìn)行介紹和總結(jié)。

1 相關(guān)定義

定義1異質(zhì)信息網(wǎng)絡(luò)

用 G = (V, E, T ,?, φ)表示一個信息網(wǎng)絡(luò)，V表示網(wǎng)絡(luò)中的節(jié)點集合，E表示網(wǎng)絡(luò)中邊的集合。T=(TV, TE)，TV和TE分別代表節(jié)點和邊類型的集合。每個節(jié)點v∈V和每條邊e∈E的類型由映射函數(shù)確定，分別表示為給定的有向網(wǎng)絡(luò)G就是異質(zhì)信息網(wǎng)絡(luò)，否則為同質(zhì)網(wǎng)絡(luò)[18]。

定義2異質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)

給定一個異質(zhì)信息網(wǎng)絡(luò) G = (V, E, T ,?, φ)，V表示網(wǎng)絡(luò)中的節(jié)點集合，E表示網(wǎng)絡(luò)中邊的集合。異質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)[19]是將網(wǎng)絡(luò)中的節(jié)點v∈V投影到一個潛在低維表示空間 Rd中，學(xué)習(xí)一個映射關(guān)系，同時保留網(wǎng)絡(luò)原有的結(jié)構(gòu)信息和語義關(guān)聯(lián)。

2 異質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)方法介紹

隨著現(xiàn)實世界網(wǎng)絡(luò)的復(fù)雜化和擴(kuò)大化，如何充分挖掘并運用異質(zhì)網(wǎng)絡(luò)中存在的豐富信息是一項非常重要的任務(wù)。通過不同網(wǎng)絡(luò)表示學(xué)習(xí)方法得到節(jié)點的向量表示，可以將其應(yīng)用到機(jī)器學(xué)習(xí)任務(wù)中，有效利用異質(zhì)網(wǎng)絡(luò)中的豐富信息。根據(jù)對異質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)模型的研究，將已有的方法分為3類：基于網(wǎng)絡(luò)分解的方法、基于隨機(jī)游走的方法和結(jié)合應(yīng)用任務(wù)的方法。

2.1 基于網(wǎng)絡(luò)分解的方法

基于網(wǎng)絡(luò)分解算法的核心思想是根據(jù)節(jié)點類型的不同，將異質(zhì)信息網(wǎng)絡(luò)分解成多個簡單的網(wǎng)絡(luò)，分別對這些網(wǎng)絡(luò)進(jìn)行表示學(xué)習(xí)，通過融合這些特征信息得到節(jié)點的低維表示。例如，Tang等人提出的 PTE[20]算法將異質(zhì)文本網(wǎng)絡(luò)分解為word-word，word-document，word-label三個子網(wǎng)絡(luò)（如圖1所示），分別對三個不同類型的子網(wǎng)絡(luò)進(jìn)行表示學(xué)習(xí)，獲取三種不同類型節(jié)點間的相似性，得到網(wǎng)絡(luò)中節(jié)點的向量表示，將文本中所有單詞對應(yīng)的向量表示取平均即為文本最終的向量表示。Shi等人提出的 HERec[21]模型根據(jù)元路徑抽取出相同類型的節(jié)點序列，對不同元路徑抽取到的同類節(jié)點分別進(jìn)行表示學(xué)習(xí)，并利用融合函數(shù)將節(jié)點的不同表示進(jìn)行融合，得到節(jié)點的最終表示。

圖1 異質(zhì)文本網(wǎng)絡(luò)的三個子網(wǎng)絡(luò)Fig.1 thr ee sub-networks of heterogeneous text network

2.2 基于隨機(jī)游走的方法

隨機(jī)游走作為一種經(jīng)典的網(wǎng)絡(luò)表示學(xué)習(xí)模型，常用于刻畫網(wǎng)絡(luò)中節(jié)點間的關(guān)系，因此也被廣泛用于獲取網(wǎng)絡(luò)節(jié)點的采樣序列。基于隨機(jī)游走的方法主要是采用不同的隨機(jī)游走策略對網(wǎng)絡(luò)中的節(jié)點進(jìn)行采樣，并通過預(yù)測節(jié)點間的鄰居關(guān)系得到節(jié)點的低維表示。例如，Metapath2vec[22]通過對稱的元路徑來進(jìn)行隨機(jī)游走，將得到的游走序列作為神經(jīng)網(wǎng)絡(luò)skip-gram模型的輸入，通過更新參數(shù)進(jìn)而得到節(jié)點的低維嵌入，但在輸出層并未將節(jié)點的類別區(qū)別開來。Metapath2vec++模型在神經(jīng)網(wǎng)絡(luò)的輸出層，針對網(wǎng)絡(luò)節(jié)點類型的不同，將異質(zhì)網(wǎng)絡(luò)分解成若干同質(zhì)網(wǎng)絡(luò)。Zhang等人在元路徑的基礎(chǔ)上提出metagraph2vec[23]方法，通過構(gòu)建多條元路徑獲取節(jié)點間的不同語義關(guān)系。Fu等人提出了HIN2Vec[24]模型，通過隨機(jī)游走的方式選取節(jié)點序列，考慮節(jié)點及節(jié)點間不同類型的邊關(guān)系，基于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)節(jié)點和元路徑的向量表示，HIN2Vec模型的框架示意圖如圖2所示。HINE[25]通過元路徑隨機(jī)游走獲取節(jié)點的局部和全局語義信息，提高了網(wǎng)絡(luò)節(jié)點嵌入的準(zhǔn)確性。

圖2 HIN2VEC 模型框架Fig.2 the framework of HIN2VEC

2.3 結(jié)合應(yīng)用任務(wù)的方法

Sun等人提出了一種基于元路徑的相似度算法 PathSim[26]，該算法采用對稱元路徑的方式計算異質(zhì)網(wǎng)絡(luò)中相同類型頂點之間的相似度。Wang等人提出的 SHINE[27]模型將原始的 HIN劃分為三個單類型的網(wǎng)絡(luò)：情感網(wǎng)絡(luò)，社會網(wǎng)絡(luò)，信息網(wǎng)絡(luò)，針對三個網(wǎng)絡(luò)分別建立對應(yīng)的自編碼器，將學(xué)到的節(jié)點表示進(jìn)行融合，用于預(yù)測可能存在的情感鏈接。Yang提出一種基于元路徑的鏈接預(yù)測方法 BRLinks[28]。該模型首先剔除網(wǎng)絡(luò)中的無關(guān)節(jié)點，重新構(gòu)造異質(zhì)信息網(wǎng)絡(luò)，然后采用余弦相似度計算兩兩節(jié)點間的相關(guān)性得到節(jié)點相關(guān)性矩陣，計算每條元路徑上節(jié)點的鏈接概率，最后將通過不同元路徑得到的節(jié)點概率加權(quán)求和作為待預(yù)測節(jié)點間的鏈接概率。Shi等人提出一種異構(gòu)網(wǎng)絡(luò)推薦方法 HERec，該算法采用 Meta-Path的隨機(jī)游走方法生成采樣序列，通過刪除與起始節(jié)點類型不同的節(jié)點，對得到的同構(gòu)節(jié)點序列進(jìn)行表征學(xué)習(xí)，由于不同的 Meta-Path會得到不同的節(jié)點表示，通過設(shè)計融合函數(shù)獲取節(jié)點的唯一向量表示，將異質(zhì)信息網(wǎng)絡(luò)的表示融入到矩陣分解框架中，從而用于推薦系統(tǒng)，HERec模型框架如圖3所示。MCRec[29]將基于元路徑的上下文融入到用戶-商品對的信息中，同時采用協(xié)同注意力機(jī)制增強用戶和商品的節(jié)點表示，很大程度上提高了推薦性能，并通過大量實驗驗證該模型可以緩解推薦系統(tǒng)中普遍存在的冷啟動問題。LGRec[30]將通過網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)得到的用戶與商品的直接關(guān)系作為局部信息，通過元路徑獲取到的用戶與商品的間接關(guān)系作為全局信息，將局部信息和全局信息進(jìn)行融合，得到用戶和商品更準(zhǔn)確的表示，并通過實驗驗證了該模型在推薦系統(tǒng)的有效性。

圖3 HERec模型框架Fig.3 the framework of HERec

3 應(yīng)用場景

3.1 節(jié)點分類

節(jié)點分類是根據(jù)網(wǎng)絡(luò)節(jié)點擁有的共同特點將其劃分為不同的類別。比如，在社交網(wǎng)絡(luò)上，用戶可以根據(jù)個人的興趣愛好進(jìn)行分類。用戶的興趣愛好作為分類的類別標(biāo)簽，是對用戶進(jìn)行有效分類的主要依據(jù)。然而真實數(shù)據(jù)中的類別標(biāo)簽往往是十分稀疏的，所以需要根據(jù)少量節(jié)點的標(biāo)簽信息以及節(jié)點間的鏈接關(guān)系，對大量未標(biāo)注節(jié)點的分類情況進(jìn)行標(biāo)注。

3.2 節(jié)點聚類

節(jié)點聚類就是按照節(jié)點特征的差異將網(wǎng)絡(luò)節(jié)點劃分為多個簇的過程，使得同一個簇內(nèi)節(jié)點間具有相似的特征，不同簇中節(jié)點間擁有的特征盡可能不同。由于異質(zhì)網(wǎng)絡(luò)中包含豐富的語義信息，可以利用一些額外信息（如屬性信息）進(jìn)行聚類分析。

3.3 鏈接預(yù)測

鏈接預(yù)測[31]是通過已知的網(wǎng)絡(luò)節(jié)點及其鏈接關(guān)系等信息預(yù)測網(wǎng)絡(luò)中丟失的邊或者未來可能會出現(xiàn)的邊，對鏈接預(yù)測的研究可以幫助我們分析網(wǎng)絡(luò)的演化過程，在現(xiàn)實生活中有廣泛的應(yīng)用。例如，可以通過鏈接預(yù)測方法計算尚未產(chǎn)生關(guān)系的兩個人成為朋友的概率，實現(xiàn)社會網(wǎng)絡(luò)中的好友關(guān)系推薦。鏈接預(yù)測任務(wù)中常用的評價指標(biāo)為AUC值，在進(jìn)行鏈接預(yù)測時，需要把網(wǎng)絡(luò)中的樣本數(shù)據(jù)集劃分為訓(xùn)練集和測試集，AUC指標(biāo)就是計算測試集中連邊的分?jǐn)?shù)值高于不存在的連邊分?jǐn)?shù)值的概率。

3.4 推薦

推薦系統(tǒng)是通過研究用戶的信息需求、興趣愛好，將用戶可能感興趣的產(chǎn)品推薦給他們。近些年，隨著網(wǎng)絡(luò)表示學(xué)習(xí)的興起，一些研究者開始意識到異質(zhì)網(wǎng)絡(luò)推薦系統(tǒng)的重要性和必要性。傳統(tǒng)的一些推薦方法大多數(shù)是利用用戶-商品間的交互記錄為用戶推薦商品，但是這種方法往往存在冷啟動問題，即無法為新用戶推薦產(chǎn)品。隨著互聯(lián)網(wǎng)服務(wù)的快速發(fā)展，越來越多的工作[32-34]開始嘗試融合一些輔助信息實現(xiàn)更精準(zhǔn)的推薦。例如，在電影推薦系統(tǒng)中，可以為具有相同觀影記錄的用戶推薦電影。利用用戶-用戶、商品-商品之間的關(guān)系可以提高推薦性能。

4 結(jié)論與展望

現(xiàn)實世界的網(wǎng)絡(luò)包含大量不同類型的實體和關(guān)系，將這些不同類型的網(wǎng)絡(luò)信息融合為整體，不僅可以挖掘網(wǎng)絡(luò)中豐富的結(jié)構(gòu)信息和語義信息，還可以精準(zhǔn)刻畫網(wǎng)絡(luò)實體特征。異質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)是通過設(shè)計合適的網(wǎng)絡(luò)特征學(xué)習(xí)模型，把不同類型的節(jié)點映射到同一向量空間，用低維連續(xù)的實值向量表示網(wǎng)絡(luò)中的節(jié)點，有效緩解了網(wǎng)絡(luò)數(shù)據(jù)的稀疏性問題。

本文對現(xiàn)有的異質(zhì)信息網(wǎng)絡(luò)表示學(xué)習(xí)方法進(jìn)行了分類，并詳細(xì)介紹了各個類別下的一些主要研究模型及其特點。隨著大數(shù)據(jù)時代的到來，異質(zhì)網(wǎng)絡(luò)分析逐漸成為數(shù)據(jù)挖掘、網(wǎng)絡(luò)安全等領(lǐng)域的研究熱點，充分挖掘異質(zhì)網(wǎng)絡(luò)中存在的豐富信息具有重要意義。異質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)是一個非常有前景的研究方向，在以下幾個方面仍然面臨著巨大挑戰(zhàn)：

（1）適應(yīng)大規(guī)模復(fù)雜網(wǎng)絡(luò)。現(xiàn)實應(yīng)用場景中的網(wǎng)絡(luò)往往是大規(guī)模的，例如，淘寶網(wǎng)絡(luò)中包含上億節(jié)點。針對大規(guī)模異質(zhì)網(wǎng)絡(luò)，在對設(shè)計好的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練時往往存在訓(xùn)練效率太低、響應(yīng)時間過長等問題，克服這些問題是異質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)真正邁向?qū)嶋H應(yīng)用場景的關(guān)鍵一步。

（2）適應(yīng)網(wǎng)絡(luò)的動態(tài)變化。現(xiàn)實生活中的異質(zhì)網(wǎng)絡(luò)具有動態(tài)性，大多數(shù)異質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)方法主要依賴于靜態(tài)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)信息進(jìn)行表征學(xué)習(xí)，沒有考慮網(wǎng)絡(luò)節(jié)點（或邊）實時變化的問題。然而，隨著時間的增長，網(wǎng)絡(luò)在新增一些節(jié)點的同時，也會伴隨部分節(jié)點的消亡，同時網(wǎng)絡(luò)節(jié)點間的鏈接關(guān)系也會出現(xiàn)改變，如何從時間維度考慮網(wǎng)絡(luò)結(jié)構(gòu)的動態(tài)變化是未來值得研究的一個方向。

（3）實現(xiàn)更多的實際應(yīng)用。目前的異質(zhì)網(wǎng)絡(luò)表示學(xué)習(xí)方法已經(jīng)應(yīng)用到一些數(shù)據(jù)挖掘任務(wù)中，并逐步與電商、網(wǎng)絡(luò)安全等應(yīng)用系統(tǒng)相結(jié)合，但是還有更多針對大規(guī)模復(fù)雜網(wǎng)絡(luò)的應(yīng)用場景尚未發(fā)掘，將異質(zhì)網(wǎng)絡(luò)分析付諸實踐，在更多具體應(yīng)用中發(fā)揮作用是未來值得探索的方向。