基于動態超圖小波神經網絡的半監督超圖節點分類

摘 要：

半監督超圖節點分類任務旨在利用少量節點的標簽信息，預測未標記節點的標簽，在復雜網絡分析和應用中具有重要意義?，F有半監督超圖節點分類模型主要存在以下兩點不足：a） 神經網絡層數增加后，忽視隱藏的高階關系；b） 模型時間復雜度高。因此，提出了一種新的動態超圖小波神經網絡（dynamic hypergraph wavelet neural network，DHGWNN），解決半監督超圖節點分類問題。一方面，提出了一種基于k-NN、k-Hop和注意力機制的超圖動態構建方法，挖掘節點之間隱藏的高階關系，進一步豐富超圖特征嵌入；另一方面，使用超圖上的小波變換，構建了一種超圖小波卷積網絡，并重新推導了卷積更新公式，以解決模型時間復雜度高的問題。四個引文網絡真實數據集上的實驗結果表明，該方法的分類性能優于基線模型。

關鍵詞：超圖；半監督學習；節點分類；小波變換

中圖分類號：TP391"" 文獻標志碼：A""" 文章編號：1001-3695（2024）12-028-3735-07

doi： 10.19734/j.issn.1001-3695.2024.05.0129

Semi-supervised hypergraph node classification based on dynamic hypergraph wavelet neural network

Pang Jun1，2， Cheng Jun’ao1， Lin Xiaoli1，2， Wang Mengxiang3

（1.College of Computer Science amp; Technology， Wuhan University of Science amp; Technology， Wuhan 430065， China; 2.Hubei Province Key Laboratory of Intelligent Information Processing amp; Real-time Industrial System， Wuhan 430065， China; 3.China Institute of Standardization， Beijing 100088， China）

Abstract：

The semi-supervised hypergraph node classification task aims to predict the labels of unlabeled nodes using the labeling information of a small number of nodes， which is important in complex network analysis and applications. Existing semi-supervised hypergraph node classification models have the following two main shortcomings： a） neglecting hidden higher-order relations with the number of neural network layers increasing. b） high model time complexity. Therefore， this paper proposed a new dynamic hypergraph wavelet neural network （DHGWNN） to solve the semi-supervised hypergraph node classification problem. On the one hand， it proposed a hypergraph dynamic construction method based on k-NN， k-Hop and attention mecha-nism to mine the hidden higher-order relationships between nodes， which further enriched the hypergraph feature embedding. On the other hand， it constructed a hypergraph wavelet convolutional network using wavelet transform on hypergraph and rederived the convolutional update formula to solve the problem of high time complexity of the model. Experimental results on four real datasets of citation networks show that the classification performance of the proposed method is better than the baseline models.

Key words：hypergraph; semi-supervised learning; node classification; wavelet transform

0 引言

圖數據由節點和邊組成，可表示各種關系和網絡結構，如社交網絡、知識圖譜和分子結構等。半監督圖節點分類任務旨在利用少量標記節點的標簽信息，預測未標記節點的標簽，使得模型能夠將節點分配到正確的類別中。該任務具有廣泛的應用領域，例如社交媒體分析［1］、推薦系統［2，3］、生物信息學［4］、計算機視覺［5］等。

現有半監督節點分類方法多面向普通圖（即簡單二元關系圖，參見圖1（b）），主要采用圖神經網絡（graph neural networks，GNN）處理非歐幾里德數據，以實現節點分類。例如，Kipf等人［6］在譜理論的基礎上結合深度學習，提出了一種圖卷積模型GCN并將其應用于半監督節點分類任務。Velickovic等人［7］關注節點鄰域特征，為鄰域中不同節點指定不同權重來更新節點特征，并利用自注意層來解決圖卷積只關注鄰居節點而無法捕捉圖結構中更遠距離的節點關系的不足。此外，GraphSAGE［8］模型使用采樣方法，GraphGAN［9］模型加入生成對抗網絡。

這些方法針對普通圖，聚焦成對關系。然而現實世界中許多對象之間的關系并非簡單的成對關系。例如，多位作者合作完成一篇論文，多位用戶討論同一話題等。雖然這些高階關系可轉換為成對關系進行表示，但是存在信息丟失或信息冗余問題［10］。因此，可用超圖直接建模這些高階關系［11］。超圖是由節點和超邊組成的圖，超邊可以連接任意數量的節點。下文給出一個用普通圖或超圖表示引文網絡的示例。

例1 如圖1（a）所示，已知作者合作發表論文的相關信息（張蘭、李奧、王東合作發表了論文A等），這些信息的普通成對圖和超圖表示分別如圖1（b）（c）所示。節點表示論文，邊表示所關聯的論文有共同的作者。圖1（c）虛線框起來的超邊表示論文A、B、C有共同作者。顯然從圖1（b）很難判斷多篇論文是否有共同作者（如只能判斷論文A、B、C兩兩分別有共同作者，而不能判別這三篇論文有共同的作者），而從圖1（c）卻可清晰地辨識。

采用超圖直接建模高階關系后，半監督圖節點分類轉換為半監督超圖節點分類。半監督超圖節點分類具有廣泛的應用。例如：a） 圖1中引文網絡的例子，通過對論文分類可以識別出不同的研究領域和學科的論文，在實際的應用中這有助于了解各領域的發展狀況和趨勢；b） 圖2中社交網絡的例子，通過對用戶節點進行分類，可以更好地了解用戶的興趣和行為，從而提供個性化的內容推薦。已有不少學者研究了半監督超圖節點分類方法，根據處理方式的不同可分為兩類：基于譜分析的方法［10，12］和基于神經網絡的方法［13～20］?；谧V分析的方法是一類以譜理論為基礎的分析方法。例如：Agarwal等人［10］在譜理論的基礎上提出星式展開和團式展開，將超圖轉換為普通圖，從而將超圖問題轉換為普通圖問題，進而采用普通圖方法進行解決，該方法存在信息丟失、信息冗余的問題。Zhou等人［12］定義了超圖上的拉普拉斯算子，首次提出超圖學習，并將超圖應用于半監督節點分類，但該方法有存在孤立節點時拉普拉斯算子失效的問題。該類方法通常有著嚴密的推導過程，同時相關的理論基礎對其他類型算法的設計有著重要的指導意義。

基于神經網絡的方法首先根據已知信息進行超圖建模，接著將超圖表示為關聯矩陣，并采用卷積、注意力等技術來提取節點的特征表示，最后基于上一步獲取的節點嵌入表示訓練一個分類器來預測未分類節點的類別［13，14］。例如：Feng等人［13］受圖卷積網絡的啟發，將Zhou等人［12］提出的拉普拉斯矩陣引入圖卷積網絡，從而設計超圖卷積運算并將其應用于半監督節點分類任務。Wu等人［14］提出一種節點-超邊網絡的超圖卷積來對節點和超邊進行過濾，并使用交叉熵損失和超圖重構損失進行反向傳播。該類方法主要存在以下兩點不足：a） 當前大部分神經網絡模型都采用靜態超圖結構，在神經網絡層數增加的過程中，忽視了隱藏的高階關系；b） 當前普遍使用文獻［13］中提出的超圖卷積網絡，該卷積網絡由于正反傅里葉變換及大量矩陣分解操作，模型訓練的時間復雜度過高。本文研究第二類方法。

針對第一個問題，本文提出了一種針對半監督超圖節點分類的超圖動態構建方法，通過在每一層神經網絡后添加超圖動態構建模塊，使用由超圖小波卷積網絡和注意力機制提取的節點特征，重新構建新的超圖結構。該方法結合k-NN和k-Hop算法以及注意力機制帶來的先驗信息，迭代學習超圖中節點之間更深層次的隱藏高階關系信息。針對第二個問題，本文提出了一種超圖上的小波變換，使用超圖小波變換和超圖拉普拉斯矩陣設計出了一種超圖小波卷積網絡，并推導出新的卷積更新公式，通過超圖小波變換稀疏且易于計算的特點降低模型時間復雜度。基于上述工作，本文提出了一種新的動態超圖小波神經網絡解決半監督超圖節點分類問題。與DHGNN［19］相比，本文使用k-NN和k-Hop算法構建超邊集，通過等量融合方法形成超圖。k-NN算法利用注意力權重選擇相關性高的鄰居節點，提供局部信息，減少噪聲。k-Hop算法通過聚合目標節點k跳內的所有節點，提供全局信息。與小波卷積網絡相比，本文利用超圖小波變換構建了超圖小波卷積網絡，推導了新的卷積公式，并引入注意力機制增強節點特征表達能力。

本文的主要貢獻包括：

a）提出了一種新的超圖動態構建方法，使用k-NN和k-Hop算法以及注意力機制帶來的先驗信息構建新的超圖，作為下一層神經網絡的輸入，迭代學習深層隱藏高階關系，進一步豐富節點嵌入特征。

b）提出了一種基于小波變換的超圖小波卷積網絡，使用超圖小波變換重新推導了新的卷積更新公式，利用小波變換稀疏的特點以降低模型訓練的時間復雜度；為進一步提升模型表達能力，采用注意力權重矩陣聚合節點特征。

c）在四個公開的引文網絡數據集上進行實驗，驗證了本文方法的節點分類準確率優于所有baseline方法。

1 相關工作

1.1 面向普通圖的半監督節點分類方法

最早期的簡單圖嵌入方法，如DeepWalk［21］、node2vec［22］等側重于捕獲節點之間的鄰域鄰近性。近些年，圖神經網絡因為其強大的表示學習能力，在一些任務上取得了優秀的成績，例如節點分類任務、社交網絡分析任務等。現有基于圖神經網絡的半監督節點分類方法可分為兩類［23］：基于譜方法的半監督節點分類方法和基于空間方法的半監督節點分類方法。第一類方法通過圖的傅里葉變換在譜域中定義卷積過程。由于該方法涉及拉普拉斯矩陣分解的操作，導致算法復雜度升高。為了降低計算復雜度，Defferrard等人［24］通過圖拉普拉斯的切比雪夫展開來參數化卷積濾波器。為了進一步提高圖卷積性能，Kipf等人［6］在卷積的每一層采用切比雪夫一階多項式，在有效性和效率上取得良好的性能。第二類方法利用空間采樣器和聚合器來獲取鄰居的特征表示。Hamilton等人［8］提出了GraphSAGE方法，通過采樣選擇相鄰節點，然后將其饋送到聚合函數。注意力機制可以改進卷積方法，Velickovic等人［7］將注意力機制引入到神經網絡對節點信息聚合的過程中，提出了圖注意力網絡GAT。陳東洋等人［15］提出了SC-HGANN模型，使用單純復形提取網絡高階結構，并結合注意力網絡完成半監督節點分類任務。然而，這些方法是針對成對關系而設計，直接應用于非成對的高階關系時，因未充分考慮多節點之間的組合關系，造成信息丟失；這些方法還會使圖規模急劇增大，引發信息冗余問題。

1.2 面向超圖的半監督節點分類方法

根據使用技術的不同，該類方法可分為基于譜分析的方法和基于神經網絡的方法兩類。

第一類是譜分析的方法。Zhou等人［12］將普通圖上的矩陣分解方法推廣到超圖上提出了N-cut算法，進一步推動了超圖上譜分析方法的發展，為后續的其他方法提供了一個良好的工具。Agarwal等人［10］提出了星式展開和團式展開兩種經典的展開方法，將超圖分解為普通圖，然后使用普通圖的方法完成半監督節點分類任務，但展開存在信息丟失或者信息冗余的問題。然而，由于理論的限制，這類方法通常泛化性較差，且不夠靈活，神經網絡類方法能夠很好地彌補譜分析方法的缺陷。

第二類是神經網絡的方法。Feng等人［13］提出了第一個超圖神經網絡HGNN，將圖卷積神經網絡的思想自然地擴展到了超圖上，設計了超圖上的卷積操作，然而矩陣分解操作和傅里葉變換使得模型復雜度升高。同年，Yadati等人［16］認為HGNN在信息融合過程中有太多噪聲，使用采樣展開的方式提出了HyperGCN并將其應用到超圖半監督學習中。之后，陸續出現在超圖神經網絡的基礎上進行神經網絡模型改進的研究。Bai等人［17］在HGNN［13］中的卷積網絡基礎上加入了注意力機制，通過利用自注意力層進一步增強了表示學習的能力。吳越等人［18］將HGNN［13］的應用范圍擴充至異質網絡，使用網絡模體來構造超邊，將異質網絡轉換為超圖。該模型通過超圖卷積網絡和注意力機制聚合超圖內部不同類型節點的信息，完成半監督超圖節點分類任務。Jiang等人［19］認為構造的初始超圖可能不適合最終的數據表示，隨后首次提出了一種動態超圖神經網絡DHGNN用于進行半監督超圖節點分類等任務。Wu等人［14］受DHGNN［19］的啟發，使用節點特征重構超圖結構的方法，加強模型發掘信息的能力。同時，引入超圖重建損失函數和交叉熵損失函數，加強反向傳播的效果，從而提升半監督超圖節點分類的性能。Gao等人［20］在HGNN［13］的工作基礎上，將卷積進一步擴展到空間域中，提出HGNN+。Li等人［25］提出HGTN模型，利用不同類型的節點和超邊之間的通信能力，學習高階關系，并使用多尺度的注意力模塊聚合節點嵌入。此外，Gu等人［26］研究了超圖的并行加速處理。

綜上所述，現有神經網絡類方法忽視了節點間隱藏的高階關系，存在卷積網絡時間復雜度高的問題。本文通過超圖動態構建和超圖小波卷積網絡解決了這些問題。

2 問題形式化定義

Xi+1=σ（D－1/2vHWD－1eHTD－1/2vXiΘ）（1）

其中：Xi+1、Xi分別是卷積第i+1和i層的特征矩陣；Θ是在訓練過程中需要學習的參數；σ是非線性激活函數。

定義3 半監督超圖節點分類。假設給定一個超圖G=（V， E），其中V表示節點的集合，E表示邊的集合。對于每個節點，可以用特征向量Xv表示節點的特征。半監督超圖節點分類的目標是，通過少量已知的節點標簽信息和超圖中的高階關系，學習一個函數f：V→C，將每個節點v映射到其所屬的類別或標簽。

3 DHGWNN模型

3.1 DHGWNN框架

DHGWNN模型的主要思想是：首先，通過節點特征構建超圖，并獲得超圖關聯矩陣；然后，將關聯矩陣和初始節點特征傳入超圖小波卷積網絡，得到卷積后的節點特征；接著，使用注意力權重對節點特征加權聚合，采用聚合后的節點特征和超圖動態構建和重建超圖結構，并重復上述步驟直至達到停止條件（設定的模型層數）；最后將最終的節點特征送入分類器中訓練，并對未分類節點進行類別預測。模型整體框架結構如圖3所示。DHGWNN模型主要包括超圖小波卷積網絡、注意力加權聚合、超圖動態構建三個模塊。下文分別展開介紹這三個模塊。

3.2 超圖小波卷積網絡

本節提出一種新的超圖小波卷積網絡。該卷積網絡與第2章中介紹的超圖譜卷積不同，其使用超圖上的小波變換重新構建了網絡，并推導了新的卷積更新公式。尺度sgt;0的超圖小波基定義如式（2）所示。

Ψs=（ψs，1|ψs，2|…|ψs，N）=UGsUT（2）

其中：Gs=diag（g（sλ1），g（sλ2），…，g（sλN））是在圖拉普拉斯矩陣上定義的拉伸濾波器。通過將超圖小波基應用到單個節點上，則節點vi上尺度為s的超圖小波定義如式（3）所示。

ψs，i=UGsUTδi（3）

其中：δi是一個向量，其第i項為1，其他項為0。信號x的超圖小波系數Cx（s，i）是由超圖小波基與信號x的內積而產生的。計算過程如式（4）所示。

Cx（s，i）=〈ψs，i，x〉=ψTs，ix（4）

然而，通過式（1）定義的小波變換需要計算超圖拉普拉斯矩陣的完整特征值和特征向量，計算成本太高使處理速度大幅下降。為了解決該問題，使用切比雪夫多項式來近似超圖小波系數。那么尺度s節點vi上的超圖小波系數可近似為

Cx（s，i）≈12cs，0x+∑Mm=1cs，mTm（）x（5）

其中：Tm（）為切比雪夫多項式；cs，m為切比雪夫系數?；谑剑?）中定義的超圖小波變換，尺度s上第l+1層卷積更新如式（6）所示。

Xl+1=σ12cs，0I+∑MM=1cs，mTm（）XlΘ（6）

其中：Xl+1和Xl分別為卷積第l+1層和卷積第l層的節點特征矩陣；Θ是在訓練過程中需要學習的參數矩陣；I是單位矩陣；σ是非線性激活函數。為了方便計算機運算，將其改寫為矩陣形式，同時使用切比雪夫多項式令M=1，λmax=1，Δ=I－D－1/2vHWD－1eHTD－1/2v，將其代入式（6）中，得到矩陣形式的卷積更新公式，如式（7）所示。

Xl+1=σ（（（12cs，0+cs，1）I－

2cs，1D－1/2vHWD－1eHTD－1/2v）XlΘ）（7）

如圖3中超圖小波卷積網絡所示，超圖小波卷積層可以進行“節點-超邊-節點”變換，完成節點到超邊再到節點的信息傳播過程，這樣可以更好地細化節點特征。首先通過可學習的參數矩陣Θ對初始的節點特征進行處理，然后通過節點特征聚合到超邊中形成超邊特征，即通過乘以關聯矩陣H的轉置來實現。最后通過聚合超邊特征生成這層最終輸出的節點特征，即通過乘以關聯矩陣H來實現。

3.3 注意力加權聚合

本節介紹了注意力權重的計算、注意力權重使用和節點特征融合的過程。因為與目標節點相距太遠的節點提供信息有限，所以本文將節點注意力權重計算的范圍限制在2跳內的所有鄰居節點。

為了通過注意力機制獲得足夠的表達能力，將輸入的節點特征轉換為更高級別的特征，本文遵循GAT［7］中的設置。注意力權重的計算過程如式（8）所示。

eij=a（Wxi，Wxj）（8）

其中：eij表示節點j的特征對節點i的重要性；W為權重矩陣；a為一種共享注意力機制。本文設置只需要計算節點j∈Euclid Math OneNApi的注意力權重eij，其中，Euclid Math OneNApi是節點i的某個鄰域。為了使不同節點之間的注意力權重易于比較，使用softmax函數對節點i鄰域內的所有節點j進行標準化，標準化過程如式（9）所示。

aij=softmax（eij）=exp（eij）∑k∈Euclid Math OneNApiexp（eik）（9）

獲得歸一化的注意力權重后，將其用于計算對應特征的線性組合，作為每個節點的輸出特征，計算過程如式（10）所示。

x′i=σ（∑j∈Euclid Math OneNApiaijWxi）（10）

其中：σ為非線性激活函數。

通過對超圖節點特征執行上述超圖小波卷積網絡和注意力機制后，獲得了最終的節點嵌入表示X′，接著將其用于學習基于標記節點的分類器。本文使用softmax函數作為激活函數，并且同時評估所有樣本的交叉熵損失函數，計算公式如式（11）（12）所示。

X^i=softmax（xi+b）（11）

Euclid Math OneLApcross-entropy=－∑l∈CL ∑Kk=1ClklnX^lk（12）

其中：xi為節點特征向量；b為偏置項；CL為具有標簽節點的索引集。

3.4 超圖動態構建

本節介紹提出的超圖動態構建方法。超圖構建方法基于注意力加權聚合后的節點特征，重新獲得超邊，使得超圖結構可以獲得更多的隱藏高階關系。受到DHGNN［26］超圖動態構建的啟發，本文使用兩種不同的超邊集構建策略來構建超邊，還將注意力權重作為k-NN方法的先驗信息，最后通過等量融合方法構成超圖。具體如算法1所示。

算法1 超圖動態構建

輸入：經過神經網絡處理后的節點特征X、k-NN方法中的k值k1、k-Hop方法中的k值k2。

輸出：超圖關聯矩陣H。

函數：k近鄰算法k-NN、k跳鄰居算法k-Hop、拼接算法cancat、獲取關聯矩陣算法GETH。

1 for u in range（len（X）） do //循環開始

2 "Eknn=k-NN（X［u］， X， k1）" /*通過k-NN函數選擇目標節點x的k1個鄰居形成超邊Eknn*/

3 "KNNE.insert（Eknn） //將超邊Eknn插入到超邊集KNNE中

4 "Ekhop=k-Hop（X［u］， X， k2） /*通過k-Hop函數選擇目標節點x的k2跳內的所有節點形成超邊Ekhop*/

5 "KHOPE.insert（Ekhop） /*將超邊Ekhop插入到超邊集KHOPE中*/

6 end for //循環結束

7 H1=GETH（KNNE） /*通過GETH函數獲得超邊集KNNE的關聯矩陣H1*/

8 H2=GETH（KHOPE） /*通過GETH函數獲得超邊集KHOPE的關聯矩陣H2*/

9 H=concat（H1， H2） /*通過concat函數拼接H1和H2得到超圖的關聯矩陣H*/

10 return H //返回關聯矩陣H

算法結束

算法1描述了超圖動態構建流程。第1～6行循環執行直到遍歷完所有節點。首先，通過k-NN算法選擇目標節點的k1個鄰居節點形成超邊，并插入到超邊集KNNE中（第2、3行）。然后，通過k-Hop算法選擇目標節點的k2跳內的所有節點形成超邊，并插入到超邊集KHOPE中（第4、5行）。接著，根據兩個超邊集分別獲得H1和H2關聯矩陣（第7、8行）。最后通過concat操作獲得最終的超圖關聯矩陣（第9行）。構建出的具有更多隱藏高階關系的新超圖結構可以作為下一層神經網絡的輸入。

接下來，給出一個根據上述兩種不同策略構建超邊的示例，如圖4所示。

例1 已知圖4（a）所示的普通圖，分別根據k-Hop方法和k-NN方法構建超邊組。使用k-Hop方法來生成超邊組如圖4（b）所示，圖中選擇v1作為中心節點。當k值設置為1時，將節點v1和其1跳范圍內的所有節點連接形成超邊Ek-Hop1（v1）插入超邊集，如圖中內圈橢圓所示。當k值設置為2時，將外圈橢圓內所有節點連接起來形成超邊Ek-Hop2（v1）插入超邊集。這類超邊可以捕捉到節點之間更遠距離的相關性。使用k-NN算法生成超邊組如圖4（c）所示，圖中選擇v1作為中心節點。當k值設置為2時，將中心節點及其2個鄰居節點連接起來形成超邊Ek-NN2（v1）插入超邊集。當k值設置為4時，將中心節點及其4個鄰居節點連接起來形成超邊Ek-NN4（v1）插入超邊集。由于中心節點每個鄰居對中心節點的貢獻度是不同的，所以采用注意力機制選擇中心節點的k個鄰居，以達到更好的效果。

3.5 訓練過程

算法2描述了DHGWNN模型的訓練過程。第2～9行不斷迭代執行，迭代次數由模型層數Item決定，其處理過程如下：首先根據節點特征和關聯矩陣等信息，使用卷積公式計算下一層的節點特征（第3行），然后根據節點特征計算注意力權重，并使用注意力權重對節點特征進行加權聚合得到新的節點特征（第4、5行），接著計算交叉熵損失進行反向傳播（第6、7行），最后根據新的節點特征，使用超圖動態構建模塊得到新的超圖繼續迭代（第8行）。

算法2 DHGWNN模型訓練過程

輸入：節點特征X、模型層數Item。

輸出：節點特征X′、節點類別C。

根據普通圖構建初始超圖，獲得超圖關聯矩陣H

for i range（Item） do

由式（7）計算i+1層節點特征Xi+1

由式（8）計算注意力權重矩陣E

由式（11）計算融合注意力權重后的節點特征X′i+1

根據節點特征X′i+1使用超圖動態構建模塊構建出新的超圖結構并獲得超圖關聯矩陣H′

end for

根據神經網絡最后一層聚合后的節點特征X′訓練一個分類器classifier

使用分類器對未分類節點預測得到節點類別C

由式（13）計算交叉熵損失函數Lc-e

進行反向傳播

return X′ and C

算法結束

4 實驗

本章在四個廣泛使用的公開數據集上進行了實驗，對比了本文DHGWNN模型和baseline模型的節點分類準確率、macro-F1、micro-F1和模型運行時間。此外，還報道和分析了相關消融實驗、參數分析和案例實驗。下文分別介紹數據集、實驗設置、基線模型、相關實驗結果和分析。

4.1 數據集

本文實驗采用四個用于節點分類任務的引文網絡數據集：Cora［13］、Pumbed［13］、Citeseer［15］和DBLP［15］。

表1展示了這些數據集的統計信息，其中，nodes、edges、feature和class分別表示數據集中節點數量、邊的數量、特征數和節點類別數。

4.2 實驗設置

本文實驗使用的操作系統為Ubuntu，CPU為IntelCore i5-10400F，GPU為NVIDIA GeForce RTX 3070，在PyCharm平臺上進行開發和調試。使用PyTorch框架實現DHGWNN模型。

對于所有數據集，從每個類別隨機選擇10個樣本作為訓練集，剩余樣本50%作為測試集，另外50%作為驗證集。例如，Cora數據集中節點有7種類型，在每個類型的節點中隨機選擇10個節點作為訓練集，剩余節點分別作為測試集和驗證集。隱藏層的特征維數被設置為16，并且使用dropout drop率p=0.5以避免過擬合。選擇ReLU作為非線性激活函數。在訓練過程中，使用Adam優化器使交叉熵損失函數最小化，學習率設置為l=0.001。

4.3 基線模型和評價指標

本文采用目前流行的節點分類模型作為基線模型，包括：

a）基于普通圖的模型GCN［6］、GraphSAGE［8］、GAT［7］、SC-HGANN［15］。

b）基于超圖的模型HyperGCN［16］、Hyper-Atten［17］、HGNN［13］、HCNH［14］、HGTN［25］、HGNN+［20］。

評價指標選擇節點分類常用的評價標準，即節點分類準確率（accuracy）［13］、macro-F1［14］和micro-F1［14］。這三者值越大代表模型性能越好。

4.4 實驗結果分析

本節報道并分析了本文提出模型與基線模型的節點分類準確率、macro-F1、micro-F1、模型訓練時間。

4.4.1 節點分類準確率

本節分別在Cora、Pumbed、Citeseer和DBLP四個數據集上對比本文DHGWNN模型與Baseline方法的節點分類準確率，實驗結果如表2所示。其中，加粗的數據為每項評價指標的最優結果。

從表2的實驗結果中可以看到，DHGWNN模型在四個數據集上的節點分類準確率均優于其他基線模型。其中，相較于每個數據集中準確率最高的方法，DHGWNN模型在四個數據集上的節點分類準確率分別提升了2.71、2.04、1.59、2.58百分點。一方面，本文DHGWNN模型使用了超圖動態構建，能夠更好地適應神經網絡運行過程中節點特征的變化，構建出更好的超圖結構；同時在使用k-NN策略構建超邊時，使用上一層模型中的注意力權重作為先驗知識，提高了節點對鄰居節點特征的聚合能力。另一方面，使用超圖上的小波變換構建了新的超圖小波卷積網絡，使得卷積網絡能夠更有效地聚合節點的鄰居信息，并將信息

傳播到更遠的節點，從而獲取更全局的超圖結構信息。

綜上所述，在公開數據集Cora、Pumbed、Citeseer和DBLP上的實驗結果表明，相較于基線模型，DHGWNN模型在節點分類準確性中取得了最優結果，驗證了該模型的有效性。

4.4.2 F1得分與模型訓練時間

為了能夠更好地評估DHGWNN模型的性能，還與HGNN對比了F1得分及模型的運行時間。

F1得分結果如表3所示，從表中可以看出，DHGWNN模型在各個數據集上的macro-F1和micro-F1得分都要比HGNN模型高。因為在超圖動態構建中加入的k-Hop方法可以同時獲得鄰居的信息、鄰居的鄰居信息，使得超圖不僅更全面地描述了節點之間的關系，還能夠獲得更多的鄰居節點信息，與k-NN方法獲得的鄰居信息互補，有利于發現節點的相似性。表3的實驗結果也驗證了DHGWNN模型捕獲節點信息的能力更強，節點分類的效果更好。

圖5展示了DHGWNN和DHGNN模型分別在四個實驗數據集上的訓練時間。DHGNN模型為將本文DHGWNN模型中的超圖小波卷積網絡替換為文獻［13］中提出的超圖卷積網絡，其他模塊與本文提出的模型保持一致。訓練過程中兩種模型的神經網絡層數都設置為2。從圖中可知，DHGWNN模型在四個數據集上的訓練時間均少于DHGNN模型，驗證了DHGWNN模型使用的超圖小波卷積網絡能夠更快地完成卷積操作。通過使用超圖上的小波變換構建的超圖小波卷積網絡，可通過快速算法獲得，不需要進行正反傅里葉變換，節省時間。此外，小波變換是稀疏的計算，計算效率比傅里葉變換高。

綜上，DHGWNN模型的節點分類準確率、F1得分、模型訓練時間均優于其他基線模型。

4.5 消融實驗

本節將通過消融實驗來驗證DHGWNN超圖動態構建模塊和超圖小波卷積網絡的有效性，其結果如表4所示。w/o DHG表示只使用超圖小波卷積網絡在數據集上進行分類，w/o HGWNN表示去除超圖小波卷積網絡只使用動態構建模塊進行節點分類實驗。

從表4可見，DHGWNN模型的半監督超圖節點分類性能優于單獨使用超圖動態構建模塊或超圖小波卷積網絡的模型。這驗證了使用超圖動態構建模塊可以發現更多的隱藏高階關系，且使用超圖小波卷積網絡能夠對對象的局部特征進行更好地捕捉。將超圖動態構建方法和超圖小波卷積網絡相結合，兩者相輔相成、相互促進，可挖掘出更多隱藏高階關系，提高了半監督超圖節點分類的準確率。

4.6 參數分析

為了探究動態超圖小波神經網絡的層數對超圖半監督節點分類效果的影響，在Pumbed和Citeseer數據集上進行實驗，實驗結果如圖6所示。

從圖6可見，隨著超圖小波卷積網絡層數的增加，本文模型的分類準確率先增加后下降。因為當動態超圖小波神經網絡層數較少時，增加模型層數能夠有效提取節點之間的高階關系，從而提高節點嵌入質量，但持續增加模型層數，可能會出現梯度消失或者是過擬合的情況，使得模型難以得到優化和調整，從而導致分類準確率開始出現不同程度的下降。

4.7 案例分析

本節進行案例實驗與分析。從數據集Cora中選取多個經典案例進行實驗評估，實驗結果如表5所示。表5中第1列是各種測試案例；第2、3列中數字表示對于不同模型，在測試案例中模型預測論文正確類別的概率排名結果，其直觀反映出模型預測論文類別的準確率。已知11 148、35 922、30 901號論文的ground truth類標簽分別是rule_learning、probabilistic_methods、theory。

以（11148， belong to， ？， 25413， 193354， 1131719）案例為例，其中編號為11148的論文ground truth類標簽為rule_lear-ning，問號代表待模型預測的論文類別，問號后的數字表示11148號論文引用的論文編號。該案例在DHGWNN模型中，正確論文類別“rule_learning”的預測排名是第1；而在HGNN+模型中，其排名為第5。實驗結果表明，對于未出現在訓練樣本中的測試論文，DHGWNN模型節點分類的準確性高于其他基線模型，這再次驗證了DHGWNN模型的有效性。

5 結束語

本文提出了一種新的動態超圖小波神經網絡DHGWNN，解決半監督超圖節點分類問題。與目前最優方法相比，DHGWNN模型提出了一種新的超圖動態構建方法，根據神經網絡處理后的節點特征動態調整超圖結構，挖掘節點之間更多隱藏的高階關系。為了降低模型訓練的時間復雜度，本文提出了一種超圖小波卷積網絡，依靠小波變換相較于傅里葉變換稀疏易于計算的優勢，可以減少卷積網絡的時間復雜度，進而減少模型的訓練時間。在四個公開數據集上的實驗結果表明，本文提出的半監督節點分類模型優于其他基線模型。未來的工作將研究在不影響模型性能的前提下，通過對注意力機制進行優化，進一步降低模型訓練的時間復雜度和加快超圖動態構建方法構建新超圖的時間。

參考文獻：

［1］Antonio P， Gianvito P， Domenico R， et al. SAIRUS： spatially-aware identification of risky users in social networks ［J］. Information Fusion， 2023， 92： 435-449.

［2］吳相帥， 孫福振， 張文龍， 等. 基于圖注意力的異構圖社交推薦網絡 ［J］. 計算機應用研究， 2023， 40（10）： 3076-3081， 3106. （Wu Xiangshuai， Sun Fuzhen， Zhang Wenlong， et al. GAT based heterogeneous graph neural network for social recommendation ［J］. Application Research of Computers， 2023， 40（10）： 3076-3081， 3106.）

［3］Su Yuhang， Gu Yu， Wang Zhigang， et al. Efficient subhypergraph matching based on hyperedge features ［J］. IEEE Trans on Know-ledge and Data Engineering， 2023， 35（6）： 5808-5822.

［4］Huang Yufei， Li Siyan， Wu Lirong， et al. Protein 3D graph structure learning for robust structure-based protein property prediction ［C］// Proc of the 38th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2024： 12662-12670.

［5］Wei Zhou， Xia Zhiwu， Dou Peng， et al. Double attention based on graph attention network for image multi-label classification ［J］. ACM Trans on Multimedia Computing Communications and Applications， 2023， 19（1）： 1-28.

［6］Kipf N T， Welling M. Semi-supervised classification with graph con-volutional networks ［EB/OL］ （2016） ［2017-02-22］. https：//arxiv. org/abs/1609. 02907.

［7］Velickovic P， Cucurull G， Casanova A， et al. Graph attention networks ［EB/OL］ （2017） ［2018-02-04］. https：//arxiv. org/abs/1710. 10903.

［8］Hamilton W， Ying R， Leskovec J. Inductive representation learning on large graphs ［C］// Proc of the 31st Neural Information Processing Systems. San Diego： NIPS Foundation， 2017： 1024-1034.

［9］Wang Hangwei， Wang Jia， Wang Jialin， et al. GraphGAN： graph representation learning with generative adversarial nets ［C］// Proc of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2018： 2508-2515.

［10］Agarwal S， Branson K， Belongie S. Higher order learning with graphs ［C］// Proc of the 23rd International Conference on Machine Lear-ning. New York： ICML Press， 2006： 17-24.

［11］Berge C. Hypergraphs： combinatorics of finite sets ［M］. New York： Elsevier Science amp; Technology Books， 1984.

［12］Zhou Dengyong， Huang Jiayuan， Schlkopf B. Learning with hyper-graphs： clustering， classification， and embedding ［C］// Proc of the 20th Neural Information Processing Systems. San Diego： NIPS Foundation， 2006： 1601-1608.

［13］Feng Yifan， You Haoxuan， Zhang Zizhao， et al. Hypergraph neural networks ［C］// Proc of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019： 3558-3565.

［14］Wu Hanrui， NG M K. Hypergraph convolution on nodes-hyperedges network for semi-supervised node classification ［J］. ACM Trans on Knowledge Discovery from Data， 2022， 16（4）： 1-19.

［15］陳東洋， 郭進利. 基于圖注意力的高階網絡節點分類方法 ［J］. 計算機應用研究， 2023， 40（4）： 1095-1100， 1136. （Chen Dong-yang， Guo Jinli. Node classification method of higher order network based on graph attention ［J］. Application Research of Compu-ters， 2023， 40（4）： 1095-1100， 1136.）

［16］Yadati N， Nimishakavi M， Yadav P， et al. HyperGCN： a new method of training graph convolutional networks on hypergraphs ［C］// Proc of the 33rd Neural Information Processing Systems. San Diego： NIPS Foundation， 2019： 1511-1522.

［17］Bai Song， Zhang Feihu， Torr P H S. Hypergraph convolution and hypergraph attention ［J］. Pattern Recognition， 2021， 110： 107637.

［18］吳越， 王英， 王鑫，等. 基于超圖卷積的異質網絡半監督節點分類 ［J］. 計算機學報， 2021， 44（11）： 2248-2260. （Wu Yue， Wang Ying， Wang Xin， et al. Motif-based hypergraph convolution network for semi-supervised node classification on heterogeneous graph ［J］. Chinese Journal of Computers， 2021， 44（11）： 2248-2260.）

［19］Jiang Jianwen， Wei Yuxuan， Feng Yifan， et al. Dynamic hypergraph neural networks ［C］// Proc of the 28th International Joint Conference on Artificial Intelligence. San Francisco： Morgan Kaufmann， 2019： 2635-2641.

［20］Gao Yue， Feng Yifan， Ji Shuyi， et al. HGNN+： general hypergraph neural networks ［J］. IEEE Trans on Pattern Analysis and Machine Intelligence， 2023， 45（3）： 3181-3199.

［21］Perozzi B， Al-Rfou R， Skiena S. DeepWalk： online learning of social representations ［C］// Proc of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press， 2014： 701-710.

［22］Grover A， Leskovec J. node2vec： scalable feature learning for networks ［C］// Proc of the 22nd ACM SIGKDD International Confe-rence on Knowledge Discovery and Data Mining. New York： ACM Press， 2016： 855-864.

［23］馬帥， 劉建偉， 左信. 圖神經網絡綜述 ［J］. 計算機研究與發展， 2022， 59（1）： 47-80. （Ma Shuai， Liu Jianwei， Zuo Xin. Survey on graph neural network ［J］. Journal of Computer Research and Development， 2022， 59（1）： 47-80.）

［24］Defferrard M， Bresson X， Vandergheynst P. Convolutional neural networks on graphs with fast localized spectral filtering ［C］// Proc of the 30th Neural Information Processing Systems. San Diego： NIPS Foundation， 2016： 3844-3852.

［25］Li Mengran， Zhang Yong， Li Xiaoyong， et al. Hypergraph transformer neural networks ［J］. ACM Trans on Knowledge Discovery from Data， 2023， 17（5）： 1-22.

［26］Gu Yu， Yu Laiqiang， Song Zhen， et al. Distributed hypergraph processing using intersection graphs ［J］. IEEE Trans on Knowledge and Data Engineering， 2022， 34（7）： 3182-3195.