基于模糊超圖神經網絡的節點分類方法

熊婉悅 徐峰 黃宇廷 韓星宇 范自柱

收稿日期：2023-10-24

基金項目：國家自然科學基金項目（61991401）；衢州市科技計劃項目（2023K265）

文章編號：1005-0523（2024）03-0119-08

摘要：【目的】超圖神經網絡（HGNN）具有學習類間唯一性和類內共性的能力，可以顯著提高學習性能。但是，傳統HGNN方法缺乏決定低維數據節點間如何進行連接交互的強關系歸納。針對此問題，提出一種基于模糊理論的模糊HGNN（FHGNN）節點分類算法，根據數據節點的特征信息構建超圖結構，加強了圖的節點信息對節點連接的影響。【方法】FHGNN首先采用了一個邊聚焦的圖神經網絡（GNN），通過邊標簽的迭代更新進行邊預測。并根據邊預測的輸出設計模糊隸屬度函數，以實現更精確的節點間連接關系表示。最后通過得到的關系表示構造超圖，并再次對節點進行分類訓練得到結果。在FHGNN中使用了邊標簽損失函數和節點標簽損失函數并分別對其參數進行訓練學習。【結果】實驗結果表明，所提的FHGNN方法更能夠適應小規模低維數據，并在節點分類任務上取得好的效果。【結論】對于不同數據集的分類任務，FHGNN可以更有效學習節點的相關特征信息，提高學習的效果。

關鍵詞：超圖；超圖神經網絡；模糊系統；節點分類

中圖分類號：TP183 文獻標志碼：A

本文引用格式：熊婉悅，徐峰，黃宇廷，等.基于模糊超圖神經網絡的節點分類方法[J]. 華東交通大學學報，2024，41（3）：119-126.

Node Classification Method Based on Fuzzy

Hypergraph Neural Network

Xiong Wanyue， Xu Feng， Huang Yuting， Han Xingyu， Fan Zizhu

（School of Science， East China Jiaotong University， Nanchang 330013， China）

Abstract： 【Objective】Hypergraph neural networks （HGNN） have the ability to learn inter-class uniqueness and intra-class commonality， which can significantly improve learning performance. However， traditional HGNN methods are in lack of the strong relational induction which determines the way how low-dimensional data nodes interact with each other. In order to solve this problem， a fuzzy HGNN（FHGNN） classification algorithm based on fuzzy theory is proposed， and hypergraph structure is constructed according to the characteristic information of data nodes. 【Method】FHGNN first adopts an edge-focused GNN to make edge prediction through iterative updates of edge labels. The fuzzy membership function is designed according to the output of edge prediction to achieve a more accurate representation of the connection relationship between nodes. Finally， the hypergraph is constructed by the relation representation. Then the nodes are classified again and the result is obtained. The edge label loss function and node label loss function are used in FHGNN and their parameters are trained and learned respectively. 【Result】Experimental results prove the proposed FHGNN method is more suitable for small-scale data with low node information dimension， and performs well in node classification tasks.【Conclusion】For classification tasks of different data sets， FHGNN can learn the relevant feature information of nodes more effectively and improve the learning effect.

Key words：? hypergraph; hypergraph neural network; fuzzy system; node classification

Citation format： XIONG W Y， XU F， HUANG Y T， et al. Node classification method based on fuzzy hypergraph neural network[J]. Journal of East China Jiaotong University， 2024， 41（3）： 119-126.

【研究意義】近年來，圖神經網絡（graph neural network，GNN）在數據處理的優秀性能受到機器學習領域的廣泛關注。組成GNN的普通圖結構只允許對象進行成對的交互，而在許多現實應用中，對象之間的交互會超越成對交互，涉及高階關系。例如，在大腦的連接網絡中，多個大腦區域通常以神經系統的方式一起工作，以完成某些功能任務。為了真實地描述這種連接，普通圖結構中的兩兩建模是不夠的，必須要在大腦區域之間合并高階的交互信息。因而引入的超圖結構表明了多個區域之間的相關性。超圖中的每個頂點代表一個大腦區域，每個超邊則代表多個大腦區域之間的相互作用。普通圖中多個對象的成對關系和高階關系之間存在著明顯的區別，而普通圖結構的容量有限，它們只能描述成對的關系。與普通圖相比，在處理真實數據時，超圖在表示多個對象之間的高階關系方面具有顯著優勢。例如，在多智能體（multi-agent）軌跡預測[1]過程中，采用多尺度超圖構建的超圖神經網絡可以提取不同尺度的節點組之間的交互，相比以往只能單獨描述成對交互的基于普通圖的方法，超圖表現得更詳細直觀。因而基于超圖構建的超圖神經網絡（hypergraph neural network，HGNN）也被廣泛應用于各種數據處理任務中，如節點分類[2]、鏈接預測、社區檢測、多標簽分類、3D對象分類[3]、點云匹配和聚類。

【關鍵問題】基于圖的學習方法的主要任務之一是尋找樣本之間相似性質。但“相似”是一個模糊的概念，它并沒有明確的定義。為了解決此問題引入了模糊理論，提出模糊超圖神經網絡（Fuzzy HGNN，FHGNN）模型。模糊理論能夠很好地處理有關模糊、主觀性和不精確判斷的問題，從而FHGNN利用模糊理論使得相似節點樣本有更好的連接關系表示。與以往的HGNN方法不同，FHGNN提供了一個計算邊信息的過程，而不是采用以往的k近鄰方法構圖。該模型將節點之間的邊關系構造視為一個模糊問題，計算每條邊元素的隸屬度，由邊預測來生成HGNN中的邊特征值。這里的隸屬度是一種更合理的模糊關系表示，可以為不同的學習應用提供更合適的樣本節點間連接方式。

【研究進展】本文提出的FHGNN由一個側重于節點的HGNN和一個側重于邊的GNN組成。首先，構造一個全連接的完全普通圖結構，通過一個GNN來執行節點鏈接關系即邊的預測并計算損失。然后根據損失函數更新后的邊信息和設計的隸屬度函數構造超邊。這些超邊就將原本完全普通圖更新為新的超圖結構。最后再次使用節點信息通過HGNN進行節點分類。

【創新特色】總結FHGNN方法的優點有：為超圖神經網絡提供了一個邊預測過程，以獲得有用的節點連接信息表示；通過模糊理論中的隸屬度函數來生成更合理的超邊連接；邊信息更新和節點信息更新使用的不同損失函數可以提高對不同任務的泛化能力。

1 相關研究背景

1.1 超圖

超圖結構已經被用于許多機器學習任務中，對數據之間的高階相關性進行建模。超圖（hypergraph）是離散數學中的一個重要概念，是圖的推廣。因此，超圖的許多概念的定義，與圖的定義有關。超圖可表示為H=（X， E），即一個超頂點集和一個超邊集，圖1所示為超圖。超頂點集X是一個有限集，而超邊表示頂點集的子集，E為超邊的集合。

傳統的圖論問題是最早期超圖研究的焦點。在之后超圖理論快速發展，一些更為廣泛的應用性問題才在超圖上被有針對性地加以研究，并在近些年成為研究熱點。超圖學習最早應用于視頻對象分割和對圖像關系進行建模。之后為了進一步改進超圖結構，超邊權重作為一個對數據相關性建模有很大影響的因素，引起了超圖研究的關注。

1.2 超圖神經網絡

超圖應用于同時建立多個節點的語義關系，并連接非線性的高階關聯。圖結構數據的爆炸式增長，使得超圖神經網絡被廣泛應用于社交網絡分析、圖像處理、生物反應解析等領域。超圖的表示理論也在近些年快速發展。Feng等[3]提出了超圖神經網絡框架，設計了一種超邊卷積操作來處理超圖表示學習，實現了超圖結構信息和節點特征信息更好的融合。Jiang等[4]設計的DHGNN模型利用聚類方法提取超圖的隱藏關系，并根據局部和全局特征建立和更新拓撲結構。對于噪聲的過濾，Yadati等[5]提出的Hyper-GCN模型可以過濾采樣過程中可能存在的數據噪聲。Yang等[6]提出了一種新的超圖展開方法LE（line expansion），更多地保留了超圖的原始結構，解決了信息丟失的問題。

1.3 模糊理論

模糊理論可以處理與模糊、主觀性和不精確判斷的相關問題，它可以量化現有數據的各個方面在決策時的傾向。有許多的概念都是不能清晰定義的，比如“年輕”的概念，因為在“年輕”和“不年輕”之間沒有一個確定的邊界。模糊理論中的模糊集合就是由這些待考察的模糊對象和反映他們關系的模糊概念組成。模糊理論對模糊集合進行運算，它通過建立合適的隸屬度函數，來對模糊對象進行分析。隸屬度函數衡量了模糊對象中的元素對模糊集合的隸屬度。FHGNN方法則將圖節點之間的關系看作一個模糊概念，通過一個隸屬度函數，將圖節點之間的關系映射到一個單位區間[0，1]，并利用隸屬度函數為強相似的節點組間連接超邊。

2 模糊超圖神經網絡

如圖2所示，FHGNN模型主要由兩個部分組成：關系編碼器φ和分類器[θ]。其中關系編碼器為GNN，分類器為HGNN。關系編碼器利用節點特征進行節點間連接關系的計算，輸出節點連接關系表示的預測，然后利用隸屬函數得到的連接關系表示構建超邊。最后將節點信息通過新的超圖結構進行HGNN節點分類。FHGNN在關系編碼器的輸出使得構建的超圖在相似節點有更強的連接。

在FHGNN中，每個樣本用一個節點表示，這些樣本之間的連接關系用超邊表示。將[G=（v，ε;t）]定義為對任務T學習得到的圖。[V=vii=1：t]是節點集（個數為[t]），其中[vi]是節點的特征。[E=eiji，j=1：t]是邊的集合，其中[eij]是邊的特征。設[X=xii=1：t]，[x∈Rn]，為所有樣本t的特征，而[Y=yii=1：t]為樣本的類別標簽。邊預測的值[Y=yiji，j=1：t]定義為

[yij=0，if yi=yj1，if yi≠yj] （1）

2.1 關系編碼器

關系編碼器基于一個GNN來計算每個節點間的連接程度。在GNN計算過程中，節點信息通過圖傳播，節點和邊可以根據圖結構聚合他們的鄰居信息，并通過鄰居得到其他節點間的連接關系。因此，兩個節點的連接關系計算并不僅僅依賴于節點本身，還依賴于圖中其他節點的連接信息。

關系編碼器輸入的是節點的初始特征向量。在第L層關系編碼器中，連接關系特征首先通過更新函數[fle]進行更新，輸入為兩個不同節點的特征[2]

[el+1ij=flevli，vlji，j=1：t]???????? （2）

然后通過節點更新函數[flv]來更新節點特征[2]

[vl+1i=flvjel-1ijvl-1jjel-1ijvl-1i]??????? （3）

式中：||為連接操作。關系編碼器φ將通過在任務T結束時損失L進行優化[2]

[Lφ=1ei，j=1：tleeL1ij，yij;φ]????? （4）

式中：[L1]為關系編碼器中的層數。通過將關系編碼器的更新函數最后輸出的節點關系表示值設置為一個一維向量，使得每層的更新可以使用相同的關系編碼器。

2.2 隸屬度函數構建超邊

通過模糊理論將節點之間的模糊連接關系轉化成可計算的隸屬度函數。用隸屬度函數?來推斷關系編碼器預測的節點連接關系。隸屬度函數由FHGNN中的邊集合層的輸出來定義

[μeij=1，if eij≥α0，if eij<α] （5）

即對于任意點[vi]構建超邊[Ei]，如果[eij<αj≠i]，那么[Ei]這條超邊就會包括[vj]，其中[i=1：t，][0<α<1]，超邊[Ei=vi，vj1，vj2，…]。通過隸屬度函數[μ]來處理的節點連接關系，使得形成的超邊會傾向鏈接有相似特征信息的節點。

2.3 HGNN分類器

通過隸屬度函數構建超圖，得到用于HGNN分類器中超圖的鄰接矩陣H。然后根據矩陣H來聚合鄰域信息更新節點的特征向量。其中，關系編碼器和分類器中的節點更新函數具有不同的參數。然后，將超邊集連接起來，生成超圖相鄰矩陣H，將超圖相鄰矩陣H和節點特征輸入HGNN。然后利用公式建立一個超邊卷積層[3]

[Xl+1=σD-1/2vHWD-1eHTD-1/2vXlΘl]?? （6）

式中：[Xl=RN×C]為l層超圖的節點特征矩陣；[X0=X]，[X∈RN×C1]為超圖節點的初始特征矩陣，具有N個節點和[C1]維特征；[σ]為非線性激活函數；W初始化為一個單位矩陣；[Θ∈RC1×C2]為需要訓練學習的參數，將超圖的節點信息通過濾波器[Θ]提取有用特征。經過卷積得到[Y∈RN×C2]來用于分類。

最后為每個任務T優化HGNN分類器θ，使用以下損失函數優化分類器模型

[Lθ=i=1：tlθvL2i，yi;θ]??????? （7）

式中：[lθ]為交叉熵損失；[L2]為HGNN分類器中的層數。更新后的[θ]將會更適合于當前的任務T。

3 實驗

3.1 數據集

為驗證模型的總體性能，用UCI官網下載的幾個常用分類數據集在模型上進行實驗。表1顯示了實驗所用到的數據集。

1） 超圖數據集。Zoo數據集的每個樣本包含17個布爾類型的屬性。超邊是由所有具有相同分類特征值的節點創建的。NTU2012是來自計算機視覺/圖形學領域的數據。實驗從原始論文[3]中復制相同的設置，包括超圖的結構，并使用80%的數據作為訓練，剩下的20%被分成驗證和測試。

2） 表格數據集。Wine Quality數據集是來自葡萄牙北部的葡萄酒樣本。分類目標是基于物理和化學測試來模擬葡萄酒的質量，通過輸入基于物理化學試驗的11個變量類型分類葡萄酒質量得分。

Cardiotocography數據集是 由產科專家分類的心電圖。首先通過自動處理2 126張胎兒心電圖（ctg），并測量各自的診斷特征，包括測量的胎兒心率（FHR）和子宮收縮（UC）特征；再由3位產科專家進行分類，并為每個專家分配共識的分類標簽，分類針對形態模式（A，B，C，…）分為10類。

Image Segmentation數據集由從7張戶外圖片中隨機抽取的樣本組成，通過手工分割圖片為3×3的像素區域，即實驗的樣本實例。

Vehicle Silhouettes數據集是一些二維輪廓信息，根據二維圖像中的三維對象的形狀特征提取。目的是通過訓練從一組輪廓中提取的特征，將給定的輪廓劃分為4種類型的車輛。

Mice Protein Expression數據集由被修飾過的77種蛋白質數據組成，這些具有檢測信號的蛋白質在小鼠皮層的核部分產生。對照組小鼠38只，唐氏綜合征三體小鼠34只，共72只。在實驗中，對每個樣品小鼠的蛋白質進行了15次測量。因此，對于對照小鼠有38×15個測量值，對于三染色體小鼠有34×15個測量值。每次測量都是一個獨立的樣本。根據小鼠的基因型、行為和治療等特征區分為八類小鼠。實驗目的即根據小鼠的蛋白質亞群識別小鼠的類別。

Arrhythmia數據庫的每個樣本節點包含279個屬性，其中206個為線性值，其余為標稱值，目的是區分心律是否失常，并將其分類為16類。01類是正常心電圖，02～15類是不同類型的心律失常，16類是其他未分類的心律失常。

3.2 實驗設置

FHGNN架構包括關系編碼器[φ]和分類器[θ]。關系編碼器[φ]包括邊更新函數和節點更新函數，是一個聚焦于邊的圖神經網絡。通過一個全連接層批量歸一化和一個Sigmoid激活函數來更新節點關系即邊信息。節點更新函數是由一個全連接層批量歸一化和一個LeakyReLU激活函數構成。分類器[θ]是一個聚焦于節點的HGNN過程，它直接使用通過隸屬度函數得到的超邊，與關系編碼器[φ]相比，沒有再對邊信息進行更新。HGNN模型很淺（2層或3層），如果模型層數很深，輸出特征就會過度平滑，來自不同集群的節點可能會變得無法區分。實驗中關系編碼器的層數[L1=1]，HGNN分類器層數[L2=2]。

首先將FHGNN模型與一些超圖神經網絡和圖神經網絡模型進行節點分類的對比。其中超圖神經網絡選取了Feng等提出的HGNN（hypergraph neural networks）[3]和他們在2023年改進的HGNN+[7]，Yang等的LE（line expansion hypergraph）[6]和Jiang 等的DHGNN（Dynamic HGNN）[4]。使用了超圖數據集和表格數據在節點分類上進行對比。對于未提供邊信息的表格數據，它們的超圖結構通過k鄰階方法獲得。

用來與FHGNN模型比較的普通圖神經網絡選取了GCN[8]和GAT[9]，并根據不同的圖神經網絡采樣方法，選取了基于層級采樣的FastGCN[10]、ASGCN和LADIES[11]，基于子圖集采樣的GraphSAINT[12]，HC-GNN[13]和DNGNN[14]進行對比實驗。實驗數據集中的表格數據均使用k鄰階方法構邊建立圖結構。通過將FHGNN與兩個網絡結構（HGNN[3]和FGCN）分別進行了分類實驗對比，證明FHGNN方法的有效性。為了證明關系編碼器的有效性，將k臨界方法形成的超邊HGNN模型和通過邊聚合計算形成的超邊模型進行對比。同時，通過FGCN模型來驗證模糊隸屬度函數構建超圖過程的重要性。FGCN將通過隸屬度函數得到超圖結構改成普通圖結構，并用GCN進行分類。

3.3 實驗結果及分析

3.3.1 與其他圖神經網絡對比結果

表2所示為FHGNN分別與其他超圖神經網絡和圖神經網絡進行對比的結果。FHGNN在各個數據集分類的準確率顯著優于其他神經網絡。對于超圖數據集Zoo和NTU2012，FHGNN分別有97.2%和78.8%準確率的較好表現。實驗中將超圖數據集的超邊拆分成普通邊用于實驗中的圖神經網絡。對于其他6個表格數據集FHGNN的分類準確率也有很大提升，其中Mice Protein Expression數據集提升效果最好，只有Arrhythmia的結果沒有達到最優，但相比其他大部分的分類結果，FHGNN仍具有較好表現。

FHGNN通過歸納節點之間的聯系強弱，顯著提高了學習性能。但是由于FHGNN第一步對邊進行聚合時需要占用大量內存，對于大規模數據網絡，FHGNN并不能很好處理。同時實驗結果表明FHGNN能更好的聚合同類別節點的信息，顯著提高分類的準確率。相比于高維數據集，那些提供節點信息很少的低維小數據集，比如Mice Protein Expression和Cardiotocography，更能讓FHGNN發揮優勢。

3.3.2 消融實驗結果

FHGNN與傳統GNN方法的區別主要在于兩個方面：關系編碼器和隸屬度函數構造超圖。表3顯示了這兩部分分別對結果的影響。HGNN模型和FHGNN模型對比顯示了關系編碼器對分類結果的影響。FHGNN有約17%的改進，這表明通過關系編碼器可以將節點關系表示映射到一個更合理的分布。同時實驗結果顯示超圖結構的FHGNN比普通圖結構的FGCN模型多出約6.7%。因為超圖結構能夠傳達數據之間復雜的高階相關性，與普通圖結構的方法相比，可以更好地表示出數據之間的底層關系。圖3所示為模型FGCN和FHGNN的分類結果折線圖對比。從折線圖可以看出，兩個模型的結果在Vehicle Silhouettes和Mice Protein Expression數據集上的差距更大。可能的原因是這些數據集的節點維度低攜帶的特征信息較少，更不容易分類。同時Vehicle Sihouettes數據的樣本數較少，用于訓練的數據信息就比較少。對比表明FHGNN中邊聚合過程可以更準確地學習到相同類別之間的關系，抓住樣本之間的聯系，從而使隸屬度功能更有效。

4 結論

本文提出一種具有強關系歸納的模糊超圖神經網絡FHGNN模型，用于處理低維數據集的分類問題。

1） FHGNN是在傳統HGNN中加入了模糊理論，由隸屬度函數從具有模糊關系的節點集合中生成合理的超圖結構。對于不同數據集的分類任務，FHGNN可以更有效學習節點的相關特征信息，確保了學習任務的高效。

2） 選取多個數據集在圖神經網絡和超圖神經網絡上分別進行測試，并進行了消融實驗，結果表明FHGNN在分類任務上取得了更好的效果。

3） FHGNN模型算法可以應用于數據的預測分類任務。但在實際應用中，大規模圖面臨計算效率低下、內存占用大等挑戰。未來工作會嘗試改進模型，以支持大規模的圖處理。

參考文獻：

[1]?? XU C， LI M， NI Z， et al. Groupnet： Multiscale hypergraph neural networks for trajectory prediction with relational reasoning[C]//New Orleans： Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2022.

[2]?? WEI T， HOU J， FENG R. Fuzzy graph neural network for few-shot learning[C]//Glasgow： 2020 International Joint Conference on Neural Networks （IJCNN）， 2020.

[3]?? FENG Y， YOU H， ZHANG Z，et al. Hypergraph neural networks[J]. Proceedings of the AAAI Conference on Artificial Intelligence， 2019，33（1）： 3558-3565.

[4]?? JIANG J， WEI Y， FENG Y，et al. Dynamic hypergraph neural networks[C]//Macao： Proceedings of the 28th International Joint Conference on Artificial Intelligence， 2019.

[5]?? YADATI N， NIMISHAKWVI M， YADAV P， et al. HyperGCN： A new method of training graph convolutional networks on hypergraphs[J].Advances in Neural Information Processing Systems， 2019， 32： 1511-1522.

[6] ??YANG C， WANG R， YAO S， et al. Semi-supervised hypergraph node classification on hypergraph line expansion[J]. Association for Computing Machinery， 2022： 2352-2361.

[7]?? GAO Y， FENG Y， JI S， et al. HGNN+： General hypergraph neural networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023（3）： 3181-3199.

[8]?? KIPF T N， WELLING M. Semi-supervised classification with graph convolutional networks[C]//Toulon： 5th International Conference on Learning Representations（ICLR），2017.

[9]?? VELIKOVI P， CUCURULL G， CASANOVA A， et al. Graph attention networks[C]// Vancouver： 6th International Conference on Learning Representations（ICLR），2018.

[10] CHEN J， MA T， XIAO C. FastGCN： Fast learning with graph convolutional networks via importance sampling[C]//Vancouver： 6th International Conference on Learning Representations（ICLR），2018.

[11] ZOU D， HU Z， WANG Y，et al. Layer-dependent importance sampling for training deep and large graph convolutional networks[C]//Vancouver： 33rd Conference on Neural Information Processing Systems（NeurIPS）， 2019.

[12] ZENG H， ZHOU H， SRIVASTAVA A， et al. GraphSAINT： Graph sampling based inductive learning method[C]//Addis Ababa： Eighth International Conference on Learning Representations（ICLR），2020.

[13] ZHONG Z Q， LI C T， PANG J. Hierarchical message-passing graph neural networks[J].Data Mining and Knowledge Discovery， 2023，37： 381-408.

[14] MAURY S K， LIU X， MURATA T. Feature selection： Key to enhance node classification with graph neural networks[J]. CAAI Transactions on Intelligence Technology， 2023， 8：14-28.

第一作者：熊婉悅（1999—），女，碩士研究生，研究方向為人工智能、深度學習。E-mail：531818418@qq.com。

通信作者：范自柱（1975—），男，博士，教授，博士生導師，研究方向為模式識別、機器學習。E-mail：zzfan3@163.com。