基于多通道的邊學習圖卷積網絡

楊帥，王瑞琴，馬輝

（湖州師范學院信息工程學院，浙江 湖州 313000）

0 引言

近年來，神經網絡方法在各種頂級會議與期刊上成為最熱門的機器學習技術之一。例如，卷積神經網絡（convolutional neural network，CNN）[1]在圖像識別領域、循環神經網絡（recurrent neural network，RNN）在自然語言處理領域等方面，解決實際需求的問題時以優異的性能受到研究人員的青睞。在現實世界中許多問題可以直接用圖代替傳統的表格、圖像或時間序列建模，并且比傳統模型更加直觀高效。一般來說，圖由節點和邊組成，在現實生活中真實存在的部分可以作為節點，其間存在的聯系或互動作為邊。例如，路上的公交車站可以作為節點，公交車的運行路線可以作為邊。對于節點，一般可以收集其信息建模為特征向量；對于路線，可以簡化為節點間的直線邊進行建模。由于圖一般具有復雜的結構信息，圖學習的一個挑戰就是找到一個行之有效的方法在眾多信息中學習一個高效的模型。這幾年來，研究者們已經開發了數種針對圖學習的神經網絡模型，相比傳統的神經網絡模型，其性能更優異，應用也更廣泛。受圖傅里葉變換的啟發，Defferrar2等[2]將卷積神經網絡中的卷積操作為原型提出了一種圖卷積運算，Kipf等[3]使用重新歸一化的一階鄰接矩陣逼近多項式，以獲得圖節點分類任務的可比較結果，這些圖卷積網絡（graph convolutional network，GCN）[2-3]是結合圖節點特征和圖拓撲結構信息進行預測的。Veli?kovi?等[4]將注意力機制引入圖學習，提出了圖注意力網絡（graph attention network，GAT）。

目前，許多圖神經網絡模型存在的一個問題是未能充分利用圖中的邊特征。在圖卷積神經網絡中，圖被簡化為無邊屬性的連通圖，在圖注意網絡中同樣只需要使用節點間是否連通的特性。然而，實際上圖的邊通常擁有豐富的特征，如強度、類型、各種離散數值等多維變量。合理地利用邊特征可能會幫助許多圖學習方法獲得更高的精度。圖神經網絡的另一個問題就是每個神經層是根據作為輸入給出的原始鄰接矩陣聚合節點特征，但是原始的圖網絡有可能存在噪聲問題，這將限制信息聚合與預測任務的有效性。本文在標準GCN的基礎上以更合理的方式利用邊特征并優化噪聲問題，提出邊學習圖卷積網絡（e2ge- learning graph convolution network，EGCN）。本文在幾個引文網絡數據集和分子數據集上進行了實驗。通過利用多通道學習邊特征，本文的方法與其他的最新方法相比，獲得了不錯的結果。實驗結果表明，邊特征對圖學習具有重要幫助，并證明EGCN可以有效地學習邊特征。總之，本文的特點包括兩點：提出了針對數據中存在的噪聲的優化方法，該方法通過多層感知機（multilayer perceptron，MLP）計算節點間的類相似度，忽略部分類相似度值較低的噪聲邊的影響，從而提升模型性能；提出多通道邊特征學習的方法，對圖中邊的每一種屬性進行編碼，使模型在訓練中更合理地學習邊的不同屬性的隱藏特征。

1 相關工作

圖學習的一個關鍵問題是圖數據的復雜非歐結構。為了解決這一問題，傳統的機器學習方法用圖表統計、核函數或其他手動制作的特征提取鄰域局部結構特征。這些方法缺乏靈活性，且手動設計合理的功能非常耗時，需要大量的實驗才能將其推廣到不同的任務或數據集中。圖表示學習嘗試使用數據導向的方法將圖或圖節點嵌入低維向量空間，較為流行的一類為基于矩陣分解的嵌入方法，如拉普拉斯特征映射、圖分解和高階鄰近保持嵌入（high-or2er proximity preserve2 embe22ing，HOPE）；另一類方法側重于使用基于節點相似性度量的隨機游走，如DeepBalk、no2e2vec和大規模信息網絡嵌入（large-scale information network embe22ing，LINE）。基于矩陣分解和基于隨機游走的圖學習方法均存在一定的局限性。例如，映射到低維向量空間的嵌入函數是過于簡單的線性函數，可能無法捕捉復雜的信息，而且它們通常不包含節點特性；它們需要從鄰域聚合信息，所以需要對整個圖的結構進行訓練。

最近，隨著深度學習的發展，圖學習中的部分問題有所解決。基于神經網絡的深度學習可以表示復雜的映射函數，并通過梯度下降方法進行有效優化。隨著CNN在圖像識別方面的成功，人們自然而然地想將卷積應用于圖形學習中。在文獻[5]中，卷積運算是在圖拉普拉斯變換的譜空間中定義的。Defferrar2等[2]提出利用圖拉普拉斯算子的切比雪夫展開式近似濾波器，從而產生空間域局部化的濾波器，同時避免了計算特征向量的拉普拉斯算子。Veli?kovi?等[4]在圖學習中引入了注意機制，提出了GAT。但GAT與GCN仍重點關注節點特征，未能充分考慮節點間邊的多維信息特征，僅使用了邊的連通性，同時他們的模型沒有考慮任務中部分節點的鄰居節點有誤導影響，沒有考慮噪聲的局限性。

為了有效利用圖上的邊特征，邊增強圖神經網絡（e2ge enhance2 graph neural network，EGNN）[6]對邊特征使用雙重隨機歸一化以及跨網絡自適應方法以學習邊特征，并且在GCN與GAT的基礎上提出了EGNN（C）與EGNN（A）的改進模型。Chen等[7]則通過提取邊與節點的互信息（mutual information），提出邊信息最大化圖神經網絡（e2ge information maximize2 graph neural network，EIGNN）。Gilmer等[8]研究近年來的眾多圖學習模型的共性后，提出了消息傳遞神經網絡（message passing neural network，MPNN），圖神經網絡的本質是特征聚合，即節點根據周圍鄰居節點更新自身特征信息，這個方法即消息傳遞。上述圖神經網絡將部分邊信息引入圖學習，但仍存在未充分利用邊的多維信息和原始節點間可能存在噪聲影響的局限性。

2 多通道圖卷積神經網絡的結構

傳統的GNN有許多變體，如GCN[3]、GAT[4]、Graphs AGE[9]等。這些神經網絡模型側重于學習節點狀態，可以為鄰居分配權重，但不能處理各種邊特征。其中，通用的鄰居節點聚合方案為：

其中，l表示第l層神經網絡層，σ為非線性激活函數；avw是一個標準化常數或學習注意系數；h是一個將節點特征從輸入空間映射到輸出空間的變換，Wl是一個Fl×Fl+1的可學習權重矩陣。這些聚合方法尚不能滿足處理邊特征的需求。例如，對于分子分析的任務來說，原子鍵上的屬性對于分子屬性具有決定性影響，但目前的圖神經網絡大多是針對單維邊屬性設計的，且不適合分子分析這種單個圖比較小、總體上圖的數量多的任務。

在傳統圖卷積神經網絡的基礎上，本文的多通道邊學習圖卷積網絡模型總體結構如圖1所示。

圖1 多通道邊學習圖卷積網絡模型總體結構

設一個圖G=(V, E)，G表示有N個節點的圖，其中V是一組N個數據的節點表示，E是一組N個數據的邊表示。圖1中的節點編碼為特征矩陣X∈RN×f，f表示一個節點的維度，X0是第一層神經網絡的輸入，Ek表示通道k中的邊矩陣。在圖1中，上標l表示第l層的輸出。首先，用MLP層對數據進行預處理，經過預處理后獲得更適合本文模型需要的節點集X0與邊集E0并將其輸入下一步的神經網絡層。在信息聚合層，X0和E0表示神經網絡的輸入。在第一層聚合層將邊特征E0應用于X0，經過聚合鄰域產生一個N×F1的新節點特征矩陣X1。經過調整的E1作為邊特征送到下一層。這個步驟在以后的每一層都重復。節點特征XL可被認為是圖節點在Fl維空間中的嵌入。對于節點分類問題，將softmax函數應用于最后一維的每個節點嵌入向量XL。對于全圖預測（分類或回歸）問題，將池化層應用于XL的第一維，從而將特征矩陣簡化為整個圖的單個向量嵌入。然后將全連接層應用于圖向量，其輸出可用于預測回歸，也可用于分類。

2.1 去噪處理

現有圖網絡的初始鄰接矩陣可能有噪聲且不是最優的，這將影響鄰域聚合操作的有效性。例如，引文網絡中機器學習論文有時引用數學論文或其他理論論文，然而，數學論文可能很少引用機器學習論文。在此之前已有類似的工作，例如，文獻[10]使用標簽傳播和單個訓練過的圖神經網絡模型擴大圖神經網絡的訓練集，文獻[11]采用DeepCluster[12]等無監督學習技術幫助圖神經網絡的自訓練，文獻[10]和文獻[11]可被看作是圖神經網絡自訓練或協同訓練的特定算法，文獻[13]使用正則化項對每個節點提供新的監督信號進行訓練。

節點間的類相關度可以通過直接使用標簽加節點數據進行計算獲得，但是在稀疏分割條件下，只有小部分節點和標簽可用，很難直接從節點和標簽計算其類相關度，所以本文使用多層感知機從節點特征中學習獲得類相關度。具體來說，首先用多層感知機從原始節點屬性中提取類感知信息，多層感知機的第l層的定義為：

總的來說，本步驟基本思想為基于閾值的節點間類相似度的邊篩選方法，基于MLP的分類標簽生成候選邊集。在訓練過程中計算節點間的類相似度，將類相似度值低于閾值的節點對的邊劃入低類相關度集合，選擇集合中的一定比例的最低值的邊置為0，即經過算法處理可得分配矩陣，該矩陣在網絡中的作用為按比例刪除假定為噪聲的邊。為了不過度破壞數據集原有的結構以致影響任務的精度，實驗中對于節點低相關性的邊進行保守刪除，過高的刪除比例雖然會獲得更高的準度，但會出現訓練嚴重過擬合、精度不高等問題。

2.2 基于多通道邊學習的圖卷積網絡

通常實際數據中圖的邊上包含有關圖的重要信息。例如，在引文網絡中，引用關系應該是有方向的，對于節點分類任務來說，論文的引用方向可能有十分重要的作用，因此在建模引文網絡數據集時，將論文的引用方向作為一組邊特征編碼為一個通道；在分子性質分析任務中，對分子建模時，由于其性質十分復雜，不能簡單地將其視為無屬性連通圖。本文根據圖數據天然存在的屬性將邊編碼為多維矩陣，邊的每一個屬性將對應一個通道，讓模型在各通道中根據不同的神經網絡參數學習節點特征與邊特征。在引文網絡數據集中將論文的引用方向和引用次數分解為雙通道進行建模，將分子數據利用不同的邊屬性分解為5個通道建模。圖的邊特征作為輸入進入卷積層將被轉化為邊約束，卷積層l中的圖在基于邊約束的條件下轉換為約束圖信號，這個圖信號由邊約束矩陣{A1,A2,…,Ak}組成。圖卷積聚合來自每個通道的所有一階鄰居的節點信息。在第l層中，約束圖信號的圖卷積式為：

圖卷積的一個重要工具是圖拉普拉斯矩陣[3]。經過證明，歸一化的圖拉普拉斯矩陣定義為

算法1多通道的邊學習圖卷積算法

輸入通道k；模型f (·)；節點張量X；邊張量E；鄰接矩陣A

可學習參數：權重W，權重w

多通道卷積方法

總之，本文的工作是基于一階近似的切比雪夫（Chebyshev）卷積，在此基礎上使用多通道學習方法對圖卷積進行多次使用。多通道機制在模型學習過程中會產生一組邊權值wk，這些參數提供了比傳統圖卷積網絡更具表現力的網絡模型，圖卷積網絡可以學習節點之間多種邊類型，根據不同通道的可學習參數，讓模型學習不同邊屬性的特征。

2.3 可微分池化

本文模型使用了可微分池化（Diffpool）[14]以層級化學習圖表示。可微分池化設計了一個圖池化神經網絡來生成節點的賦值矩陣S：

softmax函數的輸入是特征矩陣Xl和鄰接矩陣A，是第l層的傳統圖卷積網絡[3]。在可微分池化層的第一層nl= n，由于加入了多通道學習方法，第一個可微分池化層的輸入是，然后使用得到新的聚類鄰接矩陣Xl+1和聚類節點的特征矩陣Al+1，如式（7）、式（8）所示。

最后的輸出是圖表示X∈R1×fG，fG表示圖的維數。Diffpool定義了新的層級化池化層以抽取圖的信息，通過學習賦值矩陣將不同的節點分配到不同的聚類中，結合正則化的邊預測來共同優化學習卷積參數，從而學習到更豐富的層級化網絡信息。

2.4復雜度分析

與傳統的卷積神經網絡不同，由于不同的節點與邊的復雜性不同，圖卷積的成本是不穩定的，無法準確給出每一步計算的時間復雜度，在計算機中數據的加減運算的成本較低，故訓練算法的時間復雜度可以通過乘法運算的次數進行推算。GCN、GAT與EGCN的時間復雜度與內存復雜度對比見表1。

在表1中，n是所有節點的數量，m是所有邊的數量，K是網絡層數，c是通道數量，節點隱含特征維數為d。傳統的GCN[3]的時間復雜度為O(Kmd+Knd2)，GAT較GCN的計算量更少，但是需要處理的數據規模是相同的，而本文同樣使用傳統GCN的基于一階近似的切比雪夫卷積，所以增加的時間復雜度與計算復雜度為增加的通道數量。

3 實驗結果

本文所有的算法與實驗都基于Python 3.7平臺上的torch-1.6.0實現。在所有的實驗中，模型都用Intel core i5-10500處理器進行處理。實驗的任務包括驗證本文方法對幾種基礎方法的改進。由于引文網絡數據集需要使用邊特征來建模，因此使用了Cora和Citeseer的原始版本。分子數據集使用了Tox21、Freesolv、Lipophilicity和eSOL數據集。節點特征和邊特征是使用RDKit提取的，RDKit是一個開源的化學信息學軟件包。RDKit將SMILES字符串轉換為“mol”格式，其中包含用于構建分子圖的分子結構信息。

3.1 數據集

為了測試本文提出EGCN的有效性，將其應用于多種常見的數據集。本節測試了兩個節點分類任務引文網絡數據集——Cora、Citeseer；一個全圖分類任務的分子分析數據集，Tox21；3個預測分子性質的分子分析數據集，Lipophilicity、Freesolv和eSOL。引文網絡中的Cora與Citeseer均用論文中關鍵字是否出現以二進制指標表示節點特征，根據論文的引用方向關系編碼為多個離散值的邊特征矩陣。Tox21的原始數據來自21世紀的毒理學研究計劃，它包含7 831個環境化合物和藥物，以及12個標簽的生物學結果，是全圖分類任務。回歸任務有3個數據集：Freesolv是一個含有642個水中小中性分子的水合自由能的數據庫；Lipophilicity（Lipo）由ChEMBL數據庫整理，包含4 200個化合物；eSOL提供了1 128種化合物的水溶性數據。各數據集的基礎統計數據見表2。分子數據集均從MoleculeNet[15]下載。實驗中忽略了結構圖沒有邊的SMILES樣本。

表2 各數據集的基礎統計數據

3.2 評價指標

對于分類任務，Cora與Citeseer數據集的任務為節點分類任務，評價指標為準確率，由預測標簽和實際標簽計算得來。Tox21數據集的任務為分子分類，即全圖分類，采用ROC曲線下面積（area un2er curve，AUC）作為評價指標。其中，ROC曲線全稱為“受試者工作特征曲線（receiver operating characteristic curve）”，它是根據分類得到的二值分類結果，以真陽性率（true positive rate，TPR）為縱坐標、假陽性率（false positive rate，FPR）為橫坐標繪制，AUC值可通過對ROC曲線下各部分的面積求和而得。由定義可知AUC取值在0.5和1.0之間，越接近1.0，模型可靠性越高。

表1 GCN、GAT與EGCN的時間復雜度與內存復雜度對比

Lipo、Freesolv與eSOL數據集為回歸任務，比較模型在不同數據集上的預測誤差，采用均方根誤差（root mean square error，RMSE）作為評價指標，由式（9）可知RMSE值由算法的預測值iy和實際值計算得來，RMSE值越小，模型性能越好。

3.3 對比算法

本文將提出的基于多通道邊學習的圖卷積網絡與傳統的圖卷積網絡、圖注意網絡等分別做了相應的對比，幾種對比算法的簡介如下。

（1）圖卷積網絡[3]使用一階近似的切比雪夫卷積實現譜域卷積。

（2）圖注意力網絡[4]將注意力機制引入基于空間域，通過一階鄰居節點的不同權重的表征更新節點特征。

（3）隨機森林（ran2om forest，RF）算法[15]通過訓練多個決策樹，生成模型，然后綜合利用多個決策樹進行分類。

（4）Beave[15]模型原理類似于圖卷積，Beave 特征化編碼了局部化學環境和分子中原子的連通性，專門用于分子分析。

（5）邊增強圖神經網絡[6]是通過多種邊處理方法以學習邊信息的圖神經網絡。

（6）邊信息最大化圖神經網絡[7]通過最大化邊特征與消息傳遞通道間的互信息來學習邊的多維屬性。

（7）消息傳遞神經網絡[8]是通過關注節點之間信息的傳遞，定義聚合函數而提出的一種通用的GNN框架。

3.4 結果分析

3.4.1 引文網絡實驗

對于引文網絡數據集Cora和Citeseer，任務為對論文進行分類，是節點分類任務。本文將整個數據集劃分為訓練集、驗證集和測試集，參照文獻[6]將數據集分為稀疏分割（Sparse）和密集分割（Dense）兩種模式，稀疏分割劃分為5%訓練、15%驗證和80%測試的3個子集；密集分割劃分為60%訓練、20%驗證和20%測試的3個子集。對于類相似度估計，使用一個隱藏層有512個單元和另一個隱藏層有32個單元的雙層MLP。對于神經網絡層，按文獻[6]的參數設置，使用兩層的卷積層，隱藏層設置輸出維度為64，2ropout率設為0.5，對權值W進行L2正則化，權值衰減為0.000 5，并采用指數線性單元（exponential linear unit，ELU）作為隱藏層的非線性激活。在本次實驗中，將標準的GCN[3]與GAT[4]作為基礎對照方法，并將文獻[6]中最佳性能的EGNN加入對比試驗。同時，為了研究每個功能的有效性，在實驗中對模型進行了消融實驗，EGCN（N）表示保留圖去噪方法，EGCN（M）表示保留多通道邊學習方法，EGCN（MN）表示使用完整的模型。本節總共測試了6個模型在Cora和Citeseer兩個數據集的兩種分割方法下的表現，每個模型分別運行10次，取其精度的均值和標準差。各模型基于引文網絡數據集的結果和EGCN模型在引文網絡數據集上消融實驗的結果分別見表3和表4，其中粗體數字表示不同模型得到的最好性能。

表3 各模型基于引文網絡數據集的結果

表4 EGCN模型在引文網絡數據集上消融實驗的結果

分析表3和表4可知，EGCN總體上比基礎的GCN與GAT模型有更好的性能，保留去噪方法對分類結果的準確率提升效果明顯，而保留多通道邊學習方法提升較小，可能是引用網絡數據集的可用邊特征較少，對算法的影響有限，密集分割條件下，EGCN在Cora數據集上表現為第二優。這些結果表明EGCN模型在數據集較為簡單的情況下仍能保持相當的性能。考慮到實際應用中可能存在實體標簽缺失的問題，如何提高模型在稀疏分割或半監督任務下的性能是未來研究的一個方向。

3.4.2 分子分析實驗

本文在4個分子數據集：Tox21、Freesolv、eSOL及Lipo上進行測試，數據集均使用RDKit將分子轉換為圖數據，將原子鍵信息編碼為邊特征矩陣。對于模型，本文采用兩層圖卷積層，每個通道的各圖處理層的輸出維度分別為60、100，一層微分池化層，輸出維度為128，一層全連接層，輸出維度為64。對于分類任務，全連接層使用sigmoi2交叉熵損失函數輸出logits。回歸任務的全連接層使用均方誤差損失函數輸出 logits。對權值W進行L2正則化，權值衰減為0.000 1，2ropout率設為0.6，采用指數線性單元作為隱含層的非線性激活。在分子分析任務中，將實驗中最佳性能的EGNN[6]模型加上GCN[3]、GAT[4]、EIGNN[7]和MPNN[8]作為參照，另外也加上RF和Beave進行了測試。參照文獻[6]的設置，這些數據集以80%、10%、10%的比例分為訓練、驗證和測試子集。上述模型每個運行5次，取評價得分的平均值和標準偏差。對于分類任務（Tox21），采用ROC曲線下方面積作為評價指標；對于回歸任務（Lipo等），采用均方根誤差作為評價指標；分子數據集下各神經網絡的結果見表5，其中粗體數字表示不同模型得到的最好性能。

EGCN在Freesolv與eSOL分子數據集上的消融實驗結果見表6，驗證了多通道學習在模型中的必要性。基于分子分析數據集的EGCN中共有5個通道，分別代表分子圖數據集中的

Atom Pair Type、Bon2 Or2er、Aromaticity、Conjugation和Ring Status的屬性。消融實驗基于Freesolv與eSOL數據集，k表示EGCN中保留的通道數量，當k=1時EGCN退化為傳統GCN模型，故將GCN引入對比測試。每個EGCNk均為記錄多次實驗平均值加標準差，例如，EGCN4為保留4個通道，具體來說就是每次刪除一個通道，運行5次，然后刪除其他數個通道重復該操作，共記錄25條數據，取其均值。

表5 分子數據集下各神經網絡的結果

表6 EGCN在Freesolv與eSOL分子 數據集上的消融實驗結果

從表6中可以清楚地看到刪除數個通道后的結果與原模型的實驗結果，比較分析后可知通道數量增加使模型性能有明顯提升。

3.5 參數敏感性分析

在去噪處理這部分，計算節點間的類相關度使用MLP從節點特征中學習獲得類相關度矩陣，再將類相關度值最低的邊刪除，刪除一定數量的噪聲邊后根據剩余邊比例獲得數據結果，EGCN在Cora數據集上基于剩余邊的比例的準確率如圖2所示。

圖2 EGCN在Cora數據集上基于剩余邊的比例的準確率

從圖2可以看出，經過去噪處理后分類準確率提升明顯，說明圖中的部分噪聲邊影響明顯，剔除噪聲后EGCN能有效提升分類性能。被刪除的邊達到一定數量后，繼續刪除圖中的噪聲邊雖然可以獲得略高的準確率，但是提升幅度不明顯，并且訓練準確率已達100%，表明過擬合效應嚴重。這里可以認為進一步刪除邊會造成數據失真以致訓練過擬合，所以選擇保留96%的邊作為后續實驗的閾值。

在傳統的CNN[1]中擴大感受野可以明顯提高模型性能。圖卷積神經網絡在引入多通道學習后，為了探究更大的感受野對模型訓練是否有增益，本節在一階近似的切比雪夫卷積的基礎上對模型進行k階切比雪夫多項式改造。高階鄰域對于圖卷積神經網絡意味著更大的感受野，對于分子分析來說，單個分子作為一個小型圖，對其使用高階卷積可能并不適合。本節實驗基于Cora與Citeseer數據集進行對比。這里將k的階數設為1～4，基于Cora與Citeseer的k階鄰域對比實驗結果如圖3所示。

圖3 基于Cora與Citeseer的k階鄰域對比實驗結果

圖3中，在Cora與Citeseer數據集上，與k=1相比，當k=2時準確率有略微下降，當k=3或k=4時準確率均出現明顯降低。基于這些結果分析可知，對于圖卷積網絡，每次消息傳遞來自其k階鄰域，通常需要一個合適的感受野捕捉鄰域信息，直接鄰域足以提供卷積所需的特征信息，來自高階鄰域的大量信息會放大噪聲的干擾，并對節點預測任務造成負面影響。在實驗中發現，使用高階切比雪夫卷積時會增大模型的計算量，且明顯增加訓練的時間，所以EGCN采用一階近似的切比雪夫卷積。

4 結束語

本文首先總結了現有的圖學習神經網絡，分析比較了各種圖神經網絡的優點、缺點。接著針對傳統的圖卷積網絡存在的噪聲問題與邊信息利用不充分問題，提出了使用MLP的去噪方法和基于多通道邊學習的圖卷積神經網絡。通過大量的實驗證明多通道邊學習用于圖卷積的可行性和有效性。

基于多通道的邊學習圖卷積網絡相較于傳統的圖神經網絡方法有所改進，但是仍存在問題亟須解決，如加深網絡層數產生的過度平滑、特征聚合過程中計算量較大等。在未來的工作中，將嘗試更多的先進思想解決本文中EGCN存在的問題并加以改進。