應用于材料圖像分割的Graph-UNet

摘要：小樣本材料圖像分割是圖像分割領域的研究難點之一。材料圖像的微觀結構大多數形狀各異、紋理復雜且邊界模糊，會導致材料圖像的分割不準確。Graph-UNet被提出融合U-Net和圖卷積神經網絡來解決小樣本材料圖像自動分割的挑戰，它將卷積神經網絡的多維特征融合和跳躍連接的思想遷移到圖卷積神經網絡中實現圖卷積和圖注意力的有效結合，并且建立了一個通用的模塊實現特征圖和圖結構相互轉換。在材料圖像數據集上進行了對比和消融實驗，證明了Graph-UNet的分割結果優于很多先進方法，準確地識別了多種材料結構，推動了探究材料結構和性能關系的發展。

關鍵詞：語義分割； 圖卷積神經網絡； 圖注意力； 材料圖像； 深度學習； 小樣本

中圖分類號：TP183文獻標志碼：A文章編號：1001-3695（2022）10-051-3196-05

doi： 10.19734/j.issn.1001-3695.2022.03.0132

Graph-UNet for material image segmentation

Wei Huishan1， Han Yuexing1，2， Wang Bing1， Chen Qiaochuan1

（1.School of Computer Engineering amp; Science， Shanghai University， Shanghai 200444， China; 2. Zhejiang Laboratory， Hangzhou 311100， China）

Abstract：

Image segmentation of small sample material is one of the difficulties in the field of image segmentation. Most of the microstructure of material images have the characteristics of different shape， complex texture and fuzzy boundary， which will lead to the inaccurate segmentation of material images. This paper proposed the graph-UNet to integrate U-Net and graph convo-lutional neural network to solve the challenge of automatic image segmentation of small sample materials. The model transferred the idea of multi-dimensional feature fusion and jumped connection from convolutional neural network to graph convolutional neural network. The model realized the effective combination of graph convolution and graph attention. It established a universal module to convert feature graph and graph structure to each other. The comparison and ablation experiments on material image data sets prove that Graph-UNet segmentation results are superior to many advanced methods and can accurately identify multiple material structures， which promotes the development of exploring the relationship between material structure and properties.

Key words：semantic segmentation; graph convolutional neural network; graph attention; material image; deep learning; small sample

0引言

隨著圖像分割方法的不斷發展，以及各領域間的交叉和融合，科學工作者嘗試將先進的圖像分割方法運用到材料圖像分割中，如文獻［1，2］。材料圖像的精準分割有助于推動材料的制造工藝、結構和性能之間關系的研究，有助于新材料的開發。材料結構的圖像分割是對材料圖像進行后續處理的基礎。材料圖像中目標區域的準確分割對于結構分析、研究材料性能等都具有重要意義。

大多數材料圖像包含復雜的紋理和各種形狀的微觀結構，即使是同種材料結構也會存在差別很大的形狀和紋理。材料結構千差萬別，材料圖像的標注需要耗費大量的人力和時間成本，因此提高模型的泛化性和解決小樣本圖像分割問題也是必不可少的。在小樣本數據集中，區分不同的材料結構圖像是一個困難的任務。

目前已經有了與材料圖像分割有關的深度學習方法。Azimi等人［3］利用全卷積神經網絡（FCN）提出了一種新型的針對材料顯微組織的分割算法MVFCNN。該方法需要較多的材料樣本，由于大多數材料圖像的獲取成本過高，這限制了深度學習在材料圖像分割中的應用。Jiang等人［4］提出了一種基于深度學習的方法，直接對整幅圖像進行像素級材料分割，將擴張卷積特征與傳統卷積特征相結合，去除擴張卷積帶來的偽影。Xiong等人［5］提出了一種基于簡單線性迭代聚類超像素區域生成和卷積神經網絡分類的水稻穗段分割算法，然而，水稻穗段有著明顯的邊界和區域特征，使用超像素方法存在特定任務的局限性。Decost等人［6］提出一種深度卷積神經網絡，能夠從含有多種微觀成分的微觀圖中獲得水石灰粒度和變質區寬度的分布，然而，其主要是針對特定應用場景設計的網絡模型。

為了解決端到端的材料圖像分割任務，結合U-Net和圖卷積神經網絡，提出了一個通用的網絡模型Graph-UNet。本文利用深度卷積網絡對一個圖進行建模，并且應用圖卷積方法來解決材料圖像的語義分割任務。該模型將卷積神經網絡中處理的特征圖建立一個圖結構，使用多維度跳躍連接的圖注意力模型（MGAM）在鄰居節點之間交換特征，再將交換信息后的圖結構封裝為特征圖進行后續的卷積層操作，其網絡結構如圖1所示。

1語義分割中的圖模型

圖卷積神經網絡是為了解決在圖結構數據集上的學習問題而設計的。如今，研究者開始探索圖卷積如何應用在結構化數據上。Lu等人［7］首次用圖卷積結合全卷積神經網絡解決語義分割難題，使模型有1.34%的性能提升。Zhang等人［8］提出對偶圖卷積網絡（DGCNet），將處理不規則數據的圖卷積融合到解決語義分割任務的雙重注意力模型中。Ma等人［9］提出了一種新的注意圖卷積網絡（AGCN）來對遙感圖像數據進行超像素分割，利用圖卷積結合圖注意力實現圖像分割。

目前，很少有結合圖卷積的網絡模型針對材料圖像進行分割，借鑒前人的研究思路，本文設計圖結構主要有兩個特點：a）圖結構有更加靈活的跳躍連接，不像卷積網絡中以一個像素為中心，建立一個n×n的局部區域進行卷積，圖卷積中每個節點的領域可以自定義范圍；b）圖卷積的消息傳播機制在節點間交換信息，隨著圖卷積層的堆疊，每個節點的感受野變得更大，充分捕捉更大范圍的特征。

為了延續注意力機制在圖像分割任務中的優點，增強網絡對重要特征的關注，本文將基于多維特征融合的圖注意力模塊加入U-Net［10］中，以解決小樣本材料圖像的語義分割問題。本文選擇U-Net作為骨干網絡的初衷是因為U-Net最初應用于醫學圖像，而材料圖像與醫學圖像有很大的相似之處，如顏色單調、以灰度圖為主。現在，對于U-Net的改進方法經典的有UNet++［11］和Attention U-Net［12］等。UNet++主要通過增加跳躍連接增強對圖像特征的補充，而Attention U-Net則通過在解碼器部分增加注意力機制提高網絡性能。本文受到圖卷積和注意力機制在圖像分割任務中應用的啟發，提出了圖注意力模塊。

在本文提出的網絡中，輸入圖像首先經過五層卷積層，前四層隨后各加一層池化層。在第五層卷積層之后，將提取的特征圖轉換為圖結構，用基于多維特征融合的圖注意力模塊進行節點特征的傳播和學習。隨后，模塊將圖結構再轉換回特征圖進入后面的四層上采樣層，不斷地將特征圖的尺寸放大。每一次上采樣操作后都會將當前的特征圖和編碼器相同尺寸大小的特征圖進行拼接。最后，網絡通過sigmoid函數輸出預測圖，得到分割結果。

1.1圖結構

圖結構是一種非規則的數據結構。圖結構數據可以視為一個三元組G（N，E，U）。N是圖的節點集，它是一個|N|×S矩陣，|N|是圖的節點數，S是節點特征向量的維數，E是圖的邊集，U是圖的特征。

本文采用有向圖的方式構建圖，即對每條邊賦予方向性。為了實現圖結構建立后每個節點之間的連接情況沒有差別性，本文將每個節點的總度初始化為特定值，即四鄰域的方式，通過監督學習來訓練這個模型。

1.2基于多維特征融合的圖注意力

1.2.1圖編碼器

圖注意力模塊的輸入是圖結構。為了將特征圖輸入到圖注意力模塊，本文創建了圖編碼器將特征圖轉換為圖結構。

在本文模型中，節點特征由U-Net的編碼器部分初始化。在圖模型中，用鄰接矩陣表示節點間邊的連接，每個節點都連接到它最近的節點。本文根據像素點的空間位置關系讓每個節點按照四鄰域的方式建立邊的連接。節點間的連接表示特征可以通過圖注意力模塊中的邊進行傳播。

1.2.2圖注意力模塊

本文提出了一種基于多維特征融合的圖注意力模塊（MGAM），如圖2所示。

圖卷積神經網絡（GCN）是處理圖結構的深度學習方法之一，它的具體實現公式［13］如下：

Zl+1=σ（D－12AD－12XWl）（1）

其中：X是由U-Net編碼器輸出轉換的圖結構；D和A分別是X的度矩陣和鄰接矩陣；～是指圖的每個節點添加了自連接，并構建了相應的度矩陣D和鄰接矩陣A；Wl是第l層圖卷積的權值矩陣；σ是ReLU激活函數；Zl+1是第l+1層圖卷積操作的輸出。

圖注意力網絡（GAT）是應用于圖結構的注意力機制之一，它的具體實現公式［14］如下：

hi（K）=σ（1K∑Kk=1 ∑j∈NiαkijWkhj）Ni（2）

其中：K表示注意力頭的個數；Ni是節點i的鄰居節點集合；αkij是第k個注意力頭中節點i和它的第j個鄰居節點之間的注意力系數；Wk第k個注意力頭的權重矩陣；hj是第j個節點的特征向量；σ是激活函數；hi是節點i經過多頭圖注意層的聚合后的輸出特征。其中αij的具體公式如下：

αij=exp（LeakyReLU（aT［Whi‖Whj］））∑r∈Niexp（LeakyReLU（aT［Whi‖Whr］））（3）

其中：LeakyReLU（）是特定的激活函數；a和W都是權重矩陣；hi、hj和hr分別是節點i、j和節點i的第r個鄰居節點。

GCN和GAT都是將鄰居節點的特征聚合到中心節點，GCN利用了拉普拉斯矩陣，GAT利用了注意力系數。GCN不能為節點的每個鄰居分配不同的權重，在卷積時對所有鄰居節點均一視同仁，不能根據節點重要性分配不同的權重。然而，GAT將節點特征之間的相關性很好地融合到了模型。GAT利用多頭注意力以穩定學習過程，如圖3所示。

一般來說，GCN解決節點分類或分割問題采用一到兩層，層數過多的GCN堆疊會導致過平滑的問題。然而，卷積神經網絡模型中，一般深層的卷積層堆疊會展現更好的性能和效果。更深層的模型意味著更好的非線性表達能力，可以學習更加復雜的變換，從而擬合更加復雜的特征輸入，如殘差網絡。為了借鑒CNN的思想，本文通過增加超參數a控制每層節點特征輸入下一層圖卷積層的比例，加深了圖卷積模型的深度。這種思想模擬了殘差網絡的跳躍連接，但這種連接僅部分緩解了過度平滑的問題。當堆疊更多層時，模型的性能仍然會下降。

本文使用兩層GCN，一邊對節點特征進行消息傳播，一邊對節點特征降維操作，再通過兩層GCN對節點特征升維操作，加和每次降維的節點特征。首先，輸入圖結構有H×W個節點，每個節點特征維度為C，經過一層圖卷積層將節點特征的維度降到C/2；然后，再將節點特征更新過一次的圖輸入第二層圖卷積層，節點特征維度降為C/4；緊接著，對圖進行升維操作，分別再進入兩層圖卷積層。降維和升維后的特征一一對應，并且降維后的節點特征連接一層圖注意力GAT再加和到升維的圖卷積層。維度為C、C/2和C/4的圖結構分別對應圖像領域中的高分辨率、中分辨率和低分辨率的特征圖。通過代表低分辨率特征圖的圖結構學習到粗糙的特征，代表高分辨率特征圖的圖結構學習到精細的細節特征，將不同分辨率的圖結構融合，達到對小樣本材料圖像的準確學習和表示。在圖經過圖注意力層后，通過設置一個超參數a控制節點特征流動到下一層圖卷積層的比例。設置超參數a的目的是為了避免過多的圖卷積層導致節點特征最終幾乎都等于全局特征。特征升維部分的具體融合實現方式如式（4）所示。

Hl+1add=ah′+（1－a）Zl+1（4）

其中：Hl+1add是圖注意力層輸出和圖卷積層升維操作的輸出的加和結果；Zl+1是第l+1層圖卷積的輸出特征；a是超參數；h′是圖注意力層的輸出。

圖注意力模塊是網絡模型的重要組成模塊，是圖卷積和圖注意力組合的結果。它主要起到了加深網絡深度，提高網絡擬合復雜的輸入圖像的能力，緩解網絡對局部特征的過度關注，避免了忽視全局特征信息，達到了更好的材料圖像分割效果。圖卷積不會改變特征圖像素點的空間位置信息，節點不會消失。圖注意力層起到了關注重要節點的作用，增強重要節點的特征流動、抑制無關節點的特征流動。

1.2.3圖解碼器

圖注意力模塊的輸出依然是圖結構。為了可以將圖注意力模塊的輸出繼續放入卷積神經網絡中，本文創建了圖解碼器將圖結構轉換為特征圖。

2實驗和討論

2.1實驗環境與評價標準

本文實驗使用了處理器為i7-8750H CPU@2.20 Hz的計算機，以及Python3.8的開發工具。本文網絡是通過PyTorch實現的。

本文將圖片大小統一為512×512作為網絡輸入，并且將標簽圖像轉換為二值化圖像用于訓練階段的使用，將二元交叉熵損失函數作為網絡的損失函數。本文使用帶動量的梯度下降優化算法Adam訓練網絡模型，基于訓練數據迭代地更新神經網絡權重；動量和衰減系數為0.9和0.000 5，以減輕模型過擬合的問題；迭代次數為100，批處理大小為1，初始學習率設為0.001，通過設置學習率逼近網絡參數最優值。每種材料結構的數據集包含兩類標簽，即目標材料結構和背景材料結構。本文將訓練數據集放入網絡訓練，通過損失函數降低輸入圖像和標簽圖像之間的損失，保存100次迭代中網絡性能最優的網絡參數以備測試階段的使用。網絡性能是否優良的評價標準是由使用MIoU來衡量。

本文將訓練數據集放入網絡訓練，保存訓練最優的網絡參數，再放入測試數據集進行預測，計算測試集預測結果與對應標注圖的MIoU作為評價網絡性能的指標。最后，本文將網絡的輸出結果轉換為可視化的二值化標注結果圖。

本文實驗的數據集共有四類材料結構，分別是spheroidite、wood、pearlite1和pearlite2。其中，spheroidite、pearlite1和pearlite2是開源的材料數據，來源于文獻［15］。材料數據集由于實驗復雜和標注成本高昂，每類有4～6張圖片，數據集分布如表1所示。

本文的網絡模型對多類數據集的分割效果呈現穩定的性能。材料結構的大部分噪點都被很好地過濾，對大面積的連通區域分割準確。材料結構之間的狹窄邊界分割優于絕大多數方法。在顏色對比度低的情況下，依然展現出強大的學習能力。本文方法較好地權衡了分類準確率和定位精度。

2.3圖注意力模塊有效性的驗證實驗

本文探究了基于不同backbone的網絡的性能，即驗證圖注意力模塊的有效性，對比各個網絡模型添加圖注意力模塊和不添加圖注意力模塊的網絡性能。本文對比了backbone為ResNet34-UNet、ResNet34-FCN和UNet++的網絡模型，發現圖注意力模塊對于提高網絡性能有著積極的作用，如表3所示。

為了證明提出的圖注意力模塊對于材料圖像分割的積極作用，對比了以往經典的注意力方法，即SE-Net［22］、CBMA［23］、DANet［24］、CCNet［25］和PSANet［26］，如表4所示。本文把以上五種注意力方法作為五個不同的模塊和提出的圖注意力模塊分別添加到U-Net中，在四個數據集上進行驗證對比。實驗證明提出的模塊對于材料圖像的分割有著積極影響。

2.4消融實驗

在本文的工作中，主要提出了一個新穎的基于多維特征融合的圖注意力模塊。為了了解圖卷積、圖注意力和超參數a對網絡模型的影響，進行了詳細的消融實驗，主要進行了五組實驗。第一組的網絡模型是U-Net加一層圖卷積層；第二組是U-Net加一層圖注意力層；第三組是U-Net加上基于多維特征融合的圖卷積模塊；第四組是U-Net加上沒有超參數a的基于多維特征融合的圖注意力模塊；第五組是本文網絡模型。對比了五組不同的網絡模型在材料數據集上的分割結果，不同圖卷積模塊的結構如圖5所示。

消融實驗的結果如表5所示，報告中的數字以百分比作為分割精度。從表5中發現，本文提出的基于多維特征融合的圖注意力模塊對于模型性能有著積極的影響，圖注意力模塊中的各個部分對于分割效果都有著不同程度的提升。實驗的可視化結果如圖6所示，每一組的網絡模型對于材料結構的分割結果都是較為精確的，難以用肉眼去發現不同組之間的區別。然而，在邊界的分割中發現，在每一組實驗的第五和第六張圖，本文提出的模塊對于識別邊界有很好的積極影響。由此可得，基于多維特征融合的圖注意力模塊提升了對于微小細節的分割效果。

3結束語

本文提取了一種針對小樣本材料結構圖像的語義分割方法。將基于多維特征融合的圖注意力模塊放入U-Net中，在樣本數量少的前提下獲得更多的特征信息去實現對材料圖像的自動分割。該方法有一些缺點有待改進，如本文方法在計算成本方面相對昂貴；其次，材料結構不明顯的邊界細節還是不能很好地分割出來。對于未來的研究工作，將進一步加強本文方法，如結合圖卷積的優點使用更深的圖卷積神經網絡提高模型的擬合能力，以應用于更多的新材料結構。

參考文獻：

［1］何棟，唐婷. 基于模糊C均值聚類算法的碳纖維木質復合材料圖像分割 ［J］. 合成材料老化與應用，2020 （4）： 78-80. （He Dong，Tang Ting. Image segmentation of carbon fiber wood composite based on fuzzy C-means clustering algorithm ［J］. Synthetic Materials Aging and Application，2020 （4）： 78-80.）

［2］張利欣，車世界，徐正光，等. 基于殘差網絡的高溫合金微觀組織圖像分割方法 ［J］. 科學技術與工程，2020，20（1）： 246-251. （Zhang Lixin，Che Shijie，Xu Zhengguang，et al. Image segmentation method of superalloy microstructure based on residual network ［J］. Science Technology and Engineering，2020，20（1）： 246-251.）

［3］Azimi S，Mücklich F，Fritz M. Advanced steel microstructural classification by deep learning methods ［EB/OL］. （2018-02-15）. http：//doi.org/10.1038/s41598-018-20037-5.

［4］Jiang Xiaoyue，Du Junna，Sun Baihong，et al. Deep dilated convolutional network for material recognition ［C］// Proc of the 8th International Conference on Image Processing Theory，Tools and Applications. Piscataway，NJ： IEEE Press，2018： 1-6.

［5］Xiong Xiong，Duan Lingfeng，Liu Lingbo，et al. Panicle-SEG： a robust image segmentation method for rice panicles in the field based on deep learning and superpixel optimization ［J］. Plant Methods，2017，13（1）： 104-118.

［6］Decost B L，Lei Bo，Francis T，et al. High throughput quantitative metallography for complex microstructures using deep learning： a case study in ultrahigh carbon steel ［EB/OL］. （2019-02-04）. http：//doi.org/10.1017/s1431927618015635.

［7］Lu Yi，Chen Yaran，Zhao Dongbin，et al. Graph-FCN for image semantic segmentation ［C］// Proc of International Symposium on Neural Networks. Berlin： Springer，2019： 97-105.

［8］Huang Zilong，Wang Xinggang，Wei Yunchao，et al. CCNet： criss-cross attention for semantic segmentation ［C］ Proc of IEEE/CVF International Conference on Computer Vision. Piscataway，NJ： IEEE Press，2019： 603-612.

［9］Ma Fei，Gao Fei，Sun Jinping，et al. Attention graph convolution network for image segmentation in big SAR imagery data ［J］. Remote Sensing，2019，11（21）： 2586-2606.

［10］Ronneberger O，Fischer P，Brox T. U-Net： convolutional networks for biomedical image segmentation ［EB/OL］. （2015-05-18）. http：//doi.org/10.48550/arxiv.1505.04597.

［11］Zhou Zongwei，Siddiquee M，Tajbakhsh N，et al. UNet++： a nested U-Net architecture for medical image segmentation ［EB/OL］. （2018-07-18）. http：//doi.org/10.48550/arxiv.1807.10165.

［12］Oktay O，Schlemper J，Folgoc L L，et al. Attention U-Net： learning where to look for the pancreas ［EB/OL］. （2018-05-20）. http：//doi.org/10.48550/arxiv.1804.03999.

［13］Kipf T N，Welling M. Semi-supervised classification with graph convo-lutional networks ［EB/OL］. （2017-02-22）. http：//doi.org/10.48550/arxiv.1609.02907.

［14］Velikovic＇ P，Cucurull G，Casanova A，et al. Graph attention networks ［EB/OL］. （2017-10-30）. https：//arxiv.org/abs/1710.10903.

［15］Decost B L，Hecht M，Francis T，et al. UHCSDB： ultrahigh carbon steel micrograph database ［J］. Integrating Materials amp; Manufacturing Innovation，2017，6（8）： 1-9.

［16］MacQueen J. Some methods for classification and analysis of multivariate observations ［C］//Proc of the 5th Berkeley Symposium on Mathematical Statistics and Probability. Berkeley： University of California Press，1967： 281-297.

［17］Bieniek A，Moga A. An efficient watershed algorithm based on connected components ［J］. Pattern Recognition，2000，33（6）： 907-916.

［18］Long J，Shelhamer E，Darrell T. Fully convolutional networks for semantic segmentation［J］. IEEE Trans on Pattern Analysis and Machine Intelligence，2015，39（4）： 640-651.

［19］Gu Zaiwang，Cheng Jun，Fu Huazhu，et al. CE-Net： context encoder network for 2D medical image segmentation ［J］. IEEE Trans on Medical Imaging，2019，38（10）： 2281-2292.

［20］Alom M Z，Hasan M，Yakopcic C，et al. Recurrent residual convolutional neural network based on U-Net （R2U-Net） for medical image segmentation ［EB/OL］. （2018-05-29）. http：//doi.org/10.48550/arxiv.1802.06955.

［21］Huang Huimin，Lin Lanfen，Tong Ruofeng，et al. UNet3+： a full-scale connected U-Net for medical image segmentation ［C］// Proc of ICASSP-IEEE International Conference on Acoustics，Speech and Signal Processing. Piscataway，NJ： IEEE Press，2020： 1055-1059.

［22］Jie Jie，Shen Li，Albanie S，et al. Squeeze-and-excitation networks ［J］. IEEE Trans on Pattern Analysis and Machine Intelligence，2017，42（8）： 2011-2023.

［23］Woo S，Park J，Lee J Y，et al. CBAM： convolutional block attention module ［EB/OL］. （2018-07-18）. http：//doi.org/10.48550/arxiv.1807.06521.

［24］Fu Jun，Liu Jing，Tian Haijie，et al. Dual attention network for scene segmentation ［C］ // Proc of IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，NJ： IEEE Press，2019： 3141-3149.

［25］Huang Zilong，Wang Xinggang，Wei Yunchao，et al. CCNet： criss-cross attention for semantic segmentation ［C］// Proc of IEEE/CVF International Conference on Computer Vision. Piscataway，NJ： IEEE Press，2019： 603-612.

［26］Liu Huajun，Liu Fuqiang，Fan Xinyi，et al. Polarized self-attention： towards high-quality pixel-wise regression ［EB/OL］. （2021-07-08）. http：//doi.org/10.48550/arxiv.2107.00782.

收稿日期：2022-03-15；修回日期：2022-05-08基金項目：國家重點研發計劃資助項目（2018YFB0704400，2020YFB0704503）；上海市自然科學基金資助項目（20ZR1419000）；之江實驗室科研攻關項目（2021PE0AC02）

作者簡介：魏惠姍（1997-），女，安徽合肥人，碩士研究生，主要研究方向為材料圖像分割；韓越興（1975-），男（通信作者），黑龍江海倫人，副教授，博導，博士，主要研究方向為人工智能、圖像處理（han_yx@i.shu.edu.cn）；王冰（1978-），女，黑龍江牡丹江人，教授，博導，博士，主要研究方向為復雜網絡理論方法、數據處理；陳僑川（1991-），男，安徽合肥人，講師，碩導，博士，主要研究方向為圖像處理.