基于多特征融合解碼器的礦物實時分割

梁秀滿，薛文強+，牛福生，張晉霞

(1.華北理工大學 電氣工程學院，河北 唐山 063210； 2.華北理工大學 礦業工程學院，河北 唐山 063210)

0 引 言

工藝礦物學工作人員操作顯微鏡鑒定礦石對專業知識和實踐經驗要求很高，方法原始且工作耗時長，使用計算機快速分割出礦石顯微圖像中成分對工藝礦物學的科研人員有著重大意義，因此逐漸受到學者們的關注，如呼和等[1]、朱磊等[2]分別采用超像素和模糊C均值聚類算法在砂巖圖像分割上取得良好的效果，但是由于顯微鏡下礦石圖像顏色及紋理特征復雜多樣[3]，一些礦物采用傳統圖像處理方法很難將其分割，隨著近幾年深度學習語義分割的發展，此類礦物分割成為了可能，如Filippo M P等[4]采用語義分割網絡對反射光顯微鏡圖像中環氧樹脂不透明和非透明礦物進行分割，本文算法的分割任務是在磁鐵礦石顯微圖像下分割石英，屬于二分類任務。

在過去的幾年中語義分割的二分類分割方案逐漸成熟，如學者們在U-net的基礎上進行改進分別提出了U-Net++[5]和U-Net3+[6]，Gu等[7]在U型網絡中引入空洞卷積和金字塔池化，使得分割精度進一步提升。然而一塊礦石光薄片尺寸為3.5×3.5 cm，在50倍物鏡的顯微鏡下需要拍攝上千張照片才能拍完全貌，采用上述分割策略對這些照片分割需要花費大量的時間。

實時語義分割網絡通過平衡神經網絡的運行速度和分割精度推動了語義分割網絡更廣泛的應用[8-11]，本文受到實時語義分割網絡DFANet[11]中所提出的特征復用結構的啟發，對U型網絡的解碼器進行改進，提出了多特征融合解碼器結構，并采用輕量化ResNet-34[12]為編碼器設計了MA-net網絡，因其在運行過程中不斷進行特征補充，網絡通道數可以極大縮減，進而提高實時性，在磁鐵礦石顯微圖像數據集上取得了良好分割效果。

1 分割任務及數據集

本文分割任務為在磁鐵礦顯微圖像下分割石英，如圖1中標簽白色區域為石英，考慮到磁鐵礦顯微圖像語義信息不復雜，人工標注成本過高，制作的數據集中訓練數據集80張，測試數據集20張，采用垂直翻轉、水平翻轉、隨機旋轉n個90°、仿射變換和隨機平移等策略的組合對圖像進行增強。

在采用以上數據增強的情況下為了進一步提高數據的多樣性，并且降低訓練過程過擬合現象，本文提出了一種區域克隆數據集增強方法，在訓練過程中從數據集中隨機克隆另外一張圖片的部分區域到索引圖像，同時標簽也執行相同操作。此種方法應用到礦物顯微圖像數據集中增加了數據集豐富度，本文實驗部分有對該方法的驗證。如圖2所示為區域克隆數據增強方法。

2 網絡模型

2.1 網絡結構

本文網絡的整體結構為編碼解碼結構，傳統的編碼器和解碼器采用單一路徑的方式下采樣和上采樣，各個過程聯系不緊密，并且深層特征圖很難在解碼的過程中恢復細節信息， U型網絡采用跳躍連接的方法將編碼器中淺層的細節信息放到解碼器中進行特征補充，但是粗糙的融合必然會導致許多細節信息的丟失，因此網絡的各個階段需要有較多的通道數以保證可以提取到更多的信息，這樣導致模型參數多，計算成本增加。文獻[11]提出了一種階段性特征復用結構，將編碼器部分拆分成多個階段，前一階段的最終輸出特征圖放大后作為下一階段的輸入，每個階段特征提取的過程中融合前一階段的特征圖，該方法使得網絡聯系更加緊密，由于該結構在各個階段中均有多個階段的特征圖對空間信息進行補充，相比于傳統結構可以極大壓縮特征圖通道數，從而縮減參數量，然而DFANet相比于U型網絡在二分類任務中推理速度慢，并且對于連續下采樣造成的空間損失恢復能力較差[13]，U型網絡和階段性特征復用結構如圖3所示。

本文結合文獻[11]提出的特征復用結構和編碼解碼結構提出了一種聚合多個階段特征的解碼器結構，該策略在反復進行編碼和解碼操作過程中融合所有同尺度的特征圖，編碼器特征圖和解碼器特征圖融合后再一次進行編碼可增加感受野使得對大目標分割更全面，同時可以進一步學習到融合特征圖的相關性，使得融合更恰當。該策略既具有U型網絡恢復空間信息的能力，又具有特征復用結構特征圖聯系緊密的特點，本文采用多特征融合解碼器結構和輕量化ResNet-34搭建了MA-net如圖4所示。

在深度卷積神經網絡中，往往淺層的特征圖尺寸較大，計算量受通道數影響也更加的敏感，因此本文第一個卷積層采用了16通道，編碼器參數和輸出通道數見表1，其中“/2”表示2倍下采樣，“×N”表示模塊個數，“(N1,N2)”分別表示卷積層輸入通道數和輸出通道數，同時借鑒了LinkNet[9]的解碼器結構，將第一個卷積核輸出通道數縮減為輸入的1/4,并將此作為第二個卷積層的輸入，這樣每個解碼器塊的輸入和輸出通道不變的情況下參數量極大減少，解碼器結構參數見表2，其中“*2”表示2倍上采樣。

表1 編碼器模塊參數

2.2 注意力機制

注意力機制可以使用深層的信息來指導前饋網絡,并建立遠程依賴關系[14]，首先進行全局平均池化以保持最大的感受野，再通過對每個特征圖的通道分配可學習的權值，通過訓練可以使模型更加關注于分類的主要物體[15]。BiSeNet[10]、DFN[16]都引入了通道注意力機制，使得分割任務達到了世界先進水平，注意力機制在不斷發展中出現了多個版本，本文采用文獻[10]中提出的ARM模塊，如圖5所示。

表2 解碼器模塊參數

2.3 殘差多內核池化

在MA-net網絡的末尾引入了在文獻[7]中提出的殘差多內核池化(residual multi-kernel pooling，RMP)，它主要依靠多個有效的視野來檢測不同大小的對象[7]，該模塊使用4個不同大小的池化內核收集上下文信息以豐富高級語義信息，然后通過雙線性插值獲得與原始特征圖相同大小的特征并通過1×1卷積將維度縮減為1，最后，將原始特征與上采樣的特征圖合并通道，該RMP結構可以應對圖像中對象尺寸的巨大變化。該模塊引入的參數較少，僅為388個參數，雖然會導致計算成本稍有增加，但是獲得的準確率提升更加重要。如圖6所示為RMP模塊。

2.4 FRN歸一化

本文使用濾波器響應歸一化(filter response normalization，FRN)[17]取代(batch normalization，BN)，同時使用對應的激活層閾值線性單元(thresholded linear unit，TLU)代替ReLU[18]，FRN可表示為

(1)

(2)

其中，x為一個N維度(H×W)的向量，可以看到其并沒有對batch的依賴。γ和β為可學習的參數，與BN層減去均值然后除以標準差的歸一化方法不同的是FRN減去二次范數的平均值。此方法可消除卷積和非線性激活帶來的尺度問題，有助于模型訓練。公式里的是一個很小的正常量，以防止除0。

為了解決ReLU激活產生0值的問題，同時在文獻[17]提出FRN之后采用的閾值化的ReLU，即TLU對訓練性能提升很重要。TLU表達式如下，其中τ是一個可學習參數

zi=max(yi,τ)=ReLU(yi-τ)+τ

(3)

3 實驗結果與分析

3.1 實驗設置

實驗采用的評估指標為Dice系數，并且不對測試集進行任何的增強，例如多尺度或者多角度以使得預測結果質量更高[11]。Dice系數是一種集合相似度度量函數，通常用于計算兩個樣本的相似度，值的范圍為0到1，分割最好時值為1，最差時為0，Dice表達式如式(4)所示，其中TP、FP和FN分別代表真陽性、假陽性和假陰性的數量

(4)

實驗操作系統是Arch，Pytorch深度學習框架，批處理(batch size)為8，Adam優化器，采用Dice系數損失函數[19]，輸入圖像尺寸均為512×512。

3.2 通道數設置

編碼器輸出層通道數是網絡加速的主要限制之一，本次實驗采用ResNet-18為編碼器基準網絡在磁鐵礦顯微圖像數據集上對3組通道數組合進行實驗，見表3，可以看到隨著編碼器每個層輸出的通道數增多，計算量明顯增加，通道數策略2的分割精度比策略1有較大的提升，策略3相比于策略2分割精度近乎不變，我們認為分割任務不復雜，過多的參數只會產生冗余，并且網絡結構限制了其提取語義信息的能力。

3.3 編碼器基準網絡選擇

為了進一步探索MA-net編碼器基準網絡深度對網絡性能的影響，并選擇合適的編碼器網絡，本實驗采用通道策略2，在磁鐵礦顯微圖像數據集上對比輕量化ResNet-18,ResNet-34的分割表現，為了驗證網絡深度和通道數同時增加對分割性能的影響，增加一組采用原始參數ResNet-34的對照實驗，用ResNet-34-B表示，表4展示了3種編碼器基準網絡的分割表現和運算量，可以發現網絡加深對模型分割性能有一定的提升，過深的網絡和過多的通道數作用不大，計算量反而急劇增加。之后實驗均采用輕量化ResNet-34，通道數策略2。

表3 MA-net通道數對比實驗

表4 MA-net基準網絡對比實驗

3.4 模型分析

本文在磁鐵礦顯微圖像數據集上進行了MA-net消融實驗，分析各模塊性能，其Dice系數、參數量、計算量見表5，可以看出注意力機制ARM對模型分割精度有一定的作用，采用殘差多內核池化RMP對模型的精度提升較大，但是增加的運算量是最少的，引入FRN歸一化方法分割精度也稍有提升，同時計算量反而降低。

表5 MA-net在礦物分割數據集上的消融實驗

3.5 磁鐵礦顯微圖像分割效果

采用本文提出的MA-net和U-net，Ce-net在磁鐵礦顯微圖像數據集上進行對比實驗，實驗結果見表6,可以看到MA-net分割精度都超過其余兩個網絡，同時參數量和計算量是最小的。

表6 磁鐵礦顯微圖像數據集上模型對比實驗

圖7為分割效果對比圖，可以看到Ce-net在分割效果上遠低于MA-net，Ce-net分割圖像中容易被一些高光部分干擾，雖然整體輪廓分割效果較好，但是圖像內部存在大量的孔洞，而MA-net很少出現此種情況，Ce-net雖然在編碼器末端加入了空洞卷積和多內核池化增加了感受野，但是編碼器特征圖和解碼器特征圖采用了簡單相加的方式融合，在上采樣的過程中必然會發生損失信息和融合不當的情況，MA-net所采用的多特征融合解碼策略能夠充分提取深層特征與淺層特征的信息，學習其相關性來處理分割結果中的大目標，極大克服了上采樣過程中信息損失和融合質量差的問題，同時每次融合淺層的特征圖后均進行下采樣，擴大感受野有利于大目標的空間信息補充。

3.6 模型對比實驗

為了更公平分析模型性能，實驗另外增加兩個標準公開數據集對模型性能進行測試，分別是LUNA挑戰賽提供的肺部分割數據集，包含267個2D樣本，本文采用其中的80%用于訓練，20%用于測試；DRIVE數據集，分割任務是視網膜檢測，在DRIVE中包含40張圖片，分為20張用于訓練，20張用于測試。兩個數據集中LUNA數據集的分割目標較大。

我們將提出的MA-net和先進的算法在兩個數據集上進行比較，如表7所示在LUNA數據集上超越了其余兩者，而在DRIVE數據集下分割精度遠低于其余網絡，分析原因可能是MA-net網絡為了降低計算量第一次下采樣未參與跳躍連接，同時通道數極大縮減導致分割微小目標能力較差。

首先進行小目標的分割能力分析，如圖8所示為在DRIVE數據集下分割眼底血管對比結果，DRIVE數據集中圖像語義信息簡單，但是分割微小目標是難點，從圖中可以看出U-net分割微小目標的效果最好，Ce-net和MA-net可將比較大的目標分割出，MA-net忽略了絕大多數的微小目標，分析原因，在深度神經網絡中，淺層特征圖細節信息多，深層特征圖全局信息較多，U型網絡在解碼過程中直接融合淺層的特征圖進行細節恢復，而MA-net在解碼的過程中對淺層的特征圖再次進行了一次下采樣，增加了大目標的權重，導致了對微小目標的檢測能力降低。

表7 不同數據集上模型對比實驗結果

接下來進行大目標分割能力分析，如圖9所示為在LUNA下MA-net和Ce-net的分割效果圖，可以看出MA-net分割效果更加接近于真實標簽，Ce-net分割圖像中存在一些孤立的像素點，而MA-net很少出現此種情況，相比于Ce-net，MA-net在融合淺層特征圖后進行了多次的卷積操作，特征表示能力更強，多個特征的融合效果更好，極大避免了孤立像素點的出現，從在LUNA數據集中的表現可以看出MA-net在分割較大目標時通道數減少導致的影響更小。

3.7 區域克隆數據增強方法對比實驗

對所提到的區域克隆數據增強方法進行對比實驗，采用的數據集分別是LUNA、DRIVE和礦物顯微圖像數據集，結果見表8，可以看出在LUNA數據集上區域克隆數據增強方法有明顯的負數作用，對于其余兩個數據集則有一定的效果。因為LUNA數據集圖像分割目標與周圍的信息具有較強的相關性，隨意的替換信息可能會導致圖片語義信息破壞，造成標簽和原圖語義信息不匹配，從而在訓練時給模型造成干擾。而DRIVE數據集和礦物顯微圖像主要是靠色彩分割，而且目標分布比較隨機，采用此方法可以豐富數據，優化模型學習效果。

為了進一步分析該數據增強方法的效果，在DRIVE數據集上進行實驗，如圖10所示為采用該數據增強方法和未采用時在測試集上的分割效果對比，從曲線中可以看到采用該數據增強方法時Dice系數波動較小，并且最終獲得了較高的分割效果，分析原因，采用區域克隆數據增強方法將兩個圖片的信息組合，可以有效降低圖片之間的差異進而降低數據的方差，由于是隨機圖片，隨機位置進行組合，每次訓練輸入的圖片都不相同，模型很難在某一類圖片上過擬合，同時不同圖片之間的組合豐富了數據，因此該數據增強方法可以有效提升模型的訓練結果。

表8 區域克隆數據增強方法對比實驗

4 結束語

本文提出了一種多特征融合的解碼器結構，并結合輕量化的ResNet-34搭建了MA-net網絡，在編碼器末尾添加殘差多內核池化增強對多種尺寸目標的分割效果，增加通道注意力機制提高分割精度，采用FRN消除了訓練過程中網絡對batch的依賴，同時由于網絡相比于單一路徑的解碼器結構增加了下采樣過程，在編碼和解碼的過程中聚合了多階段的特征信息，使得MA-net與其它幾種U型網絡比較，網絡特征圖之間聯系緊密，通道數極大縮減，減少參數的同時，分割精度也有保證。

通過在LUNA、DRIVE和磁鐵礦顯微圖像數據集上測試分析得出，MA-net在分割較大目標時表現突出，不擅長于對微小目標的分割，在小目標分割方面需要優化和改進。將MA-net用于在磁鐵礦石中分割石英的任務，Dice系數達到了0.963。

為了使用少量訓練樣本數據而獲得較高的分割效果，本文采用隨機克隆數據集中另外一張圖片的部分區域到索引圖像的方法進行數據增強，經過驗證分析，發現此方法可應用于DRIVE和礦石顯微圖像等分割目標空間位置比較隨機的分割任務中，可有效降低過擬合并提高分割精度。