基于改進PSPNet的氬花圖像分割算法

張 達，熊 凌+

(1.武漢科技大學 冶金自動化與檢測技術教育部工程研究中心，湖北 武漢 430081； 2.武漢科技大學 機器人與智能系統研究院，湖北 武漢 430081)

0 引 言

實時分割氬花圖像，指導鋼包底吹氬流量控制任務，可提高氬氣流量控制精度，提升鋼液質量[1,2]。近年來，基于深度學習的圖像分割算法發展迅速[3]。Jonathan L等[4]提出的全卷積神經網絡實現了像素級分割，但分割小物體能力較弱。Olaf等[5]提出U-Net網絡，提高了小目標分割精度，但在分割時給臨近分離邊界的像素分配權重較大，降低了分割相鄰樣本的準確率。Zhao等[6]提出金字塔場景解析網絡(pyramid scene parsing network，PSPNet)，改善了類別混淆和小樣本誤判問題，但增加了網絡的計算量，導致實時性降低。因此，為縮短圖像處理時間，需要輕量化網絡結構[7-10]。目前輕量化網絡結構主要有MobileNet、Xception、ShuffleNet和SqueezeNet等，其中SqueezeNet[11]采用squeeze層對上層特征圖使用1×1卷積核進行卷積，減少特征維數[11]。ShuffleNet[12]采用深度可分離卷積替代標準卷積以減少計算量[13]，但缺少通道間的聯系，導致特征復雜度降低。而MobileNet[13]在深度可分離卷積基礎上加入了逐點卷積，融合了不同通道在相同空間位置上的特征信息，解決了深度可分離卷積中信息流不通暢問題，較好地完成了輕量化網絡結構任務。但在使用輕量化網絡提取特征時，會損失部分細節信息，使分割精度降低[14]。

為滿足實時性和精度的要求，本文提出融合MobileNet-V2網絡特點的輕量化PSPNet網絡。利用深度可分離卷積降低參數量和計算量，使用金字塔池化模塊聚合上下文信息，提高信息利用率。結合Dice損失函數和交叉熵損失函數特點提出融合損失函數，輔助優化分割網絡。同時交替使用ReLU激活函數和線性連接層(Linear)，避免特征退化。實驗結果表明，改進的PSPNet網絡分割精度高，實時性表現良好，適用于鋼包底吹氬任務。

1 氬花圖像分割算法

為實現鋼包底吹氬流量智能控制，需要根據氬花區域覆蓋面積和氬氣流量之間的關系建立控制模型，其中獲取氬花區域面積是建立模型的首要問題，但鋼包底吹氬過程中產生的氬花形狀不規則且類間差異大，導致從鋼渣表面分割出氬花區域變得困難。PSPNet網絡利用金字塔池化模塊對復雜場景解析，高效利用全局上下文信息，在像素級預測中體現了良好的性能，可滿足氬花圖像分割任務對精度的需求。但應用傳統PSPNet網絡分割氬花圖像時，會因為網絡中龐大的計算量和參數量降低圖像處理速度，導致氬氣流量控制產生滯后，影響鋼液質量，造成成本損失。所以需要對PSPNet網絡進行輕量化設計，在保證分割精度的同時提高圖像處理速度。

1.1 改進的PSPNet網絡結構

本文以PSPNet網絡框架為主體，對分割網絡進行了輕量化設計，改進后的網絡結構如圖1所示。

如圖1所示，改進的PSPNet網絡沿用了傳統PSPNet網絡架構，在分割氬花圖像時，首先采用MobileNet提取圖像數據特征，將得到的特征圖劃分成不同大小的區域，在各區域內部進行全局自適應平均池化，再使用1×1卷積進行降維。然后利用雙線性插值還原輸出特征圖大小，并與輸入特征圖并聯連接。最后使用3×3卷積整合特征，1×1卷積調整通道，上采樣還原圖像尺寸，就可得到網絡對原圖中每個像素類別的預測結果。改進后網絡通過金字塔池化模塊增大感受野，采用并聯特征融合的方式將低級特征與高級特征拼接，加強網絡信息間交流，提高網絡對圖像細節的處理能力，可較好地完成語義分割任務。該網絡主要特點體現在以下幾個方面：

(1)使用MobileNet網絡替代ResNet網絡作為特征提取主干網絡，降低卷積運算參數量。在提取特征網絡的首末端使用步長為1的深度可分離卷積，中間層連續使用3次步長為2的深度可分離卷積，同時應用倒殘差模塊和瓶頸層結構解決低維信息映射到高維過程中信息丟失的問題，提高特征利用率，在不損失精度的同時盡量減少計算量；

(2)結合交叉熵損失(cross entropy，CE)函數和Dice相似系數(Dice similarity coefficient，DSC)損失函數特點，對DSC損失函數進行拉普拉斯平滑，最終將兩種損失函數相加得到融合損失函數。采用融合損失函數輔助模型訓練，解決氬花圖像中正負樣本不平衡問題和零概率問題，提高語義分割結果的邊緣精細度；

(3)根據模型結構的數據特點，選擇性使用ReLU激活函數或Linear，在通道數較多的位置使用非線性ReLU函數作為激活函數，在通道數少的位置使用線性Linear，避免低維映射過程中ReLU激活函數過濾掉負值信息造成激活空間坍塌，導致特征退化的問題；

(4)采用Adam和Momentum兩種優化器優化網絡參數，避免出現病態曲率減緩訓練速度，加速網絡訓練過程。

1.2 深度可分離卷積

為降低模型參數量和計算量，使PSPNet網絡輕量化，使用深度可分離卷積替代標準卷積。深度可分離卷積與標準卷積具有相似的卷積效果，但花費的計算量僅為標準卷積的12%左右。深度可分離卷積運算過程可分為逐通道卷積(depthwise convoluteion，DW)和逐點卷積(pointwise convolution，PW)，DW中一個卷積核負責一個通道，一個通道只被一個卷積核卷積，DW運算后再進行PW運算，使輸出的每個特征圖包含輸入層所有特征圖的信息。深度可分離卷積和標準卷積運算過程如圖2所示。

由圖2可知，深度可分離卷積在block構成上有所不同，深度可分離卷積含有逐通道卷積、逐點卷積和Linear結構，運算過程可分為步長為1或2兩種情況，步長為1時，輸入與特征圖維度匹配，可采用shortcut，步長為2時，輸入與特征圖維度不匹配，則不采用shortcut。并且深度可分離卷積采用Inverted Residuals結構，運算時先利用1×1卷積升維，然后進行3×3卷積，再利用1×1卷積降維，先進行擴張，再進行壓縮，相比直接使用3×3網絡卷積效率更高，盡可能在不降低精度的同時減少模型參數量和計算量。

同時標準卷積運算后結果直接通過非線性激活函數ReLU，這會使原本為負值的激活值變為零，導致深度網絡僅在輸出域的非零部分具有線性分類器的功能，這將不可避免地造成通道中的信息損失，所以在通道數較少處可采用Linear，避免損失有效信息，提高模型分割精度。

假設卷積核大小為KW×Kh， 輸入通道數為Cin， 輸出通道數為Cout， 輸出特征圖的寬和高分別為W和H， 則標準卷積的參數量(Params)和計算量(FLOPs)如下式所示

Pb=KW×Kh×Cin×Cout

(1)

Fb=Kw×Kh×Cin×Cout×W×H

(2)

其中，Pb表示標準卷積參數量，Fb表示標準卷積計算量。深度可分離卷積的參數量和計算量公式如下所示

Pd=Kw×Kh×Cin+Cin×Cout

(3)

Fd=KW×Kh×Cin×W×H+Cin×Cout×W×H

(4)

其中Pd表示深度可分離卷積參數量，Fd表示計算量。與標準卷積相比得式(5)

(5)

通過分析上式可知，采用深度可分離卷積運算可以成倍地減少模型的參數量和計算量，降低網絡模型的時間復雜度和空間復雜度，大幅度縮短卷積運算時間，因此可以采用此方法節約計算成本，對網絡結構進行輕量化。

1.3 融合損失函數

語義分割任務中常使用交叉熵損失函數來反映預測結果與真實值之間的差距，輔助模型訓練，對分割網絡進行優化，CE損失函數公式如下

(6)

式中：Gi為像素點i的真實類別，Pi為語義分割網絡對像素點i的預測結果。鋼包底吹氬過程中產生的氬花圖像，通常存在鋼渣覆蓋區域遠大于氬花覆蓋區域的情況，存在類別不平衡現象。而使用交叉熵損失函數分割僅有前景與背景的圖片時，如果前景像素的數量遠遠小于背景像素的數量，損失函數中背景的成分就會占據主導，導致模型嚴重偏向背景，影響語義分割效果。

DSC損失函數也常用于優化語義分割網絡，結果取值范圍在[0,1]之間，取值越大表示與真實值越相似，公式如下

(7)

式中：Gi·Pi代表兩像素矩陣點乘。當語義分割目標正負樣本強烈不平衡時，DSC損失函數效果更佳。但在正樣本為小目標時DSC易產生嚴重的震蕩，因為在僅有前景和背景的情況下，小目標一旦有部分像素預測錯誤，就會導致Loss值大幅度的變動，從而使梯度變化劇烈。因此，可對DSC進行改進，加入拉普拉斯平滑得到LSSC(laplace smoothing similarity coefficient)損失函數，這樣可避免當預測值和真實值都為零時，分子被零除，解決零概率問題，同時可以有效減少過擬合現象，公式如下

(8)

本文結合以上各損失函數特點，針對氬花圖像特性，設計了一種善于挖掘正樣本為小目標的融合損失函數LD，公式如下

LD=LCE+LLSSC

(9)

在網絡訓練時使用融合損失函數輔助優化分割模型，可以避免分割結果中出現類別混淆現象，提高網絡對小目標的分割能力和分割結果的邊沿精細度。

2 實驗與結果分析

本文模型基于Tensorflow和Keras框架實現，硬件環境為：CPU為Intel Core i7-10750H，GPU為NVIDIA GTX 1660Ti。軟件環境為：Window10、Tensorflow 1.14、Keras2.2.4、Python3.6.2。

2.1 評價指標

為驗證網絡有效性，使用精確率(Precision)、召回率(Recall)、F-score、類別平均像素準確率(mean intersection over union，MIoU)和平均交并比(mean pixel accuracy，MPA)作為模型評價指標。采用Labelme軟件對氬花圖像標注標簽，用于訓練網絡模型，標簽圖像如圖3所示。

驗證時將氬花圖像像素預測結果分為4個部分，即真陽性(true positive，TP)、假陽性(false positive，FP)、真陰性(true negative，TN)、假陰性(false negative，FN)，結果中TP表示預測為氬花實為氬花的部分，FP表示預測為氬花但不是氬花的部分，TN表示預測為背景實為背景部分，FN表示預測為背景但不是背景的部分，可得召回率公式為

(10)

精確率公式為

(11)

其中，| |運算符表示相關區域中的像素數。同時選用F-score作為綜合評價指標，其公式如下

(12)

MPA公式為

(13)

式中：c代表類別數，pii表示類i被預測為類i的像素，pij表示類i被預測為類j的像素。MIoU為真實值和預測值的交集和并集之比，公式如下

(14)

2.2 建立氬花圖像數據集

實驗采用工業相機獲取鋼包底吹氬圖像制作數據集，共采集260張氬花圖片用作模型訓練，圖像分辨率為473×473，使用Labelme軟件對圖像進行手工標注。同時為提高模型精度和增加模型魯棒性，對原始數據集采用了基于幾何變換、顏色空間變換和像素點操作3類數據擴充方案，具體方法包括水平翻轉、垂直翻轉、平移、隨機旋轉、加入噪聲、對比度增強這6種擴充方式，結果如圖4所示。

擴充后數據集總數達到1300張，其中訓練集、驗證集和測試集圖像數量分配情況見表1。

2.3 網絡訓練與消融實驗

將擴充數據集的70%劃分為訓練集，30%劃分為驗證集，訓練次數設置50個Epoch，Batchsize設置為4，Dropout設置為0.1，采用Adam和Momentum優化器共同優化網絡參數，提升訓練速度。改進后的PSPNet網絡在訓練集和驗證集上的損失函數隨迭代次數的變化曲線如圖5所示，準確率變化曲線如圖6所示。

表1 數據集劃分情況

通過分析上圖可知，訓練50個Epoch后準確率和損失函數都已經收斂，語義分割模型狀態穩定，模型大小為9.58 M，可用于氬花圖像分割。

同時為驗證網絡結構中各模塊的有效性，對模型進行消融實驗。采用控制變量法，分別使用MobileNet和ResNet作為模型的主干網絡，驗證模型的輕量化效果。選擇不同尺度和層數的池化層，判斷特征融合對網絡精度的影響。分別使用交叉熵損失函數和融合損失函數輔助網絡訓練，觀察融合損失函數對分割結果的優化效果。檢測同時使用兩種激活函數和僅使用ReLU激活函數時，分割結果的精度變化。使用上述不同策略構建分割網絡，具體精度指標見表2。

分析實驗結果可知，使用MobileNet或ResNet作為主干網絡提取模型特征時，二者的特征提取效果相近，但MobileNet網絡縮短了5倍的時間，體現了更好的實時性，實現了輕量化網絡的目的。同時發現隨著特征融合程度加深，在分割效果顯著提升的同時損耗時間也在逐漸增加，不過與降低的時間相比可以接受這部分的時間損耗而選擇保留精度的大幅度提升。對低高維區域合理分配不同的激活函數可使分割結果提高約4%的MPA，減輕了低維映射時信息損失帶來的影響。應用融合損失函數輔助模型訓練，在同等條件下使模型的MIoU提升了約10%，提高了模型分割小氬花的能力，表現出較好的優化效果。

2.4 氬花分割結果對比分析

使用擴充后的氬花圖像數據集訓練分割網絡，然后將該網絡與其它經典分割網絡進行對比實驗。實驗選取3張不同場景、不同狀態下的氬花圖像，圖片大小為473×473，實驗結果如圖7所示。

分析圖7可知，改進的PSPNet網絡與FCN和U-Net網絡相比，在使用FCN網絡分割時，FCN僅將氬花的光圈范圍分割出來，分割結果邊沿粗糙，表現較差。使用U-Net網絡分割時，結果表現優于FCN，可以識別出氬花的輪廓，但仍存在著一定的誤差，不利于指導高精度的氬氣流量控制任務。而改進的PSPNet網絡分割結果與真實標簽圖像相近，分割結果表現良好，可以較好地將緊密相鄰的氬花和較小的氬花都分割出來，同時分割結果的邊沿精細，分割誤差小，更適合鋼包底吹氬流量控制任務。而且，改進的網絡模型在保證分割精度的同時，對PSPNet網絡進行了輕量化設計，減少了模型的參數量和計算量，加快了網絡運行速度，滿足工業應用對實時性的要求。傳統PSPNet網絡在CPU運行條件下分割一張圖片需要2.24 s，在GPU運行條件下分割一張圖片需要0.21 s，圖像處理速度較慢，易導致氬氣流量控制產生滯后，影響鋼液質量。而輕量化后的PSPNet網絡在CPU運行條件下分割一張圖片需要0.46 s，在GPU運行條件下分割一張圖片僅需0.04 s，大大地提升了模型的圖像處理速度。

將輕量化PSPNet網絡與其它基于編碼解碼類的分割網絡進行對比實驗，實驗結果量化指標見表3。

分析表3可知，在對氬花圖像進行分割時，FCN網絡的MIoU為0.77，MPA為0.81，分割精度較低，不滿足氬花圖像分割任務對精度的要求。U-Net網絡雖然在分割精度方面有一定的提升，但是網絡的參數量和計算量較大，分別為267 M和234.8 GFlops，提高了模型對硬件設備要求，使網絡分割速度降低，在GPU運行條件下處理一張圖片需要0.18 s，不能滿足實時性的要求。在使用傳統PSPNet網絡分割時，氬花圖像分割精度最高，但模型的參數量和計算量也最大，圖像處理速度緩慢，在CPU條件下為2.24 s，在GPU條件下為0.21 s，網絡實時性表現較差，會產生嚴重的氬氣流量控制滯后的問題。而采用改進的PSPNet網絡分割氬花圖像時，網絡分割精度遠高于FCN網絡，與U-Net網絡相比，輕量化的PSPNet網絡MIoU也提高了6%，MPA提高了5%，高質量地完成了語義分割任務。同時，分析模型的時間復雜度和空間復雜度可知，輕量化后的PSPNet網絡參數量僅為9.58 M，相比傳統PSPNet網絡縮小了45倍，計算量為21.4 GFlops，縮小了12倍，模型的圖片處理速度提升了5倍，在GPU運行條件下處理單張圖像僅需40 ms，滿足了底吹氬圖像分割任務對實時性的要求。分析可知應用深度可分離卷積替代傳統卷積大幅度提高了網絡運算速度，降低了模型對硬件的需求。相比其它基于編碼解碼類的語義分割網絡，改進的PSPNet網絡在保持良好的精確性的前提下，減少了模型的參數量和計算量，滿足了氬花圖像分割時對精度和速度的要求。實驗結果表明輕量化的PSPNet網絡適用于鋼包底吹氬任務。

3 結束語

為實現鋼包底吹氬過程中氬氣流量智能控制，首先需要完成氬花圖像分割的任務，這對分割模型的準確性和實時性都提出了較高的要求。本文融合MobileNet-V2網絡輕量化特點對PSPNet進行改進，使用MobileNet中的倒殘差模塊和瓶頸層結構保留特征多樣性，并提高網絡特征利用率。沿用金字塔池化模塊增加圖像感受野，提高復雜場景解析能力。使用融合損失函數輔助模型訓練，解決正負樣本不平衡問題和零概率問題對分割結果的影響，提高對正樣本的挖掘率和分割結果邊緣精細程度。對高維信息使用ReLU激活函數，對低維信息使用Linear，避免低維映射過程中ReLU函數過濾掉負值信息而造成激活空間坍塌，導致分割精度降低。實驗結果表明，改進的PSPNet網絡具有語義分割精度高和處理速度快的特點。其中MPA為0.97，MIoU為0.94，圖片平均處理速度為40 ms，在保障精度的同時盡可能地提升了圖像處理速度，使網絡滿足了鋼包底吹氬過程對實時性和精度的要求。