基于空洞卷積神經網絡的金剛石圖像語義分割*

潘秉鎖， 潘文超， 劉子玉

(中國地質大學(武漢) 工程學院, 武漢 430074)

金剛石顆粒的粒徑、橢圓度、圓度等形狀特征參數是金剛石質量對比的重要依據，也是金剛石分級和選用的基礎[1]。而在金剛石工具的使用過程中，金剛石的出刃狀態是工具性能、加工對象特性及操作規程的綜合反映。獲取出刃金剛石的形態參數是分析金剛石工具加工性能的基礎[2]。因此，研究金剛石顆粒的形狀表征方法，具有重要意義。

隨著計算機技術和數字圖像處理技術的發展，已有不少關于以數字圖像處理技術為基礎的金剛石特征參數測量方法的報道。JIANG等[3]采用機器視覺系統和最大類間方差閾值法(Otsu法)分割了金剛石鋸片刀頭的數字圖像，進行了金剛石出刃率的測量。史長瓊等[4]以Canny算法為基礎，采用動態閾值進行了金剛石顆粒圖像的邊緣檢測，從而實現了金剛石粒徑的自動測量。王慶海[1]以HALCON為平臺，采用閾值法進行了金剛石顆粒彩色圖像的分割，測量了金剛石粒徑、圓度、橢圓度、凈度、形狀等特征參數。江國學等[5]基于Matlab的圖像處理工具箱，對金剛石微粉的數字圖像進行了圖像增強和閾值分割，提取了金剛石顆粒圖像并測量了顆粒數目、面積等參數。潘秉鎖等[2]針對孕鑲金剛石鉆頭唇面圖像的顏色特征，采用模糊聚類方法對圖像中的金剛石顆粒進行了分割，取得了較好的分割效果。龔俊鋒等[6]采用動態輪廓模型對金剛石的融合圖像進行了分割，得到了完整連續的金剛石顆粒輪廓。這些工作為金剛石顆粒和金剛石出刃形貌的自動分析打下了良好的基礎。但由于金剛石是透明材料，獲取的金剛石顆粒圖像往往存在背景顏色不均勻、金剛石顆粒與背景邊界不清楚、金剛石側晶面或其他局部區域因光照角度而過于光亮等問題。這些問題對于目前以閾值分割為基礎的金剛石顆粒提取方法而言，是很大的挑戰。

近年來深度學習在圖像分割和圖像識別等領域取得了很大的進展，在醫學、生物、自動駕駛等領域取得了較好的應用效果[7-9]?；谏疃葘W習的語義圖像分割不是單獨進行復雜的特征提取，而是構造含有大量參數的深層神經網絡，通過網絡訓練，自動提取圖像特征。由于網絡訓練是一種有監督的學習過程，所訓練的分割模型能夠在像素級別上對一幅圖像中的每個像素點進行語義歸類。因此，在一定程度上它可以克服傳統圖像分割方法在分割過程中受參數影響大、對噪聲敏感、分割準確度不高等缺點。

針對金剛石顆粒數字圖像處理中存在的圖像分割難題，采用空洞卷積神經網絡對金剛石顆粒圖像進行語義分割，研究批處理規模、卷積層卷積膨脹系數、過濾器數量等超參數對金剛石圖像分割結果的影響。

1 圖像分割模型架構和數據集構建

基于空洞卷積神經網絡進行金剛石圖像分割研究，主要過程為：準備標注出金剛石顆粒的訓練樣本集、驗證集和測試樣本數據集；將訓練數據輸入具有不同結構超參數的網絡，對網絡進行訓練；訓練完畢后，對測試樣本進行檢測。

1.1 網絡架構

所用的空洞卷積網絡架構與文獻[10]提出的網絡架構相類似。與全卷積方法相比，空洞卷積架構代替了采樣操作，具有保持空間分辨率、擴大感受野的優點，因此在語義分割應用中得到了廣泛關注。

所用模型的網絡架構如圖1。所建網絡共包含16層：第1層為輸入層，接下來是4組具有不同膨脹系數的空洞卷積層、批量歸一化處理層和激活層的組合，之后是具有2個1×1卷積的卷積層，其后是1個softmax 分類層和1個具有逆類權重的輸出層?？斩淳矸e層的過濾器大小為3×3。

圖1 空洞卷積神經網絡架構

1.2 數據集構建

試驗圖像采集時所用的金剛石粒度號為50/60。金剛石均勻分布在多種顏色的背景上，采用VISION1000數字顯微鏡在斜光源照明條件下對金剛石進行圖像采集。每幅圖像的大小為2 048×1 536像素。把采集的圖像裁剪成132×118像素的小圖，每幅圖中只包含一顆金剛石，并標注出真值圖。本研究中標注的圖像是二值圖像，即圖像像素劃分成2類：金剛石(用1表示)和背景(用0表示)。從獲得的700幅金剛石顆粒圖像中隨機挑選圖像作為訓練集圖像、驗證集圖像和測試集圖像，它們之間的數量比例為5∶1∶1。在對模型的訓練過程中將訓練集圖像送入網絡模型進行初始化參數訓練；利用驗證集圖像防止模型參數過擬合；最后使用測試圖像對模型的訓練結果進行評價。網絡架構和圖像標注都在Matlab平臺上進行。

2 空洞卷積網絡訓練

2.1 圖像預處理

所采集的金剛石圖像含有很多噪點，對網絡訓練可能產生不利影響。為此，對輸入圖像進行了增強處理——去噪和灰度調整。采用了維納濾波去噪，濾波器窗口大小為[3, 3]?；叶日{整采用Matlab的Imadjust函數實現，調整參數為默認值。把原灰度圖像中灰度值在[0.01, 0.99]區間內的像素的灰度值線性變換到[0, 255]區間，小于1%的灰度值設置為0, 大于99%的設置為255。這樣就增大了灰度差異，提高了對比度。

2.2 試驗超參數設置

在本研究中，網絡模型的訓練采用適應性矩估計算法(adaptive moment estimation, ADAM)。初始學習速率設置為0.001，迭代次數(epoch)固定在15次，批處理大小設置為7、10、20、30和40。4層空洞卷積層中，第1層網絡的膨脹系數設定為1，保持不變；其他層的系數則進行了改變，以研究膨脹系數對模型分割性能的影響。第1層到第4層的膨脹系數共試驗了4種組合，分別是1-2-3-4、1-2-4-6、1-2-4-8、1-3-6-9?？斩淳矸e層中過濾器的數量分別為16、32、48和64。

2.3 分割性能評價指標

為評價所研究的金剛石顆粒圖像分割方法的性能，選用了2個評價指標：精確率(p)和召回率(r)。計算公式如下[11]：

(1)

(2)

其中，Tp表示金剛石像素中被正確劃分為金剛石像素類的樣本個數；Fp表示背景像素被劃分于金剛石像素類的樣本個數；Fn則表示金剛石像素中被劃分為背景像素類的樣本個數。因此，精確率指金剛石像素中被正確歸類為金剛石的比率，數值越高，分割性能越好。召回率是指正確歸類為金剛石的像素占金剛石總像素的比率，召回率越高，網絡的分割性能越好。一般來說，精確率越高，召回率越低；而分割性能通常要綜合這2種指標來評價，實現精確率和召回率的平衡。

3 結果與分析

3.1 批處理大小對分割性能的影響

神經網絡訓練時，可以一次性將整個數據集輸入神經網絡，讓神經網絡利用全部樣本來計算迭代時的梯度，也可以一次只輸入一個樣本。折中的辦法是每次輸入一部分樣本(batch)讓神經網絡完成迭代。更大的批處理規模(batch size)更能準確地計算出梯度，批處理規模越小所得的梯度越近似。直覺上好像更大的批處理規模更好，因為其梯度更“準確”。實踐中，由于深度模型的代價函數不平整，完整的梯度常常使模型陷入局部極小值，所以大的批處理規模帶來的準確的梯度有可能不利于處理結果，有時候小的批處理規模引起的噪聲可以更快地找到更好的極小值。但批處理規模太小可能導致網絡訓練的穩定性差，對學習速率的設置要求也更高，可能造成惡性振蕩而無法收斂。

圖2反映的是批處理大小對訓練的網絡分割金剛石圖片精確率和召回率的影響，圖3所示為網絡訓練的精度曲線。由圖2可以看出：當批處理規模從7幅增大到40幅時，模型的分割精確率逐步從0.948下降到0.919；但批處理大小對召回率的影響不大，其穩定在0.973～0.984之間?？梢姡瑥姆指罹瓤紤]，批處理規模取較小的值比較合理。由于批處理規模為7幅時，網絡訓練時已出現明顯的振蕩(圖3)，繼續縮小批處理規模不太合適。因此后續研究中，批處理規模都設定為7幅。

圖2 批處理大小對模型性能的影響

圖3 網絡訓練的精度曲線

3.2 過濾器數量對分割性能的影響

卷積層中過濾器的數量決定卷積層的輸出深度，影響圖像高層特征的抽取。圖4是過濾器數量對模型分割性能的影響曲線。當過濾器數量從16增加到48時，模型的分割精度從0.923升高到了0.967；繼續增加過濾器數量到64時，分割精度卻大幅下降至0.894。過濾器數量對召回率的影響則與之相反。當過濾器數量為16時，召回率是0.980；過濾器數量為48時，召回率是0.959。但過濾器數量進一步增加到64時，召回率又回升到了0.987。因此，從平衡模型的分割精度和召回率考慮，對于本研究涉及的金剛石圖像，神經網絡過濾器數量選擇為48比較合適。

圖4 過濾器數量對模型性能的影響

3.3 空洞卷積膨脹系數對分割性能的影響

在圖像分割領域，為了增大感受野，傳統的網絡(比如全卷積網絡)采用先池化再上取樣的辦法。在尺寸先減小再增大的過程中，會造成一些信息的損失而影響精度?？斩淳矸e網絡與傳統方法相比，好處是不做池化的情況下，通過膨脹系數加大了感受野，讓每個卷積輸出都包含較大范圍的信息。為了保證卷積核的連續性，盡量讓所有的像素都參加計算，需要采用不同的膨脹系數組合來提高計算的覆蓋率。因此，在多層網絡中，各層的膨脹系數組合對于網絡性能有著重要影響。

不同膨脹系數組合對模型精確率和召回率的影響如圖5。圖5中橫坐標軸的數字組合代表各個網絡不同空洞卷積層膨脹系數的組合。比如1-2-3-4，表示第1層空洞卷積層的膨脹系數為1，第2層的為2，第3層的為3，第4層的為4。

圖5 不同膨脹系數組合對模型分割性能的影響

由圖5可以看出：當膨脹系數較小時(1-2-3-4)，網絡分割的精確率較低，召回率較高；其余的3種膨脹系數組合造成的分割精確率和召回率差異不大。含1-2-4-8膨脹系數組合的網絡的分割精確率和召回率分別為0.965和0.966，稍有優勢。因此，確定網絡的最優膨脹系數組合為1-2-4-8。

3.4 優化后網絡與傳統方法分割性能對比

圖6和表1對比了超參數調優后的神經網絡與傳統的全局閾值(最大類間方差法)、自適應閾值法對金剛石圖像的分類能力。

表1 金剛石圖像分割實驗結果

由表1可以看出：采用傳統方法盡管可以得到很高的精確率，但是召回率比較低。也就是說，很多應劃分為金剛石的像素被歸類成了背景像素。由于金剛石晶面對光的反射和透射，所獲取的金剛石圖像難免存在大小不等的亮斑(圖6a，尤其是箭頭所指區域)。這些亮斑在灰度值上與背景的灰度值更為接近。因此，基于閾值的分割方法無法把亮斑區域歸類到金剛石(圖6b、圖6c)，所提取的金剛石圖像內部含有孔洞或邊緣殘缺。而基于空洞卷積的神經網絡法對這些亮斑有良好的歸類能力(圖6d)，召回率有明顯提高，所提取金剛石顆粒的完整性得到很大改善。也就是說，能夠把金剛石內部的亮斑或發光的金剛石晶面“智能”地歸類為金剛石，而不是歸類為與之灰度值更為接近的背景，從而使分割的金剛石顆粒圖像更為完整。

4 結論

針對金剛石顆粒圖像分割要求，提出了基于空洞卷積神經網絡的語義分割模型。構建了含有16層的深度學習網絡和小型的金剛石顆粒圖像分割數據集，在其上的網絡訓練和測試結果表明：

(1)空洞卷積網絡的批處理大小、過濾器數量和卷積層膨脹系數對模型的分割性能都有明顯影響；

(2)經超參數優化后的神經網絡能夠對金剛石顆粒圖像進行良好分割，對測試圖片可以達到0.965的精確率和0.966的召回率，較傳統的閾值分割法有較大優勢。

該方法很好地解決了金剛石顆粒中亮斑的歸類問題。