基于深度學習的虛擬邊界檢測方法

賴傳濱，韓越興,2，顧 輝，王 冰

(1.上海大學 計算機工程與科學學院，上海 200444； 2.上海大學 上海先進通信與數據科學研究院，上海 200444；3.上海大學 材料基因組工程研究院，上海 200444； 4.上海大學 材料科學與工程學院，上海 200444)(*通信作者電子郵箱hanyuexing@gmail.com)

0 引言

材料的性能和結構之間有著密不可分的關系。研究這層關系，有助于通過材料的已知成分和組織結構對其性能進行預測，反之亦然[1-2]。材料的微觀圖像能夠反映材料的內部結構信息，因此，對微觀圖像的分析是研究材料結構特征的重要手段。傳統的材料圖像分析工作主要由人工完成，存在效率較低、勞動強度大、準確性不高的缺點, 因此，如果能利用計算機圖像處理技術對材料圖像進行自動化分析，就能加速材料性能和結構之間關系的研究，對推動材料科學的發展具有重要意義。其中，一個至關重要的問題便是圖像的自動分割。計算機自動對圖像進行了有效、準確的分割之后，才能進一步測定圖像中不同組織結構的各項數據。

邊界檢測技術是一種很常用的圖像分割手段，對于不同區域之間有著清晰實體邊界的圖像，通過邊界檢測往往能夠取得很好的分割效果; 然而，在很多圖像中，不同區域之間很有可能沒有清晰的實體邊界，這種情況在材料的微觀圖像中比較常見。如圖1所示, 其中，圖1(b)三張圖像中的白色線條即為不同微觀結構區域之間的邊界，這些白色線條所標出的邊界和傳統意義上的邊界不同，是沒有實體的邊界，本文稱之為“虛擬邊界”(Virtual Boundary, VB)。虛擬邊界的檢測是對這類圖像進行有效分割的關鍵步驟。

虛擬邊界不是簡單的直線或某種特定形狀，且虛擬邊界和區域之間的界線不清晰，有的虛擬邊界甚至和區域相連通，因此很難通過現有的邊緣檢測技術將其準確地檢測出來; 另外，虛擬邊界并不僅僅存在于微觀圖像中，在很多宏觀的自然圖像中也有存在虛擬邊界的情況，實現虛擬邊界的準確檢測也能提高計算機在處理自然圖像方面的能力, 因此，如何準確地檢測出圖像中的虛擬邊界是本文研究的重點。

圖1 圖像中的虛擬邊界

針對圖像中虛擬邊界的檢測問題，本文提出了一個基于卷積神經網絡(Convolutional Neural Network, CNN)[3-4]的深度學習模型用以檢測虛擬邊界，稱之為“虛擬邊界網絡”(Virtual Boundary Net，VBN)，該模型類似于VGGNet (Visual Geometry Group Net)[5]模型的結構，但是要比VGGNet小很多。本文將虛擬邊界檢測任務轉換為二分類任務，即區分每個像素屬于“虛擬邊界類”還是“非虛擬邊界類”。本文以圖像中的每個像素為中心取圖像塊作為檢測模型的輸入，模型輸出該圖像塊的類別作為圖像塊中心像素的類別。在兩種具有虛擬邊界的材料圖像上進行了實驗，實驗結果證明本文提出的檢測模型能夠達到較高的準確率。

1 相關工作

邊界檢測的研究歷來已久，相關算法也有很多。邊界檢測方法的發展可分為三個階段：傳統的基于梯度變化的邊界檢測方法、基于人工設計特征和有監督學習結合的邊界檢測方法以及基于深度學習的邊界檢測方法。傳統的基于梯度的邊界檢測方法主要有Sobel算子、高斯拉普拉斯算子(Laplacian of Gaussian, LoG)[6]、Canny算子[7]等。這類方法主要利用邊界附近有明顯的灰度變化這一特點來檢測邊界，在紋理復雜的圖像上檢測效果不是很好。而人工設計特征則利用了除灰度變化之外，其他更多地表達局部紋理的特征，并結合有監督學習方法來判斷像素是否屬于邊界，比如：Martin等[8]設計了能夠反映圖像在邊界處亮度、顏色、紋理的變化的特征，并使用支持向量機(Support Vector Machine, SVM)結合這些特征構造了一個邊界分類器；Dollar等[9]和Lim等[10]提出了一種名為sketch token的特征，并結合隨機森林來構建分類器。由于利用了更多的信息，這類方法的檢測結果要比傳統基于梯度的檢測方法好很多，其效果主要受限于人工設計特征的好壞。由于深度學習能夠從數據中自動學習特征，并且學習到的特征和傳統人工設計的特征相比有更強大的表達能力，近年來有越來越多利用深度學習進行邊界檢測的研究，比如N4-fileds[11]、 Deepedge[12]和Deepcontour[13]等都是利用CNN來進行邊界檢測。但是，上述邊界檢測方法針對的都是區域或物體之間實體邊界的檢測，目前還未有針對虛擬邊界進行檢測的相關研究。

針對材料微觀圖像進行分割的相關研究也有很多，比如：Ananyev等[14]和Lopez等[15]利用形態學濾波的方法對陶瓷圖像進行分割；Haha等[16]使用閾值分割法提取陶瓷掃描電子顯微鏡(Scanning Electron Microscope，SEM)圖像中具有不同灰度的微觀結構；趙曌等[17]使用譜聚類的方法對陶瓷背散射電子成像(Back Scattered Electron imaging，BSE)圖像進行分割，該方法對一些具有復雜紋理的陶瓷圖像也能取得較好的分割效果；Chen等[18]對分水嶺算法進行了改進，改善了傳統方法在陶瓷圖像上的過分割問題。同樣的，以上這些方法仍然都是針對區域間有實體邊界或是區域間有高對比度的圖像, 對于圖1所示的每個區域間的界線是虛擬邊界的情況，這些方法無法進行有效的分割。

2 數據準備

為了對本文提出的深度學習模型進行訓練,需要準備訓練集和驗證集。具體來說，對于每一張圖像，首先通過人工的方法將虛擬邊界標注出來。然后對屬于虛擬邊界的每一個像素點，以該像素點為中心，提取一個48×48大小的圖像塊，作為類別“虛擬邊界”的樣本；對于其他不屬于虛擬邊界的像素，則以這些像素為中心提取48×48大小的圖像塊作為類別“非虛擬邊界”的樣本。由于圖片中屬于“非虛擬邊界”的像素點個數通常要遠遠大于屬于“虛擬邊界”的像素點個數，這樣容易造成類別不平衡的問題。為此，本文對屬于“非虛擬邊界”的樣本進行欠采樣，使得“虛擬邊界”類別和“非虛擬邊界”類別的樣本數量比例接近于1∶2。具體來說，假如“非虛擬邊界”的樣本個數為sum1，“虛擬邊界”的樣本個數為sum2，則在“非虛擬邊界”樣本集中每隔?sum1/(sum2×2)」個樣本取一個樣本作為新的“非虛擬邊界”樣本集; 另外，對于處于圖像邊界附近的像素，以這些像素為中心取48×48的圖像塊會超出圖像的范圍, 對此，本文對超出范圍的部分以黑色進行填充。圖2展示了屬于“非虛擬邊界”類別和“虛擬邊界”類別的樣本。

圖2 不同類別的圖像塊

本文在實驗中使用的數據集包含兩種材料的微觀圖片，分別是20張共晶HfB2-B4C的圖片和20張鈦合金TiAl的圖片，并分別對兩種圖片進行處理。對于共晶HfB2-B4C的圖片，本文從前15張圖像中一共提取了797 693個圖像塊，其中90%的圖像塊用來作為訓練集，10%的圖像塊用來作為驗證集，并且將第16～20張圖片保留作為測試數據。對于鈦合金TiAl的圖片，本文從前15張圖像中一共提取了226 471個圖像塊，同樣將其中90%的圖像塊作為訓練集，10%的圖像塊作為驗證集，并將第16～20張圖像保留作為測試數據。

3 VBN的網絡結構

3.1 基本定義

本文提出的深度學習模型是基于CNN以及一些改進策略進行構建的，整體結構則是參考了VGGNet模型，并對其進行了簡化。在描述模型的整體結構之前，先給出基本的符號解釋和定義。

卷積層 卷積層對輸入的數據采用線性卷積核進行卷積，如式(1)[19]所示：

(hk)ij=(Wk*x)ij+bk

(1)

其中:k=1,2,…,K;hk是卷積層輸出的第k個特征圖;i和j是卷積輸出的神經元節點在第k個特征圖上的索引;x代表輸入數據;Wk是第k個卷積核的參數;bk是第k個特征圖的偏置; 符號*則代表空間二維卷積操作。

池化層 池化層是一個非線性的下采樣層，取輸入數據每個局部鄰域內的最大值(最大池化)或平均值(平均池化)作為輸出。本文模型選擇最大池化作為池化層，最大池化能夠使特征圖對輸入數據輕微的擾動保持一定程度的不變性。

全連接層 全連接層是經典神經網絡中每一層的組成方式，當前層的每一個神經元節點都是上一層所有神經元節點輸出的線性組合，如式(2)[19]所示：

(2)

其中:ym代表第m個輸出神經元節點，xl是上一層第l個節點的值，Wml是第ml個權重，bm是第m個輸出神經元的偏置。

激活函數 激活函數的引入為深度神經網絡添加了非線性因素，使得模型能夠解決更復雜的非線性問題。常用的激活函數有sigmoid函數和線性整流單元(Rectified Linear Unit，ReLU)。本文模型采用ReLU作為激活函數，其函數為f(x)=max(0,x)。ReLU激活函數和sigmoid激活函數相比，能有效避免梯度爆炸和梯度消失。

分類層 分類層通常是整個網絡的最后一層，計算輸入的數據屬于每個類別的概率。本文采用softmax函數作為提出模型的分類層。對于輸入向量X，其屬于第j類的概率P由softmax函數計算得到：

(3)

其中:n是類別數，Wj和bj分別是權重和偏置。

損失函數 損失函數用來在訓練模型過程中衡量預測值和真實值之間的差距。本文模型采用交叉熵作為損失函數，其定義如式(4)所示：

(4)

其中:q(x)為輸入x的真實概率分布，p(x)為模型對輸入x進行預測的概率分布。交叉熵越小說明p(x)和q(x)越接近，這也是整個訓練過程的優化目標。

dropout[20]dropout是訓練模型過程中采用的一種訓練策略，通過在訓練過程中隨機忽略一部分神經元節點及其對應的參數來提升整個模型的泛化能力。在具體訓練中可以通過調整dropout率，即每個神經元被保留的概率來實現。

Adam優化算法 Adam算法[21]和傳統的隨機梯度下降不同，能自適應地為每個權重選擇不同的學習率，收斂速度更快，能有效地改善局部最優問題。

3.2 網絡整體結構

圖3展示了本文使用的深度學習模型VBN的整個框架結構，一共包括四個階段。首先模型的輸入是一個48×48的單通道灰度圖像塊。

第一階段包括兩個卷積層和一個池化層，每個卷積層包含64個卷積核，每個卷積核的大小為3×3，卷積步長為1×1，并使用ReLU激活函數。接下來是一個最大池化層，池化模板大小為2×2，步長為2×2。整個第一階段采用dropout，且dropout率設為0.25。

圖3 VBN模型的整體架構

第二階段同樣包括兩個卷積層和一個最大池化層。此階段每個卷積層包含128個卷積核，每個卷積核大小為3×3，卷積步長為1×1，采用ReLU激活函數。池化層的模板大小為2×2，步長為2×2。第二階段的dropout率同樣設為0.25。

第三階段包括三個卷積層和一個最大池化層。此階段每個卷積層包含256個卷積核，每個卷積核大小為3×3，步長為1×1，使用ReLU激活函數池化層模板大小為2×2，步長為2×2。該階段的dropout率設為0.5。

第四階段包括三個全連接層以及最后的分類層。三個全連接層的節點個數依次為128、64和32，均采用ReLU激活函數，最后的分類層采用softmax函數。由于分類任務為二分類，即“虛擬邊界”類和“非虛擬邊界”類，所以最后的分類層為兩個節點。

模型訓練時選擇交叉熵作為損失函數，并采用Adam優化策略進行模型參數的更新策略。

4 實驗與結果

本文使用第3章提出的深度學習模型分別在共晶HfB2-B4C的圖片數據和鈦合金TiAl的圖片數據上訓練了虛擬邊界檢測模型，并且在測試數據集上驗證了模型的檢測效果。

4.1 模型實現和模型訓練

本實驗的硬件環境為處理器Intel E5-2620 v4，主頻為2.1 GHz；顯卡為Nvidia M5000，8 GB顯存；內存為32 GB。模型使用python2.7進行編程實現，采用Keras深度學習框架，后端使用Tensorflow。

在共晶HfB2-B4C圖片數據上的訓練過程分為兩個部分：預訓練和正式訓練。預訓練使用的圖像塊樣本是從兩張具有較高辨識度虛擬邊界的圖像中提取的，一共有30 326個圖像塊，屬于第2章提到的15個圖像中的797 693個圖像塊的一部分，而正式訓練則是在剩下的767 367個圖像塊上進行的。預訓練和正式訓練分別都訓練了10輪，但在鈦合金TiAl圖片數據上的訓練過程則沒有預訓練，直接在第2章提到的15張圖像中的226 471個圖像塊上訓練了10輪。

4.2 度量標準

為了衡量模型的檢測性能，本文使用了多個度量標準：精確度、召回率、F-score。下面將簡單介紹這幾個度量標準。首先引入幾個符號的定義：TP為樣本屬于類別C，并且被預測為類別C的個數；TN為樣本不屬于類別C，并且沒有被預測為類別C的個數；FP為樣本不屬于類別C，但是被預測為類別C的個數；FN為樣本屬于類別C，但是沒有被預測為類別C的個數。

下面是所用到的度量標準的說明。

精確度(Precision)是指被預測為類別C的樣本中，真實類別也為類別C的樣本占的比例：

(5)

召回率(Recall)是指被正確預測為類別C的樣本數占類別C樣本總數的比例：

(6)

F-score是一種將Precision和Recall結合的度量標準：

(7)

其中：β用來調整Precision占的比重，實驗中將β設為1。可以看出，Precision和Recall的值越高，F-score的值也越高。

4.3 實驗結果

對在共晶HfB2-B4C圖片數據上訓練的模型，本文從保留的第16～20張共晶圖片中隨機選取5 000個屬于“虛擬邊界”的像素和5 000個屬于“非虛擬邊界”的像素共10 000個像素，并以這些像素為中心提取了10 000個圖像塊作為測試樣本。同樣的，對于在鈦合金TiAl的圖片數據上訓練的模型，從保留的第16～20張鈦合金的圖片中隨機選取5 000個屬于“虛擬邊界”的像素和5 000個屬于“非虛擬邊界”的像素共10 000個像素，并以這些像素為中心提取了10 000個圖像塊作為測試樣本。這兩個模型在測試數據上的檢測結果如表1所示。圖4則展示了部分測試圖片的檢測結果。

表1 模型在兩種測試數據上的實驗結果

圖4 虛擬邊界檢測模型在圖像上的檢測結果

從表1可以看到，模型在兩種圖像上的平均檢測精度和平均召回率以及平均的F-score都在90%左右，檢測結果較為準確。結合圖4的結果可以看出，模型在共晶HfB2-B4C圖片上的檢測精度更低的主要原因是該類圖片有很多非常細的虛擬邊界，反映了模型在檢測細小虛擬邊界方面存在不足。圖4還反映出模型檢測的虛擬邊界存在不連續的問題，此問題主要存在于圖像中虛擬邊界不明顯的區域。這些問題還有待改進。

總之，本方法在測試圖像上都取得了較為準確的檢測結果，在一定程度上解決了虛擬邊界自動檢測的問題，并且由于卷積神經網絡強大的特征提取能力，認為本文方法能夠很好地適應很大一部分圖像的虛擬邊界檢測任務。

5 結語

針對圖像中虛擬邊界的檢測任務，本文提出一種基于卷積神經網絡的檢測模型VBN，利用卷積神經網絡強大的特征提取能力，實現虛擬邊界的準確檢測。實驗結果表明，本文提出的方法能夠達到較高的準確度，并且適用范圍廣，是一種可行的替代人工分析的手段。考慮到實用性，今后的工作還需考慮像素間的相似性，以對虛擬邊界的不連續問題以及模型的檢測速度進行優化。