基于改進U-Net的量子點STM圖像分割

王 陽, 丁 召, 宋家勇, 趙廣文, 邊歷峰, 楊 晨

(1. 貴州大學 大數據與信息工程學院 半導體功率器件可靠性教育部工程研究中心, 貴陽550025; 2. 中國科學院 蘇州納米技術與納米仿生研究所 納米器件與應用重點實驗室, 蘇州 215123)

1 引 言

量子點納米結構具有獨特的光電特性，是新型光電材料研究的熱點[1]. 在量子點材料研究過程中，可通過掃描隧道顯微鏡(Scanning Tunneling Microscope, STM)圖像對量子點數量、縱橫比等表面特征進行定性定量的分析，進而實現量子點材料量子尺寸效應、表面效應等特性的評估[2-4]. 利用STM圖像識別量子點特征參數，需要對圖像進行分割. 確定量子點像素坐標，將其從復雜背景中分離[5]. 分割后的圖像由于量子點像素坐標確定，有利于定性定量分析. 同時，沒有復雜背景的干擾有利于節約運算成本.

鑒于圖像分割對量子點定性定量分析的意義，諸多研究者在量子點STM圖像分割方面展開了研究. 經典的STM圖像分割以閾值算法為主要代表[6, 7]. Tripathi等人利用Otsu分割算法結合高斯曲線擬合，實現對不同貴金屬亞單層修飾襯底表面STM圖像的分割，并將該算法成功用于襯底表面STM圖像中簇層的檢測[8]. 為了解決Otsu算法自動化閾值分割的盲目性，Ilya Valmianski等人在研究中嘗試使用手動閾值分割的方法對STM進行分割，該方法采用預標識手段對目標區域進行約束，以降低無關背景對目標的干擾，可有效提升了STM圖像的分割質量[9]. 2019年，Tang等人利用自適應閾值分割對量子點及GaAs(001)襯底 STM圖像進行分割，并取得了明顯優于傳統閾值分割的結果，進一步實現了STM圖像分割的自動化處理[10]. 2020年，Kevin Bui等人使用變分方法和經驗小波算法對STM圖像進行分割，并在以石墨烯等材料的STM圖像測試數據中，取得了優于Otsu方法及K-mean方法的效果[11].

而基于深度學習網絡的圖像分割，具有分割精度高、面對復雜背景識別能力強等優勢，近年來被大量應用于顯微鏡圖像分割等領域. 在STM圖像特征提取方面，不少研究取得了顯著的成果. 2019年，Kamal Choudhary等人通過CNN網絡模型在STM圖像中識別出材料Bravais晶格[12]. 成功將其與背景分割，有效提升了STM圖像的識別精度. 2020年，Maxim Ziatdinov等人使用深度學習技術，通過STM圖像分析了H-Si(001)2×1表面原子和缺陷[13]. 克服了傳統閾值分割面對復雜背景分割能力弱的困難，對不同缺陷的識別率有顯著的提升.

可以看出，神經網絡方法成為STM特征提取的研究熱點. 為進一步拓展神經網絡在STM圖像分割中的應用，文章首先采用色彩通道權重灰度化方法對STM圖像進行預處理，在實現數據降維的同時盡可能保留量子點信息. 其次，結合U-Net結構特征引入過渡層對其進行改進，使得網絡更適合量子點圖像的分割. 然后，設計實驗對改進網絡性能進行檢測. 最后，將不同算法分割結果用于量子點STM圖像特征識別，根據特征識別結果檢驗分割精度.

2 算法設計

為了實現量子點的分割，對其STM圖像進行處理，主要流程如圖1所示：

圖1 量子點特性參數分析主要流程Fig. 1 The main process of quantum dot characteristic parameter analysis

圖1為實現量子點STM圖像分割的主要流程. 主要包括圖像預處理、圖像分割及算法測試三個部分. 首先對圖像進行灰度化處理，降低數據維度. 其次，利用降維后的圖像數據制作神經網絡標簽. 進一步，改進U-Net對其進行分割. 最后將連通域統計、最小外接矩形標識應用于量子點數量、縱橫比的計算，并用于驗證不同算法圖像分割質量.

2.1 圖像預處理

將原始圖像轉為PNG (Portable Network Graphics, PNG)格式，并縮放到512*512尺寸. STM圖像為RGB(Red Green Blue, RGB)色彩模式的偽彩色圖像，數據冗余度大. 為提升算法效率，在分割之前對圖像進行灰度化處理，以節約運算成本. 為了降低數據降維帶來的信息丟失，采用一種改進的灰度化方法對STM圖像進行灰度化處理. 并利用灰度化后的圖像制作網絡標簽數據集.

2.1.1灰度化

RBG圖像I(m,n,3)可視為由R(m,n)、G(m,n)、B(m,n)三個像素通道所組成. 對于偽彩色圖像，不同對象的色調不同，因而R、G、B三個通道所包含的圖像信息不同. 要保證分割質量，灰度圖像中相同屬性像素區域灰度值應當盡可能相近，不同對象間灰度值差異應盡可能大[14, 15]. 根據STM偽彩色圖像特點，采用一種權重賦值法對圖像進行灰度化.

首先，定義圖片像素值總和為：

(1)

式(1)中T表示整張圖像各個像素點三個通道像素值累加和，定義各個分量相對整張圖像的占比為Ak(k=1, 2, 3)，則其滿足：

(2)

式(2)中Ak為不同分量相對整張圖像所占比重，當k= 1、2、3時分別表示R、G、B分量在整張圖像的權重. 定義灰度圖像為IG(m,n)，對任意像素點，其灰度值滿足：

(3)

式(3)表示通過圖像R、G、B分量所占權重對像素進行降維. 在偽彩色圖像中，權值較大通道下所包含的圖像信息更豐富，該方法有助于突顯包含圖像信息更多的通道像素值，降低數據降維帶來的信息損失.

2.1.2數據集制作

選取120張灰度化后的STM量子點圖像制作標簽形成數據集. 標簽制作中，采用人工方法對量子點像素區域進行預標記. 為進一步提升標簽精度，將預標記圖像交由3名專業量子點材料研究人員進行校正，綜合校正結果，對像素點歸類存在爭議的區域，選取研究人員標記眾數對其進行歸類. 標簽及測試樣本如圖2所示：

圖2 數據樣本. (a)標簽原圖；(b)訓練樣本；(c)標簽；(d)測試樣本Fig. 2 Data samples. (a) Original label; (b) Training sample; (c) Label; (d) Test sample

2.2 圖像分割

2.2.1 改進U-Net分割算法

對量子點圖像進行分割. 針對STM圖像中量子點尺寸及形態多變，邊緣像素與背景差距小的問題，本文采用改進U-Net結構實現其分割. 原始U-Net結構由Ronneberger等人在2015年根據FCN結構發展而來[16, 17]. 原始網絡結構可理解為由編碼器和解碼器兩部分組成，編碼器部分通過3×3的卷積層和一個2×2的池化層向下提取特征. 解碼器部分則實現上采樣功能. 本文在原始網絡中引入過渡層，以期提升U-Net在量子點STM圖像分割上的精度，其結構如圖3所示.

圖3 改進U-Net結構Fig. 3 Improved U-Net structure

由圖3可知，在經典的U-Net結構上做出了如下改動：首先，相對原始網絡，改進網絡增加了中間過渡層. 該網絡對4.0、3.0、2.0層進行上采樣，拼接并融合前層特征得到中間過渡層；其次，在過渡層中引入下采樣，將3.1、2.1、1.1等過渡層特征下采樣并分別與6.0、7.0、8.0層拼接，構建出具有過渡層的U-Net網絡結構. 一方面，不同感受野的深度特征可以依靠過渡層向上傳遞. 另一方面，淺層特征也可進一步向下傳遞，使得量子點邊緣像素特征得到增強，有助于分割. 改進后的網絡各層信息利用更加全面，對邊緣像素辨識度更好.

3 實驗結果與討論

3.1 灰度化算法對分割精度的影響

對縮放后的STM圖像進行灰度化處理，其效果如圖4所示. 可以看出改進的RGB權值灰度化算法灰度圖像中量子點像素區域整體灰度值差異較小，灰度值層次明顯. 同時，細節信息更為豐富，量子點邊緣像素保存相對完整.

圖4 不同灰度化算法對比：(a)樣本原圖；(b)RGB權值；(c)rgb2gray；(d)均值；(e)最小值Fig. 4 Comparison of different grayscale algorithms: (a) Original picture of sample; (b) RGB weights; (c) rgb2gray; (d) Mean value; (e) Minimum value

進一步，為測試灰度算法對分割的影響，利用Keras框架構建了圖3所示改進U-Net模型，并基于Tesla k40c GPU平臺進行訓練與驗證. 根據訓練結果，構建混淆矩陣. 統計模型將正例識別為正例、正例識別為負例、負例識別為正例、負例識別為負例等情況，計算出模型準確率、召回率及F-meaure值. 從表1實驗結果可以看出，改進灰度化算法下圖像分割評價指數相對高于rgb2gray、平均值及最小值等方法. 結合表1及圖4可以看出，由于改進灰度化算法保留量子點邊緣區域像素更加完整，更有利于量子點邊緣像素的分割.

表1 不同灰度算法分割結果平均值

3.2 分割結果與分析

利用RGB權值灰度化后，將圖像送入原始與改進U-Net模型進行對比測試. 每次以3：2的比例隨機選取標簽及測試數據進行交叉測試，結果如圖5所示.

圖5 分割效果對比. (a) (d) (g) 樣本；(b) (e) (h) 分別為閾值、原始U-Net分割和改進U-Net分割結果；(c) (f) (i) 疊加對比Fig. 5 Comparison of segmentation effects. (a) (d) (g) samples; (b) (e) (h) are threshold, original U-Net segmentation and improved U-Net segmentation results; (c) (f) (i) overlay comparison

圖5(a)背景較為復雜，存在大量深色溝壑，屬于背景較為復雜的量子點STM圖像. 其中量子點尺寸差異較大，邊緣像素值強度較低. 從圖5(b)、(c)可以觀察到傳統閾值分割算法分割精度較低，部分像素值較弱的量子點沒有被識別，邊緣像素分割粗糙，量子點間存在較為嚴重的像素重疊. 對比圖5(e)、(f)可以看出，采用原始U-Net網絡會提升分割精度，但仍然存在小尺寸量子點未能識別及量子點粘連現象. 而改進后的U-Net(圖5(h)、(i))使分割質量進一步改善，其中小尺寸量子點區域的識別較為精確，且分割后量子點邊緣像素相對平滑，量子點間無明顯像素重疊.

統計8次交叉測試的結果如圖6所示. 可以看出，改進網絡Precision平均值為97.79%，Recall平均值為93.92%，高于原始網絡的83.96%與91.76%. 表明改進網絡擁有更高的像素分類正確率及量子點像素識別正確率. 此外，改進網絡的兩者調和平均數F-measure為95.82%，高于原始網絡的87.69%. 因此，改進U-Net分割方法相對于傳統分割方法，具有更高的邊緣像素分割精度.

圖6 交叉測試結果, “ i ”：改進網絡; “ o ”：原始網絡Fig. 6 Cross test results, " i ": improved network; " o ": original network

3.3 特征參數識別結果

為驗證分割結果對后續特征參數提取的影響，本文進一步利用連通域統計算法與基于頂點鏈碼-離散格林理論的最小外接矩形標識法對量子點數量、縱橫比進行分析.

3.3.1數量統計

將不同分割算法處理后的二值圖像利用連通域算法進行量子點數量統計[18]. 如前所述，改進U-Net降低了量子點邊緣像素重疊，同時提升了小尺寸量子點識別精度，因此在表2所示的實驗結果中，改進U-Net提供了更高的量子點數量識別精確度.

表2 量子點數量統計結果

3.3.2縱橫比計算

量子點縱橫比指量子點長軸與短軸比值. 在測試集分割結果中，針對標簽、改進U-Net、原始U-Net及閾值算法分割結果，分別利用頂點鏈碼結合離散格林理論對量子點做最小外接矩形標記[19]. 標記結果如圖7所示.

圖7 最小外接矩形標記Fig. 7 The smallest circumscribed rectangle mark

通過對比標簽與三種算法分割結果最小外接矩形標識結果可以觀察到，改進U-Net邊緣分割更加精確，因而量子點邊緣與標簽契合度高，最小外接矩形更為接近. 圖8給出了不同分割方法計算所得長寬比相較于標簽值的誤差，可以看出，改進U-Net平均誤差為2.06%，原始U-Net為4.30%，Otsu算法為10.17%，說明改進網絡的分割提升了量子點縱橫比的識別準確度.

圖8 縱橫比誤差統計Fig. 8 Aspect ratio error statistics

4 結 論

為提升量子點STM圖像分割質量，改進U-Net算法對量子點STM圖像進行分割. 首先，對量子點STM圖像進行了預處理. 通過對不同灰度化算法降維后的數據進行分割對比，改進灰度化算法降維下量子點分割Precision、Recall、F-measure指數相對優于rgb2gray、均值、最小值等算法. 其次，在U-Net網絡中引入過渡層，對量子點圖像進行分割. 改進后的網絡訓練結果Precision、Recall、F-measure分別為99.85%、93.54%、94.05%，相對高于原始網絡結構13.83%、2.16%、8.13%. 最后，對閾值算法、原始U-Net、改進U-Net分割結果進行量子點數量及縱橫比統計，改進U-Net分割結果有效提升了小尺寸量子點識別能力，并降低了像素重疊現象. 量子點數量識別精度達到99.97%，縱橫比平均誤差為2.06%，對比原始U-Net及Otsu算法識別結果有所提升. 因此，改進U-Net的量子點STM圖像分割是一種提高量子點特征識別精度的潛在手段.