基于YOLOv3 框架的高分辨電鏡圖像原子峰位置檢測*

南虎 麻曉晶 趙海博 湯少杰 劉衛(wèi)華王大威? 賈春林3)

1) (西安交通大學(xué)電子與信息學(xué)部微電子學(xué)院, 西安 710049)

2) (西安郵電大學(xué)自動化學(xué)院, 西安 710121)

3) (Ernst Ruska-Centrum für Mikroskopie und Spektroskopie mit Elektronen (ER-C),Forschungszentrum Jülich GmbH, 52425 Jülich, Germany)

高分辨電鏡圖像中原子峰位置的檢測具有十分重要的現(xiàn)實意義, 通過精確定量化原子峰位置可以分析物質(zhì)在微觀尺度上的結(jié)構(gòu)形變、電極化矢量分布等重要信息.近年來深度學(xué)習(xí)技術(shù)在圖像目標檢測領(lǐng)域取得了巨大突破, 這一技術(shù)可用在高分辨電鏡圖像處理上,因為原子位置的檢測可以看作是一個目標檢測問題.本文利用先進的機器學(xué)習(xí)方法, 通過制作高質(zhì)量原子圖像樣本集, 使用YOLOv3 目標識別框架對原子圖像進行自動檢測, 達到預(yù)期效果, 實現(xiàn)了深度學(xué)習(xí)技術(shù)在高分辨電鏡圖像處理領(lǐng)域的應(yīng)用.該方法的運用有望突破自動處理動態(tài)、大量電鏡圖片的瓶頸問題.

1 引 言

球差校正透射電子顯微鏡能夠?qū)崿F(xiàn)對材料微觀結(jié)構(gòu)在亞埃級別分辨率的直接成像, 使得對物質(zhì)中原子的占位和化學(xué)成分等的精確分析成為可能[1,2].例如, 利用球差校正掃描透射電鏡環(huán)形暗場像(ADF-STEM)模式, 實現(xiàn)了對硅(Si)[112]方向78 pm 間距原子對的直接成像[3]; 利用負球差成像條件得到的鈦酸鋇(BaTiO3)高分辨原子像, 通過精確定量對應(yīng)于每列原子柱的像素強度, 計算得到了氧原子空位分布情況[4]; 利用ADF-STEM 模式,實現(xiàn)了氮化鋁(AlN)量子阱結(jié)構(gòu)的直接原子分辨成像, 通過對高分辨像中氮-鋁對襯度分布的形貌分析, 確定了其局部電極化矢量的分布情況[5].此外, 球差校正掃描透射電鏡電子能量損失譜(EELS)技術(shù)可以在原子尺度對物質(zhì)的電子結(jié)構(gòu)、化學(xué)成份進行分析[6,7], 例如對鑭鍶錳氧/鈦酸鍶(La0.7Sr0.3MnO3/SrTiO3)界面化學(xué)鍵狀態(tài)的確定[8].球差校正透射電鏡皮米級別的分辨率也使得對氧化物界面的精確分析成為可能[9,10], 例如利用球差校正高角環(huán)形暗場像(HAADF-STEM)和EELS技術(shù)對鈣鈦礦結(jié)構(gòu)氧化物鑭鋁氧(LaAlO3)和鈦酸鍶(SrTiO3)界面超導(dǎo)結(jié)構(gòu)原子尺度的表征和分析[11],高分辨電子顯微術(shù)正在極大推動氧化物電子材料的發(fā)展.

高分辨電鏡圖像中原子峰位置的精確定量具有十分重要的現(xiàn)實意義.例如在負球差成像條件下, 通過精確測量鋯鈦酸鉛(PbZr0.2Ti0.8O3)薄膜中每個單胞內(nèi)鋯/鈦(Ti/Zr)原子柱與相鄰氧原子(O)柱的相對位移, 首次在皮米精度精確表征了鋯鈦酸鉛(PbZr0.2Ti0.8O3)薄膜中電極化矢量的連續(xù)渦旋狀翻轉(zhuǎn)分布[12].在鈦酸鉛/鈦酸鍶(PbTiO3/SrTiO3)外延多層薄膜中, 通過精確確定每個原子柱的位置, 揭示了PbTiO3/SrTiO3多層膜中納米拓撲缺陷的新穎結(jié)構(gòu), 包括電偶極子波、偶極子向錯和其他電偶極子拓撲缺陷[13].而對利用球差校正掃描透射電鏡得到的鈦酸鉛(PbTiO3)薄膜高角環(huán)形暗場像(HAADF-STEM), 通過精確測量每個單胞中鈦離子(Ti4+)相對于相鄰4 個鉛離子(Pb2+)幾何中心的皮米精度的位移, 觀察到了鈦酸鉛(PbTiO3)薄膜中的通量全閉合疇結(jié)構(gòu)[14].利用球差校正掃描透射電鏡高角環(huán)形暗場像模式(HAADF-STEM), 對鈧酸鋱(TbScO3)襯底上鐵酸鉍(BiFeO3)薄膜進行原子尺度的成像, 通過精確定量計算每個單胞中鐵(Fe)離子相對于相鄰4 個鉍(Bi)離子幾何中心的位移, 確定了鐵酸鉍(BiFeO3)薄膜中109°疇壁在界面處的極化矢量的渦旋狀分布情況[15].利用鈦酸鉛(PbTiO3)薄膜的(HAADF-STEM)像, 通過精確測量每個單胞中鈦/氧(Ti/O)原子峰相對于相鄰4 個鉛(Pb)原子峰幾何中心的位移, 確定了鈦酸鉛(PbTiO3)薄膜中的應(yīng)力分布情況[16].在鈦酸鍶/鈦酸鉛(SrTiO3/PbTiO3)外延多層薄膜中, 通過精確測量每個原子峰的實際位置, 確定了鈦酸鉛(PbTiO3)薄膜中每個單胞內(nèi)鈦離子(Ti4+)的相對位移, 進而確定了薄膜中存在的通量閉合疇結(jié)構(gòu), 并且利用這些實空間的原子峰坐標信息, 通過逐個單胞計算的方式確定了薄膜面內(nèi)及法線方向的應(yīng)力分布狀況以及面內(nèi)的晶格旋轉(zhuǎn)信息[17].在球差校正掃描透射環(huán)形明場像(ABF-STEM)成像模式下, 利用二維高斯函數(shù)擬合分別確定模擬像和實驗像中原子峰的精確坐標位置, 通過測量不同離子原子峰之間的相對位置, 分離了樣品傾轉(zhuǎn)和掃描畸變兩種因素的影響, 精確量化研究了樣品傾轉(zhuǎn)、樣品厚度、離焦量、會聚角等因素對原子成像位置的影響[18].使用原子分辨的積分差分相位襯度(iDPC)技術(shù), 在掃描透射成像模式(STEM)下成功實現(xiàn)了對鈦酸鉛(PbTiO3)薄膜中氧元素的成像, 利用二維高斯函數(shù)逐個擬合原子峰得到精確坐標, 確定了單個鐵電渦旋中的極化分布情況[19].利用掃描透射成像模式下的原位實驗技術(shù), 通過精確定量原子位置, 確定了外力調(diào)控下鈦酸鉛(PbTiO3)薄膜中鐵電疇拓撲結(jié)構(gòu)的變化情況[20].

上述的定量研究工作都是基于高分辨電鏡圖像中單個原子像的像素分布具有二維高斯分布的情況, 通過最小二乘法擬合將二維高斯分布的光斑中心，實現(xiàn)精確定位, 是精確測量原子位置的基礎(chǔ)[21].這一工作如果由人工處理將是一個非常耗時耗力的過程, 因此考慮到處理高分辨電鏡圖像所需要的巨大工作量, 特別是隨著實時高分辨電鏡圖像的逐漸增多, 利用計算機自動處理電鏡圖像就顯得尤為重要.

在已經(jīng)發(fā)表的相關(guān)算法中, 可以通過設(shè)定兩個線性無關(guān)的基矢實現(xiàn)對原子峰位置的搜索, 并在實空間實現(xiàn)對晶格形變的直接可視化。 這個算法的優(yōu)點在于計算效率十分高, 不需要人為干預(yù), 可以處理大尺寸高分辨圖像, 缺點在于其對噪聲十分敏感, 且很難處理多元素復(fù)合晶格的情形, 需要提前對圖像進行濾波和降噪處理, 魯棒性有待提升[22].另一種是自動構(gòu)建布拉維格子的算法, 可獲得和前一算法類似的效果, 這種算法同樣具有計算效率很高的特點, 而且初始參數(shù)設(shè)定的靈活性很大, 但是該算法只適用于單元素周期性晶格, 對于存在多元素復(fù)合晶格、晶體缺陷、大幅形變以及圖像局部襯度過低等情況的圖像很難適用[23].通過設(shè)定單胞的周期性數(shù)值分布形式, 迭代計算每個原子峰質(zhì)心位置直至收斂的方法來實現(xiàn)對原子峰位置的提取,其計算效率很高, 但是這種計算方法和上述兩種算法一樣, 提前預(yù)設(shè)了周期性的結(jié)構(gòu), 依然難以適用于晶體缺陷以及多元素復(fù)合晶格的情況, 且極易受到圖像噪聲的影響, 魯棒性不強[24].

上述幾種代表性的尋峰算法均可以達到亞像素級別的精度, 計算效率也很高, 但是受限于周期性的算法設(shè)定, 往往需要針對特定圖像做出人為干預(yù)以及參數(shù)調(diào)節(jié)措施, 在處理界面、位錯、材料局部厚度變化引起的圖像襯度差異過大等情形時會出現(xiàn)困難.另一方面, 近年來以深度學(xué)習(xí)為代表的機器學(xué)習(xí)技術(shù)在計算機視覺領(lǐng)域取得了令人矚目的進展[25].這一方法在圖像像素層面對目標的特征展開學(xué)習(xí), 能夠從低階像素特征上升到高階抽象特征, 不依賴于預(yù)設(shè)模型或者具體算法限制, 具有強大的自適應(yīng)性以及對噪聲、形變等的魯棒性[26].

高分辨電鏡圖像中原子峰位置的精確測量可以等效為單原子目標檢測問題, 如果能夠使用深度學(xué)習(xí)技術(shù)對圖像中的原子峰進行識別和檢測, 然后對檢測到的目標進行二維高斯擬合, 就能實現(xiàn)原子峰位置的精確測量.目前, YOLOv3 網(wǎng)絡(luò)是性能領(lǐng)先的實時端到端目標檢測框架, 其架構(gòu)特點為全卷積連接和多尺度檢測, 具有精度高、速度快等優(yōu)勢,尤其在小目標檢測任務(wù)中表現(xiàn)十分優(yōu)異[27].而電鏡圖像的分析是計算密集型的, 且當(dāng)下電鏡圖像的產(chǎn)出數(shù)量十分巨大, 為了兼顧準確性和高效率, 需要選定實時性和準確性都較好的網(wǎng)絡(luò), YOLOv3網(wǎng)絡(luò)在相同的檢測精度下, 檢測速度明顯優(yōu)于其他幾種主流的目標檢測網(wǎng)絡(luò)[27].根據(jù)這一思路, 本文利用YOLOv3 框架訓(xùn)練了一套能夠識別和檢測原子圖像的網(wǎng)絡(luò), 并且對訓(xùn)練效果進行了測試.應(yīng)用這一網(wǎng)絡(luò)結(jié)合二維高斯擬合能夠完整地處理電鏡圖像中原子峰位置的定量化問題, 為動態(tài)大規(guī)模電鏡圖像的處理提供了一個新方法, 突破了自動化、快速處理大量高分辨電鏡圖像的瓶頸.

2 樣本集圖像的制作

機器學(xué)習(xí)檢測目標成功的關(guān)鍵因素在于大規(guī)模高質(zhì)量樣本集的制作.本文處理了大量高分辨電鏡圖像, 制作了403 張416 × 416 大小的樣本圖像, 其中包括了透射電子顯微像(TEM)和掃描透射電子顯微像(STEM)兩種類型的圖像.選擇把樣本圖像制作為416 × 416 大小是因為YOLOv3網(wǎng)絡(luò)會自動將輸入圖像縮放為416 × 416 大小, 提前把樣本制作為416 × 416 大小的好處是輸入網(wǎng)絡(luò)的圖像是原始大小, 不會被網(wǎng)絡(luò)進一步拉伸或者縮放太多以至于變形嚴重, 這樣有利于網(wǎng)絡(luò)對原子圖像本征特征的學(xué)習(xí).

在樣本的制作過程中, 對每一個樣本圖像, 使用labelImg 軟件[28]對每張圖像中的原子峰進行標記, 并生成對應(yīng)的xml 文件.由于每張高分辨電鏡圖像中原子峰的數(shù)量十分龐大, 一張高分辨像中待標記的原子峰數(shù)目往往達到數(shù)千量級, 而且樣本集本身的數(shù)量也十分巨大, 為了兼顧效率和質(zhì)量, 在標記的過程中, 當(dāng)圖像中原子峰尺寸較大而利于標記時, 把其中所有的原子峰都完全標記, 如圖1(a)、圖1(b)和圖1(d)所示, 但當(dāng)圖像中原子峰尺寸較小且數(shù)量十分龐大時, 盡量做到標記其中90%的原子峰, 如圖1(c)所示.

圖1 樣本圖像標記示例 (a), (b), (d)包含大尺寸原子峰, 做到了100%標記; (c)包含小尺寸原子峰, 做到90%左右的標記.Fig.1.Sample images with the intensity peaks labeled.The images (a), (b) and (d) contain a relatively small number of atom peaks, which are all labeled.On the other hand, (c)has too many atom peaks, which are partially labeled(about 90%).

3 YOLOv3 網(wǎng)絡(luò)的訓(xùn)練

完成樣本集的標記以后就可以部署網(wǎng)絡(luò), 并對其進行訓(xùn)練.將403 張樣本集中的367 張圖像用于訓(xùn)練, 剩余的36 張圖像用于測試.訓(xùn)練設(shè)置如下,每個批次輸入網(wǎng)絡(luò)的圖像數(shù)量為64 張(batch =64); 每個批次設(shè)定16 個子批次, 即將每個批次的64 張圖像分為16 次輸入網(wǎng)絡(luò), 每次4 張, 以減輕顯卡內(nèi)存的壓力; 網(wǎng)絡(luò)的訓(xùn)練使用兩塊NVIDIA Tesla P100 PCIe 16 GB 顯卡完成.

通過預(yù)訓(xùn)練發(fā)現(xiàn), 網(wǎng)絡(luò)的誤差函數(shù)(loss)在迭代次數(shù)為500 次左右時就能實現(xiàn)收斂, 為此, 設(shè)定訓(xùn)練的最大迭代次數(shù)為3000.網(wǎng)絡(luò)的誤差函數(shù)和交并比(IOU)數(shù)值變化情況如圖2 所示, 誤差函數(shù)在500 批次前后達到極小值, 并一直到訓(xùn)練結(jié)束前保持穩(wěn)定, 交并比數(shù)值在500 批次前后收斂, 并一直呈緩慢震蕩上升趨勢, 直至訓(xùn)練結(jié)束都沒有出現(xiàn)下降, 這說明網(wǎng)絡(luò)訓(xùn)練情況良好.通過檢查輸出文件發(fā)現(xiàn), 此輪訓(xùn)練一直到結(jié)束, 并沒有出現(xiàn)梯度劇烈震蕩的情形, 達到了對網(wǎng)絡(luò)進行訓(xùn)練的目的.因此, 可以使用此輪訓(xùn)練得到的網(wǎng)絡(luò)權(quán)重參數(shù).

圖2 最大訓(xùn)練批次為3000 時網(wǎng)絡(luò)的訓(xùn)練情況 (a)網(wǎng)絡(luò)訓(xùn)練過程的誤差函數(shù), 在500 批次前后收斂, 直至訓(xùn)練結(jié)束一直保持穩(wěn)定; (b)網(wǎng)絡(luò)訓(xùn)練過程的交并比數(shù)值, 在500 批次前快速上升, 之后一直緩慢上升, 沒有下降趨勢Fig.2.The YOLOv3 training process with an epoch number of 3000: (a) The loss function converges after 500 epochs, which remains stable until the end of the training;(b) the IOU value increases quickly during the first 500 epochs, and then slowly increases until the end of the training.

4 YOLOv3 網(wǎng)絡(luò)的檢測效果

從YOLOv3 網(wǎng)絡(luò)的訓(xùn)練部分可以看到, 網(wǎng)絡(luò)訓(xùn)練結(jié)果收斂得很快, 可以將訓(xùn)練完成的網(wǎng)絡(luò)參數(shù)用于測試.訓(xùn)練過程在200, 400, 800 和3000 批次時分別輸出了權(quán)重參數(shù), 將這些參數(shù)文件用于目標檢測, 通過測試發(fā)現(xiàn)訓(xùn)練批次為800 的網(wǎng)絡(luò)檢測能力最強.因而, 最終選用800 訓(xùn)練批次的網(wǎng)絡(luò)權(quán)重參數(shù)進行檢測.

YOLOv3 網(wǎng)絡(luò)檢測物體的默認置信度閾值為0.25, 檢測中首先使用此置信度閾值對下面9 張高分辨電鏡圖像進行測試, 測試采用了和訓(xùn)練樣本一樣大小(即416 × 416)的圖像作為檢測樣本.

測試結(jié)果如圖3 所示, 當(dāng)使用默認的0.25 作為檢測置信度閾值時, 有很多圖像中完全無法檢測到原子目標, 比如圖3(a)—(d)、圖3(f)和圖3(g),有些圖像只能檢測到部分原子, 比如圖3(i).只有圖3(e)和圖3(h)檢測到了大部分原子.

但是, 上述結(jié)果并不能說明YOLOv3 網(wǎng)絡(luò)對于高分辨電鏡照片無效.當(dāng)檢測置信度閾值被降為0.1 時, 重新檢測上述圖像, 檢測結(jié)果如圖4 所示, 此條件下的網(wǎng)絡(luò)幾乎實現(xiàn)了對原子峰目標的100%檢測.YOLOv3 網(wǎng)絡(luò)在該條件下表現(xiàn)出了強大的檢測能力, 甚至將圖4(h)中處于最下面一行和最右面一列以及圖4(i)中最右面一列的半原子峰都檢測了出來.另外, 所有圖像的檢測速度都在7.3 s 上下, 具體檢測時間見圖4 圖題中的說明.這樣的檢測速度充分顯示了YOLOv3 網(wǎng)絡(luò)的實用性, 使得其能夠在后續(xù)的研究工作中應(yīng)用于大規(guī)模動態(tài)高分辨電鏡圖像的量化處理.

圖3 設(shè)置置信度為0.25 時YOLOv3 網(wǎng)絡(luò)檢測結(jié)果Fig.3.The detection results obtained with a confidence threshold of 0.25.

圖4 設(shè)置置信度為0.1 的YOLOv3 網(wǎng)絡(luò)檢測結(jié)果, 各圖像的檢測時間如下: (a) 7.40 s; (b) 7.38 s; (c) 7.2 s; (d) 7.24 s; (e) 7.28 s;(f) 7.25 s; (g) 7.24 s; (h) 7.24 s; (i) 7.22 sFig.4.The detection results obtained with a confidence threshold of 0.1.The detection times for these images are: (a) 7.40 s; (b) 7.38 s;(c) 7.2 s; (d) 7.24 s; (e) 7.28 s; (f) 7.25 s; (g) 7.24 s; (h) 7.24 s; (i) 7.22 s.

圖5 (a), (b) 1024 × 1024 尺寸圖像檢測效果; (c) 512 × 512 尺寸晶格缺陷圖像檢測效果, 圖(a)—圖(c)檢測時間均在7.4 s 左右; (d), (e), (f)分別是(a), (b), (c)中原子目標檢測框內(nèi)二維高斯擬合結(jié)果、單胞構(gòu)建效果以及B 位原子峰的擬合結(jié)果, 計算時間分別為27.32 s, 10.51 s, 20.52 sFig.5.(a), (b)The detection result of a 1024 × 1024 image; (c) the detection result of a 512 × 512 lattice distortion image.The detection time for each of them is about 7.4 s; (d), (e), (f) two-dimensional gauss fitting result within each detected window in(a), (b) and (c), constructed frames of unit cells, and fitting result of corresponding B site atom peaks.Computing times are 27.32 s,10.51 s, 20.52 s respectively.

更進一步, 測試了YOLOv3 網(wǎng)絡(luò)對更大尺寸圖像的檢測能力, 使用0.05 作為置信度閾值, 檢測結(jié)果如圖5(a)—圖5(c)所示.從檢測結(jié)果可以看出, 訓(xùn)練好的YOLOv3 網(wǎng)絡(luò)在圖5(a)和圖5(b)這樣的1024 × 1024 以及圖5(c)這樣的512 × 512的大尺寸圖像上依然能夠準確、全面地檢測到絕大部分原子峰, 充分說明了網(wǎng)絡(luò)檢測能力的魯棒性.更重要的是, 3 張大尺寸圖像的檢測時間依然保持在7.3 s 上下, 凸顯了YOLOv3 網(wǎng)絡(luò)檢測的速度優(yōu)勢.其中圖5(c)存在比較明顯的樣品漂移現(xiàn)象, 且包含幾處明顯的晶格缺陷區(qū)域, 得益于神經(jīng)網(wǎng)絡(luò)從像素層面出發(fā)進行目標檢測的原理, 這種周期性的破缺對YOLOv3 的檢測沒有特別大的影響, 大部分原子峰依然能被準確地檢測出來, 中間缺陷區(qū)域由于晶格畸變造成原子成像襯度效果較差, 未被檢測出來.

在圖5(a)—圖5(c)中, 剩余未被檢測到的原子已經(jīng)極少, 可以通過手工的辦法進行處理.值得注意的是, 通過將1024 × 1024 的圖像分割為416× 416 的圖像, 檢測精度還可以進一步提高, 因而能夠?qū)崿F(xiàn)檢測過程的全自動化.另外, 圖5(a)中有少量的原子被重復(fù)檢測了幾次, 這在大尺寸、含有很多小原子峰的照片中可能出現(xiàn), 主要是由于小原子峰之間距離靠得更近, 局部灰度形貌的微觀起伏更容易影響檢測精度, 另外, 這里設(shè)置的置信度較低, 可能引發(fā)誤檢測或者重復(fù)檢測, 可以通過后期高斯擬合的方式, 把這些重疊的搜索框合并為一個.

5 檢測結(jié)果的精確定量

將YOLOv3 檢測到的原子目標框的中心坐標以及寬和高輸出出來, 使用二維高斯函數(shù)對目標框內(nèi)的像素數(shù)據(jù)進行最小二乘法擬合, 就可以得到所有強原子峰的精確坐標位置.更進一步, 利用這些擬合得到的強原子峰逐個構(gòu)建單胞, 以標定較弱的B 位原子峰.這一過程本質(zhì)上是對已有的數(shù)據(jù)進行重新整理的過程, 可以由不同的算法完成, 目前采用的算法具體過程如下, 對任意一個強原子峰p0, 設(shè)它為單胞的左上頂點, 在所有其他強原子峰中搜索離它最近且兩者連線近似平行于水平方向的右側(cè)最近鄰原子p1, 搜索離它最近且兩者連線近似平行于豎直方向的下側(cè)最近鄰原子p2, 搜索離p2最近且兩者連線近似平行于水平方向的右側(cè)最近鄰原子p3, 則p0,p1,p2,p3構(gòu)成了一個單胞, 緊接著在單胞的幾何中心區(qū)域使用二維高斯函數(shù)進行最小二乘法擬合, 得到B 位原子峰的精確坐標位置, 如果需要可以在單胞內(nèi)的區(qū)域進行搜索以確定較弱的B 位原子的位置.對YOLOv3 網(wǎng)絡(luò)檢測到的所有強原子峰遍歷上述過程, 即可得到所有原子的精確坐標位置.

上述簡單的計算過程中, 設(shè)定當(dāng)擬合成功時返回高斯峰的精確坐標位置, 并標記為紅色, 擬合失敗時返回取樣框的幾何中心位置并標記為綠色.此外, 將每個單胞中的p0和p1連線,p0和p2連線,即將每個單胞的上側(cè)和左側(cè)框線可視化出來, 以這兩條框線代表一個完整單胞, 并隨機賦予每個單胞不同的顏色, 通過這種方式可以顯示單胞的構(gòu)建效果.使用此方法, 對圖5(a)—圖5(c)三張圖像進行處理, 結(jié)果如圖5(d)—圖5(f)所示.可以看到, 所有目標檢測框中的強原子峰都能很好地擬合出來,相應(yīng)的單胞構(gòu)建效果和B 位原子峰檢測結(jié)果也都很好.圖5(f)中由于晶格缺陷區(qū)域的若干強原子峰未被YOLOv3 網(wǎng)絡(luò)檢測出來, 同時由于晶格缺陷導(dǎo)致的晶格畸變, 造成單胞構(gòu)建的失敗, 相應(yīng)的這些區(qū)域的B 位原子峰也未能被檢測出來.這說明對于復(fù)雜圖像, 在YOLOv3 識別出重要原子峰之后, 對原子峰坐標位置數(shù)據(jù)進行組織的程序需要在未來進一步開發(fā).

6 結(jié) 論

本文對403 張高分辨電子顯微鏡圖像進行了高質(zhì)量標記, 形成了一個訓(xùn)練集, 并使用其中367 張圖像對YOLOv3 網(wǎng)絡(luò)進行了訓(xùn)練.分析訓(xùn)練結(jié)果發(fā)現(xiàn), 迭代次數(shù)為500 批次左右即可使網(wǎng)絡(luò)達到收斂.使用訓(xùn)練完成的網(wǎng)絡(luò)對不同類型與尺寸的圖像進行測試, 發(fā)現(xiàn)當(dāng)把置信度閾值設(shè)為0.1 的情況下網(wǎng)絡(luò)可有效檢測出各種尺度的高分辨電鏡圖像中的原子峰目標.

值得注意的是, 367 張圖像的訓(xùn)練集屬于典型的小規(guī)模樣本集, 而YOLOv3 網(wǎng)絡(luò)在如此小規(guī)模量級的訓(xùn)練集上表現(xiàn)優(yōu)異, 其在訓(xùn)練批次為500 左右時就已經(jīng)達到收斂, 并且給出十分優(yōu)異的檢測效果.這一現(xiàn)象的原因在于原子峰目標圖像較為簡單, 主要表現(xiàn)為一個近似為圓形圖像的目標, 神經(jīng)網(wǎng)絡(luò)能夠比較快速和準確地學(xué)習(xí)并檢測到這些結(jié)構(gòu)特征.通過這一工作, 發(fā)現(xiàn)完全可以使用YOLOv3網(wǎng)絡(luò)對高分辨電鏡圖像中的原子峰進行識別或檢測, 而這一網(wǎng)絡(luò)的訓(xùn)練甚至可以通過小規(guī)模樣本完成.將這一技術(shù)與對原子峰的擬合[23]的程序進行結(jié)合可以全面地實現(xiàn)對高分辨電鏡圖像的定量化.

在規(guī)則的周期性點陣圖像檢測任務(wù)中, 將YOLOv3 網(wǎng)絡(luò)同數(shù)據(jù)處理方法相結(jié)合, 能夠?qū)崿F(xiàn)和文獻[23]中的工作相似的精度和速度, 兩者差距不大, 如圖5(d)和圖5(e)所示.YOLOv3的優(yōu)勢在于對缺陷非周期性圖像的檢測能力上, 得益于神經(jīng)網(wǎng)絡(luò)基于像素特征進行檢測的原理, 其不依賴于原子點陣的周期性限定.在對如圖5(f)所示缺陷圖像的檢測任務(wù)中, YOLOv3 網(wǎng)絡(luò)要顯著優(yōu)于文獻[23]等基于周期性假定算法的檢測能力, 即使YOLOv3網(wǎng)絡(luò)不能檢測出缺陷區(qū)域比較彌散的原子峰, 也不影響它對周圍原子峰的檢測.事實上, 基于原子點陣規(guī)則周期性排列的算法在有大范圍缺陷的圖像中很難有效工作, 這些缺陷區(qū)域可能會造成算法搜索過程失敗, 導(dǎo)致算法中斷, 往往需要人為干預(yù)才能繼續(xù)進行后續(xù)原子點陣的搜索[22].

值得注意的是, 測試發(fā)現(xiàn)對圖像的檢測時間大約在7 s 左右, 顯示出利用深度神經(jīng)網(wǎng)絡(luò)進行圖像處理的速度優(yōu)勢.檢測的速度優(yōu)勢使YOLOv3框架有望應(yīng)用于后續(xù)大規(guī)模、動態(tài)高分辨電鏡圖像處理領(lǐng)域, 例如實現(xiàn)對原位圖像數(shù)據(jù)的實時處理.本文的工作充分展示了機器學(xué)習(xí)方法在高分辨電鏡圖像處理領(lǐng)域的廣闊應(yīng)用前景.