基于機(jī)器視覺(jué)的量子點(diǎn)STM形貌圖像識(shí)別研究

唐澤恬， 楊 晨， 湯佳偉， 夏成蹊， 曾瑞敏， 余圣新， 羅子江， 丁 召

(1. 貴州大學(xué)大數(shù)據(jù)與信息工程學(xué)院 貴州省微納電子與軟件技術(shù)重點(diǎn)實(shí)驗(yàn)室，貴陽(yáng) 550025; 2. 貴州財(cái)經(jīng)大學(xué)信息學(xué)院，貴陽(yáng) 550025)

1 引 言

機(jī)器視覺(jué)技術(shù)是通過(guò)圖像處理技術(shù)進(jìn)行圖像分析或控制裝置完成預(yù)設(shè)操作的一種非接觸式測(cè)量技術(shù), 可以對(duì)目標(biāo)物體的外形特征、位移尺寸等幾何量進(jìn)行實(shí)時(shí)檢測(cè)[1]. 低維材料通指材料的線度比電子的德布羅意波長(zhǎng)或電子的平均自由程短 (或相當(dāng))的材料[2]. 其中半導(dǎo)體量子點(diǎn)器件具有特殊的光學(xué)性質(zhì)，被廣泛應(yīng)用于紅外探測(cè)和光伏電池領(lǐng)域[3-5]. 斜切襯底的方向，量子點(diǎn)的密度、尺寸和均勻性對(duì)量子點(diǎn)器件的性能有重要影響[6, 7]. 因此對(duì)低維半導(dǎo)體的襯底和量子點(diǎn)的形貌特征研究有著重要意義. 而利用機(jī)器視覺(jué)的方法可提高低維半導(dǎo)體表面形貌研究的效率和精度.

目前，在低維半導(dǎo)體表面形貌研究的過(guò)程中，原子力顯微鏡(Atomic Force Microscope，AFM)和掃描隧道顯微鏡(Scanning Tunnel Microscope ,STM)為常見(jiàn)的表面形貌表征手段[8, 9]，分析過(guò)程需要一定的人工參與. 相比之下基于機(jī)器視覺(jué)的方法具有較高的精度和效率. 機(jī)器視覺(jué)在半導(dǎo)體方面有所發(fā)展，巢淵等[10]將機(jī)器視覺(jué)應(yīng)用于半導(dǎo)體表面缺陷的在線檢測(cè)；杜俊斌等[11]利用機(jī)器視覺(jué)構(gòu)建了廢舊半導(dǎo)體自動(dòng)分選硬件系統(tǒng)；許龍等[12]利用機(jī)器視覺(jué)實(shí)現(xiàn)了SOP雙排式芯片的管腳識(shí)別定位和外觀尺寸檢測(cè).

機(jī)器視覺(jué)在半導(dǎo)體方面的研究主要集中在器件的自動(dòng)識(shí)別，半導(dǎo)體芯片表面圖像檢測(cè)等領(lǐng)域. 在低維半導(dǎo)體襯底和量子點(diǎn)形貌特征領(lǐng)域方面，此類研究尚不多見(jiàn). 因此本文基于機(jī)器視覺(jué)對(duì)襯底和量子點(diǎn)的STM圖像進(jìn)行檢測(cè)，利用圖像腐蝕、邊緣檢測(cè)、二值化和閾值下降等方法使襯底斜切角、量子點(diǎn)數(shù)量、均勻性及尺寸等參數(shù)的統(tǒng)計(jì)更加高效.

2 系統(tǒng)結(jié)構(gòu)

如圖1所示是基于機(jī)器視覺(jué)的襯底和量子點(diǎn)形貌特征分析STM圖像的系統(tǒng)框圖. 系統(tǒng)對(duì)襯底和量子點(diǎn)的形貌特征進(jìn)行研究，系統(tǒng)可分為兩部分，第一，對(duì)襯底圖像進(jìn)行腐蝕、臺(tái)階提取和斜切角計(jì)算，得出斜切角大?。坏诙?，對(duì)量子點(diǎn)圖像，進(jìn)行算法設(shè)計(jì)，得出數(shù)量、均勻性和尺寸等參數(shù).

圖1 基于機(jī)器視覺(jué)的襯底和量子點(diǎn)STM形貌分析系統(tǒng)框圖Fig. 1 STM morphological analyzing system diagram of substrate and quantum dot based on machine vision

3 算法設(shè)計(jì)

3.1 襯底斜切角計(jì)算

采用具有合適斜切角的襯底，可改善外延層的表面形貌和晶體質(zhì)量[8]. 斜切角是指對(duì)襯底沿著某一方向進(jìn)行斜切時(shí)的角度. 斜切角計(jì)算流程如圖1所示，利用圖像腐蝕、臺(tái)階提取和斜切角計(jì)算，得出斜切角大小.

a.圖像腐蝕

襯底圖像如圖2(a)所示，更為微觀的結(jié)構(gòu)在大尺度的STM圖像上以細(xì)微紋理噪聲的形式呈現(xiàn)，會(huì)對(duì)斜切角的自動(dòng)識(shí)別與計(jì)算產(chǎn)生干擾. 使用腐蝕可以消除噪聲的干擾，腐蝕公式如式(1)所示：

A⊙B={x:B(x)∈A}

(1)

其中A為被腐蝕圖像，B為腐蝕圖像所用結(jié)構(gòu)元素. 腐蝕結(jié)果如圖2(b)所示，紋理噪聲基本消除.

圖2 腐蝕圖像Fig. 2 Erosion image

b.臺(tái)階提取

為獲得臺(tái)階形狀，需對(duì)圖2(b)進(jìn)行臺(tái)階提取，其流程如圖3所示：

圖3 臺(tái)階提取流程圖Fig. 3 Flow chart of step extraction

臺(tái)階提取過(guò)程的核心為邊緣檢測(cè)，本文使用的邊緣檢測(cè)算子為Prewitt算子，如圖4所示：

圖4 Prewitt算子Fig. 4 Prewitt operator

對(duì)數(shù)字圖像f(x,y)，Prewitt算子定義如下：

G(i)=|[f(i-1,j-1)+f(i-1,j)+

f(i-1,j+1)]-[f(i+1,j-1)+

f(i+1,j)+f(i+1,j+1)]|

(2)

G(j)=|[f(i-1,j+1)+f(i,j+1)+

f(i+1,j+1)]-[f(i-1,j-1)+

f(i,j-1)+f(i+1,j-1)]|

(3)

則

P(i,j)=max[G(i),G(j)]

(4)

或

P(i,j)=G(i)+G(j)

(5)

圖5(a)是邊緣檢測(cè)的結(jié)果，為減少噪聲干擾，根據(jù)像素面積大小濾除較小區(qū)域，得到臺(tái)階大致形狀，如圖5(b). 其中臺(tái)階2有細(xì)小斷裂如圖5(c). 為使臺(tái)階連接起來(lái)，使用閉運(yùn)算，閉運(yùn)算為對(duì)圖像先膨脹，后腐蝕. 腐蝕公式如式(1)，膨脹公式如式(6)：

A⊕B={x:B(x)∩A≠φ|}

(6)

其中A為被膨脹圖像，B為膨脹圖像所用結(jié)構(gòu)元素. 閉運(yùn)算結(jié)果如圖5(d). 為去除較小的斷裂臺(tái)階，再次濾除較小區(qū)域，得到臺(tái)階形狀如圖5(e)所示. 對(duì)圖5(e)進(jìn)行細(xì)化處理，處理結(jié)果如圖5(f).

圖5 臺(tái)階提取Fig. 5 Step to extraction

c.斜切角計(jì)算

通過(guò)臺(tái)階提取，得到臺(tái)階形狀. 為得到斜切角大小，需對(duì)臺(tái)階進(jìn)行斜切角計(jì)算，計(jì)算方法：對(duì)圖5(f)使用連通域提取，分別得到每層臺(tái)階. 以圖6為例，依次計(jì)算相鄰兩層臺(tái)階距離，并根據(jù)圖像實(shí)際尺寸按照比例轉(zhuǎn)化成實(shí)際距離. 實(shí)際距離計(jì)算公式如式(7)：

圖6 相鄰臺(tái)階距離計(jì)算Fig. 6 Distance calculation for adjacent steps

(7)

其中(xi1,yi1)和(xi2,yi2)為與直線i相交的兩臺(tái)階上的點(diǎn)，j和k為圖像真實(shí)尺寸的長(zhǎng)和寬，m和n為二值化圖像矩陣的列和行. 由于每層臺(tái)階之間距離為0.28 nm，所以di的平均值與高度的比值即為正切值，通過(guò)反三角變化即可得出斜切角.

3.2 量子點(diǎn)數(shù)量和均勻性計(jì)算

量子點(diǎn)生長(zhǎng)密度和均勻性對(duì)量子點(diǎn)器件的性能好壞有重要影響[6, 7]. 為使量子點(diǎn)的數(shù)量和均勻性計(jì)算更加高效，利用二值化和閾值下降對(duì)量子點(diǎn)進(jìn)行計(jì)數(shù)，通過(guò)鄰域密度計(jì)算分析均勻性.

a.量子點(diǎn)分割

二值化的量子點(diǎn)圖像如圖7所示，由于量子點(diǎn)所處的層不同，量子點(diǎn)圖像呈現(xiàn)亮暗分布，采用單一亮度閾值，會(huì)存在粘連和亮度不均的問(wèn)題.

圖7 二值化的量子點(diǎn)圖像Fig. 7 Binarizated quantum dot image

為解決這一問(wèn)題導(dǎo)致的統(tǒng)計(jì)錯(cuò)誤，提出一種基于閾值下降的二值化算法，算法流程如圖8所示：

圖8 數(shù)目和均勻性計(jì)算流程圖Fig. 8 Calculation flow chart of number and uniformity

算法的主要目的是在閾值的逐漸下降的過(guò)程中，對(duì)每一次閾值下降得到的量子點(diǎn)進(jìn)行統(tǒng)計(jì). 由于背景部分不是量子點(diǎn)，不需要被顯示，因此需要設(shè)定一個(gè)終止閾值. 圖9所示為圖7對(duì)應(yīng)的對(duì)數(shù)直方圖，由于背景部分灰度值占比較大，最大值之后的虛線即為就是終止閾值.

圖9 灰度值對(duì)數(shù)直方圖Fig. 9 Gray value logarithmic histogram

確定終止閾值和初始閾值后，從高閾值開(kāi)始等步長(zhǎng)掃描，逐步調(diào)低閾值. 隨著閾值的降低，被統(tǒng)計(jì)的量子點(diǎn)會(huì)逐漸增加. 每一次掃描，對(duì)新發(fā)現(xiàn)的量子點(diǎn)進(jìn)行標(biāo)記并排除已標(biāo)記的量子點(diǎn). 其中標(biāo)記方法為：將新發(fā)現(xiàn)量子點(diǎn)的重心坐標(biāo)保存到矩陣G(x,y). 排除標(biāo)記方法為：每個(gè)量子點(diǎn)和矩陣G(x,y)做邏輯與運(yùn)算. 若相與后所有像素點(diǎn)的數(shù)值之和大于0，則該量子在之前操作中已被存入矩陣G(x,y)；若相與后所有像素點(diǎn)的數(shù)值之和等于0，則為新出現(xiàn)量子點(diǎn)，進(jìn)一步進(jìn)行連通域計(jì)數(shù)，并提取重心存入矩陣G(x,y)中.

b.量子點(diǎn)均勻性計(jì)算

量子點(diǎn)的鄰域密度計(jì)算方式如式(8)所示，其中U(x,y,d)表示以(x,y)為中心，d為邊長(zhǎng)的正方形區(qū)域的量子點(diǎn)數(shù)目，d2表示區(qū)域面積. 區(qū)域中心(x,y)每次滑動(dòng)一定的距離，計(jì)算密度并保存到矩陣M(x,y)中.

(8)

最大相對(duì)偏差公式如式(9)所示，選取這個(gè)評(píng)估參數(shù)對(duì)M(x,y)的密度均勻性進(jìn)行分析.

(9)

3.3 量子點(diǎn)尺寸和覆蓋率計(jì)算

量子點(diǎn)尺寸對(duì)量子點(diǎn)器件的性能有重要影響[6, 7]. 為使量子點(diǎn)的尺寸和覆蓋率計(jì)算更加高效，通過(guò)閾值下降尋找未發(fā)生粘連的最大尺寸，并進(jìn)行計(jì)算.

量子點(diǎn)圖像如圖10(a)所示，存在圖像邊緣量子點(diǎn)顯示并不完整和粘連的問(wèn)題. 為解決這一問(wèn)題，在量子點(diǎn)分割的基礎(chǔ)上，檢測(cè)量子點(diǎn)是否完整，并計(jì)算量子點(diǎn)未發(fā)生粘連的最大尺寸. 計(jì)算方法為：1)對(duì)標(biāo)記的量子點(diǎn)的圖像進(jìn)行反轉(zhuǎn)，如圖10(b)所示. 2)對(duì)反轉(zhuǎn)后的圖像求連通域(白色區(qū)域)個(gè)數(shù)，若連通域個(gè)數(shù)大于2，則量子點(diǎn)發(fā)生粘連. 檢測(cè)到粘連后，閾值增加，返回量子點(diǎn)未發(fā)生粘連的最大閾值，如圖10(c)所示. 3)檢測(cè)二值化的量子點(diǎn)在圖像邊界上是否有像素，若有像素，說(shuō)明量子點(diǎn)顯示不完整，不對(duì)其進(jìn)行尺寸計(jì)算. 尺寸計(jì)算的方法是將量子點(diǎn)看作是矩形，并計(jì)算長(zhǎng)和寬，如圖10(d) 所示. 當(dāng)閾值下降到終止閾值時(shí)，計(jì)算未發(fā)生粘連的量子點(diǎn)尺寸.

計(jì)算所有量子點(diǎn)的像素點(diǎn)之和，并除以圖像的總像素即可得到覆蓋率.

4 結(jié)果與分析

4.1 斜切角的計(jì)算

本文對(duì)30張襯底圖像進(jìn)行了計(jì)算并與人工進(jìn)行對(duì)比，表1中給出其中五張有代表性的襯底圖像.

圖10 量子點(diǎn)尺寸計(jì)算Fig. 10 Quantum dot size calculation

統(tǒng)計(jì)結(jié)果表明30張襯底圖像的算法與人工計(jì)算的最大誤差為8.48%，平均誤差5.02%. 可見(jiàn)，利用機(jī)器視覺(jué)技術(shù)對(duì)斜切角的自動(dòng)化計(jì)算有較好的協(xié)助作用.

4.2 量子點(diǎn)數(shù)量和均勻性計(jì)算

圖11為對(duì)圖7的量子點(diǎn)數(shù)目和密度歸一化后的均勻性統(tǒng)計(jì)：

表1 機(jī)器視覺(jué)與人工計(jì)算的斜切角對(duì)比

Table 1 Comparison of miscut angles between machine vision and manual calculation

Image number12345ImageMachine vision/nm0.05770.03340.05160.04800.0563Manual calculation/nm0.05520.03340.04940.05230.0519

量子點(diǎn)的高低在圖像中表現(xiàn)為灰度值的高低，所以閾值的增加表示量子點(diǎn)高度的增加. 圖11(a)表示在0-255閾值區(qū)間的量子點(diǎn)數(shù)目統(tǒng)計(jì)，即一定高度區(qū)間的量子點(diǎn)數(shù)目統(tǒng)計(jì). 圖7的尺寸為1000 nm×1000 nm，計(jì)算得到量子點(diǎn)數(shù)目為396個(gè)，其整體密度為3.96×10-4個(gè)/nm2. 由圖11(b)可知，量子點(diǎn)分布并不均勻，計(jì)算得出最大相對(duì)偏差為68.42%.

圖12為誤差統(tǒng)計(jì)散點(diǎn)圖，可以看出誤差均在0以上，說(shuō)明量子點(diǎn)統(tǒng)計(jì)結(jié)果偏大. 其中200 nm×200 nm、500 nm×500 nm和1000 nm×1000 nm的量子點(diǎn)圖像平均計(jì)數(shù)時(shí)間分別為2.009 s、2.923 s和7.658 s，平均誤差分別為0.212 %、1.3496 %和0.7747 %，其整體平均誤差為0.7788 %.

(a) Number statistics

(b) Statistics of uniformity圖11 量子點(diǎn)數(shù)目和均勻性統(tǒng)計(jì)Fig. 11 Quantum dot number and uniformity statistics

導(dǎo)致誤差的主要原因：由于量子點(diǎn)計(jì)數(shù)的算法是根據(jù)亮度下降來(lái)計(jì)數(shù)的，當(dāng)一個(gè)量子點(diǎn)較大、量子點(diǎn)上距離較遠(yuǎn)位置的亮度接近時(shí)，一個(gè)量子點(diǎn)會(huì)被計(jì)算為多個(gè)量子點(diǎn)，導(dǎo)致計(jì)數(shù)錯(cuò)誤.

4.3 計(jì)算量子點(diǎn)尺寸

對(duì)圖10(a)計(jì)算量子點(diǎn)尺寸和長(zhǎng)寬比統(tǒng)計(jì)如圖13所示：

圖12 誤差統(tǒng)計(jì)散點(diǎn)圖Fig.12 Scatter plot of error statistics

圖13(a)和13(b)為量子點(diǎn)尺寸統(tǒng)計(jì)，量子點(diǎn)尺寸在23 nm-29 nm和13 nm-19 nm占有較大的比重，計(jì)算得到其覆蓋率為27.57 %. 由圖13(c)可知，量子點(diǎn)長(zhǎng)寬比大多分布在1.6-1.7之間.

圖14為10(a)量子點(diǎn)尺寸計(jì)算誤差圖，由圖14可知，量子點(diǎn)長(zhǎng)和寬的計(jì)算誤差均在±5%以內(nèi)，即量子點(diǎn)長(zhǎng)和寬的誤差分別在±1.3 nm和±0.7993 nm以內(nèi). 且平均計(jì)算誤差為1.12%. 可見(jiàn)，利用機(jī)器視覺(jué)技術(shù)對(duì)量子點(diǎn)尺寸的自動(dòng)化計(jì)算有較好的協(xié)助作用.

圖13 量子點(diǎn)尺寸統(tǒng)計(jì)Fig. 13 Quantum dot size statistics

圖14 量子點(diǎn)尺寸計(jì)算誤差圖Fig. 14 Calculation error diagram of quantum dot size

5 結(jié) 論

基于機(jī)器視覺(jué)對(duì)襯底和量子點(diǎn)的STM圖像進(jìn)行分析，計(jì)算斜切角、量子點(diǎn)數(shù)量、密度、均勻性、尺寸和覆蓋率等表面形貌特征. 利用預(yù)處理和邊緣檢測(cè)提取臺(tái)階形狀，并通過(guò)反三角變換實(shí)現(xiàn)斜切角計(jì)算；利用二值化和閾值下降實(shí)現(xiàn)量子點(diǎn)計(jì)數(shù)，通過(guò)鄰域密度計(jì)算實(shí)現(xiàn)均勻性分析；在量子點(diǎn)計(jì)數(shù)算法的基礎(chǔ)上尋找量子點(diǎn)未發(fā)生粘連的最大尺寸，實(shí)現(xiàn)量子點(diǎn)尺寸的計(jì)算. 實(shí)驗(yàn)結(jié)果顯示，斜切角、量子點(diǎn)計(jì)數(shù)及尺寸的平均誤差分別為5.02 %，0.7788 %及 1.12 %. 基于機(jī)器視覺(jué)的算法具有較高的精度和速度，可以實(shí)現(xiàn)襯底和量子點(diǎn)形貌特征圖像的自動(dòng)識(shí)別，對(duì)協(xié)助研究者分析量子點(diǎn)表面形貌有實(shí)際意義.