基于數(shù)字圖像處理技術的熱障涂層形貌特征識別方法

劉宇虹韓越興汪語嫣曾毅

(1.上海大學計算機工程與科學學院,上海200444;2.之江實驗室,浙江杭州311100;3.中國科學院上海硅酸鹽研究所高性能陶瓷與超微結構國家重點實驗室,上海200050)

在熱障涂層技術研究中,國內外大多數(shù)研究集中在工藝參數(shù)對熱障涂層熱導率的定性影響上[1].為了制備高性能熱障涂層,需要創(chuàng)建熱障涂層中片層鋪展率、微裂紋長度等微觀結構信息和工藝參數(shù)之間的定量關系,因此分析熱障涂層形態(tài)是很重要的一環(huán).

傳統(tǒng)的熱障涂層形貌特征檢測由人工完成,效率低下.為了克服人工檢測熱障涂層形態(tài)的一系列缺陷,急需可靠的檢測手段來自動化識別涂層中的片層及裂紋,并提取其中的幾何信息.數(shù)字圖像處理技術具有精度高、不影響圖像品質、再現(xiàn)性強以及靈活性高等優(yōu)勢,可以應用在對圖像中片層和裂紋的識別中[2-4].因此,本工作基于圖像處理技術,提出合適的方法實現(xiàn)對熱障涂層形貌特征的檢測及幾何信息提取.

在熱障涂層圖像處理中,存在很多難點.首先,由于涂層中同時存在裂紋和孔隙,需要先識別出孔隙,然后識別裂紋.在識別孔隙時,由于孔隙的邊緣不規(guī)則,且不是完整的連通曲線,因此較難提取其輪廓;其次是干擾噪聲較多并且雜亂,在去除噪聲的過程中可能會影響孔隙的完整性;再者是部分孔隙內部有空缺,提取輪廓時需要確保不提取出內輪廓.在識別裂紋時,由于圖像中干擾噪聲多且雜亂,需要確保去除噪聲過程中不會影響裂紋的完整性,這是需要解決的任務之一;其次,由于部分裂紋中存在少數(shù)像素點的缺失,并不是完整的連通曲線,計算機會將像素點缺失的裂紋曲線識別為多條斷線,因此如何對這些斷線進行連接修補,并將其識別為完整的一條裂紋,也是需要解決的一大難題;再者,裂紋的形狀不規(guī)則,既有曲線也有較平緩的直線段,因此采取僅能識別直線段的方法并不可取,需要設計一種能檢測各種形態(tài)裂紋的新方法.本工作旨在解決這些難點,實現(xiàn)對熱障涂層形貌特征的自動化識別與分析,推動熱障涂層領域的進步與發(fā)展.本工作的主要貢獻如下:

(1)提出一種全自動、無需人工輸入參數(shù)的熱障涂層圖像的片層分割算法,實驗結果表明算法在處理熱障涂層圖像時分割效果良好;

(2)使用基于邊緣跟蹤的邊緣提取算法,提取出每一個片層完整準確的輪廓,并對這些片層輪廓進行拓撲結構和形貌參數(shù)的分析計算;

(3)使用閉運算完成對涂層圖像上斷裂裂紋的修補,采用骨骼化算法對連接后的裂紋線條骨架進行提取,從而自動識別出涂層中的裂紋,并完成每一條裂紋的標注與長度計算.

1 相關工作

目前,有關熱障涂層片層形貌特征的自動化識別與參數(shù)計算的研究較少,大多數(shù)研究集中在形貌參數(shù)的分析.為了計算熱障涂層的孔隙率,最常用的加工技術是將噴涂完全的熱障涂層垂直切成兩半,取截面進行觀察.基于圖像處理的方法是可靠的熱噴涂微觀結構表征描述手段,是一種簡單、通用、可靠和廉價的孔隙率表征方法.Deshpande等[5]利用掃描電鏡獲取圖像上的不同閾值來確定熱障涂層的孔隙率.Cook等[6]使用灰度閾值方法確定熱障涂層測試圖像上的孔隙率,精確度在0.5%以內.Caldas等[7]和Portinha等[8]不僅測試了涂層的孔隙率,還模擬了孔隙率沿涂層橫截面演變的方式,在此基礎上證明了小裂紋和片層間缺陷對總孔隙率的貢獻相當小.Antou等[9]發(fā)現(xiàn)盡管計算涂層的總孔隙率水平很重要,對熱障涂層性能也起著決定性作用,但只有這一個特征參數(shù)是不夠的,裂紋的幾何形狀和連通性也必須進行量化表征,所以還需要對氣孔裂紋的其他幾何信息進行提取分析.盡管目前國內外學者通過不同圖像處理方法對熱障涂層的形貌特征進行了分析研究,但利用圖像處理方法自動化分析形貌特征的研究仍然較少.

圖像處理技術包括對圖像進行分割、增強、除噪、壓縮、編碼、復原、提取特征等操作[10],在節(jié)約人力物力的同時,極大地提高了處理圖像的效率,且處理精度高、實時速度快.在圖像處理中,由于圖像中的噪聲會對后續(xù)工作造成不良影響,因此圖像去噪不可或缺.圖像去噪方法多種多樣,并不統(tǒng)一,常用的方法有數(shù)學形態(tài)學方法[11]和濾波算法[12]等.邊緣檢測方法在圖像處理中發(fā)展較為成熟,傳統(tǒng)算法如Canny[13]、LoG[14]、DoG[15]已經能夠很好地提取圖像邊緣.圖像分割作為圖像處理的一個重要分支已廣泛應用于各領域.除了使用傳統(tǒng)的閾值法、聚類法、分水嶺算法等分割圖像,隨著近幾年深度學習的快速發(fā)展,很多學者使用全卷積神經網絡(fully convolutional networks,FCN)、U-NET等算法對各領域的圖像進行高效分割[16-18].

在熱障涂層的形貌識別研究中,圖像去噪、圖像分割、邊緣檢測均是必不可少的步驟.由于對熱障涂層圖像的分析是特定領域的任務需求,所以沒有通用方法對圖像進行處理.而本工作提出的基于圖像處理的熱障涂層形貌特征識別方法,可以對特定圖像進行分析,不僅能高效完成對熱障涂層微觀結構的識別,也能精確計算出微觀結構的形貌參數(shù).本工作提出的方法取代人工檢測熱障涂層圖像,克服了傳統(tǒng)人工檢測存在的工作量大、誤差大、費時費力等缺點.同時,實驗結果表明,本方法可以準確識別出涂層中片層的外輪廓和裂紋線條,且具有很強的抗噪聲干擾能力.

2 熱障涂層形貌特征的識別與形貌參數(shù)計算

2.1 熱障涂層形貌分析

對熱障涂層形貌特征的識別與形貌參數(shù)計算主要分為兩個步驟:一是識別出涂層中的片層并繪制輪廓,同時計算形貌參數(shù);二是檢測出涂層中的裂紋并計算形貌參數(shù).

圖1是兩張由掃描電鏡拍攝的熱障涂層圖像及圖像中孔隙和裂紋的局部放大.由圖1(a)和圖1(c)可以看出,片層的輪廓非常不規(guī)則,單個片層的外輪廓通常不相連;其次,在噴涂熱障涂層時,四處飛濺的涂層粒子落在材料表面形成了許多雜亂無章的痕跡,這些痕跡在處理時都屬于干擾噪聲,需要在保證片層結構完整的前提下將這些噪聲去除.同時,片層內部并不完全實心,而是存在一些孔隙,因此在識別時要避免識別出內輪廓.由圖1(b)和圖1(c)可以看出,除了存在黑色的不規(guī)則孔隙外,還存在大量裂紋,為方便后續(xù)裂紋檢測,需要先去除孔隙;其次,還存在很多黑色的噪聲點,這些噪聲點會干擾裂紋的提取,因此要在保證裂紋完整的情況下去除這些噪聲.同時,由于裂紋存在像素點的缺失,計算機會將一個裂紋線條識別為多條斷線,因此需要對這些斷掉的裂紋進行連接修補,并將其識別為正確的整條裂紋.

圖1 熱障涂層微觀結構Fig.1 Microstructure of thermal barrier coating

2.2 片層輪廓的識別與形貌參數(shù)計算

片層輪廓自動識別和形貌參數(shù)計算的大體流程如下:首先,對圖像進行預處理,將其轉化為灰度圖像;然后,使用Otsu閾值分割法[19]將圖片二值化,并利用數(shù)學形態(tài)學技術進行圖像分割;接著,采用基于邊緣跟蹤的邊緣提取算法[20]提取出單個片層輪廓,此時需要根據輪廓信息提取出片層的最小外接圓;最后,根據每個片層的輪廓信息及最小外接圓信息計算并輸出形貌參數(shù).整體流程如圖2所示.

圖2 片層識別和形貌參數(shù)計算流程圖Fig.2 Flow chart of splat identification and shape parameter calculation

2.2.1 圖像預處理

由于對熱障涂層圖像的處理需要在灰度圖的基礎上進行,因此需要將原圖轉化為灰度圖.使用顏色通道轉換函數(shù)將原三通道三色RGB圖像線性轉化為單通道8位灰度圖像.由示例圖像(見圖3(a))轉化為灰度圖像的結果如圖3(b)所示.

圖3 示例圖像及其灰度圖Fig.3 Sample image and grayscale histogram

2.2.2 圖像分割

在分割熱障涂層圖像中片層的過程中,為了突顯出熱障涂層圖像中待檢測片層的輪廓,并且減少圖像處理過程中的數(shù)據量,需要二值化待處理的圖片.因為待處理圖片的灰度直方圖呈現(xiàn)明顯單峰或一處峰刺,因此使用Otsu閾值分割法將灰度圖轉化為二值化黑白圖.

Otsu閾值分割法是經典的最大類間方差法,是一種無參數(shù)無監(jiān)督的閾值分割方法.Otsu閾值的計算流程簡化描述如下:首先,計算影像的直方圖,將0～255依次作為閾值,把直方圖強度大于閾值的像素分為一組,把小于閾值的像素分為另一組;然后,分別計算這兩組的組內方差,并把兩個組內方差相加;接著,比較每個閾值下的組內方差和,總和最大的就是結果閾值;最后,以結果閾值為標準進行圖像二值化操作,將灰度值大于此閾值的像素點賦為255,將灰度值小于此閾值的像素點賦為0.由于Otsu閾值算法建立在圖像的灰度直方圖基礎上,并依據類間距離極大準則來確定區(qū)域分割閾值,因此能在最大限度內降低誤分割概率.

由于圖像中存在大量噪聲,因此先使用基本的數(shù)學形態(tài)學方法去除大部分噪聲.去除圖像噪聲必須建立在不破壞片層完整性的基礎上,若直接對圖片進行腐蝕操作,那么一部分片層結構也會被腐蝕,由于形態(tài)學基本操作都是非線性的,所以后期很難完整恢復片層輪廓.因此,為了防止后續(xù)腐蝕操作使目標片層出現(xiàn)斷裂,要對圖片進行形態(tài)學膨脹操作后再進行腐蝕,去除其中的干擾噪聲,然后再次使用膨脹操作恢復去除噪聲后的片層大致形態(tài).

經過數(shù)學形態(tài)學操作后,雖然噪聲大部分被去除,片層結構也被保留,但卻丟失了部分片層的輪廓細節(jié),因此需要將經過數(shù)學形態(tài)學操作后的結果圖與原圖的二值圖進行邏輯與運算,從而在去除干擾噪聲后的圖片中重新引入片層的邊緣信息.圖像的邏輯與運算是將兩幅二值圖像的對應像素進行邏輯與,即

式中:C為目標圖像;A和B為進行“與”操作的二值圖像.此時還需再次進行膨脹操作,以填補片層內部的空白,便于在后續(xù)輪廓提取時外輪廓更容易被找到,且不會提取出內輪廓.經過上述步驟后,圖像中仍然存在一些較小的孤立噪聲,為了在保留片層邊緣的前提下去除這些沖擊噪聲并且使片層邊緣變得光滑,需要使用中值濾波.中值濾波法是一種基于排序理論的非線性平滑技術.對圖像序列進行中值濾波,就是從輸入序列中相繼取出m(m為奇數(shù))個數(shù),然后將這m個數(shù)大小排序,取序號為中心點的那個數(shù)作為濾波輸出.下面給出對一維輸入序列{f1,f2,···,fi,fi+1,···,fN}進行中值濾波的計算方法,

中值濾波的運算過程簡單且速度較快,使用該操作可以實現(xiàn)去除沖擊噪聲的目的.至此,圖像分割步驟全部完成.

2.2.3 邊緣提取

識別熱障涂層圖像中的片層輪廓需要精確定位到單個片層,提取每一個片層完整準確的輪廓,并分別對這些輪廓進行拓撲結構分析.針對涂層中的片層,除了要標記出片層輪廓上的像素點,還需要判定這些像素點屬于哪一個片層輪廓,并將屬于同一個片層輪廓的像素點連接起來形成完整的輪廓曲線,因此本工作使用基于邊緣跟蹤的輪廓提取算法提取片層的不規(guī)則輪廓.具體實現(xiàn)算法是Suzuki等[21]于1985年提出的用于分析二值化數(shù)字圖像拓撲結構的輪廓跟蹤算法,該算法實現(xiàn)簡單且提取輪廓效果較好.由于在后續(xù)計算形貌參數(shù)時需要確定每個片層的外輪廓以獲得面積、周長等參數(shù),因此只需提取片層的最外層輪廓而無需提取內輪廓.

2.2.4 片層形貌參數(shù)計算

建立熱障涂層微觀結構信息和工藝參數(shù)之間的定量關系中必不可少的一步是計算涂層微觀形貌參數(shù).本工作主要計算的形貌參數(shù)是實度,實度即噴射粒子實占面積與其所占區(qū)域外接圓的比例,是影響熱障涂層熱導率的重要因素.通過片層的實度可以判斷噴射粒子是屬于泡泡形、花朵形還是圓盤形.因此,片層形貌參數(shù)的計算主要是實度的計算,即

式中:S代表片層實度;Ao代表片層的實際面積;Ab代表片層外輪廓的最小外接圓面積.由式(3)可以看出,計算片層實度的問題可以轉化為計算片層的實際面積和片層外輪廓最小外接圓面積.

片層的實際面積Ao即片層外輪廓線內片層粒子噴濺實際所占面積.為了計算Ao,首先,生成一塊與圖像相同大小的純黑畫布,提取外輪廓列表中的一個片層外輪廓,標記外輪廓在原圖片的位置,在純黑畫布中的相同位置繪制出該外輪廓并將內部填充為白色;然后,將所得圖像與片層分割過程中邏輯與運算得到的結果圖再次進行邏輯與運算,以保留完整的片層內部結構;最后,計算最終圖像中白色像素點的數(shù)量,即為片層的實際面積.

為了計算片層外輪廓的外接圓面積Ab,首先需要找到片層外輪廓的最小外接圓.使用迭代算法查找給定輪廓的最小外接圓,首先,遍歷所有點,找出最左、最右、最上、最下的4個點;然后,求出包圍這4個點的最小圓的圓心和半徑;接著,進行迭代,通過遍歷所有點,檢查是否存在出界點,如果沒有出界點,則求出的圓就是最終所求;最后,找到輪廓的最小外接圓后,獲取該外接圓的圓心坐標(x,y)和半徑長度R,計算最小外接圓面積,

依次提取出輪廓列表中的每一個片層輪廓,按照列表索引為這些輪廓編號,根據上述方法分別計算每一個片層外輪廓對應的實際面積以及最小外接圓面積,將兩個面積代入式(3)即可計算出對應片層實度.

2.3 裂紋的檢測與形貌參數(shù)計算

熱障涂層圖像中裂紋自動識別和形貌參數(shù)計算的大體流程如下:首先,進行圖像預處理,包括顏色通道轉換、圖像二值化;然后,采用數(shù)學形態(tài)學操作和平滑處理進行圖像分割,提取出圖像中的片層并去除,得到僅有裂紋的目標圖像;接著,利用閉運算將目標圖像中像素點缺失的裂紋斷線進行連接,并去除部分噪聲;之后,對連接后的裂紋線條進行骨架提取;最后,遍歷搜索上一步結果圖中的裂紋像素點,對裂紋進行檢測,同時對檢測到的裂紋標注序號,并計算裂紋長度.

2.3.1 圖像預處理及孔隙去除

對待檢測的熱障涂層截面圖像進行預處理,包括將RGB圖像轉化為灰度圖像以及圖像二值化.這里采用反二值化閾值處理和Otsu算法來進行二值化處理.采用數(shù)學形態(tài)學操作和平滑處理對預處理后的片層圖像進行分割,提取出片層中的孔隙,確保目標片層的完整并消除干擾噪聲.經過一系列膨脹、腐蝕、邏輯與運算后,再對圖像進行中值濾波,得到只有孔隙的圖像.將二值化后的圖像與圖像分割后的結果作差,得到僅有裂紋的目標圖像.

2.3.2 裂紋斷線連接

由于有些裂紋中存在少數(shù)像素點的缺失,并不是完整的連通曲線或線段,計算機會將一個裂紋線條識別為多條斷線,因此需要使用數(shù)學形態(tài)學中的閉運算對這些斷線進行連接修補,并去除片層圖像上部分噪聲黑點.在數(shù)學形態(tài)學中,閉運算被定義為先膨脹后腐蝕.閉運算通過填充圖像的凹角來濾波圖像,能夠填平小孔,彌合小裂縫,而總的位置和形狀不變.

2.3.3 骨骼化

采用骨骼化算法對連接后的裂紋線條骨架進行提取,即圖像細化.細化是將圖像的線條從多像素寬度減少到單像素寬度的過程.對裂紋進行骨架提取可方便后續(xù)的識別及長度計算.

2.3.4 裂紋檢測及長度計算

根據已得到的裂紋骨架,遍歷搜索片層圖像中的裂紋像素點,對裂紋進行檢測.首先,遍歷尋找細化后片層圖像中第一個裂紋像素點;然后,搜索相鄰像素點,搜索時遵循前一個點到此點的方向,沿該方向搜索與此點相鄰的下一個點,若沒有這樣的相鄰點,則向兩側搜索;接著,重復搜索相鄰像素點,延伸尋找裂紋曲線或線段,直至搜索到沒有相鄰點的像素點,則表示裂紋線條一端搜索完成;最后,根據檢測到的裂紋線條對裂紋進行識別描繪,從而完成對每一條裂紋的標注與長度計算.裂紋標注與長度計算的詳細步驟如下:首先,對檢測到的每條裂紋隨機上色、標注序號;然后,按照序號依次計算每條裂紋的長度,對小于設定長度閾值的無意義線段不予顯示,其中裂紋長度由單像素裂紋線條的像素點求和計算得到,且長度閾值可根據需要靈活設定.至此,完成了對熱障涂層中裂紋的幾何信息提取,即對裂紋進行識別描繪、統(tǒng)計及長度計算.

3 實驗結果

下面將在2類差別較大的熱障涂層圖像上測試本工作提出的方法.一類圖像含片層較多,如圖4所示;而另一類圖像含裂紋較多,如圖5所示.

本工作通過兩個實驗來驗證所提方法的可行性和高效性.下面分別以圖4(a)和圖5(a)為實驗對象,采用本工作提出的方法識別孔隙和裂紋,并計算形貌參數(shù).

圖4 含片層較多的圖像Fig.4 Image with more splats

圖5 含裂紋較多的圖像Fig.5 Image with more cracks

3.1 實驗一

圖6是以圖4(a)為原圖進行實驗的過程及結果圖像.對原圖進行二值化處理后,緊接著進行數(shù)學形態(tài)學操作,經過膨脹、腐蝕、再膨脹操作后,雖然大部分噪聲被去除,但片層的輪廓細節(jié)也丟失了.然而,片層的輪廓細節(jié)被保留在了圖6(b)的二值圖中,因此將經過數(shù)學形態(tài)學操作后的圖片與原圖的二值圖像進行邏輯與運算,可以在去除干擾噪聲后的圖片中重新引入片層的邊緣信息.邏輯與運算的結果如圖6(e)所示,可以看出片層的輪廓信息已被完整地保留下來.接下來進行第三次膨脹操作,目的是填補片層內部的空白,保證后續(xù)對外輪廓的提取不受內輪廓的干擾.第三次膨脹操作結果如圖6(f)所示.為了去除圖6(f)中仍然存在的孤立噪聲,對第三次膨脹結果圖使用濾波窗口為5×5的標準中值濾波,所得結果如圖6(g)所示.至此,可以得到清晰完整的片層分割結果圖像.

孔隙輪廓提取使用的是基于邊緣跟蹤的輪廓提取算法.可視化片層外輪廓的提取結果如圖6(h)所示.可以看出,本工作提出的圖像處理算法很好地將單個片層從熱障涂層圖像中提取出來,保留了片層邊緣的細節(jié)信息、定位精度,而且具有很強的抗干擾噪聲能力.

依照前述實度計算方法可以得到測試圖片中的片層實度.實驗的最終效果圖如圖6(i)所示,顯示出外輪廓的最小外接圓以及片層輪廓編號.最后,按照片層編號輸出對應的片層實占面積、最小外接圓面積和實度計算結果,部分計算結果如表1所示.

表1 片層形貌參數(shù)計算結果Table 1 Calculation results of splat morphology parameters

圖6 片層識別過程Fig.6 Process of identifying splats

3.2 實驗二

圖7是以圖5(a)為原圖進行實驗的部分關鍵過程及結果圖像.首先,對圖像進行二值化處理,按照前述提取片層的方法提取出孔隙后,將二值化后的圖像與孔隙分割結果圖作差,得到僅有裂紋的目標圖像;然后,利用閉運算將像素點缺失的裂紋斷線進行連接,并去除圖像上部分噪聲黑點,其中閉運算選擇合適的核函數(shù)kernel,能夠讓裂紋斷線連接得到最優(yōu)效果,從而使后續(xù)的裂紋骨架提取和裂紋識別更加精確;最后,采用骨骼化算法對連接后的裂紋進行骨架提取,將裂紋細化成單像素寬度,方便后續(xù)通過計算像素點個數(shù)來計算裂紋長度.骨骼化后的結果如圖7(b)所示,可以看出圖像中只有裂紋的骨架,孔隙及部分噪聲點已經去除.

對于細化后的裂紋圖像,使用前述遍歷搜索像素點方法檢測每一個裂紋線條.圖7(c)是裂紋識別標注結果,即對圖像中大于等于設定閾值的裂紋進行標注和長度計算.裂紋長度閾值不同,顯示的裂紋數(shù)量也不同,長度閾值可靈活設定.每條裂紋的長度由單像素裂紋線條的像素點求和計算得到.部分裂紋長度計算結果如表2所示.

圖7 裂紋識別過程Fig.7 Crack identification process

表2 裂紋長度計算結果Table 2 Calculation results of crack length

4 結束語

本工作基于數(shù)字圖像處理技術,以熱障涂層實際研究圖像為載體,提出一種熱障涂層形貌特征識別方法.實驗結果表明,本方法可精確識別片層及裂紋,具有很強的抗噪聲干擾能力.

目前,很多目標識別方法都是針對特定任務來設計的特定處理方案,本工作所提出的熱障涂層圖像處理方法僅能檢測固定光源、相機位置的同一類圖像.鑒于現(xiàn)有實驗數(shù)據,本方法仍存在較大提升空間.今后的工作重點是針對各類熱障涂層圖像數(shù)據,尋找一種較為通用的方案.同時,充分利用圖像處理提取出的信息,構建形貌特征參數(shù)與涂層熱導率之間的定量關系.