鐵譜磨粒圖像多焦點(diǎn)融合算法研究

王涵，左洪福，劉珍珍，費(fèi)航，蘇岳

(南京航空航天大學(xué)民航學(xué)院，江蘇南京 211106)

旋轉(zhuǎn)機(jī)械設(shè)備在運(yùn)行過程中，時(shí)時(shí)刻刻都在發(fā)生著磨損行為，而當(dāng)磨損量達(dá)到一定程度時(shí)，機(jī)械設(shè)備就會發(fā)生故障。為了監(jiān)測設(shè)備的磨損情況，鐵譜分析技術(shù)也就應(yīng)運(yùn)而生。鐵譜分析是一種利用磁鐵將油液中的磨粒沉積到譜片上再利用顯微鏡對譜片上的磨粒進(jìn)行觀察分析的一種技術(shù)[1]。其中鐵譜磨粒圖像分析技術(shù)是對設(shè)備磨損顆粒進(jìn)行檢測的關(guān)鍵技術(shù)[2-3]。由顯微鏡觀測到的顆粒圖像受限于圖像采集過程中的景深限制等原因，在高倍率下觀測到的大顆粒往往會出現(xiàn)局部模糊的現(xiàn)象[4]。因此，對于大顆粒的觀測往往會采用采集同一顆粒的多焦點(diǎn)圖像再進(jìn)行焦點(diǎn)融合的手段。目前普遍采用的基于小波的鐵譜圖像融合方法[5]，對于圖像的邊緣融合效果欠佳。本文作者設(shè)計(jì)并改造出了一臺四軸自動(dòng)掃描顯微鏡，通過對多焦點(diǎn)圖像的自動(dòng)掃描，應(yīng)用一種基于相位一致性的鐵譜磨粒圖像多焦點(diǎn)融合算法，對自動(dòng)掃描的多焦點(diǎn)圖像進(jìn)行融合，最終得到清晰的磨粒圖像。

1 自動(dòng)聚焦掃描鐵譜儀

文中的顯微鏡鐵譜觀測系統(tǒng)采用的相機(jī)為大恒Mer2-502-79型，相機(jī)分辨率為2 448×2 048，顯微鏡采用5倍、10倍、20倍、50倍可轉(zhuǎn)換物鏡。

1.1 景深計(jì)算

當(dāng)采用工業(yè)相機(jī)對顯微鏡的圖像進(jìn)行采集時(shí)，只有一定高度范圍內(nèi)的物體能在物鏡的放大作用下獲得清晰的成像，這個(gè)高度范圍就是常說的景深。而景深又分為幾何景深和物理景深。

當(dāng)觀測物體剛好位于對準(zhǔn)面時(shí)，成像會剛好位于相機(jī)CMOS接受面，而當(dāng)觀測物體位于對準(zhǔn)面之前或之后時(shí)，相應(yīng)的成像則也會位于相機(jī)CMOS接受面之前或之后，而此時(shí)在相機(jī)CMOS接收器上則形成一個(gè)彌散圓。當(dāng)彌散圓直徑等于相機(jī)COMS極限分辨率時(shí)，此時(shí)的物平面距離對準(zhǔn)面之間的距離就被定義為幾何景深。圖1為幾何景深原理圖。平面1為對準(zhǔn)平面，1″為相機(jī)CMOS接受面，平面2為物平面，2″為像平面。

圖1 幾何景深原理

幾何景深的計(jì)算公式如式(1)所示[6]。

(1)

式中：n為物方折射率；e為相機(jī)COMS極限分辨率；M為系統(tǒng)總的放大倍率；Neff為物鏡的有效數(shù)值孔徑。

由于光的衍射效應(yīng)，點(diǎn)光源經(jīng)過透鏡后在CMOS接受面上的成像會形成艾里斑，即一個(gè)三維的不同強(qiáng)度的光能分布。物理景深是指當(dāng)物像移動(dòng)距離引起的接收器上的光強(qiáng)變化不超過20%時(shí)的距離。圖2為物理景深原理圖。

圖2 物理景深原理

物理景深的計(jì)算公式如式(2)所示[7]。

(2)

式中：λ為光波波長。

研究發(fā)現(xiàn)，由相機(jī)CMOS成像的顯微鏡系統(tǒng)的實(shí)際景深由式(3)計(jì)算得出。

(3)

式中：a為CMOS平面最小分辨距離，計(jì)算公式如式(4)所示。

(4)

b為CMOS的基本像元尺寸，相機(jī)COMS極限分辨率e與基本像元尺寸b之間的關(guān)系式如式(5)所示。

e=2×b

(5)

研究表明，電子目鏡顯微鏡的景深為物理景深與幾何景深兩者中的最大值[8]。

文中鐵譜監(jiān)測系統(tǒng)所采用的50倍物鏡的數(shù)值孔徑為0.75，相機(jī)COMS極限分辨率為7.9 μm，計(jì)算得到整個(gè)系統(tǒng)的物理景深為1.3 μm，幾何景深為0.3 μm，則該監(jiān)測系統(tǒng)的實(shí)際景深為1.3 μm。

1.2 自動(dòng)掃描鐵譜系統(tǒng)

文中設(shè)計(jì)并構(gòu)建出的四軸電控鐵譜顯微觀測平臺如圖3所示，該觀測系統(tǒng)由計(jì)算機(jī)、高清工業(yè)相機(jī)、四軸電控光學(xué)顯微鏡及其控制部件等組成。

圖3 四軸電控鐵譜顯微觀測系統(tǒng)

圖4所示為顯微鏡四軸移動(dòng)平臺及其控制部件實(shí)物圖，四軸移動(dòng)平臺包括物鏡自動(dòng)轉(zhuǎn)換器和X、Y、Z三軸移動(dòng)載物臺，控制部件包括控制器和手動(dòng)搖桿。

圖4 顯微鏡四軸移動(dòng)平臺

圖5所示為顯微鏡控制部分機(jī)械部件及連接線圖。水平方向移動(dòng)馬達(dá)和垂直方向移動(dòng)馬達(dá)通過馬達(dá)控制信號線與控制器相連，物鏡轉(zhuǎn)換器通過物鏡轉(zhuǎn)換控制線與控制器相連?？刂破鞣謩e和手動(dòng)搖桿以及計(jì)算機(jī)相連，因此既可以通過手動(dòng)搖桿又可以通過計(jì)算機(jī)里的控制軟件，實(shí)現(xiàn)對四軸電控顯微鏡的載物平臺移動(dòng)和物鏡切換的控制。

除了通過手動(dòng)搖桿手動(dòng)控制顯微鏡的載物平臺移動(dòng)和物鏡切換以外，系統(tǒng)還支持通過圖6所示計(jì)算機(jī)軟件設(shè)置相關(guān)參數(shù)的形式對其進(jìn)行控制。圖6為其控制軟件截圖，圖6(a)所示為掃描速度、平臺移動(dòng)及物鏡切換控制面板，可以實(shí)現(xiàn)對載物平臺的前后左右上下移動(dòng)控制、移動(dòng)速度設(shè)置、物鏡切換控制。圖6(b)所示為鐵譜片掃描的各方向個(gè)數(shù)及步長軟件設(shè)置面板，可以實(shí)現(xiàn)鐵譜片單次掃描過程中的各個(gè)方向上的移動(dòng)步長及次數(shù)的設(shè)置。

圖6 控制軟件

2 多焦點(diǎn)鐵譜圖像融合算法

文中提出一種基于相位一致性[9-10]的多焦點(diǎn)鐵譜圖像融合方法。對于多焦點(diǎn)圖像融合算法，要求在圖像中選取聚焦最好的區(qū)域，再將這些區(qū)域進(jìn)行融合。焦點(diǎn)評價(jià)(focus measure，F(xiàn)M)和融合規(guī)則(fusion rule，F(xiàn)R)是大多數(shù)圖像融合方法中的2個(gè)主要組成部分。通常，融合方法分為空間域方法和變換域方法[11]。2個(gè)域中的共同假設(shè)是，依據(jù)檢測強(qiáng)度的局部和急劇變化找到聚焦區(qū)域，F(xiàn)M提供聚焦檢測度量。

2.1 鐵譜磨粒圖像融合

基于相位一致性的鐵譜圖像融合方案如圖7所示。假設(shè)只有一幅輸入圖像的聚焦位置提供最有用的信息。通過使用公式(6)計(jì)算相位一致性矩陣，并將其用作輸入圖像的評價(jià)函數(shù)。評價(jià)函數(shù)矩陣的大小與輸入圖像的大小相同。將圖像劃分為不同的塊，創(chuàng)建二進(jìn)制決策圖以從輸入圖像中選擇像素，并通過使用多數(shù)濾波器來應(yīng)用一致性驗(yàn)證。通過該融合規(guī)則，大多數(shù)聚焦點(diǎn)主要像素被合并到輸出圖像中。

(6)

圖7 圖像融合方案

式中：o表示方向上的索引；??表示當(dāng)值為正時(shí)封閉量等于自身，否則為0；Wo(x)是濾波器響應(yīng)擴(kuò)展值的權(quán)重函數(shù)；To是估計(jì)的噪聲影響；ε是一個(gè)小的常數(shù)，以避免被零除；Ano(x)是位置x處第n個(gè)傅里葉分量的局部振幅；ΔΦno(x)是其余弦項(xiàng)。

由于聚焦對象由一系列相鄰像素而不是單個(gè)像素表示，因此文中將FM矩陣劃分為小塊。相應(yīng)地，決策圖用Kronecker乘積展開。例如，如果Db是2×2矩陣，W2是一個(gè)全1的2×2的矩陣，那么Kronecker乘積Dp是4×4矩陣。計(jì)算過程如式(7)所示。

(7)

圖像融合方案可以概括為以下七步過程：

步驟1：歸一化由IA(x，y)和IB(x，y)表示的2個(gè)輸入鐵譜圖像到[0，1]的范圍。

步驟2：計(jì)算輸入鐵譜圖像的焦點(diǎn)評價(jià)函數(shù)FM。

步驟3：將FM矩陣劃分為不重疊的8×8塊，并將每個(gè)塊中的平方值相加以生成特征矩陣。

步驟5：使用多數(shù)濾波器平滑處理矩陣D(p，q)。

步驟6：通過使用Kronecker乘積展開決策圖Db(p，q)至Dp(p，q)。

步驟7：使用決策圖Dp(x，y)從原始輸入鐵譜圖像中選擇像素以獲得融合鐵譜圖像。

2.2 圖像融合質(zhì)量評價(jià)方法

對于經(jīng)過焦點(diǎn)融合算法處理之后得到的圖像，需要對其焦點(diǎn)融合效果進(jìn)行客觀評估。圖像融合質(zhì)量評價(jià)方法可以分為基于圖像梯度的清晰度評價(jià)函數(shù)、基于頻域評價(jià)函數(shù)、基于信息熵評價(jià)函數(shù)以及基于統(tǒng)計(jì)學(xué)評價(jià)函數(shù)，其計(jì)算公式如表1所示。

表1 圖像清晰度評價(jià)指標(biāo)[12-14]

表中，f(x，y)表示在索引(x，y)處對應(yīng)像素點(diǎn)的灰度值；G(x，y)是像素點(diǎn)(x，y)處的梯度；C(μ，v)代表余弦變換的變換系數(shù)矩陣；P(μ，v)表示f(x，y)的傅里葉變換；Pk(g)表示在第k幅圖像中灰度值g出現(xiàn)的概率；Hk表示灰度級為k的直方圖值。

上述評價(jià)方法包含了圖像像素間關(guān)系的指標(biāo)以及圖像整體評價(jià)的指標(biāo)。圖像梯度是通過計(jì)算相鄰像素間的梯度值，可以看成是圖像像素間關(guān)聯(lián)性的一種評價(jià)指標(biāo)，清晰銳利的圖像相較于離焦模糊的圖像在圖像邊緣像素會有更強(qiáng)的變化，因此具有更大的梯度值。圖像頻域評價(jià)是考察圖像的頻率分量，對焦清晰的圖像高頻分量較多，對焦模糊的圖像低頻分量較多。信息熵評價(jià)主要反映的是圖像信息的整體豐富程度，清晰圖像相較于離焦圖像，圖像整體具有分布更廣的灰度值區(qū)間，由于灰度值之間差異較大，因此清晰圖像的熵值更大，而離焦圖像的熵值相對更小。在基于統(tǒng)計(jì)學(xué)的圖像評價(jià)函數(shù)中，Range函數(shù)是對灰度直方圖的統(tǒng)計(jì)量比較，Vollaths函數(shù)則是反映的空間兩點(diǎn)的相似性，清晰圖像由于圖像邊緣更加銳利，因此相較于離焦圖像像素點(diǎn)間的相關(guān)程度更低。

3 實(shí)驗(yàn)及結(jié)果分析

取某發(fā)動(dòng)機(jī)潤滑油油樣，使用鐵譜儀進(jìn)行制譜，并使用上述自動(dòng)聚焦掃描顯微鏡進(jìn)行圖像采集。由計(jì)算可知該系統(tǒng)使用50倍物鏡時(shí)的景深約為1.3 μm，設(shè)置顯微鏡垂直方向掃描步長為2 μm，進(jìn)行4次垂直方向聚焦掃描，最終得到如圖8所示的4張不同焦點(diǎn)鐵譜磨粒圖。

從圖8中可以看出，磨粒圖像邊緣具有較高的梯度值，因此使用基于Canny算子的磨粒邊緣檢測算法，分割磨粒和背景，對磨粒進(jìn)行提取，去除鐵譜磨粒圖中的背景。提取后的多焦點(diǎn)鐵譜磨粒圖如圖9所示。

圖9 多焦點(diǎn)鐵譜磨粒提取圖

首先采用圖像融合領(lǐng)域常用的小波融合算法[15]對圖9中的4幅多焦點(diǎn)磨粒圖依次進(jìn)行融合處理，所得到的小波融合最終結(jié)果圖如圖10所示。可以看出，小波融合圖像相較于單張?jiān)寄チD像具有更加清晰的中心銳度，但磨粒邊緣位置還是存在較為模糊的情況。

圖10 小波融合圖像

然后使用文中所提出的基于相位一致性的多焦點(diǎn)鐵譜圖像融合方法對多焦點(diǎn)磨粒圖像進(jìn)行圖像融合，最終得到PC融合結(jié)果如圖11所示。單純通過主觀感知比較圖10與圖11可以看出，PC融合圖像相較于小波融合圖像具有肉眼可見的更高的清晰度，無論是磨粒中心的銳度還是磨粒邊緣的聚焦度，PC融合圖像均具有更佳的視覺效果。

圖11 PC融合圖像

為了對磨粒融合圖像的融合質(zhì)量進(jìn)行客觀評價(jià)，計(jì)算了表1中所提出的10種評價(jià)指標(biāo)值，對這些值進(jìn)行歸一化處理，最終圖像質(zhì)量評價(jià)結(jié)果如圖12所示。圖中橫坐標(biāo)1—4分別代表圖9中的4張不同焦點(diǎn)磨粒圖像，5表示小波融合圖像，6表示PC融合圖像。圖中結(jié)果是對原始圖像及融合圖像質(zhì)量的客觀評價(jià)，可以看出，小波融合圖像和PC融合圖像較原始圖像質(zhì)量均有顯著提升。其中PC融合圖像的這10種圖像質(zhì)量評價(jià)指標(biāo)均為最高值，即經(jīng)過PC融合算法處理之后，圖像具有最高的圖像清晰度，從而驗(yàn)證了文中所提出的圖像融合算法的有效性。進(jìn)一步計(jì)算可得出PC融合相較于小波融合精度提升了約14.6%。

圖12 圖像質(zhì)量評價(jià)結(jié)果

4 結(jié)論

設(shè)計(jì)并改造出了一臺四軸自動(dòng)掃描顯微鏡，可進(jìn)行多焦點(diǎn)圖像的自動(dòng)掃描。提出了一種基于相位一致性的鐵譜磨粒圖像多焦點(diǎn)融合算法，對自動(dòng)掃描的多焦點(diǎn)圖像進(jìn)行融合，最終得到清晰的磨粒圖像。該算法相較于傳統(tǒng)的小波圖像融合算法，具有更高的圖像融合質(zhì)量，且邊緣更加清晰。在未來的工作中，將嘗試將此套多焦點(diǎn)采集系統(tǒng)及圖像融合算法應(yīng)用于通用的目標(biāo)物多聚焦場景中，采用標(biāo)準(zhǔn)高度的對象進(jìn)行標(biāo)定和質(zhì)量評估，并與共聚焦顯微鏡等成熟技術(shù)進(jìn)行對比，擴(kuò)展文中所提出系統(tǒng)以及技術(shù)的通用性。