面向纖維顯微成像的圖像清晰度評價算法

瞿瑞德，李子印，汪小東，葉 飛，金 君

(1.中國計量大學 光學與電子科技學院，浙江 杭州 310018；2.湖州市質量技術監督檢測研究院(湖州市纖維質量監測中心)，浙江 湖州 313099)

在羊毛、羊絨纖維的特征提取、分類和評級過程中，纖維圖像的清晰度十分重要。清晰度較高的圖像是特征提取和分類識別的基礎。目前，我國大多數纖維檢驗部門主要采用人工調焦方法來尋找同一XY平面上的最清晰圖像，通過反復調節光學顯微鏡透鏡到載玻片的距離來實現，當距離不合適(離焦)時，纖維紋理很模糊；當距離適中(準焦)，纖維紋理很清晰。人工調焦方法由于結果不穩定、效率低下而不適合大規模纖維對焦。隨著計算機技術的不斷發展，圖像處理技術逐漸被應用于無參考圖像的清晰度評價，許多學者對此進行了深入研究。王健等[1]針對傳統Brenner評價函數的評價準確性取決于閾值設定的缺點，用圖像的中頻能量減去高頻能量的能量差值作為圖像清晰度。張霞等[2]提出點銳度算法，通過計算圖像中各邊緣的灰度變化來進行圖像清晰度評價，但缺乏對圖像平坦區域的表征。王鴻南等[3]提出改進的點銳度算法，考慮邊緣梯度的各向異性，將邊緣的梯度計算改為每個像素鄰域梯度的計算。曾海飛等[5]針對傳統的灰度梯度算法具有抗噪性差等缺點，提出改進的梯度閾值圖像清晰度評價算法，利用邊緣分割閾值T篩選出圖像的邊緣點，對其采用四方向Sobel算子模板進行卷積運算得到梯度，以所有邊緣點梯度的總和作為圖像清晰度。

除灰度梯度算法外，很多學者通過對清晰圖像和模糊圖像分布特征的大量分析，得出一些變化規律，研究出其他可行算法，從另一個角度解決灰度梯度算法的缺陷。Wang等[6]提出基于圖像結構相似度(SSIM)的圖像質量評價方法，認為圖像質量評價包括亮度的比較、對比度的比較和結構信息的比較3部分，圖像質量等于這三者的乘積，將待評價的原圖經過模糊得到對應的降質圖，對二者進行分塊處理，對每個子塊按照上述3部分進行評分計算，最后將三者評分相乘得到最終評分。該方法綜合利用圖像的許多關鍵信息，具有較高魯棒性。薛萬勛[7]通過BP-GA神經網絡對圖像清晰度進行評價，將待評價圖像的特征描述子作為輸入向量，圖像質量評價值作為輸出向量，通過網絡大量訓練得到圖像清晰度評價模型，但缺點是圖像清晰度對應的標簽打分具有人為不確定因素。

上述算法經過實驗測試，在同一XY平面采集的Z軸圖像序列(不同Z位置的圖像)中找出來的“最清晰圖像”是由于過曝光導致的纖維邊緣出現粗黑邊線，紋理模糊的圖像。原因是這些算法主要利用目標像素點鄰域中的灰度梯度信息構造一個評價函數，未考慮到顯微圖像的特性。雖然纖維邊緣出現粗黑邊線的情況對應的評價函數的得分是最高的，但這不是GB/T 10685—2007《羊毛纖維直徑試驗方法 投影顯微鏡法》所定義的清晰圖像，所以用基于灰度梯度函數的評價方法不適用圖像的清晰度評價。

為解決羊毛、羊絨圖像的清晰度評價問題，本文提出一種面向纖維顯微成像的圖像清晰度評價算法，該算法先利用圖像預處理去噪，再利用目標分割提取完整的纖維ROI(感興趣區域)。然后，通過基于Z軸圖像序列二值邊緣直方圖的清晰度算法進行圖像清晰度的計算。利用面向纖維顯微成像的圖像清晰度評價算法能在同一XY平面拍攝的Z軸圖像序列中找到符合GB/T 10685—2007的最清晰圖像，提高纖維顯微成像對焦的準確率和效率。

1 圖像的清晰度評價算法

1.1 圖像采集

先將顯微鏡移動到預先粗略設定好的焦距中心，在焦距中心拍攝1張圖像(記為0)，在同一XY平面下，先沿Z軸負方向每隔1個單位連續拍攝9張圖像(分別記為-1～-9之間的整數)，再沿Z軸正方向每隔1個單位連續拍攝9張圖像(分別記為1～9之間的整數)，不同XY平面的圖像如圖1所示。

圖1 不同XY平面的圖像 (×800,Z=-9)Fig.1 Fiber images of different Z positions XY plane (×800,Z=-9)

1.2 整體算法流程

整體算法流程如圖2所示。先進行圖像采集獲取不同XY平面的Z軸圖像序列，再進行圖像預處理對圖像去噪，然后通過融合形態學和連通域的目標分割提取纖維目標ROI，最后通過基于二值邊緣直方圖的清晰度算法對同一XY平面的Z軸圖像序列進行圖像清晰度計算，完成圖像清晰度評價。

圖2 整體算法流程圖Fig.2 Overall algorithm flow chart

1.3 圖像預處理

圖像預處理的目的是利用圖像降噪過濾掉圖像背景中的一些受灰塵、氣泡等因素影響而產生的噪聲，以此來消除噪聲對纖維目標ROI提取產生的干擾，纖維預處理效果如圖3所示。

圖3 纖維預處理過程圖Fig.3 Diagram of fiber pretreatment process.(a)Original image;(b) Downsampling image;(c) Median filter image

為提高目標分割的運行效率，先采用雙線性插值法對纖維原圖(本文取XY=1，Z=-9的圖像作為示例，如圖3(a)所示)，進行下采樣(寬度比例1/2，高度比例1/2)得到下采樣圖，如圖3(b)所示。

為濾除圖3(b)的背景中的小亮斑(噪聲)并保護纖維的邊緣信息，采用中值濾波將其濾除，得到中值濾波圖，如圖3(c)所示。

1.4 融合形態學和連通域濾波的目標分割

融合形態學和連通域濾波的目標分割的流程圖如圖4所示。

圖4 融合形態學和連通域濾波的目標分割的流程圖Fig.4 Flow chart of target segmentation combining multiple morphology and connected domain filtering

為去除背景區域噪聲，使圖像清晰度評價更準確，通過目標分割提取纖維目標ROI，實現纖維目標與背景區域分離，纖維目標分割過程如圖5所示。

Canny算子能夠標識出盡可能多的實際邊緣，同時盡可能地減少噪聲產生的誤報[8]，Canny邊緣檢測圖如圖5(a)所示。針對Canny算子檢測纖維邊緣存在線條斷裂、雜質線段多等問題，對Canny邊緣檢測圖進行閉運算處理，將纖維邊緣與內部紋理連接構成連通域，閉運算圖如圖5(b)所示。圖5(b)中，由于小亮斑的邊緣也會在閉運算的作用下構成連通域，因此，采用基于面積的連通域濾波方法將其濾除，連通域的標簽為：1,2,…，第1次連通域濾波的公式為：

(1)

圖5 圖像目標分割過程Fig.5 Target segmentation process of fiber image.(a) Canny edge detection iamge;(b) Closing operation image;(c) First connected domain filter image;(d) Reverse image;(e) Second connected domain filter image;(f) Repair image of internal holes in fibers;(g)Opening operation image;(h) Third connected domain filter image

式中：flag_delete1i為第1次連通域濾波中的第i個連通域的刪除標志位，1表示刪除，0表示保留；Area1i表示第1次連通域濾波中的第i個連通域的面積(i=1,2,…)；thVal_Area1表示第1次連通域濾波中的面積閾值。第1次連通域濾波圖如圖5(c)所示。圖5(c)中，小亮斑已被較好去除，但纖維內部存在黑色孔洞，需填補修復，具體步驟為：先對圖5(c)進行取反，取反圖如圖5(d)所示，再進行第2次連通域濾波。然后將圖5(c)(e)疊加，得到纖維內部孔洞修復圖，如圖5(f)所示。至此，已修復好纖維內部的小孔洞，但圖5(b)的閉運算會導致距離纖維較近的小亮斑與纖維黏連，需對圖5(f)進行開運算處理，將小亮斑分離，開運算圖如圖5(g)所示。再通過第3次連通域濾波就可以將其濾除。處理后只保留纖維目標，第3次連通域濾波圖如圖5(h)所示。

目標分割的目的是得到同一XY平面的Z軸圖像序列的每張原圖的纖維ROI。由于Z軸圖像序列經過目標分割得到的二值蒙版圖有所差異，為能準確地進行清晰度評價，需要一個包含纖維黑(白)邊線的蒙版作為評價區域。

對Z軸圖像序列分別應用上述圖像預處理、目標分割，得到對應的二值蒙版圖，再將這些Z軸二值蒙版圖序列按照同一像素點位置上出現白點的頻次是否高于穩定目標區域閾值Tsta而進行像素點位置篩選；若高于Tsta，則將此位置取為白點；若低于Tsta，則將此位置取為黑點；最終得到一張目標區域較為精確的蒙版疊加圖，如圖6所示。通過調整Tsta的大小可以控制纖維目標ROI冗余區域的大小，Tsta的計算公式為

Tsta=α×N

(2)

式中：Tsta為穩定目標區域閾值；α為比例系數；N為同一XY平面的Z軸圖像序列的圖片數量。

經實驗測試，當α取0.3時，纖維目標ROI冗余區域較小，目標分割效果最優。

圖6 目標區域較為精確的蒙版疊加圖Fig.6 A more accurate overlay of target area

然后，以圖6為該XY平面圖像的最終蒙版，對同一XY平面的纖維原圖進行篩選拷貝，篩選拷貝的公式見式(3)。

(3)

式中：W為最終蒙版疊加圖中位于白色背景區域的像素點的集合；B為最終蒙版疊加圖中位于黑色纖維目標區域的像素點的集合；(x,y)為最終蒙版疊加圖中坐標為(x,y)的像素點；f(x,y)為纖維原圖中坐標為(x,y)的像素點的灰度值；dst(x,y)為纖維ROI圖中坐標為(x,y)的像素點的灰度值。

不同XY平面的纖維原圖(Z=-9)經過相應蒙版疊加圖篩選拷貝得到的纖維ROI圖如圖7所示。

圖7 不同XY平面的纖維ROI圖Fig.7 ROI image of fibers at different XY planes

評價圖7所示ROI的提取質量的方法如下：讓纖維檢驗人員通過人工錨定方法提取出纖維的ROI，以此作為評價標準。本文的目標分割算法提取的纖維ROI比實際偏大，定義一個公式對ROI的提取質量進行衡量：

(4)

式中：ROI_accuracy為ROI區域準確度；mae_area為人工錨定方法提取出纖維ROI的大小，像素；pae_area為本文的目標分割算法提取出纖維ROI的大小，像素；ROI_accuracy位于[0,1]范圍，該值越趨近于1說明本文的目標分割算法提取纖維ROI的效果越好。

采用人工錨定方法提取的ROI的效果圖如圖8所示。其中，人工錨定方法提取的ROI用灰色透明蒙版表示，結合圖7、8的ROI，計算出ROI_accuracy分別為0.887,0.857,0.871,0.840，具有較高的準確度。

圖8 不同XY平面的人工錨定方法提取ROI區域的效果圖Fig.8 Rendering of extracting ROI by manual anchoring method at different XY planes

1.5 基于二值邊緣直方圖的清晰度算法

圖像清晰度計算的流程圖如圖9所示。

圖9 基于二值邊緣直方圖的清晰度算法的流程圖Fig.9 Flow chart of sharpness algorithm based on binary edge histogram

當Z從-9到9變化時，纖維邊緣先顯示黑色邊線，再顯示清晰銳利的細線，最后顯示白色邊線。根據GB/T 10685—2007，待尋找的最清晰圖像其邊緣顯示1條與背景相近的細線。

本文采用基于Z軸圖像序列二值邊緣直方圖的清晰度算法進行圖像清晰度的計算。以下步驟均是在圖7的Z軸圖像序列的基礎上進行，先通過設定4個閾值篩選出纖維ROI的邊緣白黑點并分別對其計數，其中2個閾值用于篩選邊緣白點，另2個閾值用于篩選邊緣黑點，公式如下：

(5)

式中：label(x,y)為點(x,y)的標記；1表示點(x,y)屬于邊緣黑點；2表示點(x,y)屬于邊緣白點；f(x,y)為點(x,y)的灰度值；thValblack_low為篩選邊緣黑點的低閾值；thValblack_high為篩選邊緣黑點的高閾值；thValwhite_low為篩選邊緣白點的低閾值；thValwhite_high為篩選邊緣白點的高閾值。

篩選出的邊緣白黑點，其位置與纖維邊緣的細線區域基本重疊，相當于利用纖維的邊緣信息進行清晰度評價，符合實際情況。本文列舉Z=-9和Z=9分別對應的纖維ROI圖及邊緣白(黑)點圖，如圖10所示(為方便可視化，邊緣黑點用灰色表示，邊緣白點用白色表示)。

圖10 纖維ROI圖及邊緣白(黑)點圖Fig.10 Fiber ROI diagram and white and black edge dot diagram.(a) Fiber ROI image (Z=-9)；(b) Edge white (black) dot image (Z=-9)；(c) Fiber ROI image (Z=9)；(b) Edge black (white) dot image (Z=9)

Z從-9到9變化對應的纖維邊緣白黑點數量統計圖和歸一化后的統計圖如圖11所示。

圖11 纖維邊緣白黑點數量統計圖Fig.11 Statistical graph of number of white and black points on fiber edge.(a) Before normalization; (b) After normalization

為了統一上述數據的數量級，需要分別對邊緣白黑點數量分別進行歸一化處理，采用式(6)進行數據歸一化處理，將數據壓縮至[0,1]范圍。

(6)

式中：xnorm和x分別表示歸一化后和歸一化前的邊緣白黑點數量，xmax和xmin分別表示歸一化前的邊緣白黑點數量的最大值和最小值，歸一化后的邊緣白黑點數量之和統計圖如圖12所示。

圖12 歸一化后的邊緣白黑點數量之和統計圖Fig.12 Normalized statistical graph of sum of white and black points on fiber edge

結合圖11、12并從中發現，當邊緣白點和黑點數量之和為最小時，此時對應的Z位置(Z=-4)拍攝的圖像最清晰，如圖13所示。但找出來的“最清晰圖像”缺少Z軸圖像序列中纖維白黑色邊線變化的不平衡約束，不能保證嚴格意義上的最清晰，所以需對歸一化后的邊緣白黑點數量進行白黑邊線變化不平衡校正(即分別減去各自的閾值)。

圖13 最清晰的圖像(Z=-4)Fig.13 Clearest fiber image (Z=-4)

由于觀察、分析采集的大量Z軸圖像序列發現同一XY平面的Z軸圖像序列中由于存在白色邊線在平均寬度上明顯大于黑色邊線的現象，所以需要對歸一化結果進行如下校正：設定2個閾值，使歸一化后的邊緣白點數量減去一個較大的閾值Twhite，歸一化后的邊緣黑點數量減去一個較小的閾值Tblack，若減去閾值后的結果小于0，則將其置為0。校正后的邊緣白點和邊緣黑點數量疊加，疊加后的數值在真正的焦距中心附近呈現一個凹型曲線的形狀，該凹型曲線的最低點對應的圖像就是最清晰的。歸一化后的邊緣白黑點數量分別校正后的統計圖和疊加后的統計圖如圖14所示。

圖14 校正后和疊加后的邊緣白(黑)點數量統計圖Fig.14 Statistical graph of number of white (black) points on edge after correction and superposition.(a) after correction;(b) after superposition

由圖14可知，Z=-4拍攝的圖像最清晰，符合實際情況。圖像清晰度計算公式為：

(7)

式中：Snorm為歸一化后的圖像的清晰度；norm()為歸一化到[0,1]范圍的函數；S為歸一化前的纖維圖像的清晰度；Ntotal為分別減去各自閾值后的歸一化后的邊緣白點黑點數量之和，其計算公式為

Ntotal=Nwhite_corrected+Nblack_corrected

(8)

式中：Nwhite_corrected為校正后的邊緣白點數量；Nblack_corrected為校正后的邊緣黑點數量。

Nwhite_corrected的計算公式為

(9)

式中：Nwhite表示歸一化后的邊緣白點數量；Twhite表示邊緣白點的閾值。

將邊緣白點替換為邊緣黑點，則式(9)變為

Nblack_corrected=Nblack-Tblack=

(10)

前4個XY平面的圖像清晰度變化曲線如圖15所示。

圖15 前4個XY平面的圖像清晰度變化曲線(本文算法)Fig.15 Change curve of image sharpness at the first 4XY planes(proposed algorithm)

2 實驗結果與分析

對本文算法進行定量化分析與計算，同時與部分基于傳統或改進的灰度梯度函數的圖像清晰度評價算法進行對比。實驗軟件：Visual Studio 2019，電腦硬件配置為：i7-8759H CPU，16G內存，進行測試的羊絨圖像是由CX40P顯微鏡拍攝所得，實驗圖像分為20組，每組圖像在不同的XY平面進行拍攝且共計19張，均按照遠焦到正焦、正焦到近焦的順序變化，每張圖像的分辨率為1 536像素×1 024像素，JPG格式。

將本文算法與Tenengrad算法(算法1)、改進的點銳度算法[3](算法2)、改進的Brenner算法[1](算法3)和改進的梯度閾值圖像清晰度評價算法[5](算法4)進行對比。為簡要表現對比結果，僅放置圖7(a)～(d) 4個XY平面的圖像序列對應的結果圖。

算法1～4在同一XY平面的Z軸圖像序列中找到的“最清晰圖像”一致，均是纖維邊緣出現粗黑邊線的圖像，原因是這些算法的原理是利用圖像的梯度信息進行清晰度評價，而纖維邊緣出現粗黑邊線的纖維目標，其平均梯度卻是最大的。算法1～4找出的“最清晰圖像”分別如圖16(a)～(d)所示，對這些“最清晰圖像”計算清晰度并歸一化，結果分別為0，0，0.287，0，清晰度評價并不準確。

圖16 算法1～4找到的“最清晰圖像”Fig.16 "Sharpest image" found with other 4 algorithms

本文算法找出的最清晰圖像如圖17所示，歸一化后的清晰度均為1，清晰度評價準確。經過纖維專業人員的人工調焦方法找到的最清晰圖像如圖18所示。

圖17 本文算法找到的最清晰圖像Fig.17 "Sharpest image" found with proposed algorithm

圖18 人工調焦方法找到的最清晰圖像Fig.18 Clearest image found by manual focusing method

為更好說明本文算法在羊毛、羊絨纖維顯微圖像上表現出的優越性，分別利用算法1～4和本文算法尋找并提取纖維目標ROI圖像的最清晰的局部區域，將這些最清晰的局部區域通過多層多區域的拼接，形成整幅纖維目標ROI圖像的全局清晰重建，合成5張全局清晰的圖像進行對比。

對圖7所示的4個XY平面的纖維目標ROI圖進行尋找和提取最清晰的局部區域，具體重建方法為：將纖維目標ROI圖按照一定步長和尺寸進行圖像分塊，對每個XY局部區域的Z軸圖像子塊序列進行清晰度計算，并取清晰度最大的圖像子塊作為最清晰的局部區域，以此類推，求得所有最清晰的局部區域，將這些最清晰的局部區域按照其在原先纖維目標ROI的具體位置進行拼接，得到一幅全局清晰的纖維目標ROI圖。圖像分塊的示意圖如圖19所示。

單位：像素。圖19 圖像分塊的示意圖Fig.19 Sketch map of image block

圖像分塊的相關公式如下：

Wblock=4

Hblock=4

(i∈[0,XNumblock-1]；j∈[0,YNumblock-1]；

k∈[-9,9]；i,j,k∈Z)

(11)

式中：Wblock為圖像子塊的寬度；Hblock為圖像子塊的高度；XNumblock為纖維目標ROI圖在X方向上的圖像子塊的數目；YNumblock為纖維目標ROI圖像在Y方向上的圖像子塊的數目；i,j分別為圖像子塊在纖維目標ROI圖中X方向；Y方向的索引號；k為同一XY局部區域的圖像子塊在Z軸圖像子塊序列中的索引號；f()為圖像清晰度評價函數；在給定的i,j下；計算不同k值的清晰度分數；maxscore為最大的清晰度分數；bestblock為最大清晰度分數對應的圖像子塊。

由于篇幅有限，且算法1～4構建的全局清晰的纖維目標ROI圖相似，因此選算法1的結果作為代表與本文算法進行對比，前4個XY平面的全局清晰的纖維ROI圖如圖20所示。其中，左側纖維為算法1的結果，右側纖維為本文算法的結果。

圖20 不同XY平面的全局清晰的纖維ROI圖(算法1與本文算法的對比)Fig.20 Globally clear fiber ROI at different XY position(comparison between algorithm 1 and proposed algorithm)

定義清晰點數占比Sg來衡量不同算法構建的全局清晰纖維ROI圖的清晰度，具體公式為：

(16)

前4個XY平面的全局清晰的纖維ROI圖的清晰點數占比對比圖如圖21所示。

圖21 全局清晰的纖維ROI圖的清晰點數占比對比圖Fig.21 Clear points ratio comparison diagram of globally clear fiber ROI

結合圖20、21可以看出：本文算法構建的全局清晰的纖維ROI圖，鋸齒效應較弱，對纖維邊緣信息的破壞程度較小，清晰點數占比極高(接近1)，構建的全局清晰的纖維ROI圖，其邊緣大多數都是與背景顏色相近的細線，符合GB/T 10685—2007；而算法1～4構建的全局清晰的纖維ROI圖，具有很明顯的鋸齒效應，基本上破壞了纖維邊緣信息，清晰點數占比不是很高，構建的全局清晰的纖維ROI圖仍然具有大量粗黑和粗白邊緣，不符合GB/T 10685—2007。

本文算法和算法1～4對應的XY=1的圖像清晰度對比如表1所示(由于篇幅限制，僅展示羊絨纖維圖像的計算結果)。其中，本文算法和算法1～4的圖像清晰度計算的數值都進行歸一化處理，變換至[0,1]范圍，方便不同算法之間進行對比分析。

從表1可以看出：算法1～4針對羊絨圖像的清晰度無單峰性；而本文算法計算出來的圖像清晰度具有單峰性，與實際結果吻合。

表2是關于算法1～4、本文算法、專業人員鑒定在每個XY平面的Z軸圖像序列中找出的最清晰圖像的序號以及準確率，表2中的小數數據表示最清晰圖像的序號。其中，小數點的左邊數字表示XY平面的編號，小數點的右邊數字表示Z軸圖像的序號。從表2可以看出，本文算法尋找最清晰圖像的平均準確率達到94.5%，算法1～4的準確率不超過50%，不適用于纖維圖像的清晰度評價，本文算法與算法1～4相比有較大提高。

表1 本文算法與算法1～4的清晰度計算對比(第1個XY平面的圖像)Tab.1 Sharpness calculation of the proposed algorithm is compared with algorithm 1-4 (First XY plane)

表2 本文算法與算法1～4尋找最清晰圖像的準確率對比(前20個XY平面的圖像)Tab.2 Accuracy of proposed algorithm compared with algorithm 1-4 in finding clearest image (First 20 XY positions)

3 結束語

針對灰度梯度算法無法準確對纖維圖像進行清晰度評價的情況，本文提出了一種面向纖維顯微成像的圖像清晰度評價算法。該算法先后通過圖像預處理、目標分割提取纖維目標ROI，再通過二值邊緣直方圖進行清晰度評價，同一XY平面的Z軸圖像序列對應清晰度曲線，該曲線的最大值對應的圖像最為清晰，符合GB/T 10685—2007《羊毛纖維直徑試驗方法 投影顯微鏡法》。試驗結果表明：該算法能夠有效改善灰度梯度算法的不足，更適用于纖維顯微成像的清晰度評價，運行效率和準確率較高，魯棒性強，為后續的自動對焦和羊毛與羊絨纖維分類識別工作提供技術支持。