基于Forstner算子的血細胞顯微圖像拼接

張從鵬 謝佳成 熊國順

(北方工業大學機械與材料工程學院 北京 100144)

0 引 言

血細胞數字切片包含了醫療涂片上全部病理信息，是臨床疾病診斷的重要依據[1]。數字切片具有閱片方便、存放可靠、無污染等優點，是形態學檢驗智能化發展方向[2-3]。全景玻片圖像是由一系列單幅數字切片圖像拼接而成的，可以更直觀、更全面地把握形態學信息，避免因局部信息造成誤診，而且對單幅數字切片視野邊緣的不完整細胞，通過拼接可以還原細胞全貌。

目前，圖像拼接方面的研究多見于無人機影像和遙感圖像的領域[4-8]。徐麗燕等[9]利用特征網格和Forstner算子相結合，并采用多光譜遙感圖像配準的算法，在遙感圖像拼接時提升精度。李浩等[10]利用自適應閾值Harris算子與Forstner算子結合篩選特征點并隨機抽樣對圖像配準，在宏觀視野圖像拼接中應用良好，不適用于精度級別高的顯微圖像。羅守品等[11]運用ORB首先進行圖像匹配，然后使用網格運動對誤匹配點剔除，再匹配提升精度，但是效率降低。

醫學診斷圖像對拼接的精度要求極高，由于存在噪聲特征點影響，實現高效率、高質量拼接的難度很大。本文研究血細胞數字切片的拼接技術，設計出一種兼顧效率和準確度的顯微圖像拼接方法，并將成果應用于顯微視覺全自動血細胞玻片掃描儀，對于提高形態學臨床檢驗效率和診斷水平具有重要現實意義。

1 特征點檢測

1.1 特征點檢測算子

圖像自動拼接是尋找相鄰視野圖像的相同特征點，并將其坐標重合的過程，所以圖像特征點檢測匹配是圖像拼接的關鍵。Forstner算子的原理是提取圖像中與鄰域相差較大的點作為特征點，是實際應用中成功率最高的算子之一，計算過程如下：

首先，計算Roberts梯度。

(1)

其次，計算任意一點的(xi,yi)為中心的n×n窗口內的協方差矩陣。

(2)

式中:gx,c和gy,c分別代表圖像每個通道上的一階導數。

然后，計算特征點的權值ω和圓度q。

(3)

之后，將式(3)計算的值與閾值進行對比，選取ω>Tω,q>Tq的點作為候選點。

(4)

最后，優化候選點。

1.2 特征點檢測算子性能檢測

為測試Forstner算子性能指標，對圖1進行特征點檢測，窗口為300×200像素的特征點檢測局部放大圖，黑色十字交叉點為特征點位置。然后記錄算法耗時、特征點提取個數、精度等性能指標。

圖1 血細胞顯微圖像

以圖像中心為圓心，在以短邊長為直徑的圓形區域內提取特征點與該圓形區域逆時針旋轉25°后再提取特征點進行坐標對比，計算旋轉前(xi,yi)與旋轉后(mi,ni)位移大小的均方根誤差，以此代表特征點精度，計算公式如式(5)所示，實驗數據如表1所示。

(5)

表1 算子性能指標實驗數據

由實驗結果及前期工作可知：Forstner算子有著優異的特征點檢測精度(前期工作包括與其他常用算子進行性能指標對比)，同時能夠有效地剔除品質不好的特征點，適用于精度要求高的應用場景。

2 特征點匹配優化

圖像拼接精度對血細胞形態識別具有關鍵影響，因此選用精度較好的Forstner算子進行血細胞圖像特征點檢測。針對該算子運算耗時較大的不足，通過特征匹配優化策略實現效率提升。

2.1 匹配策略處理

由于拼接匹配對只有可能存在于圖像的重合區域內[16-17]，因此匹配優化的目標就是在相拼接的圖像重合區域內，尋找面積盡可能小的、包含拼接特征點信息的圖像塊，從而減小算法的搜索面積，提高效率。

(1) 拼接重合區確定。根據圖像采集特點，拼接重合區位于圖像的四周邊緣，呈矩形帶狀，如圖2所示。實驗得知：當拼接重合區等于整幅圖像面積的1/4時，既保證有效特征點配對數量不會減少，又可以縮小搜尋面積。

圖2 區域劃分示意圖

(2) 區域配準。在拼接重合區域中心選取200×200像素大小的窗口進行輪廓提取，該輪廓作為配準塊與相拼接圖像形狀匹配，以形狀直方圖的比值為評分標準[18]。如圖3所示，在黑色區域提取配準塊。

圖3 配準塊區域

2.2 特征點冗余處理

圖像采集傳輸時受機電設備影響形成圖像噪聲。在Forstner算子計算梯度階段，由于采用噪聲敏感的Robert算子計算導數，處理后的圖像中仍然存在不少無效特征點。為此先采用高斯濾波器對圖像進行平滑，然后通過窗口化的高斯導數求導，篩選顯著特征點。二維高斯濾波器和高斯導數如式(6)和式(7)所示。

(6)

(7)

式中:σ為高斯分布的標準差。σ越大，窗口中心比值越小，平滑效果越明顯，根據實驗結果選取窗口為：3×3。所以式(2)改為：

(8)

2.3 優化后拼接流程及實現

本文算法主要流程如圖4所示。

圖4 拼接算法實現流程

(1) 區域匹配主要步驟。

Step1將源圖像和目標圖像按照圖2所示分為4個區域；

Setp2確定源圖像配準塊位置，提取形狀邊緣輪廓作為配準塊；

Step3在目標圖像中進行輪廓配準，根據評分標準，確定重合區域。

以一個區域匹配為例算法編程如下(編譯語言為c#+halcon聯合編程)：

//將圖像劃分區域

HOperatorSet.GenRectangle1(out ho_RectangleF1,0,hv_Width*0.75,hv_Height,hv_Width);

//確定配準塊區域

HOperatorSet.GenRectangle1(out ho_ROIPartF1,500,1600,700,1800);

//提取輪廓作為配準塊

HOperatorSet.CreateShapeModel(ho_ImageROI,5,0,0,0,"point_reduction_low","ignore_coor_polarity",30,17,out hv_ModelID);

//配準塊匹配

HOperatorSet.FindShapeModel(ho_ImageT,hv_ModelID,0,0,0.80,4,0.5,"least_squares",0,0.7,out hv_RowCheck,out hv_ColumnCheck,out hv_AngleCheck,out hv_Score);

(2) 圖像預處理的主要步驟。

Step1對圖像進行高斯濾波；

Step2對圖像進行高斯求導。

以對行處理為例圖像高斯降噪算法編程如下(編譯語言為c#+emgu.cv聯合編程)：

double[] kernel=GaussKernel(radius,sigma);

//GaussKernel為二維高斯濾波器

for (int y=0;y

{

for (int x=0;x

{

//tempR、tempG、tempB為(x，y)點RGB三通道數值

tempR=tempG=tempB=0.0;

//radius為高斯濾波器大小取3×3

for (int k=-radius;k<=radius;k++)

{

rem=(Math.Abs(x+k)% w);

t=rem*4+y*w*4;

K=kernel[k+radius];

//RGB三通道與高斯濾波器卷積

tempB+=srcValue[t]×K;

tempG+=srcValue[t+1]×K;

tempR+=srcValue[t+2]×K;

}

//將RGB三通道數值賦值數組

v=x×4+y×w×4;

tempValue[v]=(byte)tempB;

tempValue[v+1]=(byte)tempG;

tempValue[v+2]=(byte)tempR;

}

}

3 實驗結果及分析

實驗的顯微視覺平臺如圖5所示，采用OLYMPUS顯微鏡及10倍物鏡，視覺系統選用Basler彩色工業相機。實驗環境為：Windows10操作系統、Intel- i5處理器、8 GB內存。圖像來源為：基于自主搭建的顯微視覺采集系統，涂片來源于合作醫院病理科，在實驗室拍攝的分辨率為：1 920×1 200 RGB圖像，內存大小為6.59 MB。

圖5 圖像采集系統

3.1 區域匹配實驗

為了快速準確定位圖像重合區域，選取圖1中的配準塊與相拼接圖像進行區域配準。圖6是區域配準塊尋找結果，深灰色輪廓為區域配準塊，背景為匹配區域。

(a) 評分0.96 (b) 評分0.42

(c) 評分0.41 (d) 評分0.41圖6 區域匹配結果

匹配評分低于設定閾值則判定匹配失敗，根據實驗數據選取閾值0.80，即可獲取唯一匹配區域。對圖7所示圖像分別進行全域匹配和區域匹配實驗，結果如表2所示。

(a) 全域計算 (b) 區域計算圖7 特征點分布

表2 區域匹配實驗

實驗結果表明：采用區域計算策略，配對時間減少了93.57%；特征點匹配率提升了40.15百分點。

3.2 特征點冗余處理實驗

為評估噪聲及不顯著特征點濾波算法性能，采用單一的Forstner算子與本文算法對同一幅圖像進行特征點提取，性能指標對比數據如表3所示，特征點尋找效果如圖8所示。

表3 算子性能實驗對比數據

(a) Forstner算法 (b) 本文算法圖8 特征點尋找的效果圖

根據實驗結果可以看出：特征點匹配率提升4.32百分點，匹配耗時減少80.56%。

3.3 圖像拼接實驗

采用Forstner原始算法和本文改進算法分別對圖1所示圖像及其配對圖像進行拼接實驗(共三組)，實驗結果如表4所示。

表4 傳統算法與本文算法對比

實驗結果可以看出：優化后的算法在匹配率上平均提升58.69百分點，時間效率提升90.13%，匹配優化后的圖像特征點經過拼接融合[19-20]后依然可以保證拼接效果沒有衰減，圖9(a)為實驗拼接結果展示，窗口的中縫為拼接縫隙，圖9(b)為第一組實驗的傳統算法拼接結果對照。

(a) 第一組拼接實驗及縫隙

(b) 傳統算法拼接實驗及縫隙圖9 拼接效果樣圖

4 結 語

面向血細胞數字切片形態學檢驗需求，通過對算法系統的性能比對研究發現，Forstner算子對于血細胞數字顯微圖像特征點檢測具有最高精度，確定了基于Forstner算子的血細胞圖像特征點檢測方案。針對冗余特征點導致算法效率低下的問題，本文提出了區域匹配策略和圖像定向濾波的性能優化算法，并且應用于自主研發的血細胞形態檢驗智能機器人，能夠滿足臨床自動檢測精準快速在線圖像處理的需求，是智能醫療的重要組成部分，也為其他大場景圖片拼接提供了有效的方式。實驗結果表明：改進后的Forstner算法不僅能夠滿足血細胞圖像拼接的高精度要求，尋找特征點時特征點匹配率平均提升58.69百分點，減少無效特征點配對時間，時間平均縮短了90.13%。