多聚焦宮頸細胞圖像融合方法?

汪傳忠,史 俊,武海燕

多聚焦圖像融合是按照一定的融合規則,把同一視野中的不同聚焦點的圖像進行相關的處理,再通過圖像處理技術將圖像中清晰部分組成一幅新的、滿足某種需求的圖像.圖像融合作為一種有效的融合技術,已經廣泛應用于機器視覺、醫療診斷、軍事、遙感等領域[1-3].當前,宮頸病變細胞排查不僅需要獲取更高分辨率的宮頸細胞圖像,更需要完整精確的宮頸細胞表面的信息.由于受到顯微鏡光學成像機制和現實物理條件的限制,在顯微圖像的應用和處理中,常常遇到這樣的問題:在顯微光學成像系統中,低倍顯微鏡工作距離長,景深比較大,由于顯微鏡物鏡焦深范圍小,隨著放大倍數的增大,景深會相應減小[4],只有那些在聚焦平面或其附近的物體才是可見的,這使得物體不可能在一幅圖像中完全聚焦清晰.本文所用宮頸細胞圖像是通過醫學顯微鏡在40倍鏡頭下采集獲取的,從采集到的宮頸細胞圖像上可以很明顯的看出,聚焦的部分比較清晰,不聚焦的部分比較模糊,從而影響宮頸病變細胞的排查和診斷.

圖像融合通常分為像素級融合、特征級融合和決策級融合 3個層次.其中像素級融合方法主要有:像素灰度值的平均或加權平均;像素灰度值選大;像素灰度值選小[5].這些方法具有算法簡單、計算速度快的優點,但是融合效果較差,很難應用于多聚焦圖像融合中.小波技術是在20世紀80年代中期發展起來的,具有以下優點:①具有良好的時域頻域局部性;②多分辨率的特征;③其他一些塔形分解所不具有的優點.小波變換將原始圖像分解成具有不同空間分辨率和頻域特性的子圖像,反應了原始圖像的局部特征變換,在多個分階層、多個頻帶上進行融合.通常的融合算法是進行簡單的加權和直接選取最大小波系數或選用計算方差等進行融合[6].本文提出了一種基于小波分解的多聚焦宮頸細胞圖像融合算法,采用‘sym4’分解并做3層小波分解獲取相應的高頻和低頻分量;對于小波分解得到的高頻分量,基于絕對值最大的原則選擇最佳高頻系數;對于小波分解得到的低頻分量,基于自適應分塊原則,計算其圖像的單位像素灰度梯度來選擇最佳低頻系數;然后對融合結果進行一致性校驗;最后獲取整幅清晰的宮頸細胞融合圖像.

1 景深及透鏡成像原理[7-9]

鏡頭的原理就如同透鏡成像[7],景深與透鏡的關系如圖1所示.

圖1 景深與透鏡的關系Fig.1 The relation between focus depth and optical lens

利用相似三角形的性質,得到式(1)

式中:F表示鏡頭拍攝時的光圈值,即控制光通量的參數,光圈值F=鏡頭焦距/鏡頭口徑的有效直徑.

δ表示彌散圓直徑,通常用作相對參數使用.根據式(1),求出景深距離

從式(2)可以看出,景深可以通過加機圈延長像距等方式來增大,但是相應的會減小視場[8-9].

2 小波變換及其多分辨率分解

2.1 小波變換

設ψ(t)∈L2(R)(表示平方可積的實數空間,即能量有限的信號空間),其傅里葉變換為.當滿足允許條件

時,稱 ψ(t)為一個基本小波或母小波.經伸縮和平移后,可以得到一個小波序列

式中:a為伸縮因子;b為平移因子.

對于任意的函數f(t)∈L2(R)的連續小波變換為

其逆變換為

2.2 分辨率分解

多分辨率結構是利用對圖像進行自底向頂的分解,每一層圖像都是前一層圖像經過某種模板濾波形成的.由于顯微鏡物鏡焦深范圍小,隨著放大倍數的增大,景深會相應減小.在高倍鏡成像條件下,景深非常有限,使得顯微圖像中的目標不可能在同一聚焦下完全清晰可見.為了解決這一問題,我們引入了基于多分辨率分析的圖像融合方法,利用多分辨率技術將圖像進行二維小波分解,分別得到圖像的低頻分量、水平高頻分量、垂直高頻分量和對角分量.圖像經過二層小波分解的示意圖如圖2所示.其中C2為圖像的低頻分量,集中了主要能量;(i=1,2,…,n;λ=h,v,d)分別表示水平高頻分量、垂直高頻分量和對角分量,高頻分量對應著圖像的細節部分.

基于小波分解的多聚焦彩色圖像融合流程圖如圖3所示.

圖2 圖像的二層小波分解示意圖Fig.2 The diagram of the 2-layer wavelet decomposition of a image

圖3 基于小波分解的多聚焦彩色圖像融合流程圖Fig.3 The flowchart of wavelet-based fusion of multi-focus color image

具體的融合過程為:①將n幅多聚焦彩色圖像的R、G、B3個波段轉換到IHS空間,得到I、H、S3個分量;②將I分量進行3層小波分解,獲取相應的高頻分量C3和低頻分量D(i=1,2,3;λ=h,v,d).其中,對于高頻分量,采用絕對最大值原則,得到的融合圖像的細節比待融合圖像更加豐富、清晰.③對于低頻分量,先計算n幅圖像塊的清晰度,本文選擇圖像的單位像素灰度梯度作為清晰測度,用FOX表示圖像x的第i塊清晰測度,用MAX_FOX表示清晰測度最大值,用NUM(x)表示滿足要求的圖像x的個數,用TH表示自設定閾值.其中圖像的單位像素灰度梯度函數

式中:I(x,y)表示圖像(x,y)點處的灰度值;f(I)表示梯度函數值;N表示像素總和.④按照以下規則對圖像進行自適應分塊:如果MAXFOX-FOX＜TH且NUM(x)≥2,繼續細分圖像塊;在其他情況下,直接取清晰度最大所對應的圖像塊作為融合圖像.⑤將細分后的圖像塊重復執行步驟 ③,④,當所分塊小于一定大小時就停止這種循環,本文的最小塊為4×4.⑥對融合結果進行一致性校驗,通常一致性檢測的領域窗口設為3×3或3×5,獲取新的I分量.⑦計算n幅圖像的亮度,取亮度最大對應的H和S分量,將新的IHS模型通過逆變換為RGB模型,最后得到融合彩色圖像.

3 試驗結果及分析

對多幅圖像進行融合,需要將每幅圖像的優點保留下來并集中到一幅新的圖像中.待融合的多聚焦宮頸細胞彩色圖像,不同聚焦的8幀圖像,如圖4的(a)至(h)所示,大小為208×208.本文選擇‘sym4’小波基,對于給定長度的圖像,它是具有較高的消失矩的非對稱小波[10,11],有助于增強高頻分辨能力.本文采用‘sym4’分解并做3層小波分解,得到相應的試驗結果,如圖4的(i)和(j)所示.

圖4 多聚焦宮頸細胞彩色圖像融合結果Fig.4 The fusion outcome of the multi-focus image of cervical cell

4 結 論

在多聚焦宮頸細胞圖像融合過程中,融合規則、融合算子和圖像清晰度度量方法是 3個關鍵的技術.融合規則能夠直接體現出后續融合的效果;融合算子是對圖像融合進行算法優化的關鍵技術;圖像清晰度度量方法是辨識清晰圖像的重要保證.本文提出了一種基于小波分解的多聚焦宮頸細胞圖像融合算法,同時利用圖像的單位像素灰度梯度函數作為圖像清晰度度量方法,通過對多聚焦宮頸細胞圖像融合試驗表明該方法是可行的.

[1]Aggarwal J K.Multisensor Fusion for Computer Vision[M].Springer Verlag,Berlin,Germ-any,1993.

[2]Hall D L,Llinas J.An introduction to multisensor data fusion[J].Proc.IEEE,1997,85(1):6-23.

[3]Varshney P K.Multisensor data fusion[J].Electron.Common.Eng.J.,1997,9(12):224-253.

[4]戴宜全,鄭翔,楊福俊,等.基于小波分解的多聚焦圖像融合.江蘇力學學術大會2008暨第四屆蘇港力學及其應用論壇,2008.

[5]覃征.數字圖像融合[M].西安:西安交通大學出版社,2004.

[6]劉振慧,高晶敏,催天橫.一種基于小波變換的圖像融合新算法[J].計算機工程與應用,2007,43(12):74-76.

Liu Zhenhui,Gao Jingmin,Cui Tianheng.Novel image fusion algorithm based on wavelet transform[J].Computer Engineering and Applications,2007,43(12):74-76.(in Chinese)

[7]呂茂鈺.光學零件制造[M].北京:機械工業出版社,1977.

[8]張登臣,郁道銀.實用光學設計方法與現代化光學系統[M].北京:機械工業出版社,1995.

[9]包學誠.攝像鏡頭的光學原理及應用技巧[M].上海:上海交通大學出版社,1999.

[10]飛思科技產品研發中心.小波分析理論與MATLAB7實現[M].北京:電子工業出版社,2005.

[11]成禮智,王紅霞,羅永.小波的理論與應用[M].北京:科學出版社,2004.