基于特征匹配的微生物弱小目標分割識別方法

呂侃徽　陳　珂

1(浙江金融職業學院信息技術系　浙江 杭州 310018)2(廣東石油化工學院計算機科學與技術系　廣東 茂名 525000)

?

基于特征匹配的微生物弱小目標分割識別方法

呂侃徽1陳珂2

1(浙江金融職業學院信息技術系浙江 杭州 310018)2(廣東石油化工學院計算機科學與技術系廣東 茂名 525000)

摘要針對微生物桿菌在復雜背景下弱小目標識別困難，檢測實時性不高等難題，提出基于OpenCV下的弱小目標分割算子，并引入特征匹配，設計二者相融合的自動圖像識別機制。該方案通過H-S分割與圖像融合，再結合形態學濾波與特征匹配，解決了微生物弱小目標難識別的問題，計算量小。并基于經過匯編優化的OpenCV實現，解決了實時性要求高等難題。實驗結果表明，相對于傳統方法，該方案應用在自動微生物圖像識別上可以達到較好的效果，在工程上應用是可行的。

關鍵詞弱小目標分割算子特征匹配H-SOpenCV匯編優化快速識別

0引言

隨著圖像處理理論與技術的進步，對醫療健康重視程度的提高，圖像處理技術應用于顯微圖像識別已成為研究熱點[1,2]。顯微圖像往往數量大，圖像背景復雜，目標弱小，不易識別，這對圖像排查工作者在難度和工作量上都是極大的考驗[3,4]。因此，對于復雜背景下，通過計算機視覺對弱小目標的檢測快速性、精確性提出更高的要求。

目前，對桿菌的檢測和監察主要以顯微鏡檢查為主。以暗紅色桿菌為例，暗紅色桿菌是本文的識別目標。暗紅色桿菌,寬：0.2～0.6 um，長：1～10 um，直或彎曲[5-8]。泥氏染色，暗紅色為桿菌，以藍色作為背景。一般情況下，病理涂片的數量較多，需要相關的高精度檢測設備來替代醫生進行診斷，避免了人工檢測帶來的誤差因素，提高檢測精度[9,10]。

根據國外專家學者對桿菌的識別的研究進展，大多都是主要依靠圖像分割的方法分割出桿菌而識別出目標，取得一定的研究成果。但存在桿菌染色不均，特征微弱和離焦模糊的問題，使得分割結果中伴有雜質，為識別工作帶來較大干擾。為此，須解決兩個問題：(1) 桿菌識別的精度問題；(2) 桿菌識別的速度問題。然而大多數的研究停留在理論或實驗初步驗證(基于Matlab實現)階段，往往不能滿足實際工程中實時性高的要求。基于以上情況，本文提出弱小目標分割算子，并通過引入特征匹配，設計了二者相融合的自動圖像識別機制。該方案基于H-S分割與圖像融合，通過結合形態學濾波與特征匹配，解決弱小目標難識別的問題。同時整個方案計算量小并基于經過匯編優化的OpenCV實現，解決實時性要求高等難題。

1識別算法與原理

圖1為待檢測的桿菌,其寬：0.2～0.6 um，長：1～10 um，形狀表現為直或者彎曲。通過泥氏染色，桿菌保持紅色，背景轉變為藍色。

圖1　大腸桿菌(40倍鏡)

在圖1中，很難分辨出桿菌，這是因為其特征表現微弱，帶來識別困難的問題。對此，本文提出一種弱小目標分割方法，特點在于加入了特征耦合。通過建立一個弱目標分割算子結構，基于HSV顏色空間的H通道減S通道，即H-S分割，分割出包含桿菌紅色區域，通過2V通道減S和H通道，將高亮區域分割出來。為去除染色不均帶來的影響，對高亮區域進行取反并融合包含柑橘的紅色區域。然后，利用形態學濾波(開運算)和特征匹配進一步去除雜質，從而得到疑似目標。

1.1弱目標分割算子結構

在弱目標分割算子結構方面，設計主要考慮減小圖像全局分割后，含有大量雜質帶來識別效果困難的問題。首先，從去除染色不均帶來的干擾的角度出發，分割出高亮區域和紅色區域，并將它們融合，去除干擾；其次，通過對圖像的自適應分割，得到基本的疑似目標(包括一些干擾)；然后，利用數學運算方法即開運算，根據桿菌形狀(長條狀)分離出單細胞，去除雜質；接著根據桿菌存在面積大小的范圍，進一步去除雜志干擾；最后進行基于特征匹配的桿菌識別。弱小目標分割算子結構框架如圖2所示。

圖2　分割算子結構

1.2特征匹配

在特征匹配過程中，為避免神經網絡、遺傳算法等目標識別過程中前期建庫工作量大而復雜，同時實時性不高的缺點，這里根據長條狀桿菌的特點，提取色調距離和色調離散度，結合桿菌的形狀度和面積來建立特征數據庫。

根據2 000幅含有桿菌的樣本圖像學習，提煉特征經驗值，結合醫學數據，得到如表1所示的特征匹配標準。根據特征建立數據庫相比傳統的識別方法，實時性較強。

表1　特征匹配標準

(1) 目標與背景的色調距離

由于一些原因(曝光、染色)，來自不同視野和批次的圖像，存在一定的差異。這里定義目標和背景之間的相對顏色距離為：

(1)

式中，juli_h為目標與背景的H通道顏色距離，Omean為目標強度均值，Bmean為背景強度均值。雜質與桿菌顏色距離不同，相比于雜質的黑或灰色，桿菌多趨近于紅色，背景呈現于藍色。顏色距離愈大，目標為桿菌的可能性愈大。

(2) 目標色調離散度

基于目標桿菌的離散度較大，利用真目標與假目標梯度差之間的規律，與目標為桿菌的可能行為正比。即色調梯度愈大，目標為桿菌的可能性愈大，作為一種特征匹配標準。建立目標色調離散度的表達式如下：

(2)

式中，lisandu_h為色調離散度，表示區域內強度值梯度差，Pvalue為目標區域H通道強度值，Mvalue為目標區域H通道強度均值。

2OpenCV平臺下關鍵技術的實現

對于基于仿真軟件Matlab的弱目標識別實驗驗證過程中，由于沒有專門的乘法器，而且在判斷語句的代碼中運行效率比較低，開發出的識別算法往往在實時性方面不能達到高效的要求。本文實現的復雜背景下弱小目標快速識別機制建立在Visual C++平臺和OpenCV開源視覺庫基礎上實現。 通過C函數直接調用和分配內存，提高執行效率和運行速度，對函數進行匯編和優化，代碼效率高。有效調用OpenCV函數，并集成到識別系統中，增強識別機制的實時性，處理速度較Matlab仿真環境得到極大提高，其關鍵步驟實現如下所示：

(1) 載入圖像

調用cvLoadImage函數，實現內存對圖像的載入，如IplImage* ipl = cvLoadImage( path, 1 )。path變量類型Cstring字符串，存儲圖像文件路徑。將圖像載入內存，并顯示，如圖3所示。

圖3　載入待識別的圖像

(2) 分配圖像

對圖像的數據變量存儲，使用cvCreateImage函數分配圖像數據。使用像素深度為IPL_DEPTH_32F的圖像相比于像素深度為IPL_DEPTH_8U的圖像，顏色更豐富、更精準，為后面的識別判斷的準確性提供保障。

(3) 圖像轉換

采用cvConvertScale函數進行圖像轉換，圖像能夠采用32位float型表示，豐富顯示更多圖像的信息，增加圖像的顯示的數值分布，便于圖像后期處理。因此在對圖像IPL_DEPTH_32F處理，結果更精確；對IPL_DEPTH_8U的圖像處理時間縮短。

(4) 圖像顏色空間轉換

考慮人眼的視覺習慣，使用cvCvtColor函數進行轉換，采用cvSplit函數提取HSV顏色空間中單通道圖像，如下所示：

cvCvtColor(hsv, hsv, CV_BGR2HSV);

cvSplit(hsv, h, s, v, NULL);

//提取單通道

自此，圖像轉換至HSV空間效果。

(5) 圖像運算

作為弱小目標分割算子三部分：H-S分割、2V-H-S分割以及圖像融合。采用cvSub函數對圖像相減，圖像相加則采用cvAdd函數，圖像取反采用cvNot函數，調用cvThreshold函數進行圖像自適應閾值分割。圖像運算后的二值圖，如圖4所示。

圖4　圖像運算后的圖像

(6) 形態學濾波

形態學開運算采用先腐蝕后膨脹，從粘連細胞中分離出單細胞，并去除雜質和干擾，進一步篩查可疑視野。形態學開運算采用cvMorphologyEx函數，得到濾波后的二值圖。

(7) 面積濾波

對于分割出二值圖的白色區域即疑似目標區域，進行逐個掃描，統計面積。設定面積閾值，將閾值下區域填充。首先對二值圖白色區域統計個數；逐一掃描二值圖白色區域；通過函數tmparea得當前二值圖白色區域面積；函數contour1結束掃描；得到圖5所示的面積濾波后的二值圖。

圖5　面積濾波后的圖像

(8) 特征提取

特征提取過程是需對色調距離、顏色調散度的均值和均方差求解。目標區域R通道亮度均值和背景區域R通道亮度均值分別用cvAvg(r)和cvAvg(rb)來表示。色調距離是2種R通道亮度均值的函數表達式。

(9) 圖像釋放

釋放圖像資源，每處理一幅圖像，釋放一次，保證循環處理大批文件時，內存不泄露，通過cvReleaseImage函數運行實現。

3實驗結果與分析

選取來自北京協和檢驗洛奇臨床檢驗所的2000幅結核桿菌圖像(非訓練圖像)中的2幅圖像做為實驗樣本，如圖6所示，40倍目鏡下采集得到桿菌樣本。

圖6　待識別圖像(含有桿菌)

3.1桿菌識別和雜質的排除

基于本文算法，在計算機(1.99 GHz,內存2 GB)上利用Visual C++和OpenCV編程對以上圖像樣本進行圖像檢測。圖6的樣本表現為桿菌和雜質共存的狀態。參考本文檢測流程，首先對圖像6進行基于弱小目標分割算子的二值化處理，處理結果如圖7所示。圖7中可以明顯看到2個白色區域，即為疑似桿菌區域，由此提取疑似區域的坐標，并對疑似目標提取分析，提取的結果如圖8所示。(a)、(b)是提取出的疑似桿菌區域，對其進行特征提取，并匹配。計算得(a)、(b)的特征因子分別為{面積=30，伸長度=0.6，色調距離=46，色調離散度=61}、{面積=45，伸長度=0.6，色調距離=51，色調離散度=73}。參照表1所示，易判斷(b)為桿菌，而(a)為雜質，由此可見單純依靠分割得到包含有雜質的桿菌，不足以剔除雜質的干擾。通過對分割后的目標進一步匹配判斷，能夠比較容易地排除圖7顯示的雜質，說明采用本文提出的分割與特征匹配相結合的方法能夠排除雜質的干擾，得到比較準確的細小桿菌。

圖7　弱小目標分割算子處理后的二值圖結果

圖8　疑似桿菌區域的提取

3.2檢測系統運營的實效性

對本文提出的檢測快速識別系統的運營時間進行檢測，主要比較本文所用的OpenCV平臺與常用的Matlab實驗平臺的運營檢測時間。對圖6進行分割識別，得到如圖9所示的運行時間結果，比較圖9中的2個運營環境下的時間，發現Matlab平臺下，使用時間為768.441 ms，而OpenCV平臺下使用時間僅為80.4 ms。說明本文算法在OpenCV環境下運行表現出較高的實時性。

圖9　在Matlab、OpenCV環境運行結果

為進一步觀察和驗證本算法在OpenCV平臺下運營的實時性和高效性，對2000幀測試圖像，用本文的快速識別算法分別基于Matlab和Opencv 2個平臺實現，統計運行時間。由表2可知，在Matlab、OpenCV環境運行相同算法，預處理和特征提取判斷時間都相差很大，Matlab平均時間使用748 ms，而OpenCV僅使用85 ms，OpenCV明顯在速度上優于Matlab。

表2　弱小目標識別算法在Matlab、OpenCV下運行時間對比

3.3弱小目標檢測的穩定性和準確性

對本文提出的快速識別方法進行大量的測試驗證其穩定性和準確率，對北京協和檢驗洛奇臨床檢驗所的2000幅結核桿菌圖像進行檢測，檢測結果如表3所示。本文的快速識別算法的漏檢率和誤檢率分別為4.5%和9.6%，明顯低于僅弱目標圖像分割的方案的漏檢率12.5%和誤減率34%。可得本文將弱目標圖像分割與特征匹配相結合的方案在精度上遠優于單純依靠弱目標圖像分割的方案，同時經過2000張圖片的處理，表現出較好的檢測穩定性。

表3　弱小目標識別算法的漏檢率與誤檢率

4結語

本文針對復雜背景下弱小目標難以識別，實時性要求高的問題，提出了一種基于弱小目標分割耦合特征匹配的自動圖像識別方案。該方案基于H-S分割與圖像融合，再結合形態學濾波與特征匹配，解決弱小目標難識別的問題。該方案計算量小并基于經過匯編優化的OpenCV實現，解決實時性要求高等難題，相較于Matlab環境，具有更高的速度。該方案將目標分割與特征匹配相結合，相比于單純依靠圖像分割，具有更高的精度。實驗結果表明，該方案解決了復雜背景下弱小目標難以識別，實時性要求高的問題，可以應用于復雜背景下弱小目標快速識別的工程領域，提高工作效率。

參考文獻

[1] 翟永平.基于顏色及梯度統計特征的結核桿菌目標識別[J].國防科技大學學報,2012,18(4):530-533.

[2] Plissiti M E,Nikou C,Charchanti A.Automated detection of cell nuclei in pap smear images using morphological reconstruction and clustering[J].IEEE Trans Inf Technol Biomed,2011,3(2):213-216.

[3] 孫涵漩.基于BP神經網絡的結核桿菌目標識別[J].中國體視學與圖像分析,2010,15(1):13-17.

[4] 鐘建軍.增權結核菌動態顯微圖像智能識別關鍵技術研究[D].上海:東華大學,2009.

[5] Xu X Y,Xu S Z,Jin L H,et al.Characteristic Analysis of Otsu Threshold and Its Applications[J].Pattern Recognition Letters,2011,7(32):956-961.

[6] MatIsa N A,Mashor M Y,Othman N H.An automated cervical precancerous diagnostic system[J].Artificial Intelligence in Medicine,2008,42(1):315-319.

[7] 谷成鳳.液基細胞學檢測和TBS分類在宮頸病變篩查中的應用[J].成都醫學院學報,2011,5(4):24-26.

[8] Plissiti M E,Nidou C,Charchanti A.Watershed-based segmentation of cell nuclei boundaries on Pap smear images[C]//2010 10th IEEE International Conference on Information Technology and Applications in Biomedicine(ITAB),2010:1-4.

[9] 張慶紅.TCT檢測在宮頸癌篩查中的應用價值[J].中國社區醫師,2011,21(2):78-79.

[10] Mao S,Chan Y,Chu Y.Edge enhancement nucleus and cytoplast contour detector of cervical smear images[J].IEEE Transactions on Systems Man and Cybernetics,2012,3(2):235-239.

SEGMENTATION AND RECOGNITION METHOD FOR SMALL MICROORGANISM OBJECT BASED ON FEATURE MATCHING

Lü Kanhui1Chen Ke2

1(DepartmentofInformationTechnology,ZhejiangFinancialCollege,Hangzhou310018,Zhejiang,China)2(DepartmentofComputerScienceandTechnology,GuangdongUniversityofPetrochemicalTechnology,Maoming525000,Guangdong,China)

AbstractAiming at the problems of microorganism bacilli that their small objects is hard to be recognised in complex background and that low real-time property in detection, we presented the OpenCV-based small object segmentation operator, introduced feature matching, and designed an automatic image recognition mechanism integrating the above two. The solution, using H-S segmentation and image fusion, and combining morphology filtering and feature matching, solves the problem of difficulty recognition of small microorganism objects. The solution has small computation load and is implemented based on OpenCV with assembly optimisation. Experimental results showed that compared with traditional method, the solution achieved good effect in automatic microorganism image recognition, and was feasible in engineering application.

KeywordsSmall object segmentation operatorFeature matchingH-SOpenCVAssembly optimisationRapid recognition

收稿日期：2014-10-27。呂侃徽，講師，主研領域：計算機軟件技術，嵌入式系統，計算機網絡和計算機視覺。陳珂，副教授。

中圖分類號TP391

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.05.081