基于改進SLIC與CNN的細胞顯微圖像分割與計數

屈若為　徐桂芝

文章編號：1007-2373（2022）01-0001-06

摘要 針對細胞顯微圖像分割與計數問題，提出了一種基于改進SLIC（Simple Linear Iteration Clustering）超像素與卷積神經網絡（Convolutional Neural Networks， CNN）的細胞顯微圖像分割和技術的方法。首先對細胞顯微圖像進行預處理，然后對圖像進行改進后的SLIC超像素分割，再對圖像進行去噪，最后利用卷積神經網絡將細胞的重疊情況進行識別。實驗結果表明，針對細胞顯微圖像中目標分割不準確和重疊細胞識別不清等問題，該方法分割計數的準確率大于92%，平均一幅圖片的處理時間在100 ms左右。基于改進SLIC與CNN在獲得較好分割結果的同時，運行時間短，提高了運算效率與精度。

關 鍵 詞 SLIC;CNN;圖像分割;醫學圖像處理;細胞計數

中圖分類號 TP391? ? ?文獻標志碼 A

Cell microscopic image segmentation and counting based on improved SLIC superpixel and CNN

QU Ruowei， XU Guizhi

（State Key Laboratory of Reliability and Intelligence of Electrical Equipment， Hebei University of Technology， Tianjin 300130， China）

Abstract In order to solve the problems of segmentation and counting of microscopic cell images， an image segmentation algorithm based on an improved simple linear iteration clustering superpixel and an classification algorithm based on convolutional neural network （CNN） was employed. Cell microscopic images were first pre-processed， then segmented by improved SLIC superpixel. To count cells， the adhesive cells were classificated by CNN after being denoised. The experiment showed the good performance in microscopic image segmentation， classification and counting with accuracy of over 92% at around 100 ms per image. The method based on improved SLIC superpixel and CNN is fast and accurate in cell microscopic image segmentation and counting.

Key words SLIC; CNN; image segmentation; medial image processing; cell counting

0 引言

隨著計算機視覺技術與人工智能的發展，計算機輔助診斷已經成為醫學圖像處理領域中重要的研究方向之一，人們希望在醫學檢測中減少由人為因素帶來的誤差[1]。細胞的閱片與計數問題一直是醫學檢測領域中一項非常重要的工作，而這項研究的基礎是細胞顯微圖像的智能化分析[2]。目前，檢驗科醫生主要是通過顯微鏡，用肉眼觀察細胞顯微圖像，運用自己的經驗區分活細胞與滅活細胞、重疊細胞和單個細胞等。但目視等人工方法具有以下幾個缺點：1）獲取的細胞圖像摻雜噪聲污染，會造成圖像清晰度不高，影響醫生的正確閱片;2）帶有一定的個人主觀性，醫生根據個人經驗不同，造成診斷誤差;3）人工閱片需要長時間目視顯微鏡下的細胞圖像，長時間的閱片會引起視覺疲勞。這些問題都會為診斷帶來誤差[3]。與人工閱片方法相比，顯微圖像的自動識別在對細胞圖像分割及計數問題上顯示出了極其強大的優越性，不僅可以使醫生從大量簡單繁重的閱片工作中解脫出來，還能夠排除人的主觀性帶來的實驗結果的不確定性[4-6]。然而細胞顯微圖像由于受光照影響，亮度不均勻，而且切片的厚度不同會使得切片中出現細胞堆疊的情況，為細胞顯微圖像分割與計數帶來了困難[7]。

蘇茂君等[8]提出了一種耦合的脈沖神經網絡，實現了對血細胞圖像的準確計數，但其誤差主要來源于對堆疊的血細胞分辨不清，造成計數不準。武宗茜等[9]提出了基于自動波特征的計數方法，通過提取分割后細胞的連通區域，區分相互重疊的細胞，但這種方法存在一定程度的過度分割和欠分割，是造成誤差較大的主要原因。王祥生等[10]提出基于清晰度的細胞顯微圖像分割和計數方法，在整幅細胞顯微圖像中通過圖像各部分清晰度不同區別細胞和背景，在一定程度上減少了誤分割，雖然將平均準確率提高到93.6%，但在重疊細胞的處理中引入手工分割及人工閾值選取，不能實現完全自動化。

目前，大部分圖像分割算法以獨立的像素點作為圖像分析的基本單位，而忽略了像素點之間的空間關系信息，使得細胞圖像的分割結果較差。近年來，超像素的提出使像素之間空間組織關系得到了有效利用，這種算法的優點是，產生的超參數區域邊界與圖像中物體或背景的邊緣貼合效果較好，即對目標物體與背景的分割效果較好。因此，在處理復雜圖像分割問題時，超像素聚類算法取得了良好的效果[11-13]。

本文針對細胞顯微圖像分割不準確和計數速度慢等問題，通過將聚類中心移動到梯度最小的區域這一思想改進了簡單線性迭代聚類算法（Simple Linear Iteration Clustering，SLIC），對HE染色細胞的顯微圖像進行目標細胞與背景分割，然后針對細胞重疊形態不同，運用卷積神經網絡對不同類別的重疊細胞進行分類，最后對細胞顯微圖像的細胞數量進行計數。

1 SLIC超像素分割

超像素這一概念由Ren等[14]提出，是指圖像中能夠表達一定圖像局部結構特征的子區域。它的工作原理是將一幅圖的像素級提升為更高一級的區域級。Achanta等[15]提出了SLIC算法，該算法基于K-means聚類算法的思想，在圖像中設置K個種子點，最終生成K個超像素區域[16-18]。算法的思想是將圖像從三維顏色空間轉換到五維空間（CIE-Lab），每個像素點的[（L，a，b）]顏色信息和[（x，y）]空間信息組合成一個五維的向量[V[L，a，b，x，y]]，利用歐氏距離計算兩個像素點之間的距離，并將相似度高的像素點歸為同一個超像素區域。由于空間上點的距離和顏色距離的數量級可能不同，歐氏距離則會偏向其中一個因素而忽略了另一個因素。因此，SLIC算法在像素點距離計算的問題中，并未采用歐氏距離作為計算方法。設第i個超像素中心描述為[Ci=li+ai+bi]，第[Ck]個超像素中心描述為[Cki=lki+aki+bki]。

其距離由式（1）～式（3）來衡量：

式中，m用來調整[dxy]的權值，一般為1～20，本文中m值取10。

基于CIE-Lab聚類的超像素區域計算過程，如圖1所示。

通過SLIC超像素算法分割圖像，并以新組成的超像素區域代替單個像素點作為圖的基本單元，降低了圖像分割時的計算數量級，減少了計算時間。與其他生成超像素區域的算法相比，SLIC超像素分割算法具有以下優點：1）由SLIC算法產生的超像素區域較為規則;2）產生的超參數區域邊界與圖像中物體或背景的邊緣貼合效果較好，即對目標物體與背景的分割效果較好;3）SLIC算法自動化較高，需要人工調節的參數只有1～2個。

為了避免所選的聚類中心不合理導致計算效率下降，本文對算法做了改進，將聚類中心移動到最小梯度點，梯度定義為

2 卷積神經網絡

從仿生學的角度講，卷積神經網絡（CNN）是模擬哺乳動物視覺皮層神經的一個非常成功的例子[19-21]。CNN在圖像的識別與分類問題中具有很多優勢：1）它雖然增加了網絡結構的深度，但是每個神經元節點上的計算方法均為線性計算。這種用網絡結構的復雜性代替單個神經元的計算復雜性的方法，使得該方法適用于大規模分布式計算機的使用特點，加速了卷積神經網絡的發展。2）卷積神經網絡無需人工參與圖像特征提取，而是將圖像直接作為網絡的輸入，網絡通過前饋和反饋模式不斷優化網絡參數，對圖像特征進行自動學習。3）卷積層具有“局部感受野”的特性，使得卷積神經網絡對于圖像的幾何形變不敏感[22]，不會因為圖像經過超像素分割而導致分類效果下降。因此，本研究結合了卷積神經網絡這些優勢對重疊細胞進行分類。

本文設計使用的卷積神經網絡模型包括卷積層（Convolutional Layer）、池化層（Pooling Layer）和全連接層（Fully-Connected Layer）。

卷積層的每個節點連接上層輸入，通過卷積模板對圖像進行特征提取。卷積層的公式如下：

式中：[xlj]是第l層的輸出;[xl-1j]是第l-1層的輸出，也是第l層的輸入;[Mj]是每個與卷積模板相匹配的上層圖像子區域;j是卷積模板的編號;k是卷積核;b是偏置項;l是層數。

本文試驗中卷積層中的激活函數都采用線性修正單元函數（Rectified Linear Unit，ReLU）。其計算公式為

池化層即下采樣層，通常在卷積層之后，將經過卷積和激活函數計算的特征模板執行向下采樣的操作，以提煉了特征模板的信息，并對圖像信息進行降維。池化層中包含多個模板，每個模板與上一層的輸出相對應，并不改變卷積層輸出中模板的數量。常用的池化算法包括平均池化、最大池化等，本文選取的池化計算方式為平均池化，即對經過卷積的圖像子區域取平均值。

全連接層的位置通常在卷積神經網絡的末尾，起到信息綜合與分類的作用，本文將單個細胞、2個細胞重疊、3個細胞重疊分別設置為類別0、1、2，全連接層的輸出為分類結果。

3 基于SLIC的細胞分割

本文中基于改進SLIC的細胞分割與計數方法實現的主要思路如圖2所示。1）選定SLIC種子點的個數K，進行基于改進SLIC超像素算法的分割，得到分割結果，并在每個超像素塊中取顏色平均值，得到SLIC顏色均值圖。2）將1）中得到的圖像進行灰度處理，分割出細胞區域并進行去噪。3）提取圖2f）中含有細胞的圖像塊，先將其統一為大小為88×88像素的圖像。4）將這些分割后的細胞圖片輸入到卷積神經網絡當中進行分類。

3.1 基于SLIC的超像素分割

基于改進SLIC算法的超像素分割準確程度受到種子點設定數目和圖像顏色的共同影響。超像素個數過少時，邊界分割易出現錯誤，不能區分目標細胞與背景;超像素個數過多時，會出現過渡分割的現象，失去了采用超像素分割高效率的優勢。由圖3可以看出，當N<1 000時，細胞邊界不清晰，與背景融為一體。當N>1 000時，分割效果與N=1 000時幾乎沒有差別，但分割過細，效率低下。本文將超像素圖塊的個數設置為N=1 000，并生成相應的顏色均值圖，如圖3所示。

由于HE染色細胞的背景較為復雜，且背景顏色與細胞顏色區分不大，故生成的細胞圖像中有細小的噪聲點。本文在此運用了非線性擴散濾波器，將圖像中邊緣和非邊緣區域采用不同的平滑策略，在平滑圖像和抑制噪聲的同時，有效地保留了邊界。

通過此方法改進后的SLIC算法，由于選取的種子點為梯度最小的像素點，初始的聚類迭代只向單方向進行，因此平均計算時間由原來的120 ms左右下降到100 ms左右，計算速度提升效果明顯。

3.2 基于卷積神經網絡的細胞計數

3.2.1 單個細胞計數

首先將圖像進行二值化，通過閾值法濾掉圖像中的噪聲。得到的圖像中連通區域的個數即為單個細胞的數量。由于在這些區域內，孤立細胞和重疊細胞同時存在，本文中先默認所有連通域均為孤立細胞，計為n，再考慮重疊細胞的情況。去掉了手工區分孤立細胞與重疊細胞的步驟，實現了細胞計數的自動化。

3.2.2 基于CNN的重疊細胞的分類與計數

由于本套HE染色顯微圖像數據中，最多為3個細胞重疊在一起。重疊細胞由于多個細胞相互接觸或覆蓋在細胞邊緣形成凹點，在形態學上具有顯著差異。在實驗過程中，本文選取劃分后的44 878個細胞圖樣本作為實驗的數據集，隨機選擇其中的80%共計35 902張圖片作為本實驗的訓練集，剩下的20%共計8 976張圖片作為測試圖像，用于評估算法的性能。其中子圖邊長取88，將其作為輸入放入CNN中訓練參數。網絡的總體結構圖如圖4所示。

CNN結構一共有8層，包含輸入層1層，卷積層3層，下采樣層3層，最后的全連接層1層。全連接層采用了dropout策略，對于輸入的神經元做出隨機忽略的決策，這樣的操作避免模型過擬合。對局部神經元的活動建立懲罰機制，使反饋較小的神經元數值減小或降為0，同時使反饋較大的神經元數值變得相對更大，這樣的操作可以提升模型的泛化能力。本文試驗中CNN卷積層的激活函數采用ReLU函數。選取的池化方法為平均池化。全連接層的輸出為細胞分類的概率。本文將單個細胞、2個細胞重疊、3個細胞重疊分別設置為類別0、1、2，將全連接層的輸出的分類概率取整，得到分類結果。

因為本數據的特殊性，細胞重疊的情況為最多有3個細胞重疊在一起。細胞重疊情況如表1所示。重疊細胞在重疊位置的凹凸度會與細胞邊緣的其他位置的形態有明顯不同，即形態學差異明顯。針對此問題，本文將單個細胞、2個細胞重疊、3個細胞重疊分別設置為類別0、1、2，在全連接層中得到細胞個數類別的分類結果。

則細胞數量的計算公式為

式中：n為單個細胞的個數;[n1]是2個細胞重疊的細胞數;[n2]是3個細胞重疊的細胞數。

4 結果與分析

本文中用到的實驗平臺為HP Z640 Workstation，處理器為Inter Xeon E5-2620v4 2.1 2133 8C CPU，顯卡為NVIDIA Quadro M4000 8GB GFX，Windows 7操作系統。本文使用的HE染色細胞數據集來自英國利茲教學醫院NHC信托病理學部，由60張圖像組成，試驗圖像分辨率為1200×765像素[23]。因為使用了改進后的SLIC超像素對細胞顯微圖像進行分割，且將種子點初始位置設置為梯度最小的像素點，在一定程度上提升了分割速度。并且基于卷積神經網絡對重疊細胞進行分類，檢測速度較快。因此，對一幅圖像進行分割、重疊細胞分類、計數的平均速度為0.1 s。

為了評價本文提出的改進SLIC超像素分割和CNN分類方法，選取了在圖像分割及分類領域表現優異的算法作比較。其中，閾值分割法（OTSU）[24]是一種基于閾值的圖像分割技術;分水嶺分割方法（WATERSHED）[25]是一種基于拓撲理論的分割方法。支持向量機（SVM）[26]是一個由分類超平面定義的判別分類器，將當時流行的線性分類器推廣到非線性的領域中，利用了非線性函數的特性，實現分類功能。各算法分割結果對比圖見圖5。

為了定量地評價算法分割的效果，本文選取了通用的評價標準：準確率（Accuracy）、精確率（Precision），召回率（Recall）和F1指標（F1-measure）：

式中，TP表示真陽性，即真實情況為細胞圖像且被正確分類的細胞樣本個數;FP表示假陽性，即真實情況為背景，且被誤分為細胞的樣本個數;TN表示真陰性，即真實情況為細胞，且被誤分為背景的樣本個數;FN表示假陰性，即真實情況為背景，且被正確分類為背景的樣本個數。各算法運行結果見表2。

從表中可以看出，本文提出的算法準確率為0.882，優于閾值分割、分水嶺方法和直接使用SLIC分割3種算法。值得一提的是，精確率為查準率，即正確計數細胞占所有準確計數的比例，本文提出的SLIC+CNN算法在精確率為0.901，優于其他3種算法。F1指標綜合了精確率和召回率的分類效果評價，本文提出算法的F1指標達到0.925，高于其他算法。實驗結果表明，本文提出的基于改進的SLIC和卷積神經網絡的細胞分割與計數效果優于其他幾種算法。

5 結論

本文提出的結合改進后的SLIC超像素聚類與卷積神經網絡（CNN）的細胞圖像分割與計數方法，達到了良好的效果。與一些傳統的細胞分割與分類算法相比，其優越性在于利用了改進后SLIC算法能夠清晰地區分目標物體與背景上優勢，結合了細胞顯微圖像中細胞結構較為緊湊的特性，不僅能夠得到較為完整的細胞圖像，并且能夠提高分割效率;采用CNN方法識別重疊細胞的重疊情況，解決了細胞的重疊問題帶來的計數誤差。此項研究工作將為臨床后續的病理診斷提供輔助，降低了由病理醫生經驗不同造成的診斷偏差，減少其簡單重復工作的強度，提高醫生診斷效率。

參考文獻：

[1]? ? 盧宏濤，張秦川. 深度卷積神經網絡在計算機視覺中的應用研究綜述[J]. 數據采集與處理，2016，31（1）：1-17.

[2]? ? 趙嘉瑩，高鵬，朱勇俊，等. 人工智能的應用將改進中國基層醫療衛生服務效能[J]. 中國全科醫學，2017，20（34）：4219-4223.

[3]? ? PAVLIN M，PAVSELJ N，MIKLAVCIC D. Dependence of induced transmembrane potential on cell density，arrangement，and cell position inside a cell system[J]. IEEE Transactions on Biomedical Engineering，2002，49（6）：605-612.

[4]? ? CHRISTY EVANGELINE N，ANNALATHA M. Computer aided system for human blood cell identification，classification and counting[C]//2018 Fourth International Conference on Biosignals，Images and Instrumentation （ICBSII）. March 22-24，2018，Chennai，India. IEEE，2018：206-212.

[5]? ? BILLS M V，NGUYEN B T，YOON J Y. Simplified white blood cell differential：an inexpensive，smartphone- and paper-based blood cell count[J]. IEEE Sensors Journal，2019，19（18）：7822-7828.

[6]? ? GE J，GONG Z，CHEN J，et al. A system for counting fetal and maternal red blood cells[J]. IEEE Transactions on Biomedical Engineering，2014，61（12）：2823-2829.

[7]? ? NAKAMORI N，DOI K，SABETI V，et al. Image feature analysis and computer-aided diagnosis in digital radiography：Automated analysis of sizes of heart and lung in chest images[J]. Medical Physics，1990，17（3）：342-350.

[8]? ? 蘇茂君，王兆濱，張紅娟，等. 基于PCNN自動波特征的血細胞圖像分割和計數方法[J]. 中國生物醫學工程學報，2009，28（1）：145-148，152.

[9]? ? 武宗茜，王鵬，丁天懷. 活動輪廓模型在重疊藻細胞計數中的應用[J]. 計算機工程，2012，38（3）：209-211.

[10]? 王祥生，王偉. 基于清晰度的細胞顯微圖像分割和計數方法[J]. 中國醫學影像學雜志，2014，22（10）：797-800.

[11]? WANG P Y，ZHU H Q，LING X F. Content-based superpixel matching using spatially constrained student's -t mixture model and scale-invariant key-superpixels[J]. IEEE Access，2020，8：31198-31213.

[12]? GUO Y W，JIAO L C，WANG S，et al. Fuzzy superpixels for polarimetric SAR images classification[J]. IEEE Transactions on Fuzzy Systems，2018，26（5）：2846-2860.

[13]? YU W Y，WANG Y H，LIU H W，et al. Superpixel-based CFAR target detection for high-resolution SAR images[J]. IEEE Geoscience and Remote Sensing Letters，2016，13（5）：730-734.

[14]? REN，MALIK. Learning a classification model for segmentation[C]//Proceedings Ninth IEEE International Conference on Computer Vision. October 13-16，2003，Nice，France. IEEE，2003：10-17.

[15]? ACHANTA R，SHAJI A，SMITH K，et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2012，34（11）：2274-2282.

[16]? GUPTA A K，SEAL A，KHANNA P. Divergence based SLIC[J]. Electronics Letters，2019，55（14）：783-785.

[17]? ZHANG Z，CHEN J，LIU Z. SLIC segmentation method for full-polarised remote-sensing image[J]. The Journal of Engineering，2019，2019（20）：6404-6407.

[18]? XIE F Y，SHI M Y，SHI Z W，et al. Multilevel cloud detection in remote sensing images based on deep learning[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing，2017，10（8）：3631-3640.

[19]? JIN K H，MCCANN M T，FROUSTEY E，et al. Deep convolutional neural network for inverse problems in imaging[J]. IEEE Transactions on Image Processing，2017，26（9）：4509-4522.

[20]? PINHEIRO P O，COLLOBERT R. Recurrent convolutional neural networks for scene labeling[C]. // Proceedings of the 31st International Conference on International Conference on Machine Learning，Beijing，2014：82-90.

[21]? LIU G S，ZHU M H，KIM J，et al. ELHnet：a convolutional neural network for classifying cochlear endolymphatic hydrops imaged with optical coherence tomography[J]. Biomedical Optics Express，2017，8（10）：4579-4594.

[22]? HE S F，LAU R W H，LIU W X，et al. SuperCNN：a superpixelwise convolutional neural network for salient object detection[J]. International Journal of Computer Vision，2015，115（3）：330-344.

[23]? BHANDARI A K，KUMAR I V，SRINIVAS K. Cuttlefish algorithm-based multilevel 3-D otsu function for color image segmentation[J]. IEEE Transactions on Instrumentation and Measurement，2020，69（5）：1871-1880.

[24]? TAREEF A，SONG Y，HUANG H，et al. Multi-pass fast watershed for accurate segmentation of overlapping cervical cells[J]. IEEE Transactions on Medical Imaging，2018，37（9）：2044-2059.

[25]? 丁世飛，齊丙娟，譚紅艷. 支持向量機理論與算法研究綜述[J]. 電子科技大學學報，2011，40（1）：2-10.

收稿日期：2020-07-02

基金項目：國家自然科學基金（51737003，51677053）;河北省研究生創新資助項目

第一作者：屈若為（1989—），女，博士研究生。通信作者：徐桂芝（1962—），女，教授，gzxu@hebut.edu.cn。