基于多尺度深度卷積神經網絡的骨髓白細胞識別研究

陳德海 潘韋馳 丁博文 黃艷國

摘 ?要： 針對骨髓白細胞人工提取特征復雜，識別困難等問題，提出一種多尺度濾波深度卷積神經網絡（MS?DCNN）模型。首先，該模型將傳統的卷積神經網絡模型的濾波器尺寸縮小，以減少模型的總體參數以提升網絡模型訓練的效率;其次，通過增加濾波器的個數和網絡深度來提取骨髓血細胞更豐富的特征;最后通過在Sysmex（希森美康）公開數據集上對6類骨髓白細胞進行實驗，并與其他主流分類方法進行對比。結果表明，該文提出的MS?DCNN模型準確率達到了98.9%，高于其他主流方法，其有效性得到了驗證。

關鍵詞： 骨髓白細胞; 卷積神經網絡; 多尺度特征; 深度學習; 機器視覺; 圖像分類

中圖分類號： TN711?34; TP391.4 ? ? ? ? ? ? ? ? 文獻標識碼： A ? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）02?0160?04

Research of bone marrow white blood cell recognition based on multi?scale deep convolutional neural network

CHEN Dehai， PAN Weichi， DING Bowen， HUANG Yanguo

Abstract： A multi?scale filtering depth convolutional neural network （MS?DCNN） model is proposed to improve the problems of complex features and difficult recognition of manual extraction of the bone marrow white blood cells. In this MS?DCNN model， the filter size of the traditional convolutional neural network model is shrinked to reduce the overall parameters of it， so as to improve the efficiency of network model training. The more abundant features of bone marrow blood cells can be extracted by increasing the number of filters and the network depth. The experiment of six types of bone marrow white blood cells are conducted on the Sysmex open datasets， and compared with other mainstream classification methods. The results show that the accuracy of the proposed MS?DCNN model is up to 98.9%， higher than other mainstream methods， and its effectiveness has been verified.

Keywords： bone marrow white blood cell; convolution neural network; multi?scale features; deep learning; machine vision; image classification

0 ?引 ?言

白細胞識別在醫療診斷中作用巨大。例如，細胞譜相的識別與某個特定的疾病相關聯[1?2]，白細胞的計數已被證明與多種疾病相關聯[3]等。最初，白細胞識別與計數在顯微鏡下手工進行，這樣不僅耗時，而且錯誤率也高。由于不同類型的白細胞形狀相似，細胞識別的準確性仍然對傳統的顯微成像技術造成挑戰。人體中血細胞有紅細胞、白細胞和血小板三種類型。與其他細胞類型相比，白細胞的識別分類被認為是一個活躍的研究領域，因為白細胞負責人體的免疫。骨髓中這些細胞的計數為醫生提供了寶貴的信息，有助于白血病和艾滋病等許多重要診斷[4]。

隨著計算機視覺技術的蓬勃發展，計算機輔助工具在醫療領域里進行疾病診斷的應用也越來越廣泛。精確的計算機輔助工具有助于加快疾病的診斷，減少醫生的工作量提高工作效率。文獻[5]總結了2003—2011年該領域的研究成果，對于白細胞識別分類的準確率在70.6%～96%之間。文獻[6]使用屬性多層次結構分析方法對白細胞6分類進行研究，其綜合準確率達到95.98%。

卷積神經網絡[7]（Convolutional Neural Network，CNN）是一種重要的深度學習技術，在計算機視覺領域中，如圖像分類[8]、目標識別[9]、圖像檢索[10]等領域，都得到了廣泛的應用，而現代意義上的CNN則是由LeCun等對手寫數字識別的研究中提出來的經典CNN模型LeNet?5[11]，其后出現了更為復雜的AlexNet[12]，ResNet[13]，NasNet[14]等模型。卷積神經網絡中的卷積和池化操作對數據進行特征提取可以有效解決圖像因平移、選擇或縮放等變換導致特征提取不準確的問題，通過訓練學習到輸入圖像的局部和全局特征，解決了人工提取特征帶來的特征提取不充分的問題。

1 ?實驗方法

1.1 ?骨髓白細胞數據集的準備

1.1.1 ?骨髓白細胞數據集

本文的骨髓樣本細胞顯微圖像來自于Sysmex（希森美康）公開實驗數據集。數據集中包含骨髓白細胞6個分類：成髓細胞（myeloblast）、前髓細胞（promyelocyte）、髓細胞（myelocyte）、間質細胞（metamyelocyte）、桿狀核中性粒細胞（Band neutrophils）和分葉核中性粒細胞（Segmented neutrophils）。每個類別由5個骨髓白細胞顯微鏡圖像組成，如圖1所示。

1.1.2 ?數據增強

深度學習需要大量的學習樣本。學習樣本的大小影響著網絡的訓練結果，因此需要對數據集進行擴充。但對于骨髓白細胞圖像，能夠獲取的訓練數據是有限的，需要通過圖像處理的方法擴增樣本數量。本研究采取平移、選擇以及縮放等方法擴充數據集，數據集中每類骨髓白細胞分為5種，每種擴充到100張樣本，總計3 000張樣本。

1.2 ?實驗平臺

圖像工作站為PC機，實驗環境如下：WIN10 64位操作系統，i7?7700HQ CPU，16 GB內存和GeForce GTX 1060顯卡，在TensorFlow平臺下進行，所有的樣本尺寸均歸一化為227[×]227。

1.3 ?卷積神經網絡

卷積神經網絡是一種經典的深度學習算法，可以從少量預處理甚至原始的樣本圖片中提取圖像特征，最終能獲得一副圖像的高級語義特征。CNN一般由卷積層、池化層以及全連接層組成。卷積層用來提取特征，并且在計算過程中通過權值共享的形式來減少網絡參數。模型的訓練過程分為前向傳播和反向傳播兩個階段。

1） 前向傳播階段，傳播過程對每層輸入特征的運算公式如下：

[y（l）=fi∈mWli?x（l-1）i+bl] （1）

式中：[y（l）]為第[l]個卷積層的輸出;[x（i）]為輸入向量;“[?]”為卷積運算;[bl]為偏置;[Wi]為該層對應的卷積核權重;[m]為輸入特征圖的集合; [fx]為非線性激活函數，常用的有Sigmoid，Tanh和Relu等。

2） 反向傳播階段，對于有m個樣本的數據集，網絡的前向傳播階段會輸出每個類別線性預測結果，根據這個結果和網絡期望的輸出定義網絡的整體目標函數為：

[E（W）=mini=1ML（zi）+λW2] （2）

式中：[L（zi）]是網絡模型對應的損失函數，通過迭代訓練最小化損失函數來降低網絡的分類誤差;[zi]為網絡反向傳播的輸入，即式（1）中最后一層網絡的輸出;[W]為網絡在本次迭代訓練中所占的權值;[λ]為相應的歸一項所占比重。

1.4 ?多尺度濾波深度卷積神經網絡模型設計

多尺度濾波深度卷積神經網絡（Multi?Scale Filtering Deep Convolution Neural Network，MS?DCNN）模型由二部分組成：第一部分為多尺度濾波設計;第二部分為網絡結構設計。多尺度濾波設計部分為：將傳統的大卷積核尺寸修改為3[×]3的小卷積核，減少了模型的參數量;增加卷積核的數量，獲得骨髓白細胞不同尺度的多個特征圖，獲得其更加豐富的特征。

網絡結構設計部分分為兩種：

1） MS?DCNN模型的前一部分采用一層卷積層加一層池化層的組合方式;

2） MS?DCNN模型的后一部分采用疊加兩層卷積層加一層池化層的組合方式，在模型的最后采用三層全連接層的方式。

綜上所述，MS?DCNN模型如圖2所示。激活函數選用線性整流函數（Rectified Linear Units，ReLU），增強了網絡的稀疏性，并且減少了參數之間的依賴關系，增強了模型的表達能力。

1.5 ?實驗設計

為了驗證MS?DCNN模型的可行性，本文從經過數據擴充后的3 000張骨髓白細胞數據集中取2 700張作為訓練集，300張圖片作為驗證集用來測試模型性能。訓練過程中設定批訓練樣本數量（batch_size）為40，初始學習率（learning_rate）為0.01，并采用Adam優化器訓練數據，并與當前主流的深度學習模型進行對比實驗。同時，為了測試MS?DCNN模型的有效性，與其他骨髓白細胞識別分類方法進行準確度比較。

2 ?實驗結果

2.1 ?MS?DCNN實驗結果

通過對MS?DCNN模型進行3 000次迭代訓練后，模型逐漸收斂，其損失函數（loss）及學習率變化曲線如圖3所示。

從圖中可以看出，隨著迭代次數的增加，損失（loss）值和學習率不斷降低，當迭代到3 000次時，損失的值為0.067，模型能有效的收斂，此時驗證集的準確率為98.9%。

2.2 ?與主流深度學習模型的對比結果

參數設定不變，在相同數據集中與當前主流的深度學習模型，LeNet，AlexNet，CifarNet，ResNet進行實驗對比，其損失函數變化曲線如圖4所示。

由圖4可知，LeNet，ResNet隨著迭代次數的增加能有效收斂，當迭代到2 000次時，loss值逐漸接近于0;AlexNet當迭代到1 400次時，開始逐漸收斂;CifarNet在本數據集下無法收斂，說明該模型不適合進行骨髓白細胞識別分類。各模型準確率對比實驗結果見表1。

由表1可知，本文的MS?DCNN模型對于骨髓白細胞的識別準確率達到了98.9%，比主流深度學習模型中表現最好的ResNet高出4.23%，比其他深度學習模型高出33.2%左右，表明MS?DCNN模型優于其他主流深度學習模型。

2.3 ?與其他骨髓白細胞識別分類方法對比結果

將MS?DCNN模型分別與其他分類方法進行對比，見表2。

由表2可知，各種分類方法對于骨髓白細胞有著或好或壞的分類性能。對于總體的驗證樣本數據集，本文的MS?DCNN分類方法，取得了98.9%的最高分類準確率，比表現最好的FGSA+RBNN的準確度高出3.9%，比其他分類方法高出9.7%左右，進一步證明了本文針對骨髓白細胞識別提出的網絡模型的有效性。

3 ?結 ?語

本文提出一種多尺度深度卷積神經網絡模型，進行骨髓白細胞識別分類。該模型通過濾波器的調整、網絡結構的優化，充分利用骨髓白細胞的特征，以提高白細胞識別分類的準確性。通過對比實驗證實，提出的MS?DCNN模型優于主流的深度學習模型以及現有的白細胞分類方法，這證實該模型具有較好的分類性能;同時也證明，深度學習的思想在醫學圖像處理領域具有重要的理論意義及應用價值。接下來的研究中，在干擾條件下更多類別細胞的識別將成為研究重點，研究出具有較高泛化能力與魯棒性的網絡結構，將會大大改善當前的工作。

注：本文通訊作者為潘韋馳。

參考文獻

[1] ZHANG Y， BAI J， WU H， et al. Trapping cells in paper for white blood cell count [J]. Biosens bioelectron， 2015， 69： 121?127.

[2] YI F， MOON I， LEE Y H. Three?dimensional counting of morphologically normal human red blood cells via digital holographic microscopy [J]. Journal of biomedical optics， 2015， 20（1）： 16005.

[3] LU G， FEI B. Medical hyperspectral imaging： a review [J]. Journal of biomedical optics， 2014， 19（1）： 10901.

[4] NAMDEV D P， SATISH T H. Fractional gravitational search?radial basis neural network for bone marrow white blood cell classification [J]. The imaging science journel， 2018， 66： 106?124.

[5] SARASWAT M， ARYA K V. Automated microscopic image analysis for leukocytes identification： a survey [J]. Micron， 2014， 65： 20?33.

[6] 郝連旺，洪文學.屬性多層次結構關系在白細胞形態六分類技術中的應用[J].中國生物醫學工程學報，2015，34（5）：533?539.

[7] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient?based learning applied to document recognition [J]. Proceedings of the IEEE， 1999， 86（11）： 2278?2324.

[8] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks [C]// NIPS′12 Proceedings of 25th International Conference on Neural Information. Nevada： ACM， 2012： 1097?1105.

[9] REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real?time object detection [C]// IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas： IEEE， 2016： 779?788.

[10] SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolutions [C]// 2015 IEEE Conference on Computer Vision and Pattern Recognition. Boston： IEEE， 2015： 1?9.

[11] YANG H F， LIN K， CHEN C S. Supervised learning of semantics?preserving hash via deep convolutional neural networks [J]. IEEE transactions on pattern analysis & machine intelligence， 2015（99）： 437?451.

[12] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition [C]// IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas： IEEE， 2016： 11?17.

[13] ZOPH B， VASUDEVAN V， SHLENS J， et al. Learning transferable architectures for scalable image recognition [EB/OL]. [2019?03?19]. https：//blog.csdn.net/u012193416/article/details/88658629.

[14] LECUN Y， KAVUKCUOGLU K， CLE?MENT F. Convolutional networks and applications in vision [C]// Proceedings of 2010 IEEE International Symposium on circuits and systems. Paris： IEEE， 2010： 253?256.

[15] THEERA?UMPON N. Patch?based white blood cell nucleus segmentation using fuzzy clustering [J]. Research gate， 2016（14）： 15?20.

作者簡介：陳德海（1978—），男，博士研究生，副教授，研究方向為深度學習與智能控制技術。

潘韋馳（1994—），男，碩士研究生，研究方向為深度學習與模式識別。

黃艷國（1973—），男，博士，教授，研究方向為智能控制與信息技術。