基于顏色均衡分類網絡的細胞識別算法

馮紹瑋，李秋男，張中華，蔡小雨，姜小明

（1.重慶郵電大學生物信息學院，重慶 400065；2.重慶郵電大學重慶市醫用電子與信息技術工程研究中心，重慶 400065）

血細胞的形態學檢測能夠彌補生化檢測的不足之處，通過顯微鏡鏡檢，對檢測多種血液疾病有著特殊的意義[1-5]。隨著卷積神經網絡的出現，為細胞自動化形態檢測提供了新的機遇。但深度學習假定測試集與訓練集的相互獨立且分布相同，一旦數據分布發生變化，許多模型需要重新訓練[6]。而由于細胞個體的多樣性、各批次染色試劑效果以及操作人員染色手法的差異，不同血液涂片的顏色與分辨率大相徑庭，普通的神經網絡無法適應各種類型的數據集。在具有多領域的數據集中，深度卷積網絡的分類準確率明顯降低，無法滿足臨床檢測的需要。

通常解決此問題的方法是通過對數據集進行預處理，使用圖像處理算法將數據集遷移到統一領域。隨著計算機視覺的發展，許多優化方法也可以應用到數字圖像的處理中。但深度學習所需的數據集規模較大，傳統的圖像處理算法需要消耗大量的時間與資源，同時也無法滿足實時處理的要求[7]。

綜上所述，該文提出一種顏色均衡分類網絡URNET，此網絡能夠同時實現快速地數據集顏色均衡化與異常紅細胞的準確識別。

1 顏色均衡分類網絡U-RNET

1.1 總體設計

常見的異常紅細胞形態有鐮刀形、半月形、淚滴形、球形等[8]，該文選取六類異常紅細胞，分別為球形、橢圓形、水滴形、靶形、裂紅細胞和棘紅細胞。文中所提到的算法流程如圖1 所示。首先，使用最優傳輸算法對數據集進行顏色均衡化處理，通過處理后的數據集訓練顏色均衡網絡U-net，然后將U-net與訓練好的分類網絡進行拼接，最后使用凍結層（Frozen）方法對網絡進行微調，從而合成網絡URNET 實現結合顏色均衡的更精確廣泛的異常紅細胞識別。

1.2 最優傳輸模型

傳統數學模型在圖像處理領域有著不可替代的作用，它能對數據本身進行處理而不需要額外的標簽或參照。最優傳輸模型廣泛地應用于兩個樣本域之間的遷移轉換中。最優傳輸具有悠久的歷史，涉及概率論、偏微分方程和凸幾何等多種理論[9]。

該文中，最優傳輸作為數據集預處理方法，解決數據集顏色均衡化問題。通過代價函數，尋找一種原數據集到新數據集的最優空間映射，使多個領域內的數據集能夠幾乎無損失地遷移到另一個相同領域中。

1.3 顏色均衡網絡U-net

顏色均衡網絡的輸入應為原始圖像，輸出則為顏色均衡化后的圖像。網絡需要實現將個體多且個體邊界小的細胞圖像盡可能完美地遷移到與標簽相同的顏色分布。在醫學圖像領域，U-net 可以很好地勝任這項任務。首先在下采樣過程中通過卷積層與池化層提取圖像所需要的信息，然后運用轉置卷積實現反編碼，在上采樣過程中剪裁并融合已獲得的特征，最后通過激活函數對像素分類，獲得所需要的遷移圖像。U-net 獨特的譯碼-解碼結構完整地保留了圖像的低分辨率與高分辨率信息，且能夠實現圖像的像素級分類，輸出為每個像素點的類別，不同類別的像素顯示不同的顏色，對于該文所涉及的邊界模糊、梯度復雜、個體小、背景大的細胞圖像，U-net能發揮十分優異的性能。

1.4 圖像分類網絡

常用的圖像分類網絡有AlexNet、VGGNet、ResNet與Inception-net 等。其中，ResNet 獨特的結構使它的識別準確率與識別速度領先于其他網絡。在臨床中，需要更迅速、更準確地對病理圖像進行檢測，因此該文選用ResNet50 作為圖像分類網絡。

ResNet 引入殘差網絡結構，通過這種結構可以使神經網絡搭建到更深的層數。殘差網絡模仿了高速網絡中躍層連接的思想，改變了傳統神經網絡依次連接的慣例，后一層的輸入來自于跳躍多層的神經網絡層的輸出。殘差塊中有兩個相同輸出通道數的3×3 卷積層，每個卷積層后連接一個BN 層（Batch Normalization）和ReLu 激活函數。

ResNet50[10-14]沿用了VGG 全3×3 卷積層的設計，共分為五個stage。第一個階段在輸出通道為64、步幅為2 的7×7 卷積層后依次連接了BN 層、ReLu 激活函數以及3×3 的最大池化層。在此之后，連接了四個殘差塊模塊，每個模塊由若干殘差塊組成。第一個模塊的通道數與輸入通道數相同，之后的每個模塊在第一個殘差塊基礎上通道數加倍，高和寬減半。最后，通過平均池化層，經全連接層展開后，由softmax 激勵函數輸出最后的分類結果。

1.5 顏色均衡分類網絡U-RNET搭建

首先通過最優傳輸方法將數據集遷移到同一顏色分布，遷移后的數據集作為標簽，原數據集作為輸入訓練顏色均衡網絡U-net，保存訓練后的權重。然后將U-net 輸出的圖像作為新的數據集，圖像類別作為標簽，訓練圖像分類網絡ResNet50，保存訓練后的權重。最后，級聯網絡結構將權重按層進行搭載，并通過凍結層方法對網絡進行微調，最終得到顏色均衡分類網絡U-RNET。U-RNET 搭建過程如圖2所示。

圖2 U-RNET搭建過程

2 實 驗

2.1 實驗數據集

該文數據集來自重慶德方信息技術有限公司的血液細胞采樣圖，由9 556 張1 500×1 122 RGB 圖像組成，數據集中部分圖像如圖3 所示，每張圖像均使用矩形框對各細胞進行了標注和分類，細胞類型與矩形框位置信息獨立存放在xml文件中。

圖3 部分細胞采樣圖

按xml 文件對原始圖像進行剪裁并關聯標簽，然后對這些圖像進行篩選并分類。根據文獻[9]中的常見異常紅細胞類型，共選取六類異常紅細胞，分別為球形、橢圓形、水滴形、靶形、棘紅細胞和裂紅細胞。各類細胞圖像如圖4 所示。

圖4 六類紅細胞圖像

六類細胞共有11 995 張細胞圖像。按照已標注的數據類型，將圖像歸類為0-5。同時，按照7∶3 隨機將數據集劃分為互不包含的訓練集和測試集。各類細胞圖數量如表1 所示。

表1 各類細胞圖數量

2.2 實驗準備

與實驗相關的工作環境設置為：深度學習平臺操作系統為Windows 11。Nvidia GeForce GTX 3090顯卡，CPU 為Intel i7-10700，Python 版本3.7.0，深度學習框架使用TensorFlow 2.6.0。

深度學習優化器為Adam；顏色均衡網絡損失函數采用均方差（MSE），Loss 函數采用交叉熵；訓練周期為200 次；每批次訓練16 張圖片；學習率為0.001；采用圖像增強方法擴大數據集，在訓練模型時：1）統一將圖像調整為128×128×3；2）對圖像進行隨機翻轉，范圍為-45°～45°[15-16]。

通過最優傳輸方法，將數據集中的圖像遷移到同一領域，作為訓練領域遷移網絡的標簽。同時，為了驗證該文方法的有效性，對數據集使用直方圖匹配與之進行對比實驗。

2.3 圖像遷移與分類結果

通過1.5 節中給出的訓練步驟，訓練U-net 時，統計每一個訓練周期內網絡的損失與準確率。訓練集Loss 隨著網絡訓練的迭代迅速下降，經過200 個epoch 后，最優傳輸測試集Loss 為1.1×10-4；直方圖匹配測試集Loss 為5.3×10-4，則模型最后已經收斂，很好地擬合數據集，在該數據集上能夠表現出較高的性能。Loss 曲線如圖5 所示。

圖5 測試集與訓練集Loss曲線

最終各圖像處理結果如圖6 所示，可以看出最優傳輸方法能夠平滑地將圖像遷移到同一顏色分布，遷移后的圖像噪聲并不明顯；使用U-net 進行顏色均衡后，結果與直接用最優傳輸遷移相近，但特征與邊緣更加清晰。而直方圖匹配會帶來大量噪聲，圖像中會產生較多的噪點，使用直方圖匹配后的數據集訓練U-net可以去除一部分噪聲。綜上，最優傳輸可以表現出比直方圖匹配更優異的性能，神經網絡則能夠提升遷移的速度并做到信號濾波作用。實驗證明了將最優傳輸方法與神經網絡結合的有效性。

圖6 各圖像對比結果

在訓練分類網絡時，隨機劃分數據集并進行五次交叉實驗。經過200 個epoch 后，細胞圖像總體識別準確率如表2 所示。

表2 各種方法的識別準確率

最終，U-RNET 的總體識別準確率要高于其他三種遷移方法，達到95.5%，準確率曲線如圖7 所示。除此之外，統計得出該神經網絡處理一張圖片所需的時間為41 ms，而最優傳輸方法需要2 s，說明U-RNET 具有良好的識別準確性與實時性。由于經過顏色均衡網絡處理后的圖像噪聲更小，特征更加清晰，也使得被識別圖像的數據分布更能滿足神經網絡的傾向。因此，U-RNET 最終的識別準確率高于最優傳輸本身，且由于最優傳輸處理數據集的優越性，準確率遠遠高于其他算法。

圖7 測試集與訓練集準確率曲線

3 結束語

該文針對細胞圖像的特點，提出融合最優傳輸方法的U-RNET 細胞分類網絡。利用最優傳輸方法處理數據集訓練網絡，能夠充分利用神經網絡自主提取圖像特征，對多領域的細胞圖像能夠幾乎無損失地遷移到同一領域，顯著提高細胞類別的分類準確率。在該文所提供細胞數據集上的實驗表明，該文方法對六類細胞形態識別可以達到95.5%的識別準確率，高于其他傳統方法。且單幅圖像處理時間僅41 ms，遠小于傳統數學模型遷移方法。實驗表明，該文設計的融合最優傳輸方法的細胞識別分類網絡U-RNET 在提高細胞圖像識別率的同時，加快了目標圖像的處理速度。