基于ResNet深度網(wǎng)絡的人類蛋白質圖譜圖像分類方法研究

常 川

(武漢大學遙感信息工程學院 武漢 430072)

1 引言

1.1 快速實現(xiàn)醫(yī)學影像自動分類的必要性

隨著醫(yī)學影像規(guī)模的快速擴張，現(xiàn)有的醫(yī)學影像存儲和分析方式面臨著巨大的挑戰(zhàn)[1-2]。大量不同類別的醫(yī)學影像混雜在一起，需要進行分類存儲和管理，以便進一步研究[3]。手動影像類別標注無法勝任大規(guī)模影像的應用場景[4]，因此快速有效地實現(xiàn)醫(yī)學影像自動分類成為十分迫切的需求。

1.2 相關研究情況

醫(yī)學影像分類方法的研究由來已久，較早的研究者基于分數(shù)布朗運動確定分形維數(shù)，從而定義歸一化分數(shù)布朗運動特征向量，以實現(xiàn)醫(yī)學影像中的分形特征分析與分類[5]。Hossein等使用新的分層合并方案，提出一種基于內(nèi)容的醫(yī)學圖像分類方法，根據(jù)形狀和紋理特征進行醫(yī)學圖像分層，結合多層感知器實現(xiàn)醫(yī)學影像分類[6]。卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network, CNN)在圖像分類領域取得較大的成就，武漢理工大學的張振煥等針對多類別服裝分類精度不夠高的問題，設計并實現(xiàn)一種基于殘差進行優(yōu)化的卷積神經(jīng)網(wǎng)絡服裝分類算法，所提出的網(wǎng)絡模型在分類速度和精度上都優(yōu)于VGGNet和AlexNet[7]。Andrej等結合CNN和視頻時空信息，搭建時空神經(jīng)網(wǎng)絡，對487類別的100萬個視頻數(shù)據(jù)集進行分類，取得比單獨的CNN分類模型更好的分類效果[8]。深度卷積神經(jīng)網(wǎng)絡通過一種深度非線性結構，對輸入數(shù)據(jù)進行分層表示，從而將數(shù)據(jù)的低層特征轉化為易于分類的高層特征，對特征進行學習，進而實現(xiàn)自動分類。ResNet深度網(wǎng)絡的主要特色是跨層連接，其出現(xiàn)為更深網(wǎng)絡的訓練提供方法。能夠減輕網(wǎng)絡訓練的負擔，且更容易被優(yōu)化，在深度增加的情況下提高網(wǎng)絡的精度。隨著深度學習和神經(jīng)網(wǎng)絡的發(fā)展，基于深度學習的分類方法被引入到醫(yī)學影像自主分析與分類中。韓國亞洲大學的研究者通過分析口腔癌患者的高光譜圖像，開發(fā)一種基于邊緣檢測[9]和卷積神經(jīng)網(wǎng)絡的自動化口腔癌檢測方法，對圖像數(shù)據(jù)集進行訓練和測試，取得0.945的準確率[10]。Frid-Adar等基于對抗神經(jīng)網(wǎng)絡(Generative Adversarial Networks, GAN)[11]進行合成醫(yī)學影像增強，以用于提高CNN對肝臟病變細胞的分類能力，實驗結果表明相比于僅使用原始數(shù)據(jù)增強[12]進行訓練，添加合成數(shù)據(jù)增強訓練得到的CNN網(wǎng)絡模型具有更快的速度和更高的準確率[13]。

2 基于ResNet的人類蛋白質圖譜圖像分類方法

2.1 分類過程(圖1)

圖1 ResNet分類過程

2.1.1 數(shù)據(jù)預處理 對人類蛋白質圖譜圖像的訓練數(shù)據(jù)集和測試數(shù)據(jù)集進行預處理及數(shù)據(jù)增強，以達到擴充數(shù)據(jù)集和增強數(shù)據(jù)特征的作用。

2.1.2 模型訓練 進行權值初始化，利用卷積層對訓練數(shù)據(jù)集進行特征提取，生成特征圖，經(jīng)過池化層和全連接層進行前向傳遞得到輸出值，然后求出輸出值與目標值之間的誤差進行反向傳遞，根據(jù)所得誤差進行權值更新，最后得到訓練好的分類模型。

2.1.3 模型測試 將訓練好的分類模型應用于測試數(shù)據(jù)集，得到輸出結果，與測試數(shù)據(jù)的真實標簽進行比較，計算得到模型的準確率和F1值，然后與其他分類方法進行分析比較，實現(xiàn)對模型分類效果的評估。

2.1.4 圖像預測 采用已訓練的分類模型對未知類別的蛋白質圖譜圖像進行預測，得到輸出值，獲得圖像所屬類別。

2.2 網(wǎng)絡構建

卷積神經(jīng)網(wǎng)絡隨著網(wǎng)絡層數(shù)的不斷加深，其學習能力也會增強，但是卻出現(xiàn)準確率隨網(wǎng)絡層數(shù)增加而下降的異常現(xiàn)象，這就是所謂的“退化”問題[14]。ResNet網(wǎng)絡的提出解決上述問題，見圖2。ResNet使用一種新穎的連接方式叫做快捷連接(Shortcut connection)，即在原網(wǎng)絡結構的基礎上增加一個新的連接恒等映射(Identity mapping)，這使得原本所需要學習的函數(shù)F(x)轉換為F(x)+x，即學習的函數(shù)與輸入數(shù)據(jù)之和，這個簡單的加法并不會給網(wǎng)絡增加額外的參數(shù)和計算量，卻可以提升模型的訓練速度和訓練效果，當模型的層數(shù)加深時，這個結構能夠很好地解決退化問題。

圖2 快捷連接原理

本研究是在ResNet-50結構基礎上通過遷移學習[15]構建的模型,見圖3，網(wǎng)絡的輸入為512x512的RGB圖像，使用49個卷積層，根據(jù)ResNet模型結構，49個卷積層被分成5個組，卷積核的大小分別為7x7、1x1、3x3，用于對輸入圖像進行特征提取，卷積層的激活函數(shù)為非線性ReLU激活函數(shù)，使用1個3x3的最大池化層(Max pool)和1個7x7的平均池化層(Average pool)，步長設定為2，所以長寬變?yōu)樵瓉淼?/2，最后使用28個全連接層和Softmax激活函數(shù)，用于對28類的人類蛋白質圖譜圖像進行分類。在網(wǎng)絡結構設計中，卷積層之間的連線有實線和虛線兩種方式，實線的連接部分都是執(zhí)行3x3x64的卷積，通道個數(shù)一致，所以輸出結果y用式(1)的計算方式，虛線的連接部分分別是3x3x64和3x3x128的卷積操作，通道個數(shù)不同，分別為64和128，輸出結果y采用式(2)的計算方式。其中，y為模型的輸出結果，F(xiàn)(x)為所需要學習的函數(shù)，x為模型的輸入值，W是卷積操作，用來調整x的通道維度。

y=F(x)+x

(1)

y=F(x)+W*x

(2)

圖3 網(wǎng)絡結構

3 實驗結果與分析

3.1 實驗數(shù)據(jù)

本文所使用數(shù)據(jù)集為瑞典的人類蛋白質圖譜計劃中的開放資源，包含28種不同細胞中共15 000張512x512的蛋白質圖譜圖像，數(shù)據(jù)集的28類標簽信息，見表1。所有圖像樣本由存儲為單個文件的4個濾波器組成：感興趣的蛋白質和細胞核、微管、內(nèi)質網(wǎng)3個標志物，感興趣的蛋白質濾波器為預測標簽，其他濾波器作為輔助特征，以便更好地對蛋白質圖譜圖像進行分類。在訓練過程中，為訓練方便，將4個濾波器合并為一張單獨的圖片數(shù)據(jù)，4個濾波器圖像和處理后的圖像數(shù)據(jù)，見圖4。

表1 數(shù)據(jù)集標簽描述

圖4 數(shù)據(jù)預處理及部分數(shù)據(jù)示例

在深度學習訓練的過程中，當訓練集中樣本數(shù)量不夠多，或某一類別的數(shù)據(jù)量過少，特征不夠明顯時，需要進行數(shù)據(jù)增強[16]。對原有數(shù)據(jù)集進行顏色抖動、旋轉、裁切和添加噪聲等操作，將數(shù)據(jù)集擴充到31 100張圖像，增強綠色濾波器的特征。在31 100張數(shù)據(jù)集內(nèi)的圖像被分成訓練集和驗證集兩部分，其中訓練集有25 000張圖像數(shù)據(jù)，驗證集有6 100張圖像數(shù)據(jù),見圖5。

圖5 蛋白質圖像數(shù)據(jù)增強

3.2 實驗過程及結果分析

選取包含型號為NVIDIA GeForce GTX 970顯卡的機器，操作系統(tǒng)為Ubuntu 16.04，選擇Keras深度學習框架進行模型訓練和測試，在擴充后的蛋白質圖譜圖像數(shù)據(jù)集上，對基于ResNet深度網(wǎng)絡的分類模型進行實驗。模型訓練時設置學習率為0.001，訓練輪次為30 000次，對基于ResNet深度網(wǎng)絡的人類蛋白質圖譜圖像分類方法進行訓練，保存訓練得到的模型參數(shù)，以便后續(xù)的測試和預測。然后將訓練得到的模型對數(shù)據(jù)進行測試，得到模型的準確率和F1值并與參考文獻中人工及其他分類方法的準確率和F1值進行比較，以衡量本方法的分類效果，見表2。其中，文獻[17]中包含基于卷積神經(jīng)網(wǎng)絡的蛋白質圖譜圖像分類方法以及人工專家分類結果，文獻[18]中包含基于支持向量機和隨機森林兩種蛋白質圖譜圖像分類方法。準確率(Accuracy)和的計算公式如式(3)和式(4)所示：

(3)

(4)

其中，TP表示將正類判定為正類的數(shù)目，F(xiàn)P表示將負類判定為正類的數(shù)目，F(xiàn)N表示將正類判定為負類的數(shù)目，TN表示將負類判定為負類的數(shù)目。

表2 與其他分類方法進行比較

相比于其他自動分類方法，本研究在F1值和準確率上有一定的提升，具有更高的分類精度和準確率。文獻[17]中還提到了兩個專家對人類蛋白質圖譜圖像進行人工分類的效果，準確率分別為0.959和0.923，本研究的準確率接近于專家分類，而且基于ResNet的分類方法的優(yōu)勢在于可以自動快速地實現(xiàn)蛋白質圖譜圖像分類，大大節(jié)約人工和時間成本。

4 結語

本研究實現(xiàn)基于ResNet深度網(wǎng)絡的人類蛋白質圖像分類方法，對多種蛋白質圖譜圖像進行分類實驗，然后與人工分類及其他自動分類方法研究進行比較。實驗結果表明相比于人工分類，雖然準確率略低，但可以實現(xiàn)人類蛋白質圖譜的自動快速分類，且比其他自動分類方法具有更高的精度和準確率。隨著醫(yī)學影像數(shù)據(jù)的增長，基于ResNet深度網(wǎng)絡的自動分類方法將發(fā)揮更大的作用。今后將繼續(xù)開展相關研究，進一步提高分類的速度和準確率，持續(xù)提高本方法的應用價值。