基于VGG的SPECT骨掃描圖像關節炎分類

曹傳貴，林 強，滿正行，曹永春，鄧 濤，李同同，王海軍

(1.西北民族大學 數學與計算機科學學院，甘肅 蘭州 730030；2.西北民族大學 動態流數據計算與應用實驗室，甘肅 蘭州 730030;3.甘肅省人民醫院 核醫學科，甘肅 蘭州 730020)

0 引言

隨著醫學影像技術的發展，計算機斷層掃描(Computed Tomography,CT)、核磁共振(Magnetic Resonance Imaging,MRI)、正電子發射型計算機斷層顯像(Positron Emission Tomography,PET)和單光子發射計算機斷層成像術(Single Photon Emission Computed Tomography,SPECT)[1]逐漸應用于人體組織器官、解剖結構、生理功能和病理變化的臨床檢查.特別是，近年來功能影像在疾病診療中的應用日漸突現[2].與傳統的CT影像相比，盡管SPECT功能影像[3]分辨率較低、容易受噪聲干擾，但它有著可提前發現機體功能病變的優點，一定程度上克服了傳統CT、MRI等結構成像的不足.當前，SPECT全身骨顯像檢測已經成為疾病提前發現的重要臨床手段[4-6].

關節炎是常見、多發性生理疾病，其病因復雜，臨床表現有著較明顯的個體差異.據統計，我國骨關節炎發病率達到3%[7]，且隨著年齡增長，發病率顯著增加.因SPECT核醫學成像具有提早發現疾病的獨特優勢，在骨轉移、退行性改變、關節炎的診斷中發揮著重要作用.SPECT核醫學可提前1～3個月發現關節病變[8-10].

以人工閱片為主的傳統診斷方式不僅效率偏低，而且存在漏診、誤診等影響準確診療的問題.利用從大量歷史數據中提取出來的疾病特征，構建基于機器學習特別是深度學習技術的計算機輔助診斷系統(Computer Aided Design,CAD)，可實現疾病的自動輔助診斷，減少漏診、誤診現象的發生.這是因為，CAD系統能夠克服醫務人員臨床經驗、主觀認識差異導致的診斷結果不一致等問題[11-14]，包括基于Faster R-CNN模型在INbreast數據集上對乳腺X光片的惡性和良性病變的分類檢測[15]、基于CheXNet模型在最大公開胸部X射線數據集中對14種疾病進行分類[16]、基于深度學習卷積神經網絡的CT數據預測肺結節惡性腫瘤的系統方法NoduleX[17]、基于DenseNet改進的網絡結構進行SPECT甲狀腺診斷[18].而卷積神經網絡(Convolutional Neural Network,CNN)因其獨有的圖像特征自動提取功能，學術界提出了大量基于深度學習的關節炎識別模型與方法.現有工作主要以結構醫學圖像中關節炎的自動分類和診斷為研究目標，包括基于多模式機器學習的X射線成像的膝骨關節炎的預測模型[19]、基于全卷積神經網絡的X射線成像平片自動量化膝關節炎嚴重程度的分類[20]、基于V型網絡和Inception網絡的MRI圖像關節軟骨病變分類[21]、基于孿生CNN的X射線成像平片自動膝關節骨關節炎輔助診斷[22]、CNN與長短期記憶(Long Short Term Memory,LSTM)相結合的X射線成像關節炎自動診斷[23]以及可訓練注意力模塊CNN的X射線成像膝蓋骨關節炎自動分類[24].

1 數據與方法

1.1 數據及預處理

本文實驗數據來源于甘肅省人民醫院核醫學科患者的門診檢查記錄，每個記錄由DICOM文件和診斷報告兩部分構成.原始數據集包含780個DICOM文件.根據部位的不同，將原始數據分為肩關節、肘關節、腕關節、膝關節、踝關節等五個類別，每個類別分別有正常和包含病灶兩種類型.全身SPECT骨顯像的大小為1024(高) × 256(寬).為專注關節炎病灶的識別和分類，本文基于常識以手工方式從原始圖像中裁剪出64 × 64的圖像塊.包含炎癥病灶的圖像塊有345個樣本，不包含病灶的正常圖像塊有435個樣本，共有400個病例，其中正常55人，異常345人.為表述方便，本文將包含病灶的圖像稱為異常圖像，不含病灶的圖像稱為正常圖像.每個異常圖像中僅包含一個病灶，即不含多病灶圖像樣本.本文研究數據集涉及患者的年齡分布如表1所示.

表1 患者年齡分布

由表1可知，患者的年齡主要分布在40～79歲之間，占比達到94.7%，而60～69歲之間的患者達到33.9%.這是因為，SPECT核醫學檢查主要面向重病患者，而老年人隨著機體功能的下降，更容易出現生理疾病，甚至嚴重疾病.

圖1(左)中SPECT全身骨顯像包含左右肩關節、腕關節、肘關節、手指關節炎和左膝關節炎多處病灶,還有膀胱殘留；圖1(右)中包含左右膝關節炎、L1～L5退行性改變以及膀胱殘留.從圖1可以看出，SPECT全身骨掃描具有分辨率低且一張圖像包含多個病灶的特點.

盡管圖1所示的關節炎病灶呈現為放射濃聚的區域，但是否診斷為關節炎，臨床上通常要綜合其他信息(如對稱性、個體差異)給出診斷結論.因此，本文借助深度學習技術特征自動提取功能，特別是深度模型的卷積層感受野特性，來實現個體差異顯著的低分辨率SPECT圖像關節炎病灶的可靠分類.

圖1 SPECT骨顯像樣例

1.1.1 數據歸一化

每個原始DICOM文件是一個矩陣，每個元素代表成像設備捕獲的放射量.如圖2所示，放射量的變化范圍寬廣，最高時可能超過1萬.為了適應模型的處理要求，本文利用歸一化處理技術將原始DICOM文件轉化為元素取值在0～255的數據矩陣，本文稱其為SPECT圖像.歸一化過程如下：

1) 掃描每個DICOM文件，確定其輻射量的最小值Xmin和最大值Xmax.

2) 根據下式計算系數k.

(1)

3) 得到歸一化[a,b]區間的數據，其中a=0，b=255.

1.1.2 數據擴展

SPECT圖像是在疾病診治過程中收集的核醫學影像記錄，疾病類別的差異自然導致歸屬各類疾病的圖像數據集存在不平衡現象，例如膝關節炎患者較多而踝關節炎患者較少.為了確保不同類別疾病數據集的基本平衡，同時適度擴展圖像數據的數量，本文使用基于圖像平移、旋轉、扭曲、鏡像的數據擴展方法.

為盡可能避免分類類間的不平衡現象，在數據擴展時做不等量擴展.如肘關節炎比膝關節炎少，肘關節炎擴展10倍，而膝關節炎只擴展5倍.本文經數據預處理后的實驗數據見表2.

表2 本文所用數據集

鏡像：SPECT核醫學檢測每次產生兩幅圖像，分別代表前位圖像和后位圖像.但檢查過程及數據傳輸和存儲過程中可能出現圖像丟失的現象.為了避免圖像丟失帶來的影響，本文對SPECT圖像做鏡像處理.常見的圖像鏡像有水平鏡像和垂直鏡像.因人體的垂直對稱性，本文僅選用水平鏡像實現SPECT圖像的水平鏡像處理.令w和h分別代表原始圖像的寬度和高度，源圖像中點的(xi,yi)經過水平鏡像后的坐標(xo,yo)為：

xo=w-xi-1,yo=yi

(2)

旋轉：疾病檢查過程中，因患者的躺姿不完全標準等可能，所收集的SPECT圖像中會包含傾斜現象.為提升模型識別的魯棒性，需要對SPECT做適度旋轉.但醫學圖像不同于自然圖像，旋轉幅度應該控制在合理的范圍之內.

假定(xi,yi)為輸入圖像中的點，給定旋轉角度θ∈[θ1,θ2]，其中θ1和θ2分別代表旋轉角度的下限和上限，其取值通過實驗方式確定.式(2)給出了經旋轉處理后的點(xo,yo).

(3)

為給定包含關節炎病灶的樣本實例，圖3給出了鏡像和旋轉處理后的結果.

(a)原圖 (b)鏡像 (c)旋轉

1.2 VGG分類模型

本文選用標準的VGG-16模型構建SPECT圖像分類器.由于標準VGG-16模型的網絡層級較深，對訓練樣本的數量要求較高，因此本文參照VGG-16結構定義新的模型VGG-6.兩類模型的網絡結構分別見圖4和圖5.

圖4 VGG-16網絡結構

圖5 VGG-6網絡結構

1.2.1 標準VGG-16模型

VGG-16是由多層卷積運算和池化運算堆疊而成的深層網絡結構，包括13個卷積層、5個池化層和3個全連接層，總數目為13+3=16(這就是VGG16中16的來源).其中，卷積層和全連接層有相應的權重，因此也稱為權重層.

卷積層均使用3×3的卷積核，結合其他參數(步幅Stride=1、填充方式Padding=Same)，以確保每個卷積層與前一層保持相同的尺寸.

池化層均采用相同的2×2大小的參數，高和寬逐步減半，即224→112→56→28→14→7，通道數逐步翻倍，即64→128→256→512，其后將保持不變.

1.2.2 自定義VGG-6模型

參照VGG-16模型的結構，本文定義深度為6的模型VGG-6，即由4個卷積層和2個池化層構成，同時包含2個全連接層.模型的輸入為64×64的三通道圖像：①經過兩層3×3的卷積后通道數變為64，由于采用Same方式填充，所以經過兩層卷積后圖像尺寸仍然不變；②經過2×2的池化處理，變成32×32的圖像；③進行兩層3×3的卷積，仍采用Same方式填充，通道數為128且大小不變；④經過2×2的池化處理，變為16×16的圖像；⑤經過兩層全連接，完成10類別分類(對應于關節炎和正常圖像的類別數).

激活函數和優化函數是CNN的重要組成部分，對分類的準確度、模型的收斂速度和迭代周期等起著重要的決定作用.正則化和Dropout能夠提高模型的泛化能力、降低過擬合現象的發生，從而提高模型的分類性能.

激活函數：ReLU是CNN常用的激活函數，它原樣輸出正樣本，但對負數本做置0處理.相比于Sigmoid或者Tanh，ReLU因不使用指數運算，因而計算量小，能夠加快模型收斂.ReLU的定義見公式4.

f(x)=max(0,x)

(4)

圖6給出了ReLU函數的圖形化表示.

圖6 ReLU函數曲線

優化函數：本文選用隨機梯度下降(Stochastic gradient descent,SGD)優化函數，在每次迭代中，使用一個樣本來對參數進行更新，從而使得訓練速度加快.

正則化：在訓練過程中通過逐漸增大超參數λ來增加網絡參數稀疏性，以提高泛化能力.本文采用L1范數作為稀疏性懲罰Ω(θ)的正則化方式叫做L1正則化，其定義如下：

(5)

其中，L1范數‖θ1‖1定義為張量θ1中所有元素的絕對值之和.

Dropout：失活操作通過隨機斷開神經網絡的連接，以減少訓練時實際參與計算模型的參數數量.但在模型測試階段，Dropout會恢復所有的連接，保證模型測試時獲得最好的性能.本文帶有Dropout層的網絡模型在訓練時，其實際參數量減少，因而泛化能力變強.

2 實驗及評價

2.1 實驗設計

使用表2所示的5 086個圖像樣本，實驗驗證本文構建的分類器的性能.為獲得實驗數據的真實情況，實驗開始前邀請三名核醫學科醫生對圖像進行了手工標注.三名標注人員依據診斷報告分別獨自標注每一幅圖像，當標注結果不一致時，采用少數服從多數的原則確定最后結果.

訓練數據、驗證數據、測試數據的比例為6︰2︰2，學習率設置為0.0001、Dropout設置為0.5.實驗中所用的GPU為P400、CPU為i7-9700，內存為32 G，采用Tensorflow2.0框架和Pytorch 1.4.0框架.

模型分類后的圖像將歸屬于下列四個類別的其中一個：

①真陽性(True Positive,TP)：將包含關節炎病灶的圖像正確地識別為異常圖像；②真陰性(True Negative,TN)：將不含病灶的圖像正確地識別為正常圖像；③假陽性(False Positive,FP)：將不含病灶的圖像錯誤地識別為異常圖像；④假陰性(False Negative,FN)：將包含病灶的圖像錯誤地識別為正常圖像. 基于上述定義，現定義本文的評價指標準確度Acc、精確度Prec、召回率Rec和F-1評分如下：

(6)

(7)

(8)

(9)

此外，一個好的分類器應該同時獲得高的檢測率(True Positive Rate,TPR)和低的誤報率(False Positive Rate,FPR)，其定義見公式(10)和公式(11).

(10)

(11)

以TPR為橫坐標、FPR為縱坐標，繪制ROC (Receiver Operating Characteristic Curve)曲線，曲線下的面積AUC值越大，則模型的分類性能越好.

2.2 實驗結果與分析

2.2.1 VGG6準確率變化曲線分析

圖7給出了VGG-6模型的訓練準確度Acc和損失Loss的變化情況.從圖7可以看出，隨著訓練迭代次數的增加，準確率不斷上升.當訓練到100周期時準確率基本保持不變，達到0.92，其后準確率將基本保持不變.

圖7 VGG-6模型的訓練準確率和驗證準確率曲線

2.2.2 量化結果

表3給出了VGG-16和VGG-6兩種模型在各評價指標上的取值.從表3可以看出，本文自定義的深度模型VGG-6獲得了更好的分類性能，分類準確度較VGG-16高出11.9個百分點.

表3 不同模型的實驗結果比較

VGG-6獲得較好分類的可能原因：對于小數據集來說，較淺層的識別模型更有利于提取病灶的有效特征，從而獲得較高性能的分類結果.由于VGG-16模型層數較深，容易造成過度學習，總參數量是VGG-6的4倍，相應地增加了計算量和運行時間.所以采用卷積核較小的淺層VGG-6模型，可實現SPECT骨顯像圖像中關節炎疾病的高效可靠分類.

為了進一步考察不同激活函數對分類性能的影響，表4給出VGG-6模型使用不同激活函數時的準確度和損失指標.從表4可以看出，激活函數ReLU效果最好，其收斂周期為125，明顯低于其他激活函數.同時，ReLU獲得的準確率和損失值也優于其他函數.這與Tanh和Sigmoid相比，ReLU的計算量更小、收斂速度更快.

表4 不同VGG-6模型激活函數比較

2.2.3 ROC曲線與AUC值

圖8給出了VGG-6模型的ROC曲線及其AUC值.高達0.986 2的AUC值充分說明了本文自定義的VGG-6模型可有效用于SPECT圖像關節炎疾病的自動診斷.

圖8 ROC曲線和AUC值 圖9 VGG-6模型的混淆矩陣

2.2.4 混淆矩陣

為了進一步探究VGG-6模型在不同類別關節炎SPECT圖像分類中的性能，圖9提供了分類結果的混淆矩陣.其中，0類圖像的準確率偏低，為87.9%；其他類別的識別率都在90%以上，部分甚至高達95%.從混淆矩陣可知，關節炎與正常部位的分類準確率指標均保持在一個較高水平.

由圖10給出的誤分樣本可以看出：(a)正常踝關節被模型預測為踝關節炎.在此踝關節處濃聚增強，醫生也會有誤診為踝關節炎的可能，對深度模型也會造成誤判；(b)正常肩關節被模型預測為肩關節炎，此肩關節與圖(a)情況類似，中心位置濃聚增強，容易導致誤診；(c)膝關節炎被預測為正常膝關節.此膝關節顯影減淡，相對其他關節炎濃聚減弱，是放射藥物吸收在個體之間的差異所導致的結果；(d)肩關節炎被預測為正常肩關節.此患者較為年輕，對放射性藥物吸收能力強，因此在檢測時肩關節處顯影明顯，有濃聚現象，對于這種情況醫生也經常會誤診. 此外，在SPECT檢測中，特殊人群如老年人、體質較弱患者對放射性藥物的吸收能力普遍偏低，是造成許多老年人在關節炎檢測時漏診的主要原因.相反，年輕人代謝能力強，對放射性藥物吸收能力也較強，因而容易發生誤診的情況.放射藥物吸收在個體之間存在的差異，一定程度上對分類模型造成干擾，但深度模型的自動特征提取能力可有效針對這些差異，是傳統機器學習方法的有效補充.

(a) (b) (c) (d)

3 總結與展望

以SPECT成像關節炎的自動可靠識別為目標，本文研究并構建基于VGG-16的分類器，同時自定義了VGG-6分類模型.首先，對SPECT圖像的預處理和數據擴展過程進行了說明.然后詳細闡述了本文構建的深度分類器.基于臨床環境收集的真實SPECT檢查數據，對構建的分類模型進行了實驗驗證.實驗結果表明，本文提出的方法在關節炎圖像自動分類中具有可行性.未來將從如下幾個方面對本文工作予以擴展：

首先，進一步優化本文構建的深度分類模型，尤其是VGG-6模型，以提升模型的分類性能.

然后，收集大量真實SPECT檢查數據，來驗證模型的有效性和可用性.

最后，拓展研究領域，構建面向多病灶的深度分類模型，進而研發可實際操控的SPECT關節炎CAD系統.