基于ResNet模型的甲狀腺SPECT影像診斷

王珂　張根耀

摘 要：為了降低醫生利用SPECT影像對甲狀腺疾病進行臨床診斷時的誤診率，提高深度學習算法在核醫學影像輔助診斷中識別交叉影像特征的準確率，提出了基于ResNet模型的甲狀腺SPECT影像診斷方法。利用深度卷積生成對抗網絡（DCGAN）和高分辨率生成對抗網絡（SRGAN）生成影像并提高分辨率，彌補訓練數據的不足。同時，將殘差塊輸出信息加上具有交叉特征影像信息的xi，在保留已學習影像特征的基礎上增加對交叉特征的學習，改進了模型。對于交叉影像特征，使用交叉訓練集對經過單一特征影像訓練完成的改進ResNet神經網絡模型進行再訓練。實驗結果表明，經過100輪迭代，交叉訓練集訓練的改進ResNet神經網絡模型驗證精度高達0.963 3，驗證損失降到

0.118 7，并趨于穩定;識別結果，召回率、精確率、特異度和F1分數都在93.8%以上。經過改進的神經網絡模型和新的訓練方法對甲狀腺SPECT影像表現出的典型癥狀識別率較高，優于其他基于卷積神經網絡（CNN）的方法，對臨床影像診斷具有參考價值。

關鍵詞：計算機神經網絡;圖像識別;SPECT;交叉訓練集;醫學影像;核醫學

中圖分類號：TP393;R318.6 文獻標識碼：A

doi：10.7535/hbkd.2020yx03006

Diagnosis of thyroid SPECT image based on ResNet model

WANG Ke1，2， ZHANG Genyao1

（1. School of Mathematics and Computer Science， Yan′an University， Yan′an， Shaanxi 716000， China; 2. Affiliated Hospital of Yan′an University， Yan′an， Shaanxi 716000， China）

Abstract：

In order to reduce the clinical misdiagnosis rate of of thyroid disease by using SPECT images， and improve the accuracy of deep learning algorithm in recognizing the features of cross images in nuclear medical image-assisted diagnosis， a thyroid SPECT image diagnosis method based on ResNet model was proposed. Deep Convolution Generative Adversarial Network （DCGAN） and Super-Resolution Generative Adversarial Network （SRGAN） were used to generate images and improve the resolution to make up for the deficiency of training data. At the same time， xi with the cross-feature image information was added to the residual block output information， and the learning of the cross-feature on the basis of retaining the learned image features， so as to improve the model. As for cross-image features， a cross-training set was proposed to retrain the improved ResNet neural network model that had been trained with a single feature image. The experimental results show that after 100 rounds of iteration， the verification accuracy of the improved residual neural network model trained by the cross-training set is as high as 0.963 3， and the verification loss is reduced to 0.118 7， which tends to be stable. The recall rate， precision rate， specificity and F1 score are all above 93.8% in the recognition results. The improved neural network model and the new training method show higher typical symptom recognition rate for thyroid SPECT images than other methods based on convolutional neural network （CNN）， and have reference value for clinical image diagnosis.

Keywords：

computer neural network; image recognition; SPECT; cross-training sets; medical image; nuclear medicine

甲狀腺是人體重要的內分泌器官，中國甲狀腺癌的平均發病率以14.5%的速度逐年上升，同時該病死亡率以1.4%的速度逐年上升。2015年新發癌癥患者統計數據分析顯示，每年中國新發甲狀腺癌患者將近90 000例，其中男性患者占24.6%，女性患者占75.4%，甲狀腺癌死亡患者每年平均6 800例，其中男性患者占36.8%，女性患者占63.2%，平均年齡小于30歲的年輕女性中，甲狀腺癌發病率一直位居惡性腫瘤首位[1]。因此，提高對甲狀腺疾病的早期準確診斷至關重要。在實際臨床實踐中，許多方法可用于甲狀腺疾病的診斷，如臨床評估、血液檢查、甲狀腺激素（TSH）檢測、影像學檢查和病理學檢查。其中，病理學檢查一般作為疾病診斷，特別是惡性腫瘤診斷的金標準。但到目前為止，病理學診斷仍沒有一種或幾種可靠的客觀指標，尤其是在早期癌的診斷上，不同的病理學家之間很難達成一致，并且，其作為有創檢查，在獲取病理組織時可能存在癌癥細胞種植的風險。而核醫學影像檢查避免傷害患者身體，在準確提供甲狀腺器官解剖形態基礎上，還可以顯示甲狀腺器官物質代謝功能情況，直接準確反映患者甲狀腺疾病，在準確診斷、治療甲狀腺各類疾病方面發揮著重要指導作用[2]。與此同時，計算機輔助診斷系統（CAD）在臨床診斷中的應用越來越多[3]。一方面，這些CAD系統可以減少醫生的工作量;另一方面，可以避免診斷過程中可能出現的一些錯誤。核醫學影像檢查患者逐年增多，不同資歷的診斷醫師對同一影像的醫學診斷結果有所差別，利用CAD系統進行輔助診斷能為臨床診斷提供參考，并能提高低資歷醫生的診斷水平。

此前的研究集中于從甲狀腺影像中提取不同人為設計的特征，然后將提取出的特征通過已有的機器學習分類器進行有效監督分類。例如CHEN等[4]提出了將紋理特征與病理學特征相結合，采用遺傳支持向量機對甲狀腺結節進行分類。CHANG等[5]利用小波系數、同質性、直方圖以及多尺度灰度差作為特征對甲狀腺影像進行分類以檢測甲亢等疾病。KATSIGIANNIS等[6]采用基于影像輪廓小波變換的特征對甲狀腺紋理進行分類。ACHARYA等[7]對甲狀腺三維超聲影像使用復小波變換濾波器提取特征以分類甲狀腺腫瘤。SAVELONAS等[8]提出采用隨機場中的特征來表述甲狀腺影像中的方向模式并采用有監督分類器對甲狀腺結節進行分類。IA-KOVIDIS等[9]采用模糊局部二值模式（LBP）特征對甲狀腺超聲影像中的紋理進行分類識別。傳統的機器學習方法需針對病變精心設計病變影像特征，準確度較低，設計復雜。近幾年興起的深度學習方法可根據大量數據自動學習影像特征，并能學習到人工所難以發現的深層影像特征，極大提高了影像識別準確率。

目前，應用卷積神經網絡方法已經開發了許多有效的模型，這些模型逐漸應用于醫學影像診斷。稠密神經網絡[10]是一種重要的神經網絡架構，已被廣泛應用于疾病診斷。例如，使用稠密網絡的心臟病分類器[11]。卷積神經網絡的VGG結構應用于良性結節與肺癌的肺結節分類[12]，采用VGG改進結構檢測乳腺癌[13]。GoogleNet是一種卷積神經網絡，具有一個或多個完全連接層的標準疊加卷積層，其在影像醫學診斷中有許多成功的應用，如識別糖尿病視網膜病變的分期[14]、胸部X線攝影中肺結核的自動匹配分類[15]、超聲影像中乳腺病變的分類[16]。研究表明，這些模型的應用有助于卷積神經網絡更好地發現不同影像特征，從而獲得更好的分類結果。

由于原始影像數據有限，以小的訓練集對模型進行訓練不能達到較高的準確率。本文利用生成對抗網絡來生成影像數據擴充數據集，最后通過訓練改進的ResNet神經網絡模型，實現端到端的甲狀腺SPECT影像診斷。

1 數據與方法

1.1 數據收集分類

醫學影像數據集收集于某醫院核醫學科，診斷儀器為美國通用產單光子發射計算機斷層成像系統，型號：Infinia。影像數據收集自2017-03-01到2019-12-31的641例甲狀腺SPECT影像檢查報告，從中直接獲取影像數據，將這些影像數據分為6類，如圖1所示，包括：1）甲狀腺功能亢進，2）亞急性甲狀腺炎，3）攝取功能減低，4）甲狀腺部位有結節，5）甲狀腺腫大，6）正常。有些影像中存在既腫大又攝取功能減低的交叉特征情況，選取有此類交叉特征的影像數據50例。

1.2 數據處理

原始影像數據總量不足并且存在明顯非對稱性，其中甲狀腺功能亢進影像數據200份，而甲狀腺正常影像數據只有37份。本文首先使用原有數據訓練改進的模型，發現典型癥狀的識別率僅在60%以下。為了更好地訓練神經網絡模型，降低模型泛化誤差，本文采用深度卷積生成對抗網絡（deep convolutional generative adversarial networks，DCGAN）[17]來擴充影像數據量。由于DCGAN生成的影像分辨率較低，進而使用超分辨率生成對抗網絡（super-resolution generative adversarial networks，SRGAN）[18]來提高影像分辨率。傳統影像增強方法是通過改變視野和空間剛性變換等產生新數據，但是這種方法不能學習醫學影像數據的生物學變化，并且可能生成物理不可信的醫學影像，DCGAN提供了理解影像數據基礎結構的途徑，可以利用該網絡將噪聲影像生成新的模擬樣本[17]。最后將6類單一特征影像數據分別擴充到1 000份，交叉特征影像擴充到1 000份，總共7 000幅影像，并使用SRGAN提高分辨率。詳見圖2。

1.3 神經網絡的構建

本文使用Tensorflow2.0框架，建立生成對抗網絡擴充影像數據，利用擴充后的影像數據訓練改進的ResNet神經網絡，最后識別實際檢查病人得到的SPECT影像。

1.3.1 生成對抗網絡

生成對抗網絡是同時訓練2個模型，一個用來捕獲數據分布的生成器模型（generative，G），另一個用來估計樣本的判別模型（discriminative，D）。G和D在對抗的框架下進行學習，D對真實數據進行建模，使得G避免了這些步驟，直接學習去逼近真實數據，在任意函數G和D的空間中存在唯一的解，使最終生成數據達到D無法區分真偽的效果。GAN是在優化過程中，由 G和D構成了一個動態的“博弈過程”[19]。

DCGAN是在原始生成對抗網絡的基礎上結合了卷積神經網絡的一種衍生模型，主要貢獻是將監督學習中的卷積模型和非監督學習生成的對抗網絡模型相結合，使樣本生成質量得到提高，也提高了收斂速度。

SRGAN神經網絡模型學習高、低分辨率影像對之間的映射，實現高分辨率影像的重建。

當影像的放大倍數在4以上時，訓練SRGAN神經網絡模型，使之生成影像中的高頻部分[20]。

1.3.2 ResNet神經網絡

傳統的卷積神經網絡或者全連接網絡在信息傳遞時或多或少會存在信息丟失、損耗等問題，同時還會引起梯度消失或者梯度爆炸，導致很深的網絡無法訓練。ResNet神經網絡模型在一定程度上解決了這個問題，直接將輸入信息繞道傳到輸出，保護信息的完整性，整個網絡只需要學習輸入、輸出差別的那一部分，簡化了學習目標和難度[11]。

由于實際影像存在特征交叉，比如甲狀腺腫大部位可能存在攝取減低。為了解決具有交叉特征的影像識別問題，本文通過預訓練ResNet神經網絡模型，得到可以識別單一影像特征的ResNet神經網絡模型，再用新的交叉特征影像訓練集訓練改進后的ResNet神經網絡模型。

訓練過的神經網絡對單一特征已形成參數矩陣，同時改進殘差塊，將殘差塊輸出信息加上具有交叉特征影像信息的xi，在保留已學習影像特征的基礎上增加對交叉特征的學習，增加模型魯棒性。使用有交叉特征的影像進行數據擴充，形成交叉特征影像訓練集，訓練改進后的ResNet神經網絡模型。結構如圖3所示。

改進的殘差塊的輸出可用式（1）表示。

y=F（x）+wxi，（1）

式中：y為調整輸出;xi為調整輸入;w為卷積中的操作，用來表示調整輸入xi的函數channel是多維度的。

考慮訓練速度，本文采用101層ResNet神經網絡模型。在卷積層加入參數初始化，初始化方式為均勻分布。為了提高模型泛化性能，訓練模型時，在全連接層之前加入dropout層，舍去概率50%，激活函數為drleakyrelu。

2 基于神經網絡的甲狀腺影像識別

2.1 試驗硬件及軟件

試驗平臺為筆記本計算機，影像處理器GPU型號NVIDIA GeForce GTX 950M，運行環境為Windows10? 64位系統，集成開發環境為Pycharm2019.3。

2.2 神經網絡模型的試驗方法

1）根據已有641例甲狀腺SPECT影像數據，使用DCGAN神經網絡模型生成新的類似影像，總共生成6類各1 000例，交叉特征影像1 000例，共7 000例影像。

2）由于DCGAN生成的甲狀腺SPECT影像分辨率相對較低，使用SRGAN來提高算法生成高分辨率影像。

3）將6類共6 000例甲狀腺SPECT影像分別進行標注：甲狀腺功能亢進，標簽1;亞急性甲狀腺炎，標簽2;攝取功能減低，標簽3;甲狀腺部位有結節，標簽4;甲狀腺部位腫大，標簽5;正常，標簽6。由于人體甲狀腺細胞影像紋理數據的局部識別不僅需要準確對比影像背景和識別前景，還要準確識別各個局部影像紋理上的特征，故可以采用深度學習方法進行端和端識別，沒有必要進行影像局部分割。輸入影像的維度為（32，32，3），訓練ResNet神經網絡模型。

4）用擴充后的交叉特征影像數據1 000例，其中800例作為訓練集，200例作為驗證集，訓練上一步預訓練的ResNet模型，采用改進的殘差塊，最終訓練得到能夠識別交叉影像特征的模型。

訓練過程如圖4所示。

3 結果與分析

3.1 訓練誤差率

設置ResNet訓練參數：優化方法采用動量法（moment），初始學習率為 0.1，訓練600次后學習率變為0.001，共訓練200輪，batch為200。對上述交叉訓練集進行200次迭代的訓練，其變化曲線如圖 5 所示。

結果表明，隨著迭代次數不斷增加，驗證損失逐漸降低，驗證精度逐漸提高，當訓練迭代到第 100 次時，神經網絡驗證精度達到0.963 3，驗證損失降到0.118 7，之后趨于穩定，表明卷積神經網絡達到了預期的訓練效果。

3.2 模型效果驗證

為了驗證神經網絡模型的可靠性與穩定性，對測試集的 700例甲狀腺SPECT影像（600例單一特征影像和100例交叉特征影像）進行識別。本文將實際診斷報告結論設為準確結論，神經網絡模型識別結論設為實驗結論。當神經網絡模型softmax分類函數中實驗結論對應準確結論的概率大于90%時，或者，過程中影像數據存在類別交叉的情況，當既有腫大又有結節的情況出現時，softmax分類函數輸出的概率值會提示兩類特征概率都大于45%，認定為這兩類特征都具備，模型識別正確。識別結果如表1所示。

由表1可知，甲狀腺功能亢進識別率最高（95.8%），其次是亞急性甲狀腺炎（93.3%），再次是攝取功能減低（91.7%），識別效果最差的是甲狀腺部位有結節（88.3%）。這是因為，甲狀腺功能亢進在影像中表現特征明顯，甲狀腺部位顏色較深，其他部位顏色較淺，對比明顯，癥狀易被識別。當甲狀腺部位有結節時，結節在影像中表現特征不一，實際臨床診斷中結節癥狀再次細分，并且每一種甲狀腺結節位置、大小、顏色、深度都有區別，已標注訓練數據不足，該癥狀不易識別或無法識別，影響識別精度。正常甲狀腺影像識別率不高主要原因是已標注原始數據有限，收集到的數據存在嚴重不平衡性。

3.3 統計方法

為了評價本文所提出的方法，使用了分類召回率、精確率、特異度和F1分數作為評價方法性能的指標。根據神經網絡的分類結果是否正確，以及樣本是否為每個類別的陽性、真陽性（TP）、真陰性（TN）、假陽性（FP）和假陰性（FN），可以確定召回率、精確率、特異度和F1分數定義如式（1）—式（4）所示。

召回率=TPTP+FN，（1）

精確率=TPTP+FP，（2）

特異度=TNFP+TN，（3）

F1分數=2TP2TP+FP+FN。（4）

召回率是類的正確預測樣本數量與類的總樣本數量的比率，也稱為靈敏度或命中率。精確率是指準確預測的類別樣本數目與所有預測的類別樣本總數的比率。特異度是正確預測的陰性樣本與總陰性樣本的比率。F1分數是分類精度和靈敏度的調和平均數。這些性能指標越大，方法的性能就越好。具體數值如表2所示。

結果表明，訓練好的改進ResNet神經網絡模型對SPECT甲狀腺影像癥狀有較好的識別率。

將其他卷積神經網絡（CNN）方法，如DenseNet121[10]，ResNet101[11]，InceptionV3[20]，VGG19[21-22]，Modified VGG （MVGG）[23]，GoogleNet[12]，SDAE[24-25]等與本文提出的方法進行比較，如表3所示。

由表3可知，本文提出的方法在甲狀腺典型癥狀識別方面優于其他基于CNN的方法。

4 結 語

本文提出了一種利用卷積神經網絡模型診斷甲狀腺疾病的有效方法——改進的ResNet結構和訓練方法。實驗結果表明，本方法訓練的神經網絡模型能較準確識別6類甲狀腺SPECT影像，并且對具有交叉特征的影像也能正確識別出癥狀。將改進的ResNet神經網絡模型應用于甲狀腺SPECT影像的診斷是可行的，具有很好的實際應用價值。本方法在甲狀腺結節的細分癥狀輔助診斷方面還有待進一步研究，未來需要建立和測試更大的數據集，例如增加甲狀腺結節各類別的數據集。

由于甲狀腺結節影像診斷對紋理特征要求較高，因此還需要研究更好的數據增強方法和更有效的深度學習模型。

參考文獻/References：

[1] 遲劍寧，于曉升，張藝菲.融合深度網絡和淺層紋理特征的甲狀腺結節癌變超聲影像診斷[J].中國圖象圖形學報，2018，23（10）：154-165.

CHI Jianning， YU Xiaosheng， ZHANG Yifei. Ultrasonographic diagnosis of thyroid nodule carcinoma combining deep network and superficial texture features [J].Chinese Journal of Image and Graphics， 2008，23（10）：154-165.

[2] 劉剛，劉健.影像學檢查在甲狀腺良惡性結節鑒別診斷中的應用價值[J].中國醫師雜志，2014，16（4）：565-568.

LIU Gang， LIU Jian. Application value of imaging examination in differential diagnosis of benign and malignant thyroid nodules [J]. Chinese Journal of Physicians， 2014，16（4）：565-568.

[3] MA J， WU F， JIANG T， et al. Cascade convolutional neural networks for automatic detection of thyroid nodules in ultrasound images[J]. Medical Physics， 2017， 44（5）：1678-1691.

[4] CHEN S J， CHANG C Y， CHANG K Y， et al. Classification of the thyroid nodules based on characteristic sonographic textural feature and correlated histopathology using hierarchical support vector machines[J].Ultrasound in Medicine and Biology，2010，36（12）： 2018-2026.

[5] CHANG C Y，LIU H Y，TSENG C H， et al. Computer-aided diagnosis for thyroid graves disease in ultrasound images[J].Biomedical Engineering： Applications， Basis and Communications，2010，22（2）： 91-99.

[6] KATSIGIANNIS S，KERAMIDAS E G， MAROULIS D. A contourlet transform feature extraction scheme for ultrasound thyroid texture classification[J]. International Journal of Engineering Intelligent Systems for Electrical Engineering and Communications，2010，18（3/4）：138-145.

[7] ACHARYA U R，SREE S V，SWAPNA G， et al. Effect of complex wave-let transform filter on thyroid tumor classification in three-dimensional ultrasound[J].Journal of Engineering in Medicine，2013，227（3）： 284-292.

[8] ?SAVELONAS M A，IAKOVIDIS D K，DIMITROPOULOS N， et al. Computational characterization of thyroid tissue in the radon domain[C]// The Twentieth IEEE International Symposium on Computer-Based Medical Systems. Maribor： IEEE， 2007： 189-192.

[9] ?IA-KOVIDIS D K，KERAMIDAS E G，MAROULIS D. Fuzzy local binary patterns for ultrasound texture characterization[C]//Proceedings of the 5th International Conference on Image Analysis and?Recognition. Póvoa de Varzim： Springer，2008：750-759.

[10]HUANG G， LIU Z， MAATEN L， et al. Ensely connected convolutional networks[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu：[s.n.]，2017： 2261-2269.

[11]HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[C]//Proceedings of IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas：[s.n.]，2016：770-778.

[12]NISHIO M， SUGIYAMA O， YAKAMI M， et al. Computer-aided diagnosis of lung nodule classification between benign nodule， primary lung cancer， and metastatic lung cancer at different image size using deep convolutional neural network with transfer learning[J]. PLoS One， 2018， 13（7）： e0200721.

[13]HAGOS Y B， MERIDA G， JONAS T. Improving breast cancer detection using symmetry information with deep learning[C]//Lecture Notes in Computer Science.[S.l.]：Springer， 2018： 90-97.

[14]TAKAHASHI H， TAMPO H， ARAI Y， et al. Applying artificial intelligence to disease staging： Deep learning for improved staging of diabetic retinopathy[J]. PLoS One， 2017， 12（6）： e0179790.

[15]LAKHANI P， SUNDARAM B. Deep learning at chest radiography： Automated classification of pulmonary tuberculosis by using convolutional neural networks[J]. Radiology， 2017， 284（2）：574-582.

[16]HAN S， KANG H K， JEONG J Y， et al. A deep learning framework for supporting the classification of breast lesions in ultrasound images[J]. Physics in Medicine & Biology， 2017， 62（19）： 7714-7728.

[17]RADFORD A，METZ L， CHINTALA S. Unsupervised representation learning with deep convolutional generative adversarial networks[C]//Proc ICLR.San Juan：[s.n.]，2016：1-15.

[18]潘丹，賈龍飛，曾安，等. 生成式對抗網絡在醫學影像處理中的應用[J]. 生物醫學工程學雜志， 2018 ，35（6）： 148-154.

PAN Dan， JIA Longfei， ZENG An， et al. The application of the application of the anti-network in medical imaging processing[J]. Journal of Biomedical Engineering， 2018， 35（6）： 148-154.

[19]GOODFELLOW I J， POUGET-ABADIE J， MIRZA M， et al. Generative Adversarial Networks[Z]. [S.l.]： Cornell University Library， 2014： 1406.2661.

[20]LEDIG C， THEIS L， HUSZAR F， et al. Photo-realistic single image super-resolution using a generative adversarial network[C]//The IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. [S.l.]： [s.n.]， 2017： 4681-4690.

[21]KHENED M， KOLLERATHU V， KRISHNAMURTHI G. Fully convolutional multi-scale residual DenseNets for cardiac segmentation and automated cardiac diagnosis using ensemble of classifiers[J].Medical Image Analysis， 2018， 51： 21-45.

[22]HAN S S， KIM M S， LIM W， et al. Classification of the clinical images for benign and malignant cutaneous tumors using a deep learning algorithm[J]. Journal of Investigative Dermatology，2018， 138（7）： 1529-1538.

[23]YANG Hao， ZHANG Junran， LIU Qihong，et al. Multimodal MRI-based classi cation of

migraine： Using deep learning convolutional neural network[J]. Biomedical Engineering Online， 2018， 17（10）.doi：10.1186/s12938-018-0587-0.

[24]ABD-ELLAH M K， AWAD A I， KHALAF A A M， et al. Two-phase multi-model automatic brain tumour diagnosis system from magnetic resonance images using convolutional neural networks[J]. EURASIP Journal on Image and Video Processing，2018（9）.doi：10.1186/s13640-018-0332-4.

[25]CHEN Jiezhi， NI Dong， CHOU Yihong， et al. Computer-aided diagnosis with deep learning architecture： Applications to breast lesions in US images and pulmonary nodules in CT scans[J]. Scientific Reports， 2016， 6（4）.doi：10.1038/srep24454.

收稿日期：2020-04-18;修回日期：2020-05-15;責任編輯：馮 民

基金項目：國家自然科學基金（71961030）

第一作者簡介：王 珂（1990—），男，陜西西安人，碩士研究生，主要從事計算機圖形圖像處理方面的研究。

通訊作者：張根耀教授。E-mail：ydzhanggenyao@163.com

王珂， 張根耀.

基于ResNet模型的甲狀腺SPECT影像診斷

[J].河北科技大學學報，2020，41（3）：242-248.

WANG Ke，ZHANG Genyao.

Diagnosis of thyroid SPECT image based on ResNet model

[J].Journal of Hebei University of Science and Technology，2020，41（3）：242-248.