基于改進(jìn)Mask R-CNN的多標(biāo)簽甲狀腺結(jié)節(jié)檢測模型

吳雯娟,戚 琪,鄧梓楊,邱桃榮*,張衛(wèi)平,徐 盼

(南昌大學(xué)a.數(shù)學(xué)與計(jì)算機(jī)學(xué)院,江西 南昌 330031;b.第一附屬醫(yī)院超聲科,江西 南昌 330006)

全球甲狀腺癌發(fā)病率呈上升趨勢,為了能夠提升甲狀腺結(jié)節(jié)診斷水平,縮小不同醫(yī)療條件下甲狀腺結(jié)節(jié)診斷水平的巨大差異,中華醫(yī)學(xué)會超聲醫(yī)學(xué)分會淺表器官和血管學(xué)組組織專家于2017年開始著手起草符合中國國情的C-TIRADS[1-3]。C-TIRADS標(biāo)準(zhǔn)在臨床實(shí)踐中表現(xiàn)了很好的診斷效果[4]。基于計(jì)算機(jī)輔助診斷的方法來自動檢測識別甲狀腺結(jié)節(jié)能夠提升臨床醫(yī)生的診斷效率,降低勞動強(qiáng)度[5-7]。因此,針對C-TIRADS來研究基于深度學(xué)習(xí)的甲狀腺超聲圖像診斷方法具有重要意義。結(jié)合C-TIRADS標(biāo)準(zhǔn)構(gòu)建一個能定位結(jié)節(jié)并預(yù)測結(jié)節(jié)惡性風(fēng)險(xiǎn)等級以及預(yù)測結(jié)節(jié)的病理特征的多標(biāo)簽?zāi)繕?biāo)檢測模型,能夠更好地與當(dāng)前臨床診斷流程結(jié)合,為臨床醫(yī)生提供更多參考依據(jù),提升臨床醫(yī)生的診斷效率。

為了能夠有效結(jié)合C-TIRADS標(biāo)準(zhǔn)實(shí)現(xiàn)甲狀腺結(jié)節(jié)惡性風(fēng)險(xiǎn)智能診斷,本文提出一個基于深度學(xué)習(xí)的多標(biāo)簽甲狀腺結(jié)節(jié)檢測模型。通過在本文數(shù)據(jù)集上對比Mask R-CNN[8]、YOLOv5[9]、DETR[10]模型對甲狀腺結(jié)節(jié)的檢測性能,選用了在數(shù)據(jù)集上甲狀腺識別效果最好的Mask R-CNN模型作為基準(zhǔn)模型。為了解決基準(zhǔn)模型無法完成多標(biāo)簽預(yù)測以及檢測效果不理想的問題,將基準(zhǔn)模型的特征提取網(wǎng)絡(luò)、檢測頭、錨框進(jìn)行了優(yōu)化改進(jìn),使用ResNet152-FPN替換原有特征提取網(wǎng)絡(luò)來提升模型特征能力,設(shè)計(jì)全新的卷積多標(biāo)簽檢測頭結(jié)構(gòu)來對結(jié)節(jié)病理特征進(jìn)行多標(biāo)簽預(yù)測,基于醫(yī)學(xué)先驗(yàn)知識對模型錨框尺寸及比例進(jìn)行自定義來提升模型的定位精度,最后采用遷移學(xué)習(xí)的方式對改進(jìn)后的模型進(jìn)行訓(xùn)練,使模型進(jìn)行得到進(jìn)一步提升。

1 目標(biāo)檢測模型及特征網(wǎng)絡(luò)簡介

1.1 Mask R-CNN

Mask R-CNN模型是兩階段目標(biāo)檢測模型。模型的工作流程可以分為在圖像上生成推薦候選區(qū)域、對候選區(qū)域圖像進(jìn)行特征提取與預(yù)測兩步,工作流程如圖1所示。

圖1 Mask R-CNN模型工作流程圖Fig.1 Workflow of Mask R-CNN

輸入圖像經(jīng)過特征提取網(wǎng)絡(luò)得到特征圖,特征圖輸入RPN網(wǎng)絡(luò)用以生成候選框,候選框應(yīng)用在特征圖上生成感興趣區(qū)域,感興趣區(qū)域輸入到檢測頭中用以分類與回歸框預(yù)測。

1.2 ResNet

何凱明等[11]提出了ResNet網(wǎng)絡(luò)與Residual殘差結(jié)構(gòu),Residual結(jié)構(gòu)如圖2所示,通過快捷連接將上幾層的輸出與該層輸出相加。Residual結(jié)構(gòu)的提出使得ResNet模型具有了恒等映射能力,ResNet模型使用帶有快捷連接的殘差卷積塊替代普通卷積塊,解決了構(gòu)建深層網(wǎng)絡(luò)可能出現(xiàn)的退化問題。并且在ResNet模型中引入了Batch Normalization(BN)層,解決模型訓(xùn)練過程中可能出現(xiàn)的梯度消失/爆炸問題。

圖2 Residual模塊結(jié)構(gòu)Fig.2 Structure of Residual module

表1 ResNet模型結(jié)構(gòu)Tab.1 Structure of ResNet

表1展示了不同深度ResNet模型的結(jié)構(gòu),模型由不同數(shù)量的多種卷積塊堆疊構(gòu)成。ResNet152相比ResNet101具有更多的卷積層,理論上具有更好的表達(dá)能力。

1.3 FPN

FPN(Feature Pyramid Networks)[12]網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。左側(cè)為普通的卷積神經(jīng)網(wǎng)絡(luò),右側(cè)為FPN從卷積神經(jīng)網(wǎng)絡(luò)中提取的不同層次的特征圖,并把它們通過側(cè)邊連接相連,使得FPN網(wǎng)絡(luò)中的每一層特征圖都包含多個尺度的信息,然后再基于特征金字塔中各個層次的特征圖分別進(jìn)行預(yù)測,論文中實(shí)驗(yàn)數(shù)據(jù)表明,FPN網(wǎng)絡(luò)能夠提升一些目標(biāo)檢測模型的性能。

圖3 FPN模型工作流程圖Fig.3 Workflow of FPN

2 基于Mask R-CNN的多標(biāo)簽?zāi)Ｐ蜆?gòu)建與優(yōu)化

2.1 特征提取網(wǎng)絡(luò)的選取與改進(jìn)

基準(zhǔn)模型選取實(shí)驗(yàn)中Mask R-CNN模型使用ResNet101作為特征提取模型進(jìn)行訓(xùn)練,模型的性能還有進(jìn)一步提升的空間。為增強(qiáng)模型的特征提取能力,本文選取更深的ResNet152模型作為特征提取網(wǎng)絡(luò)進(jìn)行對比實(shí)驗(yàn)。有研究表明FPN模型能夠提升目標(biāo)檢測模型的性能,所以本文將在ResNet模型上加入FPN結(jié)構(gòu)進(jìn)行訓(xùn)練與實(shí)驗(yàn)對比,通過對比實(shí)驗(yàn)為模型選取最佳特征提取網(wǎng)絡(luò)。ResNet-FPN模型的結(jié)構(gòu)如圖4所示,左側(cè)為ResNet網(wǎng)絡(luò),FPN通過提取ResNet網(wǎng)絡(luò)中不同層次特征圖進(jìn)行連接得到特征金字塔。

圖4 ResNet-FPN工作流程圖Fig.4 Workflow of ResNet-FPN

2.2 預(yù)測分支結(jié)構(gòu)設(shè)計(jì)

為Mask R-CNN模型構(gòu)建能夠進(jìn)行多標(biāo)簽分類預(yù)測的檢測頭,本文提出的檢測頭結(jié)構(gòu)如圖5所示。

圖5 檢測器結(jié)構(gòu)示意圖Fig.5 Structure of Detectors

其中class1分支代表一個二分類預(yù)測分支,用以預(yù)測感興趣區(qū)域是否為甲狀腺結(jié)節(jié),為原Mask R-CNN模型自帶類別預(yù)測分支結(jié)構(gòu),class2分支為多標(biāo)簽分類預(yù)測分支,是在原模型基礎(chǔ)上為完成多標(biāo)簽預(yù)測結(jié)節(jié)病理特征新增加的分支結(jié)構(gòu)。本文設(shè)計(jì)了卷積檢測頭與全連接檢測頭兩類,并且嘗試在class2預(yù)測分支上增加約束,將class1分支預(yù)測結(jié)構(gòu)輸入到class2分支來進(jìn)一步約束class2分支預(yù)測結(jié)果。本文將在不同的檢測頭上進(jìn)行對比實(shí)驗(yàn),將實(shí)現(xiàn)中表現(xiàn)最好的檢測頭作為改進(jìn)模型的檢測頭結(jié)構(gòu)。

2.3 基于臨床先驗(yàn)知識指導(dǎo)的錨框定義策略

以特定的先驗(yàn)醫(yī)學(xué)知識為指導(dǎo)模型改進(jìn)能夠提升模型性能[13-15]。本文為了使模型能夠生成更加貼合甲狀腺結(jié)節(jié)形態(tài)的候選框,對數(shù)據(jù)集中甲狀腺結(jié)節(jié)的縱橫比進(jìn)行統(tǒng)計(jì)發(fā)現(xiàn)縱橫比范圍在(0.2,1.8),結(jié)節(jié)的尺寸越大,結(jié)節(jié)的縱橫比往往更小,基于數(shù)據(jù)集中結(jié)節(jié)的縱橫比分布情況對錨框的尺寸和縱橫比進(jìn)行定義,具體數(shù)據(jù)見表2。

表2 不同層級特征圖上的錨框大小及縱橫比Tab.2 Size and aspect ratio of anchor on different level feature map

2.4 基于遷移學(xué)習(xí)的改進(jìn)模型預(yù)訓(xùn)練

遷移學(xué)習(xí)通過將在任務(wù)A上學(xué)習(xí)到的規(guī)律應(yīng)用到任務(wù)B上,通過一些已經(jīng)學(xué)習(xí)到的A、B任務(wù)的共同規(guī)律來節(jié)省B任務(wù)的學(xué)習(xí)成本,同時(shí)提升任務(wù)B的泛化性能。為了更好地訓(xùn)練模型,本文采用遷移學(xué)習(xí)對模型進(jìn)行訓(xùn)練,為特征提取網(wǎng)絡(luò)、檢測頭分別設(shè)計(jì)了訓(xùn)練方案。

特征提取網(wǎng)絡(luò)的訓(xùn)練步驟,首先凍結(jié)除檢測頭以外的所有參數(shù),對檢測頭參數(shù)進(jìn)行訓(xùn)練,然后對整個模型中所有參數(shù)進(jìn)行訓(xùn)練微調(diào)。

本文為卷積檢測頭和全連接檢測頭分別設(shè)計(jì)了兩種訓(xùn)練方案,針對全連接檢測頭的訓(xùn)練方案有:(1)凍結(jié)所有已經(jīng)訓(xùn)練過的卷積層,對新構(gòu)建的檢測頭進(jìn)行訓(xùn)練(2)凍結(jié)所有已經(jīng)訓(xùn)練過的卷積層和全連接層,僅對新增加的全連接分支進(jìn)行訓(xùn)練,再對整個模型進(jìn)行微調(diào)。針對卷積檢測頭的訓(xùn)練方案有(1)凍結(jié)所有已經(jīng)訓(xùn)練過的卷積層,對新構(gòu)建的檢測頭進(jìn)行訓(xùn)練(2)凍結(jié)所有已經(jīng)訓(xùn)練過的卷積層與全連接層,先訓(xùn)練檢測頭中新增加的殘差塊,再對新增加的多分類全連接層進(jìn)行訓(xùn)練,再對整個模型進(jìn)行微調(diào)。

本文將通過實(shí)驗(yàn)對比特征提取網(wǎng)絡(luò)采用遷移學(xué)習(xí)和非遷移學(xué)習(xí)策略訓(xùn)練的模型性能,對比各卷積頭在不同訓(xùn)練方案下的模型性能。

3 模型對比實(shí)驗(yàn)與結(jié)果分析

3.1 甲狀腺超聲圖像數(shù)據(jù)集

本文構(gòu)建的甲狀腺超聲圖像數(shù)據(jù)集具體數(shù)據(jù)如表3。對于超聲圖像中的單個結(jié)節(jié)可能同時(shí)具備多個病理特征標(biāo)簽。在實(shí)驗(yàn)中將原始數(shù)據(jù)集按照8:2的比例進(jìn)行劃分,80%的數(shù)據(jù)作訓(xùn)練集,20%的數(shù)據(jù)作為測試集。

3.2 不同目標(biāo)檢測網(wǎng)絡(luò)的對比實(shí)驗(yàn)與結(jié)果分析

本文為了選取基準(zhǔn)模型,將數(shù)據(jù)集輸入到Mask R-CNN、YOLOv5、DETR模型中進(jìn)行訓(xùn)練對比,具體實(shí)驗(yàn)數(shù)據(jù)見表4。

從表4可以看出,Mask R-CNN模型在IOU閾值為0.5和0.75條件下對甲狀腺結(jié)節(jié)的檢測識別性能在三個模型中都是最佳,因此本文選取Mask R-CNN模型作為基準(zhǔn)模型。

表3 數(shù)據(jù)集統(tǒng)計(jì)Tab.3 Dataset statistics

表4 各模型對甲狀腺結(jié)節(jié)的檢測性能Tab.4 Detection performance of different models for thyroid nodules

3.3 改進(jìn)模型的不同主干網(wǎng)絡(luò)與訓(xùn)練方式對比實(shí)驗(yàn)與結(jié)果分析

本文數(shù)據(jù)集在基準(zhǔn)模型上對甲狀腺結(jié)節(jié)的識別檢測性能不高,因此本文首先對基準(zhǔn)模型的特征提取網(wǎng)絡(luò)進(jìn)行改進(jìn),為模型尋找特征提取能力更強(qiáng)的特征提取網(wǎng)絡(luò),同時(shí)為了能更好訓(xùn)練模型對模型采用遷移學(xué)習(xí)的方式進(jìn)行訓(xùn)練,具體實(shí)驗(yàn)數(shù)據(jù)見表表5。

表5 不同主干網(wǎng)絡(luò)及訓(xùn)練方式的對比實(shí)驗(yàn)結(jié)果Tab.5 Results of different backbone networks and training methods

從表5可以看出,帶有更深層的特征提取網(wǎng)絡(luò)的模型對甲狀腺結(jié)節(jié)的檢測識別性能更好,且ResNet模型上增加FPN結(jié)構(gòu)后性能得到明顯提升。通過對比同一模型在不同訓(xùn)練方式下的實(shí)驗(yàn)數(shù)據(jù)可以看出,遷移學(xué)習(xí)策略能夠?yàn)槟Ｐ托阅軒碓鲆妗?/p>

3.5 預(yù)測分支結(jié)構(gòu)與損失函數(shù)設(shè)計(jì)

本文提出了多個檢測頭結(jié)構(gòu),對各檢測頭采用2.4節(jié)中描述的方案進(jìn)行訓(xùn)練,具體的實(shí)驗(yàn)數(shù)據(jù)如下表。

表6 不同預(yù)測分支結(jié)構(gòu)與訓(xùn)練方式的實(shí)驗(yàn)結(jié)果Tab.6 Experimental results of different prediction branch structures and training methods

從表6可以看出,檢測頭d在兩個檢測分支上的性能都優(yōu)于其他檢測頭,且各分支在使用第二種訓(xùn)練方式進(jìn)行訓(xùn)練時(shí)性能更佳,因此將檢測頭d確定為改進(jìn)模型的檢測頭。

3.5 基于臨床先驗(yàn)知識指導(dǎo)的錨框定義策略

為了能夠使模型生成更加貼合甲狀腺形態(tài)的推薦候選框進(jìn)而提升模型對甲狀腺結(jié)節(jié)的定位精度及分類準(zhǔn)確率,本文基于臨床先驗(yàn)知識對模型錨框尺寸進(jìn)行定義,具體實(shí)驗(yàn)數(shù)據(jù)如下表。

表7 基于臨床先驗(yàn)知識的錨框?qū)嶒?yàn)結(jié)果-aTab.7 Results of anchor definition based on clinical prior knowledge-a

表8 基于臨床先驗(yàn)知識的錨框?qū)嶒?yàn)結(jié)果-bTab.8 Results of anchor definition based on clinical prior knowledge-b

從表7可以看出,有了臨床先驗(yàn)知識指導(dǎo)錨框尺寸定義后模型性能在class1分支得到提升,根據(jù)表8可以看出,模型在class2分支上對各項(xiàng)病理特征的識別準(zhǔn)確率都得到提升,尤其在4號特征上提升最為明顯。

3.6 改進(jìn)模型的預(yù)測結(jié)果展示

圖6展示了模型對甲狀腺結(jié)節(jié)的預(yù)測效果,左側(cè)為對甲狀腺結(jié)節(jié)輪廓進(jìn)行標(biāo)注的原始圖像,右側(cè)為模型對結(jié)節(jié)的預(yù)測結(jié)果,預(yù)測框定位了結(jié)節(jié)位置,預(yù)測框上方為模型對結(jié)節(jié)特征及惡性風(fēng)險(xiǎn)等級的預(yù)測結(jié)果。

圖6 模型檢測效果展示Fig.6 Model prediction result display

4 結(jié)論

本文構(gòu)建了一個自動判別甲狀腺結(jié)節(jié)惡性風(fēng)險(xiǎn)的多標(biāo)簽?zāi)繕?biāo)檢測模型,對模型進(jìn)行了優(yōu)化改進(jìn),并且在數(shù)據(jù)集上開展了充分的對比實(shí)驗(yàn)來驗(yàn)證模型改進(jìn)效果。從實(shí)驗(yàn)結(jié)果上看,對模型特征提取網(wǎng)絡(luò)、檢測器結(jié)構(gòu)、錨框尺寸及大小的改進(jìn)均有效提升了模型對甲狀腺結(jié)節(jié)的識別檢測性能,采用的遷移學(xué)習(xí)訓(xùn)練策略也幫助模型進(jìn)行了更好的訓(xùn)練。改進(jìn)模型對甲狀腺結(jié)節(jié)的檢測準(zhǔn)確率達(dá)到了94.4%,對病理特征的平均識別準(zhǔn)確率達(dá)到了88.6%。

后續(xù)將基于臨床經(jīng)驗(yàn)指導(dǎo)進(jìn)一步探索各項(xiàng)特征間的隱藏關(guān)聯(lián),對檢測器等進(jìn)行進(jìn)一步改進(jìn)優(yōu)化以提升模型對結(jié)節(jié)特征的分類準(zhǔn)確度。同時(shí)也不斷的擴(kuò)充數(shù)據(jù)集來加強(qiáng)模型的泛化性能。