改進協(xié)同訓(xùn)練的肺部CT影像COVID-19病灶分割方法

汪 洋，楊 云

(云南大學(xué) 國家示范性軟件學(xué)院，云南 昆明 650504)

0 引 言

在新型冠狀病毒肺炎(COVID-19)診療中，專業(yè)醫(yī)師通過觀察患者肺部計算機斷層掃描(CT)影像的病灶情況觀察病情[1]。利用計算機進行影像配準、分類和分割等任務(wù)可以減少醫(yī)師工作量，其中醫(yī)學(xué)影像分割任務(wù)目的在于提取影像中目標區(qū)域，描繪出目標區(qū)域的影像即標簽稱為分割圖，由專業(yè)醫(yī)師標記的分割圖稱為金標準數(shù)據(jù)。醫(yī)學(xué)影像由于復(fù)雜且分辨率較高，傳統(tǒng)方法效果不佳[2]。

在深度學(xué)習(xí)方法中，全監(jiān)督分割網(wǎng)絡(luò)UNet[3]是大部分研究的基石[4]，但依賴金標準數(shù)據(jù)，半監(jiān)督學(xué)習(xí)[5]則利用未標記數(shù)據(jù)輔助訓(xùn)練。現(xiàn)有的半監(jiān)督分割研究主要有基于自訓(xùn)練的方法[6，7]構(gòu)建偽標簽數(shù)據(jù)集[8]加入訓(xùn)練集中迭代訓(xùn)練，通過優(yōu)化損失函數(shù)提升標準協(xié)同訓(xùn)練性能[9，10]，通過熵最小化[11]和一致性正則化[12-15]得到高質(zhì)量偽標簽，但上述方法未考慮偽標簽不確定性問題[16]；基于對抗訓(xùn)練的方法[17]通過判別網(wǎng)絡(luò)和分割網(wǎng)絡(luò)進行對抗訓(xùn)練提升性能。

針對如何提高偽標簽質(zhì)量和度量偽標簽不確定性問題，本文從協(xié)同訓(xùn)練[9]方式出發(fā)，使用UNet[3]和DeepLabV3+[18]搭建網(wǎng)絡(luò)，首先集成各網(wǎng)絡(luò)對未標記數(shù)據(jù)的輸出生成最終偽標簽提高偽標簽質(zhì)量；之后，從無監(jiān)督學(xué)習(xí)[19]中受到啟發(fā)，使用JS距離[9]度量偽標簽的不確定性，改善偽標簽的監(jiān)督損失。最后在公開的COVID-19數(shù)據(jù)集上進行實驗，結(jié)果表明，所提方法改善了偽標簽質(zhì)量，同時減輕因低質(zhì)量偽標簽造成的性能下降。

1 相關(guān)工作

1.1 半監(jiān)督學(xué)習(xí)

半監(jiān)督學(xué)習(xí)目標之一是如何獲取質(zhì)量更高的偽標簽。Fan等[7]基于自訓(xùn)練方式通過依次標注定量數(shù)據(jù)構(gòu)建高質(zhì)量偽標簽數(shù)據(jù)集迭代訓(xùn)練；Mean-Teacher[12]從模型出發(fā)，最小化學(xué)生和教師模型對未標記數(shù)據(jù)的輸出損失，同時利用學(xué)生模型更新教師模型，而文獻[14，15]通過訓(xùn)練模型對添加擾動的同一數(shù)據(jù)輸出保持一致，獲取未標記數(shù)據(jù)的高質(zhì)量偽標簽；Qiao等[9]通過擴展相似損失和對抗樣本損失使各網(wǎng)絡(luò)學(xué)習(xí)到更多的互補信息。Zhang等[17]通過引入判別網(wǎng)絡(luò)和分割網(wǎng)絡(luò)進行對抗訓(xùn)練不斷優(yōu)化分割網(wǎng)絡(luò)性能。協(xié)同訓(xùn)練則通過各網(wǎng)絡(luò)互相標記偽標簽給予對方訓(xùn)練達到相互指導(dǎo)訓(xùn)練目的。

1.2 不確定性估計

不確定性估計指對預(yù)測結(jié)果的可信程度進行建模。Kendall等[16]將不確定性的原因總結(jié)為數(shù)據(jù)自身標注不準確程度和模型預(yù)測的不準確程度。Zheng等[19]通過多分支網(wǎng)絡(luò)中輔助分支和主分支之間輸出的差異對偽標簽不確定性進行建模。本文方法不引入輔助分支，使用JS距離對各網(wǎng)絡(luò)輸出間的差異進行建模來度量偽標簽的不確定性，從而給予偽標簽監(jiān)督損失一項正則項，改善分割結(jié)果。

1.3 評價指標與損失函數(shù)

醫(yī)學(xué)影像分割任務(wù)中，常用指標包括基于分割圖相似程度和基于混淆矩陣的指標。相似度方面本文選取Dice系數(shù)和IOU分，其中X、Y分別為預(yù)測分割圖和真實分割圖，如式(1)、式(2)

Dice(X，Y)=2|X∩Y||X|+|Y|

(1)

IOU(X，Y)=|X∩Y||X∪Y|

(2)

混淆矩陣用于描述二分類問題的分類結(jié)果。在COVID-19影像中，定義病灶區(qū)域為前景區(qū)域，其像素為陽性，非病灶區(qū)域為背景區(qū)域，其像素為陰性。

如表1所示，TP為真陽性，即預(yù)測值和真實值都為病灶區(qū)域；FP為假陽性，即預(yù)測值為病灶區(qū)域但真實值為背景區(qū)域；TN為真陰性，即預(yù)測值和真實值都為背景區(qū)域；FN為假陰性，即預(yù)測結(jié)果為背景區(qū)域但真實值為病灶區(qū)域式(3)即敏感度也稱召回率，表示真實分割圖中有多少陽性像素被預(yù)測出來，式(4)即精確率，表示在預(yù)測分割圖中，真陽性像素預(yù)測正確的比例有多少，由于TPR和精確率互斥，因此引入式(5)F1分數(shù)評價綜合性能。在分割問題中TP、FP、TN和FN值均為一個分割圖中所有像素分類結(jié)果的總和。上述指標值越大則越優(yōu)異。

TPR=TPTP+FN

(3)

Precision=TPTP+FP

(4)

F1=2×Precision×TPRPrecision+TPR

(5)

Jadon等[21]總結(jié)了不同場景下圖像分割任務(wù)中常用的損失函數(shù)。主要包括交叉熵損失，用于衡量預(yù)測分布和真實分布差異，Dice損失衡量集合相似度。

二分類交叉熵損失定義如下式(6)

BCE_loss=E[∑nj(-yjilog(ji)+(1-yji)log(1-ji))]

(6)

Dice損失由Dice系數(shù)演變而來，定義如下式(7)

Dice_loss=1-2|X∩Y|+eps|X|+|Y|+eps

(7)

為防止分母出現(xiàn)0，式(7)中定義一個極小值eps，在本文中值為1e-6。

本文將Dice損失和二分類交叉熵損失進行組合，定義為Total_loss，如式(8)，其中權(quán)重α=0.5

Total_loss=α×Dice_loss+(1-α)×BCE_loss

(8)

2 本文方法

本節(jié)介紹本文方法，首先闡述問題定義，之后分別介紹集成偽標簽的優(yōu)勢、改善損失函數(shù)的方法和整體框架。

2.1 問題定義

在協(xié)同訓(xùn)練中，定義f1(v1)=f2(v2)，f1和f2表示兩個模型，v1和v2表示有標簽數(shù)據(jù)集L={xi，yi}Mi=1下同一數(shù)據(jù)的不同視圖，U={ui}Ni=1和P={ui，pi}Ni=1表示未標記數(shù)據(jù)集和模型輸出，P經(jīng)過argmax函數(shù)處理后得到偽標簽數(shù)據(jù)集Y^={ui，i}Ni=1， 協(xié)同訓(xùn)練假設(shè)在訓(xùn)練過程中f1和f2互相從未標記數(shù)據(jù)集U中標記數(shù)據(jù)構(gòu)建偽標簽數(shù)據(jù)集P到各自的L中迭代訓(xùn)練，從而互補各自的信息。但從單模態(tài)數(shù)據(jù)中獲取同一數(shù)據(jù)的不同視圖條件較難滿足，Wang等[20]證明從不同網(wǎng)絡(luò)角度出發(fā)也可以獲取較好的性能。

半監(jiān)督學(xué)習(xí)中一個問題在于偽標簽由模型輸出產(chǎn)生，這并不能保證偽標簽的準確性，如果使用低質(zhì)量偽標簽迭代訓(xùn)練，則模型會越訓(xùn)練越差，因此多數(shù)方法目的在于盡量獲取高質(zhì)量偽標簽i，其次問題在于偽標簽最理想情況下可以達到i=yi，但多數(shù)時候偽標簽i無法和真實標簽yi相比，即對同一數(shù)據(jù)xi來說，i和yi之間仍存在誤差，因此半監(jiān)督算法性能上限為全監(jiān)督算法。從以上兩點出發(fā)，本文方法首先以平均集成方式獲取高質(zhì)量偽標簽i，之后對偽標簽i的不確定性進行建模，即估計i和yi之間的誤差，為偽標簽的監(jiān)督損失提供一項正則項。

2.2 集成偽標簽

如圖1所示，圖1(a)、圖1(b)、圖1(c)和圖1(d)圖分別為真實標簽、集成偽標簽、UNet和DeepLabV3+輸出的偽標簽。

圖1 加權(quán)集成效果對比

集成策略如式(9)

pi=12(piu+pid)

(9)

其中，piu和pid分別為UNet和DeepLabV3+的輸出概率分布，pi為集成結(jié)果，pi中各像素值經(jīng)過softmax函數(shù)映射到[0，1]的概率值，i則由其經(jīng)過argmax函數(shù)處理得到。首先在Dice系數(shù)上，集成方法相比較DeepLabV3+的Dice系數(shù)提升1.27%，相比較UNet提升0.99%。從可視化結(jié)果可以發(fā)現(xiàn)圖1(b)消除了圖1(c)中錯誤多余的部分，而相比較圖1(d)，邊緣更細膩，整體Dice系數(shù)也有一定提升。實驗結(jié)果表明，在迭代訓(xùn)練過程中，這種集成方式獲取的偽標簽相比較標準協(xié)同訓(xùn)練互相給予標簽更可靠。

2.3 改善損失函數(shù)

使用bias表示偽標簽i和真實標簽yi之間的誤差，而i由pi得來，如式(10)

bias=pi-yi

(10)

在監(jiān)督任務(wù)中，由于存在真實標簽，因此使用損失函數(shù)計算模型輸出和yi之間的誤差，最小化這個損失將使得預(yù)測值逐漸逼近真實值。在半監(jiān)督學(xué)習(xí)中并沒有真實標簽yi，因此使用i替代yi，即bias≈pi-i，對單個網(wǎng)絡(luò)的訓(xùn)練來說應(yīng)計算網(wǎng)絡(luò)輸出和i之間的誤差，以UNet為例，式(10)可以更改為下式

bias≈piu-i

(11)

在本文方法中，式(11)已經(jīng)在單個網(wǎng)絡(luò)的偽標簽訓(xùn)練中進行優(yōu)化，而協(xié)同訓(xùn)練一個核心思想是基礎(chǔ)網(wǎng)絡(luò)能夠互相優(yōu)化，充分訓(xùn)練后對同一數(shù)據(jù)的輸出趨于一致，最終兩者達到最佳性能，如果兩個模型對同一數(shù)據(jù)的輸出不一致，兩個模型輸出之間的差異就是兩者不確定的地方，而pi由式(9)集成而來。因此使用兩個模型的輸出差異近似bias，式(11)可以改為下式(12)

bias≈piu-pid

(12)

其中，piu和pid分別為UNet和DeepLabV3+的輸出概率分布，在實驗中使用JS距離來度量bias，如式(13)、式(14)

KL(K‖Q)=∑x∈XKxlogKxQx

(13)

JSD(K‖Q)=12KL(K‖M)+12KL(Q‖M)

(14)

式(13)和式(14)分別表示KL和JS距離計算方式。在式(14)中，K和Q分別為在X下的兩個概率分布，M為兩者的平均值。KL距離交換分布K和Q結(jié)果不同，不滿足對稱性，JS距離滿足對稱性，范圍在[0，1]之間，能較好的度量兩個模型的輸出差異。在式(14)中，即K=piu，Q=pid，bias≈E[JSD(piu‖pid)]， E表示求解期望值。

如圖2所示，圖2(b)圖和圖2(c)圖分別為兩個模型對同一數(shù)據(jù)的輸出，圖2(d)為根據(jù)式(12)計算的各像素上JS距離經(jīng)過歸一化后的可視化圖像。圖4(g)為真實標簽和集成偽標簽之間的差值，同樣經(jīng)過歸一化后進行可視化。在圖4(d)中，顏色深度越接近0代表越相似，越接近1越不相似；在圖4(g)中，顏色深度等于0代表兩個像素值相同，其它深度表示兩個像素值不同。可以發(fā)現(xiàn)圖4(d)和圖4(g)中的噪聲處相似，因此使用兩個模型的輸出差異來度量bias。

圖2 對JS距離可視化

原始JS距離越小表示越相似，所以本文將其取負并帶入以e為底的指數(shù)中，當(dāng)此值越大時，說明兩個分布越相似。此時，定義偽監(jiān)督損失Pseudo_loss，對偽標簽的損失函數(shù)改善如式(15)

Pseudo_loss=exp{-E[JSD(piu‖pid)]}×Total_loss+E[JSD(piu‖pid)]

(15)

當(dāng)E[JSD(piu‖pid)] 較小時，exp{-E[JSD(piu‖pid)]} 值接近1，此時模型認為Total_loss是可信的，各模型優(yōu)化式中第一項；當(dāng)E[JSD(piu‖pid)] 較大時，exp{-E[JSD(piu‖pid)]} 接近0，此時，模型認為Total_loss是不可信的，同時由于第一項值接近0，各模型優(yōu)化第二項，即優(yōu)化兩個模型輸出不同之處，這和Qiao等[9]所指出的給予一項各網(wǎng)絡(luò)輸出間的相似損失類似，加快基礎(chǔ)網(wǎng)絡(luò)的收斂。由于有標簽數(shù)據(jù)集存在真實標簽，因此其監(jiān)督損失不進行正則化。

2.4 訓(xùn)練框架

本文方法在標準協(xié)同訓(xùn)練模式上進行改進。如圖3所示，首先以有標簽數(shù)據(jù)集預(yù)訓(xùn)練兩個模型，之后在未標記數(shù)據(jù)集中隨機選取n個未標記數(shù)據(jù)，使用兩個網(wǎng)絡(luò)推理各自對未標記數(shù)據(jù)的輸出后，通過將雙方輸出平均集成獲得最終偽標簽，得到由n個未標記數(shù)據(jù)和對應(yīng)的偽標簽組成偽標簽數(shù)據(jù)集，并將偽標簽數(shù)據(jù)集加入到訓(xùn)練集當(dāng)中組成新的訓(xùn)練集，訓(xùn)練過程中遇到偽標簽和真實標簽按照2.3節(jié)分別使用不同的損失策略，直到未標記數(shù)據(jù)集為空停止訓(xùn)練。

圖3 訓(xùn)練框架

下面是具體算法步驟。首先定義：訓(xùn)練數(shù)據(jù)和未標記數(shù)據(jù)為D=L∪U，其中L={xi，yi}Mi=1為有標簽數(shù)據(jù)集，U={ui}Ni=1為未標記數(shù)據(jù)集；DeepLabV3+和UNet網(wǎng)絡(luò)分別為fd和fu；網(wǎng)絡(luò)的輸出和集成偽標簽分別為Pd={pid}M+Ni=1、Pu={piu}M+Ni=1和Y^={i}Ni=1； 循環(huán)次數(shù)為K；步驟如下所示：

(1)初始化：使用L預(yù)訓(xùn)練網(wǎng)絡(luò)fd和fu；

(2)循環(huán)K次：

(3)隨機選取n個未標記數(shù)據(jù)：U′={ui}ni=1， 循環(huán)U′：

(4)使用fd和fu推理ui得到 {pid}ni=1和 {piu}ni=1；

(6)得到偽標簽數(shù)據(jù)集U′={ui，i}ni=1；

(7)將U′加入L中，此時L=L∪U′；

(8)使用數(shù)據(jù)集L={ui，i}ni=1∪{xi，yi}Mi=1訓(xùn)練fd和fu；

(9)從L中隨機采樣一個批次數(shù)據(jù)；

(10)如果是{xi，yi}，則根據(jù)式(8)分別計算fd和fu的輸出損失；

(11)如果是{ui，i}，則推理另一網(wǎng)絡(luò)對ui的輸出并根據(jù)式(15)分別計算fd和fu的輸出損失；

(12)各網(wǎng)絡(luò)計算一個批次數(shù)據(jù)的損失期望值，更新網(wǎng)絡(luò)；

(13)達到最大循環(huán)次數(shù)時，訓(xùn)練結(jié)束。

最終結(jié)果由各自最佳模型通過加權(quán)集成得到，加權(quán)系數(shù)定義如式(16)

wu=Dice(piu，yi)Dice(piu，yi)+Dice(pid，yi)

(16)

pi=wu×piu+(1-wu)×pid

(17)

其中，piu和pid分別表示兩個網(wǎng)絡(luò)的輸出，yi表示真實分割圖。wu為UNet輸出的權(quán)重，1-wu為DeepLabV3+輸出的權(quán)重，按照式(17)，通過兩個權(quán)重計算最終的輸出pi并通過argmax函數(shù)處理得到預(yù)測分割圖。

3 實驗與分析

3.1 數(shù)據(jù)集與處理

本文選用Ma等[22]公布的COVID-19公開數(shù)據(jù)集，該數(shù)據(jù)集包含20例患者的CT掃描影像，由放射學(xué)專家標注感染區(qū)域，數(shù)據(jù)集示例如圖4所示。

圖4 數(shù)據(jù)集示例

本文針對肺部感染區(qū)域進行分割任務(wù)。由于影像均包含由胸前連續(xù)掃描形成的幾十到幾百張切片，因此首先去除其中非肺部掃描切片，得到1720幅肺部CT切片，并且按照文獻中所給方法，將CT切片的Hu值縮放到[-1250，250]，標準化至[0，255]，在輸入網(wǎng)絡(luò)時，則將所有像素值歸一化到[0，1]。在實驗中，隨機選取400幅切片作為訓(xùn)練集，1120幅切片作為未標記數(shù)據(jù)集，200幅切片作為測試集。

3.2 實驗設(shè)置

本文方法中兩個網(wǎng)絡(luò)的優(yōu)化器均選用Adam，學(xué)習(xí)率設(shè)為1e-4，權(quán)重衰減系數(shù)設(shè)為1e-4，循環(huán)次數(shù)K設(shè)為28，每隔5次，降低學(xué)習(xí)率至原始0.9倍，每個批次的大小設(shè)為8。其中每次共同標記40幅未標記切片加入到訓(xùn)練集當(dāng)中。在計算Dice損失時兩個網(wǎng)絡(luò)的輸出經(jīng)過softmax函數(shù)映射到范圍為[0，1]的概率分布。實驗設(shè)備為Tesla V100(16 GB)，框架使用Pytorch搭建，采用不同隨機種子進行實驗。

在驗證本文方法的有效性方面，使用優(yōu)化損失函數(shù)的方法DCT[9]，熵最小化方法Advent[11]，基于一致性的方法MT[12]、UAMT[13]、ICT[14]、CCT[15]和基于對抗訓(xùn)練的DAN[17]等半監(jiān)督算法與本文方法對比，均以UNet作為骨干網(wǎng)絡(luò)，同時對比在標準協(xié)同訓(xùn)練上的提升；以兩個網(wǎng)絡(luò)在訓(xùn)練集上監(jiān)督訓(xùn)練的評價分數(shù)作為基準，在訓(xùn)練集和未標記數(shù)據(jù)集的全部數(shù)據(jù)上監(jiān)督訓(xùn)練的評價分數(shù)作為性能上限。之后，進行消融實驗驗證第二節(jié)中各個改進部分對最終分割性能的影響。

3.3 結(jié)果分析

3.3.1 對比實驗結(jié)果分析

如表2所示，在結(jié)果中可以發(fā)現(xiàn)，各網(wǎng)絡(luò)相較于基準均有所提升，在大多數(shù)指標上本文方法獲得了更好的性能。

表2 對比實驗結(jié)果

首先分析基于分割圖相似度的指標。本文方法相比較較好的MT方法Dice系數(shù)提升1%，IOU分數(shù)提升1.74%。基于一致性的方法ICT和CCT在相似度指標上表現(xiàn)不佳，這是因為一致性方法鼓勵模型對同一數(shù)據(jù)添加不同擾動后的輸出保持一致，其中ICT通過插值方式獲得擾動數(shù)據(jù)，CCT則通過添加噪聲方式獲得擾動數(shù)據(jù)，首先醫(yī)學(xué)影像數(shù)據(jù)像素值變化范圍大，添加擾動后數(shù)據(jù)變化較大，其次有標簽數(shù)據(jù)較少這使得解碼器本身不可靠，因此不能保證擾動數(shù)據(jù)的輸出一致性，這使得偽標簽不可靠，因此在醫(yī)學(xué)影像分割任務(wù)上表現(xiàn)不佳。不同的是MT和UAMT從模型出發(fā)，通過學(xué)生模型更新教師模型，這和協(xié)同訓(xùn)練中相互指導(dǎo)訓(xùn)練思想類似，因此獲得了較高分數(shù)，由于教師模型參數(shù)由學(xué)生模型得到，這使得兩者網(wǎng)絡(luò)通常為同一結(jié)構(gòu)，因此最終分數(shù)和本文方法有差距。本文方法相比較DAN的Dice系數(shù)提升2.25%，這表明對抗訓(xùn)練并不適合本文任務(wù)。DCT增加一項對抗樣本損失，對抗樣本的產(chǎn)生通過添加噪聲實現(xiàn)，標簽則由對方網(wǎng)絡(luò)生成，這不能保證對抗樣本對應(yīng)標簽的準確性，因此效果不佳。Advent由于減少了偽標簽的熵，因此改善了網(wǎng)絡(luò)的輸出偽標簽質(zhì)量，也獲得了不錯的分數(shù)。

在分析基于混淆矩陣的指標中，首先可視化TPR和精確率指標之間的差異，如圖5所示。

圖5 Dice、TPR和精確率指標可視化

在圖5中，圖5(a)為真實標簽，圖5(b)為本文方法預(yù)測結(jié)果，圖5(c)為本文方法預(yù)測結(jié)果和真實標簽各像素的差值可視化，圖5(d)為CCT預(yù)測結(jié)果，圖5(e)為CCT結(jié)果和真實標簽各像素的差值可視化，圖5(c)和圖5(e)中顏色深度等于0.5區(qū)域為假陰性區(qū)域，顏色深度等于1區(qū)域為假陽性區(qū)域。從結(jié)果可以發(fā)現(xiàn)本文方法Dice和TPR分數(shù)更高，表明本文方法識別到了更多的陽性像素，對病灶區(qū)域更敏感，偏向?qū)⑾袼仡A(yù)測為陽性，因此在圖5(c)中，F(xiàn)N數(shù)量低于圖5(e)，F(xiàn)P數(shù)量高于圖5(e)；而CCT則精確率指標更高，這是由于CCT更關(guān)注預(yù)測的陽性是否正確，因此在圖5(e)中，假陰性FN數(shù)量較高，而假陽性FP數(shù)量較少，模型更偏向?qū)⑾袼仡A(yù)測為陰性，對病灶區(qū)域不敏感。從顏色深度可以發(fā)現(xiàn)圖5(c)相比較圖5(e)假陰性區(qū)域更少。

在表2中可以發(fā)現(xiàn)各方法對敏感度和精確率的側(cè)重點不一樣。本文方法精確率相比較MT提升2.82%，CCT則獲得了最高的精確率，這表明CCT預(yù)測出的陽性像素正確率最高，而本文方法TPR指標更高，這表明本文方法召回了更多的陽性像素，傾向于將像素預(yù)測為陽性。F1分數(shù)則顯示本文方法綜合性能最高，相比較MT方法提升2.38%。在基于混淆矩陣指標的任務(wù)中，選取合適的方法可以獲得更好的結(jié)果。

同時，本文隨機可視化了一些不同病灶大小的預(yù)測分割圖，如圖6所示，從中可發(fā)現(xiàn)在病灶較小時，本文預(yù)測分割圖的Dice分數(shù)也高于其它方法，相應(yīng)的也更接近真實標簽。

圖6 分割結(jié)果可視化對比

3.3.2 消融實驗結(jié)果分析

本節(jié)分析在第二節(jié)各個改進部分對最終分割性能的影響。首先以標準協(xié)同訓(xùn)練作為基準，之后對比加入集成方式和在此基礎(chǔ)上優(yōu)化損失函數(shù)進行對比。

結(jié)果見表3。

表3 消融實驗結(jié)果

首先在表3中可以看出，各項改進相比較標準協(xié)同訓(xùn)練指標均有所提高。集成方式相比較標準協(xié)同訓(xùn)練Dice系數(shù)提升1.55%，優(yōu)化損失函數(shù)后，相比較集成方式Dice系數(shù)提升0.63%，TPR指標提升幅度達到1.98%。從整體上看，集成方式的精確率達到了最高值，這表明在訓(xùn)練過程中集成方式得到的偽標簽正確陽性像素的比例高，在迭代訓(xùn)練后，精確率也達到了最高值，同時精確率指標也得到一定提升，最終的F1分數(shù)也最佳。在此基礎(chǔ)上改善偽標簽監(jiān)督損失后，相比較集成方式其余各項指標均有提升，其中敏感度提升最大，精確率有所降低，這表明優(yōu)化損失后網(wǎng)絡(luò)召回了更多的陽性像素，在病灶區(qū)域占比較小時，優(yōu)化損失函數(shù)更容易發(fā)現(xiàn)病灶區(qū)域，最終的F1分數(shù)和集成方式相比也差距較小。

4 結(jié)束語

在新型冠狀病毒肺炎(COVID-19)的診斷中，使用計算機輔助醫(yī)師診療有著重要意義，半監(jiān)督學(xué)習(xí)則可以減少對金標準數(shù)據(jù)的需要。結(jié)合兩者，本文首先以協(xié)同訓(xùn)練方式構(gòu)建半監(jiān)督醫(yī)學(xué)影像分割網(wǎng)絡(luò)，利用共同標記未標記數(shù)據(jù)偽標簽，之后以集成方式獲取質(zhì)量更高的偽標簽；在偽標簽的不確定性問題中，本文使用JS距離對偽標簽的不確定性進行建模，改善偽標簽的監(jiān)督損失。實驗結(jié)果表明，在測試集整體性能上，本文方法均有較好表現(xiàn)。未來工作還可在如何生成置信度更高的偽標簽和不確定性估計上進一步探究，并將本文方法引入到其它任務(wù)中。