







摘 要: 為了識別與正常生理狀態顯著偏離的異常醫學圖像,基于異常圖像相關特征往往分布于特征空間低密度區域的假設,提出了一種神經網絡輔助的基于擴散常微分方程(Ordinary differential equations, ODE)的醫學圖像異常檢測方法。該方法首先利用擴散ODE估計圖像特征的似然值;然后構建神經網絡,擬合圖像特征在不同時刻由擴散ODE估計的似然值;最后通過擴散ODE估計的似然值和神經網絡估計的似然值的加權平均得到異常分數,異常分數較大的圖像被認定為異常圖像。此外,為了確定異常圖像的異常區域,提出了一種基于圖像重構的異常定位方法,通過計算重構誤差來定位異常區域。在BraTS2021腦腫瘤數據集和X射線胸透數據集上進行數值實驗,結果表明該異常檢測方法的異常檢測性能大幅優于現有方法,且具有較好的魯棒性。該研究提出的無監督醫學圖像異常檢測方法和異常區域定位方法可為臨床診療提供豐富的信息支持,有望減輕醫生的工作量。
關鍵詞: 異常檢測;擴散常微分方程;神經網絡;醫學圖像;異常定位
中圖分類號: TP391
文獻標志碼: A
文章編號: 1673-3851 (2024)11-0851-10
引用格式:胡顯耀,靳聰明. 基于擴散常微分方程的醫學圖像異常檢測[J]. 浙江理工大學學報(自然科學),2024,51(6):851-860.
Reference Format: HU" Xianyao,JIN" Congming. Medical image anomaly detection based on diffusion ordinary differential equations [J]. Journal of Zhejiang Sci-Tech University,2024,51(6):851-860.
Medical image anomaly detection based on diffusion ordinary differential
equations
HU" Xianyao,JIN" Congming
(School of Science, Zhejiang Sci-Tech University, Hangzhou 310018, China)
Abstract:" To identify abnormal medical images that deviate significantly from normal physiological states, a medical image anomaly detection method, which is based on diffusion ordinary differential equations (ODE) assisted by neural network, is proposed according to the assumption that the relevant features of abnormal images often appear in low-density regions of the feature distribution. Firstly, diffusion ODE is utilized to estimate the likelihood value of the image features; then, a neural network is constructed to fit the likelihood values of the image features at different times estimated by the diffusion ODE; finally, the anomaly score of this method is the weighted average of the likelihood values estimated by the diffusion ODE and the likelihood values estimated by the neural network. Images with high anomaly scores are identified as abnormal images. In addition, an anomaly localization method based on image reconstruction is proposed to determine the abnormal regions of the abnormal images, and the reconstruction errors are calculated to locate the abnormal regions. The numerical experimental results on the BraTS2021 brain tumor dataset and the chest X-ray dataset show that the anomaly detection performance of this method is significantly better than that of other existing methods and has preferable robustness. The approach for unsupervised medical image anomaly detection and the method to locate the abnormal regions proposed in this article can provide mass information support for clinical diagnosis and treatment, and are expected to reduce the workload of doctors.
Key words: anomaly detection; diffusion ordinary differential equations; neural network; medical image; anomaly localization
0 引 言
醫學圖像異常檢測是一種在醫學圖像數據中發現與正常生理狀態或指標顯著偏離的異常圖像的技術,在醫療診斷、疾病預測、患者監護以及藥物研發等方面發揮著重要作用。醫學圖像異常檢測的核心在于對海量、高維度的醫學圖像(如X射線圖像、MRI圖像等)進行綜合分析和模式識別,自動地識別出與正常生理狀態或指標不符的異常圖像。
通常,標記醫學圖像需要大量專業知識和時間,因此醫學圖像異常檢測通常考慮無監督圖像異常檢測方法。無監督圖像異常檢測方法(下稱“異常檢測”)主要包括5種類型,即基于重構的異常檢測[1-4]、基于單類分類的異常檢測[5-9]、基于知識蒸餾的異常檢測[10-14]、基于記憶庫的異常檢測[15-17]和基于似然的異常檢測[18-20]。基于重構的異常檢測方法[1-4]通常訓練一個生成模型,例如生成對抗網絡[21]或擴散模型[22-24]等,學習正常數據的分布,并通過訓練后的生成模型重構數據,然后通過重構誤差來檢測異常圖像。當使用擴散模型進行異常檢測時,在前向擴散過程階段對圖像注入噪聲,得到噪聲圖像;在逆向擴散過程階段對噪聲圖像去噪,得到重構圖像。如存在較大的重構誤差,則表明是異常圖像。然而,如果擴散時間較短,重構后的圖像與原圖像差異很小,不足以識別異常圖像;如果擴散時間較長又會破壞圖像的結構。因此在構建擴散模型時須盡可能地保留圖像結構,使重構誤差能反映真實的異常區域。例如,Wyatt等[2]利用具有多尺度單純形噪聲的擴散模型重構圖像;Mousakhan等[3]構建了條件擴散模型以獲得保留圖像結構的重構圖像。這些模型利用了擴散模型出色的生成能力,但忽略了擴散模型優質的密度估計性能。基于單類分類的異常檢測方法[5-9]將正常數據作為一個類別,將不屬于這個類別的數據識別為異常。基于知識蒸餾的異常檢測方法[10-14]利用教師模型和學生模型進行知識傳遞,在異常圖像中通過教師模型和學生模型得到的特征值存在差異,因此該差異值可以檢測出異常圖像。基于記憶庫的異常檢測方法[15-17]的思想是建立一個包含了正常數據特征的記憶庫,檢測時計算樣本數據特征與正常數據特征的相似度,相似度較小的圖像被識別為異常圖像。基于似然的異常檢測方法[18-20]通常假設異常數據及其特征分布于數據的低密度區域,并根據數據或數據特征的密度值來識別異常圖像。
這5類異常檢測方法都展現了一定的異常檢測性能和異常定位性能。在基于重構的異常檢測方法中,基于擴散模型的異常檢測方法的異常檢測性能較差,但可以有效地定位異常區域;基于密度估計的異常檢測方法通常采用標準化流模型作為密度估計器,可以得到最好的異常檢測性能,但不能較好地定位異常區域。Song等[24]發現擴散模型是一種比標準化流模型性能更優的密度估計器,因此本文考慮用擴散模型作為密度估計器估計圖像特征的密度來識別異常圖像,并利用擴散模型設計了一種基于圖像重構的異常定位方法。
基于似然的異常檢測具有較好的異常檢測性能,它將圖像或圖像特征密度值較低的圖像識別為異常圖像,然而對于模型未學習到的正常圖像或圖像特征,往往也會得到較低的密度值,這會降低異常檢測性能。在有監督異常檢測中,分類模型[25]通過學習圖像或圖像特征的正常和異常模式來識別異常圖像,然而對于未出現在訓練集中的異常模式,其識別能力可能受到顯著限制,進而影響檢測的全面性和準確性。本文結合這兩種異常檢測范式,提出了一種神經網絡輔助的基于擴散常微分方程(Ordinary differential equations, ODE)的無監督異常檢測方法(Anomaly detection with diffusion ODE, AnoDODE)。該異常檢測方法分為兩個步驟。首先,利用擴散ODE估計圖像特征的似然值;然后,構建神經網絡,本文稱之為似然網絡,擬合圖像特征在不同時刻由擴散ODE估計的似然值。通過擴散ODE估計的似然值和似然網絡估計的似然值的加權平均計算異常分數,異常分數較大的圖像被認定為異常圖像。如果似然網絡估計的似然值可以優化異常分數,那么會提升該方法的整體異常檢測性能,似然網絡在訓練時包含大量正常圖像和少量異常圖像,這也更符合現實情況。此外,為了確定異常區域,本文提出了一種由原始圖像指導的基于圖像重構的異常定位方法,在擴散ODE的圖像特征去噪過程中引入原始圖像作指導,通過解碼器重構圖像并保留原始圖像的結構信息,依據重構誤差精確定位及可視化異常區域。
1 擴散模型
擴散模型[22-24],又稱基于分數的生成模型,在各種圖像生成任務中展現了優越的性能,它不僅能夠生成高質量樣本,而且能夠估計數據密度。擴散模型的主要原理是:首先是前向擴散過程,系統地、緩慢地向數據注入噪聲,破壞數據的結構,使加噪后的數據滿足給定的先驗分布,通常是各向同性的高斯分布;然后是學習逆向擴散過程,去噪并生成數據。一旦學習得到參數化的逆向擴散過程,就可以從先驗分布中采樣,并通過逆向擴散過程迭代生成數據,或者利用連續變量變換定理[26]得到數據密度。
前向擴散過程可以由隨機微分方程(Stochastic differential equations,SDE)給出,可用微分方程(1)表示:
dz(t)=f(t)z(t)dt+g(t)dw(1)
其中:t∈[0,1]表示時間,w是標準維納過程,f(t)是z(t)的漂移系數,g(t)是z(t)的擴散系數。z(0)~p(z(0))是t=0的初始數據,即數據樣本或其特征;通過求解微分方程(1)可以得到加噪后t=1時的數據z(1),且z(1)~p(z(1))。要使p(z(1))是一個與z(0)無關的先驗分布,例如具有給定均值和方差的高斯分布,需要設計特殊的函數f(t)和g(t)。
逆向擴散過程可以由ODE(2)給出:
dz=f(t)z(t)-12g(t)2Δz(t)logp(z(t))dt,t∈[0,1](2)
其中:z(t)~p(z(t)),Δz(t)logp(z(t))是分布p(z(t))的分數。
擴散模型通過訓練一個神經網絡(稱為分數網絡)sθ(z(t),t)來估計Δz(t)logp(z(t)),擴散模型的損失函數定義為:
Et~U(0,1)λ(t)Ez(0)~p(z(0))Ez(t)~p0t(z(t)|z(0))
‖sθ(z(t),
t)-Δz(t)logp0t(z(t)|z(0))‖22(3)
其中:U(0,1)是[0,1]上的均勻分布;p0t(z(t)|z(0))表示從z(0)到z(t)的條件概率;λ(t):[0,1]→R+是一個正權重函數,通常取1。
在分數網絡sθ(z(t),t)訓練完成后,可以得到擴散ODE:
dz=f(t)z(t)-12g(t)2sθ(z(t),t)dt,t∈[0,1](4)
于是,從z(1)~p(z(1))的樣本開始,通過求解擴散ODE(4),可以得到生成樣本z(0)。擴散ODE(4)是連續標準化流[26]的特殊情況。對任意τ∈[0,1],可以通過連續變量變換定理[26]計算z(τ)的對數似然:
logp(z(τ))=logp(z(1))+∫1τΔ·fθ(z,t)dt(5)
其中:
fθ(z,t)f(t)z(t)-12g(t)2sθ(z(t),t)(6)
z(t)可以通過求解擴散ODE(4)獲得,Δ·fθ(z,t)通常使用Skilling-Hutchinson跡估計器[27]估計:
Δ·fθ(z,t)=Ep(ε)[εTΔfθ(z,t)ε](7)
其中:隨機變量ε滿足Ep(ε)[ε]=0,Covp(ε)[ε]=I,Δfθ表示fθ(·,t)的雅可比行列式。向量雅可比積εTΔfθ(z,t)可以使用反向模式自動微分進行有效計算。因此,可以對ε~p(ε)進行采樣,然后使用εTΔfθ(z,t)ε計算Δ·fθ(z,t)的有效無偏估計。
密度估計器的性能通常用BPD (Bits per dim)分數評價。BPD分數是每個維度的比特數,可以通過計算數據或數據特征的負對數似然并更改對數基數得到:
fbpd(z(t),t)=-logp(z(t))/log2·∏3i=1di,t∈[0,1](8)
其中:d1、d2、d3分別表示數據或數據特征的高度、寬度和通道數。
分類器指導的擴散模型[28]通過額外訓練一個分類器,利用條件信息y指導預訓練好的擴散模型生成與給定條件信息y相關聯的數據樣本。分類器指導的擴散模型在逆向擴散過程(2)中的分數為:
Δz(t)logp(z(t)|y)=Δz(t)logp(z(t))+γΔz(t)logp(y|z(t))(9)
其中:分類器p(y|z(t))需要額外訓練,γ為超參數。當γ=0時,擴散模型會完全忽略條件信息;而隨著γ增大,擴散模型會生成越來越符合條件信息的樣本。
2 本文模型
本文提出的AnoDODE方法由兩個步驟組成。首先,利用擴散ODE估計圖像特征的似然值;然后,構建似然網絡擬合圖像特征在擴散ODE模型中不同時刻的似然值。AnoDODE方法的異常分數是擴散ODE估計的似然值和似然網絡估計的似然值的加權平均。此外,由于擴散ODE模型可以生成圖像特征,本文提供了一種基于重構的異常定位方法,提供異常區域的可視化,可以輔助用戶對異常區域進行定位。
2.1 擴散過程
擴散模型的訓練集僅為正常數據。在訓練過程中,利用預訓練的特征編碼器,即通過使用大規模數據集進行預訓練的神經網絡模型,提取醫學圖像的特征z(0)。然后,利用前向擴散過程得到注入噪聲的圖像特征z(t),并訓練分數網絡sθ(z(t),t)擬合圖像特征分布的分數Δz(t)logp(z(t)),以便在異常檢測中利用擴散ODE對圖像特征進行密度估計。圖1(a)展示了分數網絡訓練過程。
前向擴散過程的噪聲注入方法采用VPSDE (Variance preserving stochastic differential equation)[24]。VPSDE的前向擴散過程為:
dz(t)=-12β(t)z(t)dt+β(t)dw(10)
其中:β(t)=β-min+t(β-max-β-min),t∈[0,1],β-min=0.1,β-max=20。由于VPSDE具有仿射漂移系數,因此轉移概率p0t(z(t)|z(0))為高斯分布且封閉形式為:
p0t(z(t)|z(0))=z(t);z(0)e-12∫t0β(s)ds,
I-Ie-∫t0β(s)ds
=z(t);z(0)e-14t2(β-max-β-min)-12tβ-min,
I-Ie-12t2(β-max-β-min)-tβ-min, t∈[0,1](11)
于是分數網絡sθ(z(t),t)可以通過極小化損失函數式(3)進行訓練。在異常檢測中,利用方程(10)對應的逆向擴散ODE,即:
dz(t)=-12β(t)z(t)-12β(t)sθ(z(t),t)dt,
t∈[0,1](12)
得到中間時刻的圖像特征z(t),并通過連續變量變換公式(5)得到圖像特征z(0)的對數似然值,然后通過式(8)得到的圖像特征z(0)的BPD分數作為異常分數。
2.2 似然網絡
似然網絡的訓練集包含正常和異常數據。在訓練中,利用訓練好的分數網絡sθ(z(t),t)指導似然網絡l(z(t),t)的訓練。似然網絡的訓練步驟為:第一步,利用預訓練的特征編碼器得到醫學圖像特征z(0)。第二步,通過求解擴散ODE(12)可以得到任意中間時刻t∈[0,1]的圖像特征z(t)。第三步,利用連續變量變換公式(5)獲得圖像特征z(t)的似然值,然后通過式(8)得到圖像特征z(t)的BPD分數。第四步,構造一個嵌入時間t的似然網絡l(z(t),t)擬合這些中間時刻圖像特征的BPD分數,損失函數定義為:
Et~U[0:1]‖fbpd(z(t),t)-l(z(t),t)‖22(13)
其中:U[0:1]是均勻分布,fbpd(z(t),t)是第三步估計的圖像特征z(t)的BPD分數。圖1(b)展示了似然網絡的訓練過程。在異常檢測時,異常分數是似然網絡生成的BPD分數,即l(z(0),0)。直接訓練似然網絡擬合z(0)的BPD分數會出現過擬合現象,而構造的嵌入時間t的似然網絡訓練方法可以有效緩解過擬合現象。
2.3 異常分數
由于前向擴散過程是在正常圖像特征上訓練的,因此在異常檢測時,正常圖像特征會得到較低的BPD分數;而異常圖像特征會得到較高的BPD分數,即異常圖像特征出現在分布的低密度區域。似然網絡在正常和異常圖像特征上訓練,可以學習到圖像特征的正常和異常模式,對于異常圖像特征,會得到較高的BPD分數。本文提出的AnoDODE方法結合了這兩部分得到的BPD分數,即異常分數是擴散ODE估計的似然值和似然網絡估計的似然值的加權平均:
S=ω·l(z(0),0)+(1-ω)·fbpd(z(0),0)(14)
其中:ω為權重,l(z(0),0)是似然網絡生成的BPD分數,fbpd(z(0),0)是利用擴散ODE得到的BPD分數。圖1(c)展示了異常檢測過程。利用擴散ODE估計似然值需要迭代求解ODE(12),這需要大量的異常檢測時間,而似然網絡訓練好后可以一步生成圖像的似然值,因此對于在線即時應用,可以直接將模型的異常分數設置為似然網絡的似然值,即ω=1。
2.4 異常定位
在異常定位時,對醫學圖像x中提取的圖像特征z(0)加噪到某個中間時刻τ∈[0,1]得到加噪后的圖像特征z(τ),即z(0)→z(τ);然后將其去噪即可獲得重構的圖像特征,記為z′(0),即z(τ)→z′(0)。此外,使用正常圖像,訓練一個解碼器將重構特征z′(0)重構成圖像,即z′(0)→x′。由于前向擴散過程和解碼器是用正常圖像訓練的,因此異常圖像在重構后會消除異常信息,使得重構圖像與原始異常圖像顯著不同。重構圖像x′和原始圖像x之間的均方誤差‖x′-x‖22為圖像中的異常定位提供了有價值的信息,重構誤差較大的區域即為異常區域。需要注意的是,中間時刻τ的選取會影響異常定位性能。如果τ較小(接近0),加噪過程可能無法破壞圖像特征中的異常信息,因而難以生成正常圖像的特征;相反,如果τ較大(接近1),加噪過程可能會損壞圖像特征中的正常部分的信息,使重構圖像無法保留原始圖像的結構。因此,本文考慮引入原始圖像x作為標簽指導去噪過程,生成符合原始圖像結構的圖像特征。類似式(9),本文提出的異常定位方法在去噪過程的新分數為:
Δlogp(z(t)|x)=Δlogp(z(t))-γΔlog‖x-Dη(z(t),t)‖22(15)
其中:γ為超參數,Dη(z(t),t)為標簽x的預測器,需要額外訓練。在訓練預測器時,z(t)由求解前向擴散過程(10)得到。顯然,當γ=0時,擴散模型會完全忽略標簽信息x;而γ越大,擴散模型會生成與原始圖像結構越相似的樣本。利用新的去噪方法重構圖像特征后,將Dη(·,0)作為解碼器就可得到重構圖像。
3 數值實驗
3.1 醫學圖像數據集
BraTS2021[29]是2021年腦腫瘤分割挑戰賽的數據集。該數據集由3D多模態磁共振圖像(MRI)組成。在實驗中使用的是從這些3D MRI圖像中提取的深度范圍在60到100之間的2D軸向切片[30]。訓練集包含7500個健康切片,驗證集包含44個腫瘤或異常切片和39個健康切片,測試集包含3075個腫瘤切片和640個健康切片。
X射線胸透(Chest X-Ray)圖像數據集[25]是一個公開的醫學影像數據集,收集并標記了5856名兒童的X射線胸透圖像,用于訓練異常檢測模型來識別肺炎圖像。在實驗中,訓練集包含1349張正常圖像,驗證集包含32張診斷為肺炎的異常圖像(17張細菌肺炎圖像和15張病毒肺炎圖像)和16張正常圖像,測試集包含390張診斷為肺炎的異常圖像(242張細菌肺炎圖像和148張病毒肺炎圖像)和234張正常圖像。
所有對比實驗都采用了相同的訓練數據和測試數據。由于似然網絡需要學習異常圖像的異常模式,在實驗中,似然網絡的訓練數據是驗證集中的無標簽數據。
3.2 實驗設置
分數網絡、似然網絡和解碼器與文獻[31]采用相同的架構,都通過正弦嵌入的方式嵌入時間t。所有實驗的特征提取器采用EfficientNet-B5[32]第36層的輸出,它將圖像轉化為具有304通道的特征。EfficientNet-B5的參數在實驗期間是固定的,采用在ImageNet數據集[33]上進行預訓練的結果。模型采用RK45 ODE求解器用于計算不同時刻的圖像特征及其對數似然。在異常定位時,圖像特征的去噪過程中采樣步數設置為500。模型訓練采用了Adam優化器[34],在所有實驗中,學習率均設置為10-5。異常分數中的權重ω設置為0.6。
3.3 醫學圖像的異常檢測
本文將提出的AnoDODE方法應用于兩個醫學圖像數據集上,實驗結果與7種基于深度學習的方法的結果進行了比較,其中:2種為基于重構的方法(Autoencoder和f-AnoGAN),1種為基于單類分類的方法(Cutpaste),3種為基于知識蒸餾的方法(MKD、RD4AD和EfficientAD),1種為基于似然的方法(CS-Flow)。本文采用多種指標對這些方法進行評價,包括AUC分數、F1分數和ACC值,其中用于計算ACC值的閾值根據最佳F1分數確定。表1展示了在BraTS2021數據集和X射線胸透數據集上的實驗結果。圖2展示了所有模型在BraTS2021數據集和X射線胸透數據集上對應的ROC曲線,提出的AnoDODE方法在兩個醫學數據集上都獲得了最佳AUC分數。
在BraTS2021數據集上,AnoDODE方法在所有指標上取得了最優性能。值得注意的是,Autoencoder方法表現出的性能最差,但由于測試數據集中正負樣本分布不平衡,它得到了看似不錯的F1分數和ACC值。f-AnoGAN的性能符合預期,結果優于Autoencoder方法。Cutpaste沒有取得良好的結果,可能是因為它合成異常圖像的方式不適合BraTS2021數據集。MKD和RD4AD是基于知識蒸餾的異常檢測方法,在RD4AD在BraTS2021數據集上表現良好,而MKD和EfficientAD表現較差。CS-Flow基于圖像特征的密度值進行異常檢測,取得了較好的異常檢測性能。然而,本文提出的神經網絡輔助的基于擴散ODE的異常檢測方法在所有指標上大幅優于CS-Flow。
在X射線胸透數據集上,AnoDODE方法在所有指標上都大幅優于其他代表性方法。f-AnoGAN和Cutpaste方法的異常檢測性能較差,并且低于Autoencoder方法,這可能是因為訓練數據不足導致的。同時,實驗發現RD4AD和EfficientAD方法的異常檢測性能比MKD方法差,這說明基于知識蒸餾的異常檢測方法存在不穩定性,也表明這類方法存在缺乏可解釋性的缺點。
為了進一步驗證AnoDODE方法的有效性,圖3給出了異常分數的直方圖,其中正常和異常數據用不同灰度區分,橫軸表示異常分數,縱軸表示頻率和組距的比值。結果表明,異常數據的異常分數通常大于正常數據的異常分數,而重疊面積僅占總面積的一小部分,這表明所提出的異常檢測方法能有效地區分正常和異常樣本。此外,圖4中異常檢測分類結果的混淆矩陣表明,所提出的模型可以對正常和異常圖像進行有效分類。
3.4 醫學圖像的異常定位
本文采用原始圖像指導的基于重構的異常定位方法進行醫學圖像異常病變區域的定位,其中擴散時間τ設定為0.5,縮放因子γ設定為20。圖5展示了在BraTS2021數據集和X射線胸透數據集上異常定位的實驗結果,每張圖像包含原始圖像(第1列)、重構圖像(第2列)和熱圖x′-x22(第3列)。在BraTS2021數據集上,提出的異常定位方法較好地保留了腦切片的輪廓,重構出消除腦腫瘤的腦切片重構圖像,重構誤差有助于精準地識別腦腫瘤。在X射線胸透數據集上,提出的異常定位方法同樣可以保留原始圖像的胸部輪廓,從而使重構誤差可以精準地識別肺炎區域。本文未進一步優化提出的異常定位方法,僅對異常區域進行了可視化。
3.5 消融實驗
在AnoDODE方法中,式(14)中的異常分數包含權參數ω,本文分析了不同ω對異常檢測性能的影響。圖6展示了AnoDODE方法在BraTS2021數據集和X射線胸透數據集上的實驗結果隨ω的變化曲線。當ω=0時,模型的異常分數就是擴散ODE得到的圖像特征的BPD分數;而當ω=1時,模型的異常分數就是似然網絡估計的圖像特征的BPD分數;實驗表明,當ω=0.6左右時,模型取得最優結果,這表明了似然網絡的引入優化了模型的異常分數,有助于提升模型的異常檢測性能。
3.6 可靠性研究
為了研究AnoDODE方法的魯棒性,固定訓練好的似然網絡和分數網絡,在異常檢測過程中,向圖像x添加少量的噪聲:x-=x+0.1ε,其中ε~(0,I),x-為加噪后的圖像。表2展示了BraTS2021數據集和X射線胸透數據集加噪的測試圖像和原測試圖像的實驗結果對比。實驗結果表明,在圖像加噪后,模型會損失一部分異常檢測性能。當ω=0時,模型的異常分數僅由擴散ODE模型求得,損失較多異常檢測性能,對于X射線胸透數據集尤為明顯;當ω=1時,模型的異常分數由似然網絡求得,損失少量異常檢測性能,依舊保持良好的性能;當ω=0.6時,模型有利于保持良好的異常檢測性能,在BraTS2021數據集上實現最優性能,在X射線胸透數據集上實現較優的性能。實驗結果表明,提出的似然網絡輔助的基于擴散ODE的異常檢測方法具有較好的魯棒性。
4 結 論
本文提出了一種神經網絡輔助的基于擴散ODE的無監督醫學圖像異常檢測方法,以及一種由原始圖像指導的基于圖像重構的異常定位方法。在兩個醫學圖像數據集上的實驗結果表明,本文提出的AnoDODE方法是有效的和魯棒的,與基于重構的異常檢測方法、基于知識蒸餾的異常檢測方法等已有方法相比,異常檢測性能有很大提升;本文提出的異常定位方法可以有效地定位醫學圖像病變區域。該方法可以在醫學圖像標簽缺少的情況下,提供一種基于密度估計的無監督異常檢測方案,較好地識別異常醫學圖像,并定位出異常病變區域,為臨床診療提供更豐富的信息支持,并減輕醫生的工作量。同時,該方法也可應用于其他醫學圖像和工業圖像異常檢測任務。后續研究可考慮利用擴散ODE的最新技術進一步提升模型的異常檢測性能。
參考文獻:
[1]Schlegl T, Seebck P, Waldstein S M, et al. F-AnoGAN: Fast unsupervised anomaly detection with generative adversarial networks[J]. Medical Image Analysis, 2019, 54: 30-44.
[2]Wyatt J, Leach A, Schmon S M, et al. AnoDDPM: Anomaly detection with denoising diffusion probabilistic models using simplex noise[C]∥2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). New Orleans, LA, USA. IEEE, 2022: 649-655.
[3]Mousakhan A, Brox T, Tayyub J. Anomaly detection with conditioned denoising diffusion models[EB/OL]. (2023-12-03)[2024-07-01]. http:∥arxiv.org/abs/2305.15956.
[4]Behrendt F, Bhattacharya D, Krüger J, et al. Patched diffusion models for unsupervised anomaly detection in brain MRI[C]∥Medical Imaging with Deep Learning. Paris ,France: PMLR, 2024: 1019-1032.
[5]Schlkopf B, Platt J C, Shawe-Taylor J, et al. Estimating the support of a high-dimensional distribution[J]. Neural Computation, 2001, 13(7): 1443-1471.
[6]Tax D M J, Duin R P W. Support vector data description[J]. Machine Learning, 2004, 54(1): 45-66.
[7]Ruff L, Vandermeulen R, Goernitz N, et al. Deep one-class classification[C]∥International Conference on Machine Learning. Stockholmsmssan, Stockholm Sweden. PMLR, 2018: 4393-4402.
[8]Li C L, Sohn K, Yoon J, et al. CutPaste: Self-supervised learning for anomaly detection and localization[C]∥2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Nashville, TN, USA. IEEE, 2021: 9659-9669.
[9]Liu Z K, Zhou Y M, Xu Y S, et al. SimpleNet: A simple network for image anomaly detection and localization[C]∥2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Vancouver, BC, Canada. IEEE, 2023: 20402-20411.
[10]邢鵬, 蔣鑫, 潘永華, 等. 基于特征約束蒸餾學習的視覺異常檢測[J]. 軟件學報, 2023, 34(9): 4378-4391.
[11]Salehi M, Sadjadi N, Baselizadeh S, et al. Multiresolution knowledge distillation for anomaly detection[C]∥2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Nashville, TN, USA. IEEE, 2021: 14897-14907.
[12]Deng H Q, Li X Y. Anomaly detection via reverse distillation from one-class embedding[C]∥2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New Orleans, LA, USA. IEEE, 2022: 9727-9736.
[13]Batzner K, Heckler L, Knig R. EfficientAD: Accurate visual anomaly detection at millisecond-level latencies[C]∥2024 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). Waikoloa, HI, USA. IEEE, 2024: 127-137.
[14]Rudolph M, Wehrbein T, Rosenhahn B, et al. Asymmetric student-teacher networks for industrial anomaly detection[C]∥2023 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). Waikoloa, HI, USA. IEEE, 2023: 2591-2601.
[15]Defard T, Setkov A, Loesch A, et al. PaDiM: A patch distribution modeling framework for anomaly detection and localization[C]∥Pattern Recognition. ICPR International Workshops and Challenges(ICPR 2021). Cham: Springer, 2021: 475-489.
[16]Roth K, Pemula L, Zepeda J, et al. Towards total recall in industrial anomaly detection[C]∥ 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New Orleans, LA, USA. IEEE, 2022: 14298-14308.
[17]Hyun J, Kim S, Jeon G, et al. ReConPatch: Contrastive patch representation learning for industrial anomaly detection[C]∥2024 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). Waikoloa, HI, USA. IEEE, 2024: 2041-2050.
[18]Rudolph M, Wandt B, Rosenhahn B. Same same but DifferNet: Semi-supervised defect detection with normalizing flows[C]∥2021 IEEE Winter Conference on Applications of Computer Vision (WACV). Waikoloa, HI, USA. IEEE, 2021: 1906-1915.
[19]Rudolph M, Wehrbein T, Rosenhahn B, et al. Fully convolutional cross-scale-flows for image-based defect detection[C]∥2022 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). Waikoloa, HI, USA. IEEE, 2022: 1829-1838.
[20]Zhao Y, Ding Q, Zhang X. AE-FLOW: Autoencoders with normalizing flows for medical images anomaly detection[C/OL]∥The Eleventh International Conference on Learning Representations. ICLR 2023. (2023-02-28)[2024-06-12]. https:∥openreview.net/forum?id=9OmCr1q54Z.
[21]Creswell A, White T, Dumoulin V, et al. Generative adversarial networks: An overview[J]. IEEE Signal Processing Magazine, 2018, 35(1): 53-65.
[22]Sohl-Dickstein J, Weiss E, Maheswaranathan N, et al. Deep unsupervised learning using nonequilibrium thermodynamics[C]∥International Conference on Machine Learning. Lille, France: PMLR, 2015: 2256-2265.
[23]Ho J, Jain A, Abbeel P. Denoising diffusion probabilistic models[J]. Advances in Neural Information Processing Systems, 2020, 33: 6840-6851.
[24]Song Y, Sohl-Dickstein J, Kingma D P, et al. Score-based generative modeling through stochastic differential equations[EB/OL]. (2021-02-10)[2024-07-01]. http:∥arxiv.org/abs/2011.13456.
[25]Kermany D S, Goldbaum M, Cai W, et al. Identifying medical diagnoses and treatable diseases by image-based deep learning[J]. Cell, 2018, 172(5):1122-1131.
[26]Chen R T Q, Rubanova Y, Bettencourt J, et al. Neural ordinary differential equations[J]. Advances in Neural Information Processing Systems, 2018, 31: 6571-6583.
[27]Grathwohl W, Chen R T Q, Bettencourt J, et al. FFJORD: Free-form continuous dynamics for scalable reversible generative models[EB/OL]. (2018-10-22)[2024-07-01]. http:∥arxiv.org/abs/1810.01367.
[28]Dhariwal P, Nichol A. Diffusion models beat gans on image synthesis[J]. Advances in Neural Information Processing Systems, 2021, 34: 8780-8794.
[29]Baid U, Ghodasara S, Mohan S, et al. The RSNA-ASNR-MICCAI BraTS 2021 benchmark on brain tumor segmentation and radiogenomic classification[EB/OL]. (2021-09-12)[2024-07-01]. http:∥arxiv.org/abs/2107.02314.
[30]Bao J, Sun H, Deng H, et al. Bmad: Benchmarks for medical anomaly detection[C]∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle, WA, USA. IEEE, 2024: 4042-4053.
[31]Rombach R, Blattmann A, Lorenz D, et al. High-resolution image synthesis with latent diffusion models[C]∥ 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New Orleans, LA, USA. IEEE, 2022: 10674-10685.
[32]Tan M X, Le Q V. EfficientNet: Rethinking model scaling for convolutional neural networks[C]∥International Conference on Machine Learning. Long Beach, CA, USA. PMLR, 2019: 6105-6114.
[33]Deng J, Dong W, Socher R, et al. ImageNet: A large-scale hierarchical image database[C]∥2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami, FL, USA. IEEE, 2009: 248-255.
[34]Kingma D P, Ba J. Adam: A method for stochastic optimization[EB/OL]. (2017-01-30)[2024-07-01]. http:∥arxiv.org/abs/1412.6980.
(責任編輯:康 鋒)