基于生成對(duì)抗網(wǎng)絡(luò)的OCT 圖像去噪方法

賀玉華，楊明明

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065）

0 引言

光學(xué)相干斷層掃描（Optical Coherence Tomography，OCT）[1]是一種極有潛力的生物醫(yī)學(xué)光學(xué)成像技術(shù)，由于其具有無(wú)接觸、掃描速度快和超高分辨率的特點(diǎn)而被廣泛應(yīng)用于眼科。然而，OCT 圖像中含有大量的散斑噪聲，散斑噪聲會(huì)掩蓋細(xì)微并且很重要的圖像特征，最終影響臨床診斷。因此，去除OCT 圖像中的斑點(diǎn)噪聲對(duì)于提高圖像質(zhì)量和臨床診斷來(lái)說(shuō)有很重要的意義。

近年來(lái)，為了有效地去除SD-OCT 中的斑點(diǎn)噪聲，基于塊匹配[2-4]、稀疏字典學(xué)習(xí)[5]、偏微分方程[6]，以及基于其他理論的多種算法相繼被提出。Buades 等人[2]提出的非局部均值濾波算法（Non-Local Means，NLM）應(yīng)用在自然圖像上去噪并取得了很好的效果，但對(duì)OCT圖像去噪來(lái)說(shuō)并不適用，因此，研究者提出了很多改進(jìn)的非局部均值算法[3]，但這些方法往往會(huì)使圖像變模糊。在非局部均值算法的基礎(chǔ)上，Chong 等人[4]提出了塊匹配三維過(guò)濾（Block-Matching and 3D filtering，BM3D）算法，其原理是對(duì)匹配的相似塊進(jìn)行協(xié)同過(guò)濾來(lái)進(jìn)行去噪，但在抑制噪聲的同時(shí)可能會(huì)引起圖像邊緣的失真。Esmaeili 等人[5]提出了一種改進(jìn)的基于KSVD 的字典學(xué)習(xí)算法，其原理是學(xué)習(xí)含噪圖像數(shù)據(jù)和不含噪圖像數(shù)據(jù)之間的字典，并通過(guò)不斷更新字典使得去噪圖像逼近不含噪的圖像，但該算法對(duì)字典太過(guò)依賴。Puvanathasan 等人[6]提出了一種基于偏微分方程的各向異性擴(kuò)散方法，該方法雖然能夠在去除噪聲的同時(shí)保留圖像細(xì)節(jié)甚至增強(qiáng)邊緣，但其結(jié)果往往過(guò)于平滑。這些算法在OCT 去噪上都存在一些缺點(diǎn)：過(guò)度模糊或平滑圖像，噪聲的去除不夠徹底或者在去噪結(jié)果中引入了偽影?？傊?，這些算法在去噪和保留原圖細(xì)節(jié)之間很難達(dá)到平衡狀態(tài)。

目前，深度學(xué)習(xí)已經(jīng)在多種成像應(yīng)用中取得了巨大成就，從低級(jí)任務(wù)到高級(jí)任務(wù)，例如圖像去噪[7-8]，去模糊[9]和超分[10]到分割[11]，檢測(cè)和識(shí)別。它模仿了人類處理信息的方式，并通過(guò)分層網(wǎng)絡(luò)框架從像素?cái)?shù)據(jù)中提取高級(jí)特征[12]。Wei 等人[13]首次將聚類的卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于OCT 圖像去噪。Song 等人[14]提出了一種基于ResNet 的方法，可以在提高信噪比的同時(shí)保留細(xì)節(jié)特征。Ma 等人[15]提出了一種基于wasserstein 生成對(duì)抗網(wǎng)絡(luò)（wGAN）的方法。

由于條件生成對(duì)抗網(wǎng)絡(luò)（cGAN）[16]在圖像生成和風(fēng)格遷移等圖像任務(wù)上有著良好表現(xiàn)，我們覺(jué)得也可以將圖像去噪問(wèn)題視為圖像到圖像的轉(zhuǎn)換問(wèn)題，并提出了一種基于條件生成對(duì)抗網(wǎng)絡(luò)（cGAN）的改進(jìn)方法來(lái)實(shí)現(xiàn)這一目標(biāo)。用有噪聲的圖像和無(wú)噪聲的圖像對(duì)進(jìn)行訓(xùn)練，并在生成器和鑒別器的相互競(jìng)爭(zhēng)下，來(lái)實(shí)現(xiàn)去噪的目的。

1 cGAN模型簡(jiǎn)介

1.1 cGAN原理

生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）的原理是：生成器負(fù)責(zé)學(xué)習(xí)從輸入到真實(shí)數(shù)據(jù)的映射，生成與之相似的數(shù)據(jù)；而判別器負(fù)責(zé)對(duì)生成數(shù)據(jù)進(jìn)行判斷，判斷其屬于還是不屬于真實(shí)數(shù)據(jù)；判別器再將其判斷結(jié)果反饋給生成器，進(jìn)而激勵(lì)生成器生成更加相似的數(shù)據(jù)，在這個(gè)過(guò)程中判別器也需要不斷提高自己的判別能力?？傊?，生成對(duì)抗網(wǎng)絡(luò)的原理是生成器和判別器通過(guò)相互競(jìng)爭(zhēng)，最終到達(dá)一種平衡狀態(tài)。但是對(duì)于無(wú)條件的生成網(wǎng)絡(luò)來(lái)說(shuō)，生成數(shù)據(jù)的模式無(wú)法被控制，為了解決這一問(wèn)題，條件生成對(duì)抗網(wǎng)絡(luò)（con?ditional Generative Adversarial Network，cGAN）應(yīng)運(yùn)而生，其原理是向生成器和判別器中加入約束信息來(lái)指導(dǎo)數(shù)據(jù)生成過(guò)程，使得生成器生成的數(shù)據(jù)是我們所期望的數(shù)據(jù)而不是為了欺騙判別器而得到的數(shù)據(jù)。

1.2 損失函數(shù)

cGAN 通過(guò)輸入圖像x和隨機(jī)向量z學(xué)到目標(biāo)圖像y，即G:{x,z}→y，然后將生成的圖像和目標(biāo)圖像分別輸入到判別器進(jìn)行打分。對(duì)于生成器來(lái)說(shuō)，希望生成更加真實(shí)的樣本可以騙過(guò)判別器，而對(duì)判別器來(lái)說(shuō)，希望能夠盡可能地區(qū)分真實(shí)樣本和生成樣本，即判別器對(duì)真實(shí)樣本的打分盡可能高，而生成樣本打分盡可能低。對(duì)抗損失函數(shù)表達(dá)式如下：

其中，x 是輸入的含噪聲的圖像，y 是與x 對(duì)應(yīng)的不含噪聲的圖像，z 是隨機(jī)向量。

為了使生成的圖像與目標(biāo)域圖像盡可能相似，我們可以將生成圖像和目標(biāo)圖像之間的L1 或L2 距離加入到損失函數(shù)中。由于L2 距離會(huì)使圖像模糊，我們采用L1 距離來(lái)衡量真實(shí)的不含噪聲圖像和生成的去噪圖像之間的差異。其目標(biāo)函數(shù)如下：

2 網(wǎng)絡(luò)結(jié)構(gòu)

2.1 生成器結(jié)構(gòu)

本文使用的生成器基于文獻(xiàn)[17]提出的網(wǎng)絡(luò)架構(gòu)，該網(wǎng)絡(luò)結(jié)構(gòu)在醫(yī)學(xué)CT 圖像去噪中展示了很好的性能，該網(wǎng)絡(luò)是基于Encoder-Decoder 的網(wǎng)絡(luò)結(jié)構(gòu)，在此基礎(chǔ)上，增加了三個(gè)快捷連接，將卷積層的特征圖和對(duì)應(yīng)的反卷積層的特征圖相加，其結(jié)果作為下一個(gè)反卷積層的輸入，其目的是使該網(wǎng)絡(luò)可以保留更多的圖像特征。生成器的網(wǎng)絡(luò)結(jié)構(gòu)共包含14 層，卷積層和反卷積層各七層，每一層之后都使用了ReLU 激活層。所有卷積層和反卷積層的卷積核大小均為3×3，步長(zhǎng)均為1。除了輸入和輸出，中間層的特征圖個(gè)數(shù)均為64。該生成模型的輸入輸出均為單通道OCT 圖像，可以接受任意大小的圖片輸入。

2.2 判別器結(jié)構(gòu)

判別器采用PatchGAN 結(jié)構(gòu)[18]，其作用是判斷輸入圖像的真假。其網(wǎng)絡(luò)結(jié)構(gòu)一共有七層，其中奇數(shù)卷積層的步長(zhǎng)為1，其余為2，所有卷積核大小都是4×4。根據(jù)從第一卷積層到最后一個(gè)卷積層的順序，其特征圖個(gè)數(shù)分別是64、64、128、128、256、256 和1。除了第一個(gè)和最后一個(gè)卷積層，每個(gè)卷積層后都使用了批處理歸一化（BN）層和斜率為0.2 的Leaky ReLU 激活層。由于將BN 層用于所有層會(huì)導(dǎo)致生成圖像結(jié)果振蕩和模型不穩(wěn)定，所以第一個(gè)卷積層后只使用leaky ReLU激活層。

3 實(shí)驗(yàn)與結(jié)果分析

3.1 數(shù)據(jù)集

本文采用的OCT 數(shù)據(jù)集來(lái)自文獻(xiàn)[18]，其中包括28 對(duì)分辨率為450×900（高×寬）的合成圖像，該圖像對(duì)是通過(guò)從28 位受試者的28 只正?；虍惓Ｑ劬χ胁东@的高分辨率圖像進(jìn)行二次采樣而生成的。更具體地說(shuō)，在每個(gè)圖像對(duì)中，含噪聲的圖像是由OCT 設(shè)備（Biopitgen）直接采集的（B-scan），無(wú)噪聲的圖像是通過(guò)配準(zhǔn)和平均在同一位置獲得的多個(gè)B-scan 圖像而得到的，也就是說(shuō)無(wú)噪聲的圖像是由在同一位置采集的多張含噪聲圖像經(jīng)過(guò)配準(zhǔn)和平均所得。

在實(shí)驗(yàn)中，我們丟棄了兩對(duì)非常差的圖像，并使用剩余的26 對(duì)圖像進(jìn)行實(shí)驗(yàn)，其中隨機(jī)選擇了十對(duì)圖像用于訓(xùn)練模型，其余的用于測(cè)試。由于訓(xùn)練模型需要大量的數(shù)據(jù)，因此我們將這十對(duì)圖像進(jìn)行滑動(dòng)剪裁，每隔8 個(gè)像素點(diǎn)裁剪一張分辨率為64×64 的圖像，最后數(shù)據(jù)量大約為一萬(wàn)多張。

3.2 參數(shù)選擇

在實(shí)驗(yàn)中，軟件環(huán)境操作系統(tǒng)為Windows 10，深度學(xué)習(xí)軟件框架為T(mén)ensorFlow 1.14，GPU 為NVIDIA GTX 1080，內(nèi)存為8 Gb。在訓(xùn)練時(shí)，我們的生成器和判別器都使用了Adam 算法進(jìn)行優(yōu)化，學(xué)習(xí)率為0.0002。加權(quán)參數(shù)a的值設(shè)為10。

3.3 實(shí)驗(yàn)分析

本實(shí)驗(yàn)分別采用K-SVD 模型、BM3D 模型、wGAN模型和本文模型在測(cè)試集上進(jìn)行測(cè)試。為了客觀說(shuō)明本文模型的性能，對(duì)于BM3D 和K-SVD 模型，其參數(shù)按照取的最優(yōu)降噪效果去設(shè)定，對(duì)于其他模型，其參數(shù)與提出該方法的參考文獻(xiàn)中的參數(shù)保持一致。所有型的降噪結(jié)果如圖1 所示。由實(shí)驗(yàn)結(jié)果可見(jiàn)，本文模型對(duì)OCT 圖像的降噪效果在視覺(jué)上整體優(yōu)于其他模型。為了更清晰地展示各模型的降噪結(jié)果，圖1 對(duì)局部細(xì)節(jié)進(jìn)行了放大。可以看出，經(jīng)BM3D 和K-SVD 模型處理過(guò)的圖像在視網(wǎng)膜層內(nèi)部和邊界處存在條形偽影，視覺(jué)效果較差，其中，K-SVD 模型并未完全去除噪聲，BM3D 引入了塊狀偽影。wGAN 模型有效去除了斑點(diǎn)噪聲，增強(qiáng)了圖像的對(duì)比度，但是存在明顯的邊緣模糊和細(xì)節(jié)丟失的現(xiàn)象。采用本文模型去噪后的圖像，保留了更多的邊緣信息和細(xì)節(jié)信息，得到的結(jié)果與校準(zhǔn)無(wú)噪聲的OCT 圖像更加接近，并且具有更加理想的視覺(jué)效果。

為了更加客觀地進(jìn)行去噪效果對(duì)比，本文采用了三個(gè)評(píng)價(jià)指標(biāo)，分別是峰值信噪比（Peak Signal-To-Noise Ratio，PSNR）、結(jié)構(gòu)相似性（Structural Similarity Index，SSIM）和邊緣保持系數(shù)（Edge Preservation Index，EPI）。表1 所示為五種模型在測(cè)試集上得到的三種評(píng)價(jià)指標(biāo)的對(duì)比。可以看出，本文模型的去噪結(jié)果在PSNR 和SSIM 這兩個(gè)指標(biāo)均值上優(yōu)于其他四種模型，這與圖1 所示的視覺(jué)效果對(duì)比圖基本上是吻合的，說(shuō)明本文模型降噪效果最優(yōu)，且是最接近其對(duì)應(yīng)的無(wú)噪聲的OCT 圖像。指標(biāo)EPI 計(jì)算的是去噪圖像與含噪圖像之間的邊緣信息保存能力，K-SVD 模型在該指標(biāo)上取得了最大值，其原因是它的去噪結(jié)果中仍然含有噪聲，而本文模型取得了最小值，其原因是它的結(jié)果中不含噪聲。

表1 四種模型在測(cè)試集上去噪結(jié)果的評(píng)價(jià)指標(biāo)

圖1 四種模型在測(cè)試集上的結(jié)果

其中前兩行為不同模型的測(cè)試結(jié)果，第三行中的圖對(duì)藍(lán)色區(qū)域進(jìn)行放大，第四行中的圖對(duì)紅色區(qū)域進(jìn)行放大

4 結(jié)語(yǔ)

本文提出了一種基于條件生成網(wǎng)絡(luò)（cGAN）的圖像去噪方法，通過(guò)學(xué)習(xí)有噪圖像到無(wú)噪圖像的映射來(lái)實(shí)現(xiàn)去噪過(guò)程。實(shí)驗(yàn)結(jié)果表明，本文提出的方法是最接近無(wú)噪圖像的，對(duì)于指標(biāo)PSNR 和SSIM，均優(yōu)于其他對(duì)比方法。但我們的結(jié)果中仍然存在少量的噪聲，通過(guò)改善模型賴去除這些噪聲將會(huì)是我們今后的研究方向。