基于PSRGAN結合遷移學習的OCT視網膜圖像超分辨率重建

關鍵詞：OCT 圖像；超分辨率；生成對抗網絡；遷移學習；金字塔注意力

中圖分類號：TP 391 文獻標志碼：A

引言

隨著光學相干斷層掃描（ optical coherencetomography，OCT）技術的進步，以及硬件系統的更迭，可捕獲到的視網膜圖像的視野范圍更為廣泛，但采集到的圖像中會不可避免地出現噪聲和偽影。如果要降低采集過程中的運動偽影，則需要更長的采集時間，這會導致患者不適。然而，提高采集系統的速度往往又會降低軸向分辨率[1]，使得采集到的視網膜圖像的細節信息損失加重。為了給臨床醫生提供清晰的OCT 視網膜圖像，減少誤診和漏診，有必要采用超分辨率的方法對圖像進行重建 [2]。近年來，圖像的超分辨率方法已經得到了廣泛的研究。傳統的基于深度神經網絡（convolutional neural networks，CNN）[3]的模型利用卷積運算代替傳統的手動特征提取，但這些模型的網絡太小，并且在學習過程中使用的像素范圍太小，從而導致重建輸出的圖像過于平滑。Ledig 等[4] 提出了一種用于超分辨率的生成對抗網絡，即漸進式超分辨率生成對抗網絡（progressive super-resolution generative" adversarialnetwork，PSRGAN），并將其應用于醫學圖像來提高超分圖像質量，恢復細節。

由于受到圖像數據集大小及醫學倫理的限制，深度網絡模型應用于醫學圖像時，其學習能力無法得到充分地訓練。解決訓練數據缺乏問題的主要方法是使用遷移學習[5]。根據遷移形式，遷移學習算法可分為4 種，分別為基于樣本、特征、模型或關系的知識遷移學習。為了解決加速MRI 深度網絡訓練中的數據稀缺問題，Dar等[6] 提出將遷移學習用于深度學習中，Lv等[7]探索了基于并行成像與GAN模型和遷移學習相結合的新應用，從而提高了重建性能。將遷移學習引入醫學圖像處理的過程中還需要對使用的數據集進行比較研究，以確定選擇的數據集類型對重建結果質量的影響[8-9]。

作者提出了使用PSRGAN 和遷移學習來獲得高分辨率OCT 視網膜圖像的設想。結合了基于模型的遷移學習方法，利用來自不同領域的大型圖像數據在使用OCT 圖像數據訓練之前進行預訓練[10]。遷移訓練的主要目的是為了解決高質量OCT 數據集樣本數不足的問題，借助另一個領域的大量圖像樣本執行預訓練，并使用該預訓練獲得的權重作為實際訓練過程的初始權重[11-12]，這有助于模型在目標域內更快地收斂。本文中的遷移學習方法是對整個模型，即所有的層進行了預訓練。為了使本文的超分網絡訓練收斂更快，在提出的PSRGAN 中添加了高效金字塔通道注意力（pyramid efficient channel attention" ，PECA）模塊，使模型更加輕量化。

1實驗方法與原理

OCT圖像超分辨率重建分為4 個步驟：（1）預處理圖像，對采集到的OCT圖像進行裁剪，裁剪OCT圖像的空白區域，填充邊緣空白區域；（2）劃分數據集，將通過預處理后的OCT圖像劃分為訓練集與測試集；（3）模型訓練，將預處理過后的OCT 圖像導入訓練模型中進行下采樣操作，訓練模型的特征提取能力；（4）超分辨率重建，最終利用訓練好的模型對測試集的圖像進行重建，測試模型的性能。

本研究中提出的超分辨率生成對抗模型PSRGAN是對SRGAN進行了改進。為了提高特征提取性能，獲得高分辨率OCT圖像，將本文提出的高效金字塔通道注意力PECA模塊引入到SRGAN網絡[13]。針對低分辨率OCT圖像感知質量差的特點，在SRGAN生成器的第4和第5卷積塊之間插入PECA，使提取圖像具有更多的高頻特征，增強特征的表現力，有助于紋理細節的重建。

1.1改進的超分辨率重建網絡的構建

在PSRGAN 中， 首先把低分辨率（ lowresolution，LR）訓練圖像中采樣到的噪聲特征發送到生成器，以生成類似于輸入的高分辨率（ high resolution， HR） 圖像的假樣本。同時，HR 訓練樣本也作為真實樣本發送給判別器，并且讓判別器試圖區分假樣本和真實樣本的HR 之間的差異。生成器的目標是連續產生盡可能接近真實樣本的高分辨率圖像，直到所產生的超分辨率圖像能夠欺騙判別器。判別器和生成器最終在相互博弈中實現平衡，這時候的生成器就可以產生高質量的重建圖像。其中，通過添加PECA模塊，PSRGAN 可以生成更接近于HR 圖像的紋理細節，圖像邊緣也更加清晰[14]。PSRGAN的結構如圖1所示。

1.2高效金字塔通道注意力模塊

本文提出使用PECA模塊來有效地建立多尺度特征提取通道，將其添加在生成對抗網絡的生成器中的第4 卷積塊和第5 卷積塊之間，可以更有效地處理多尺度的輸入特征圖的空間信息。在之前的工作中[16]，已經提出將PECA模塊用于改進PSANet 網絡。較其他注意力機制，PECA模塊是將PSANet 中的SENet 替換成了高效通道注意力（efficient channel attention，ECA）模塊，更加輕量化且高效。ECA 模塊可以提取不同尺度特征圖的通道注意力，同時以極輕量的方式獲取跨通道的交互信息[17]。PECA模塊結構如圖3所示。

PECA模塊實現過程：首先使用分割和融合（split and concat，SPC）模塊將通道進行拆分，提取每個通道特征圖上的多尺度空間信息；然后用ECA 模塊替換原始PSANet 中的SENet模塊，更高效的計算不同尺度特征圖的通道注意力；再利用Softmax對多尺度通道注意力向量的特征進行標定，獲得新的多尺度通道交互之后的注意力權重；最后對新獲取的權重和對應的特征圖進行逐元素點乘操作，得到一個多尺度特征信息注意力加權的特征圖。

為了避免維度縮減，并降低模型的復雜度，在不同尺度上分別采用了ECA模塊。ECA模塊的實現如圖4所示。首先，對每個通道的特征圖進行全局平均池化；接著，快速通過大小為k的一維卷積層，其中k代表局部跨通道交互的覆蓋范圍，輸出經過局部跨通道交互后的特征。ECA模塊可以自適應地確定k 近鄰通道來完成通道注意力的計算，其中k與C（C為通道數）成比例。

1.3 PSRGAN模型結合遷移學習方法

要在深度學習方法中取得良好的性能，合理的訓練數據量是必不可少的。然而，醫學領域中可用于處理和分析研究的OCT 視網膜圖像數量有限[18]。當面臨相對有限的訓練數據時，遷移學習是一種高效的學習方法。

相較于其他大多數學習模型，遷移學習是利用卷積神經網絡學習已標記好的預訓練網絡系統[19]。該系統會識別預訓練系統中圖像的特點，再繼續導入含有第一層圖像相似參數和結構的網絡系統，最后構建出終極層。在本文的遷移學習系統中：第一層網絡就是學習的目標圖像；第二層網絡使用第一層網絡的圖像尋找相應的特征，通過前向傳播固定低層圖像中的權重，找到已經學習的可辨別的結構特點，再提取更高層的權重，進行反復的自調整、反饋和傳遞，達到學習區分特定類型圖像的目的[20]。

在本研究中，OCT視網膜圖像超分辨率重建受到數據集大小的限制，提出遷移開源的X 光照片數據集和天然花卉數據集的訓練權重去促進深層神經網絡PSRGAN快速學習和收斂。將X 射線數據集或花卉數據集與OCT視網膜數據集共同進行訓練，增加訓練的數據樣本，使計算機更好地學習訓練，繼而達到更精確的重建目標。本實驗評估了使用遷移學習方法對最終生成圖像的影響，比較了本文提出的方法與其他超分辨率方法重建OCT 視網膜圖像的性能參數。兩個預訓練數據集的選取：一個屬于醫學領域X 射線數據集，呈現出與OCT 視網膜圖像相似的視覺特征；另一個數據集（花卉數據集）屬于完全不同的領域，與OCT 視網膜圖像幾乎沒有視覺上的相似性。目的是評估使用遷移學習方法是否能幫助重建出更好的圖像結果，以及在預訓練步驟中使用不合適的數據集是否會干擾模型的收斂。

2實驗結果和分析

本文實驗在上述3個數據集上進行，主要分為4個步驟：（1）圖像數據集采集和處理，對數據集中的圖像進行初步的圖像篩選與裁剪，將處理后的OCT 圖像劃分為訓練集與測試集；（ 2） 搭建模型， 生成3個PSRGAN模型， 第1 個是隨機初始化權重的PSRGAN模型，第2、3 個分別是通過遷移學習方法獲得預先用胸部X 光片和花卉數據集訓練的初始權值作為PSRGAN網絡訓練權值的PSRGAN–TL–X-ray模型和PSRGAN–TL–Flowers模型；（3）訓練模型并測試，使用OCT視網膜圖像訓練集來訓練搭好的3個PSRGAN模型，以及SRGAN模型和SRCNN模型，再用測試集測試的結果來評估這5 種模型的性能。

2.1 數據集和實驗設置

在本實驗中，運用PSRGAN網絡和遷移學習的方法對眼科的臨床數據進行圖像超分辨率重建處理，用到了3個數據集。第1個數據集是由溫州醫科大學利用醫用OCT 設備采集的眼科視網膜圖像的臨床數據，將其劃分為1000張圖像的訓練集和50張圖像的測試集進行實驗。為了比較遷移學習中采用的大型訓練數據集的類型對OCT圖像重建結果的影響，本文選擇了兩種類型的數據集。一個是醫學領域中公開的胸部X 光片數據集，包含5856張X 光片圖像（https：//data.mendeley.com/datasets/rscbjbr9sj/2），有肺炎/正常類別的子文件夾，將5000張用于訓練，856 張用于測試。胸部X 光片圖像的超分重建研究也十分廣泛[21]，與OCT圖像同樣屬于醫學灰度圖像，因此選擇它作為實驗中預訓練的數據集。另一個數據集選擇的是花卉數據集，其中含有102個花卉數據集（ https：//www.robots.ox.ac.uk/～vgg/data/flowers/102/），由3670張花卉圖像組成。由于花卉圖像細節豐富，邊緣感信息容易被提取，作為預訓練數據集可以幫助網絡學習重建豐富的特征信息。將花卉圖像周圍的黑色邊框移除，并劃分3000張用于訓練，670張用于測試。所有數據集的圖例見圖5。

實驗基于Nvidia Tesla P100顯卡，深度學習框架為Pytorch 的實驗平臺。受GPU內存的限制，用于實驗的原始圖像都被裁剪成128×128（高×寬）大小。在訓練過程中，選取Adam作為優化器，每批次訓練數量大小為4，優化器初始學習率均設置為2×10^?4。5種模型訓練OCT圖像數據集的最大周期均為100，遷移學習過程中的PSRGAN模型的預訓練周期為1000。

式中：I為模型訓練獲得的高分辨率圖像；O為高分辨率真實圖像。

2.3實驗結果

在本實驗中，對比了PSRGAN模型使用和不使用PECA 模塊的效果，比較了深度學習方法SRCNN， SRGAN， PSRGAN， PPECA–SRGAN， PSRGAN–TL–X-ray 和PSRGAN–TL–Flowers 對OCT視網膜圖像超分辨率重建結果，使用了上節提到的3個圖像質量評價指標來評估最終的測試結果。

表1是PSRGAN模型使用/不使用PECA注意力機制在測試集上的評價指標對比，可以看出，添加注意力模塊后PSNR，SSIM和EPI 等指標值都更高，這與圖6 展示的視覺效果圖相吻合。因此使用注意力機制有助于提升圖像細節和邊緣信息重建效果。

圖7是PSRGAN模型使用/不使用PECA注意力機制實驗結果對比展示。為了更加準確地對比重建圖像的細節信息，將圖像中標記為矩形的區域放大，其放大結果見圖7（b）。可以看出添加注意力模塊后的結果在圖像邊緣和分層邊緣結構處變得更加清晰，從視覺效果來看，基本上消除了斑點噪聲，重建圖像在視覺上更加接近于無噪圖像。

總的來說，遷移學習訓練的PSRGAN 模型具有更好的指標平均值，通過遷移學習得到的PSRGAN 模型的優越性是顯而易見的。因為花卉數據集的細節和邊緣信息的結構更清楚，網絡學習能力得到充分的訓練，使得PSRGAN–TL–Flowers 方法在所有評價指標上都取得最優的效果。

圖7是從測試集中選擇的一張重建圖像（×4），為了進一步對比各方法的細節信息保留能力，在原始HR 圖像和SR 圖像之間，聚焦于相同的區域對比差異，將圖像中標記為白色矩形的區域放大。就整體視覺效果而言， 通過SRGAN 模型獲得的圖像的視覺質量的提高程度是十分明顯的，而SRCNN模型在病變區域的細節上有一些模糊。所提出的PSRGAN方法優于SRGAN和SRCNN，其生成圖像質量更優。可以看出，PSRGAN模型產生的圖像在視覺上與原始圖像非常相似，幾乎無明顯差異，而PSRGAN–TL–Flowers可以產生相對干凈和銳利的邊緣，并且能夠準確地重建圖像的紋理。

圖8是本實驗提出的遷移學習訓練后的PSRGAN模型（PSRGAN–TL–Flowers）進行訓練的過程中隨機選擇的一幅圖像展示。通過圖像可以看到：訓練50 epoch時，圖像噪點變少；訓練100 epoch時，圖像不僅噪點變少，邊緣細節更加清晰，也更加接近原始的HR真實圖像。PSNR、SSIM 和EPI值也隨周期的疊加而上升。因此，隨著訓練周期的增加，模型生成的圖像質量更高并且更真實。

2.4重建圖像層次自動分割結果

OCT視網膜圖像的病理學結構信息對眼部疾病檢測診斷來說至關重要，層次分割有助于自動化OCT 圖像診斷。一般來說，LR圖像中存在的噪聲和偽影會導致圖像質量低，細節和邊緣結構不清晰，層次分割結果不準確，從而影響臨床診斷的效率。超分辨率重建算法處理后的OCT視網膜圖像不僅要保留重要的細節信息，也應該讓層次分割更加清晰。為了驗證算法處理后的圖像質量是有所提升的，從實驗的測試數據集中隨機選擇了兩張圖像，使用公開的針對視網膜OCT圖像進行層次分割的工具對圖像進行自動分割處理。截取放大各方法重建圖像的部分區域，分割結果如圖9 所示。在所有的分割結果中，原始LR 圖像和SRCNN方法中的分割線存在交錯和跨越情況，SRGAN、PSRGAN中的分割線均比較平緩，而本文所提的PSRGAN–TL–X-ray和PSRGAN–TL–Flowers方法所重建圖像中的分割結果相較而言更優。

3結論

提出了使用改進的PSRGAN模型來改善OCT視網膜圖像，將PSRGAN模型在大型數據集上訓練的模型參數遷移到OCT視網膜圖像超分辨率重建訓練中，該網絡能有效減少OCT圖像中的斑點噪聲，捕捉更多邊緣細節和圖像特征。對比了5種超分辨率重建方法（包括使用和不使用遷移學習的方法），評估了遷移學習方法的使用效果，證明了改進的GAN網絡（PSRGAN）對花卉圖像進行逐像素特征重建的優異性能，以及通過遷移學習適應OCT-B掃描圖像重建的潛力。總的來說，與傳統的超分辨率重建方法（ SRCNN， SRGAN）相比， 生成對抗網絡（PSRGAN）能得到較好的結果，但結合遷移學習的PSRGAN方法重建的超分圖像質量更佳。在兩種結合遷移學習的方法中，使用高清花卉數據集進行遷移訓練得到的重建效果最優。基于本文給出的結果和分析，應用于遷移學習方法的預訓練數據集的類型會影響OCT 圖像的超分效果，數據集的選擇應該考慮圖像細節和層次的清晰度，而不僅僅是數據集的大小和領域。本文重點是提高OCT 視網膜圖像分辨率，增強視網膜層邊緣和細節，所以在本文預訓練中使用邊緣和細節模糊的圖像可能會對遷移學習產生負面影響。

本文提出的超分辨率重建算法有效地提高了OCT視網膜圖像的質量，從而能更好地幫助臨床診斷，減少誤診和漏診，具有一定的價值和意義。