基于卷積神經網絡融合的彩色傅里葉疊層顯微重建

李 杰，王浩明

(長春大學 電子信息工程學院，長春 130022)

光學成像平臺的吞吐量從根本上受到其光學系統的空間帶寬積(SBP)影響。傅里葉疊層技術[1](Fourier Ptychographic Microscopy，FPM)能夠在不涉及機械掃描或相位測量的情況下為大多數現有顯微鏡提供可擴展的SBP。雖然該方法確實需要獲取多幅圖像，但它通過使用這些多個數據在非機械的方式下克服了系統光學的物理限制，從而實現了SBP的改進，成功解決了高分辨和大視場矛盾。FPM 通過運用最優化理論、合成孔徑、相位恢復等相關技術，具有大視場和高分辨率成像等特點，突破了傳統光學顯微鏡的諸多限制。和傳統顯微鏡不同，該技術以不同的入射角度依次照亮樣本，并相應捕獲一組不同空間譜的低分辨率圖像，然后在傅里葉域中將這些通過低分辨率圖像得到的頻譜子孔徑拼接在一起，從而達到重建整個高分辨率空間譜。在數學的角度上，可以將傅里葉疊層(Fourier Ptychographic，FP)重建歸結為典型的相位恢復問題，它需要在給定傅里葉變換幅值的情況下恢復多個復數函數。僅通過獲得高分辨率空間譜子孔徑圖像對應的低分辨率強度圖像來恢復高分辨率空間譜。

傳統的彩色傅立葉疊層顯微重建方法通過控制LED 陣列分別發出紅綠藍3種色光，采集大量低分辨率圖像數據，分別重建出紅綠藍通道的高分辨率復振幅圖像，合成為RGB彩色圖像，從而實現彩色重建。這類方法需要采集紅綠藍3色燈光下的大量低分辨率圖像數據，故重建速度較慢，且成像系統會受到例如噪聲等多種系統誤差影響，造成偽影進而影響重建質量[2-3]，一定程度上限制了傅立葉疊層顯微計算技術的實際應用[4-5]。

FPM最初主要集中于開發和優化單色FPM[6-8]。相比于灰度圖像，彩色圖像蘊含了更豐富的信息，在病理學和臨床診斷中彩色信息被廣泛應用[9-10]。DONG等[11]提出一種頻譜復用方法以實現彩色FPM。實驗中使用彩色LED陣列進行樣本照明，并使用單色相機獲取低分辨率圖像。由于 R/G/B LED 元件在采集過程中同時打開，因此采集的圖像代表 R/G/B 波長下樣品輪廓的不相干總和。然后，使用這種狀態混合的原始數據來恢復相應波長的3個高分辨率圖像，并生成樣本的最終彩色圖像。WANG等[12]提出一種嵌入多路復用FPM技術中的顏色校正策略，在恢復過程中，需要使用點亮R/G/B LED陣列來捕獲3個圖像作為先驗知識，以提高重建的準確性。使用上述技術，可以減少冗余需求。但是由于顯微鏡中存在的殘留色差和人為對焦誤差的影響，完全徹底的信息解復用是難以實現的。ZHOU等[13]使用彩色相機成功實現了彩色FPM，然而相較于具有同等感光面積和像素尺寸的單色相機，彩色相機的像素數存在先天的劣勢。因此重構圖像的分辨率往往較低。張慕陽等[14]提出了基于三維卷積神經網絡的彩色傅里葉疊層顯微術，建立單色高分辨率(High Resolution，HR)圖像和彩色低分辨率(Low Resolution，LR)圖像之間的映射關系，最后生成彩色HR圖像。該算法利用單色相機采集一組單通道LR圖像序列和三幅中心不同通道的LR圖像。ZHANG等[15]提出應用一種基于對稱LED照明和波長多路復用的方法，用于在FPM系統中收集低分辨率圖像并恢復高分辨率彩色圖像。與單一LED照明相比，對稱照明具有更高的離焦容忍度。GAO等[16]根據顏色遷移理論，提出一種基于色彩遷移的FPM，稱為CFPM，成功將低分辨率彩色病理圖像的色彩遷移至由單個波長捕獲的灰度FPM圖像。該方法對單一顏料染色的樣品效果好，對多種顏料染色的樣品效果容易產生誤差[17]。

近年來，深度學習發展迅速，在圖像生成、目標識別及圖像分割等領域得到廣泛應用[18-20]。以卷積神經網絡(Convolutional Neural Network，CNN)為代表的深度學習方法也在FPM中被用于提升重建速度和增強魯棒性[21-22]。

本研究設計了一種用于重建彩色FPM圖像的融合算法。該算法利用卷積神經網絡將低分辨率全彩圖像與高分辨率灰度圖像進行融合[23]，成功地將低分辨率全彩色紋理信息傳輸到由單一波長重建的高分辨率灰度重建圖像中。該方法在保證圖像恢復質量的同時，減少了2/3的采集時間，實現重建速度的提升。

1 原理和方法

1.1 彩色傅里葉疊層顯微重建

FPM方法依靠顯微鏡的聚光鏡以及物鏡來完成傅里葉變換過程。傳統的顯微鏡用高NA鏡頭進行掃描和拼接可以產生高分辨率的大視場，而FPM使用低NA鏡頭獲得大視場，并在頻域中對低分辨率圖像的頻譜進行拼接，獲得大視場和高分辨率的定量相位圖像。一個典型的FPM系統由一個LED陣列、一個顯微鏡物鏡、一個聚光鏡和一個CCD相機組成，如圖1所示。在LED陣列中的LED照亮樣品后，它們穿過顯微鏡的物鏡和聚光鏡在CCD相機中進行成像。FPM方法與傳統顯微鏡相比，一個革命性的改進是LED陣列取代了傳統的聚光鏡，通過逐點掃描可以讓連續照明的LED改變光在樣品上的入射角，從而使圖像可以從單一圖像轉換為多個圖像。由傅里葉變換定理可知其實質是將樣品的頻譜在頻域中進行平移，從而繞過了光學的衍射限制。

圖1 傅里葉疊層顯微成像系統實物圖和成像工作原理

作為一種相位恢復方法，典型的傅立葉疊層顯微鏡使用單色性較好的準相干光照明，并使用黑白相機采集原始數據，因而一次成像只能獲得單個波段的圖像信息。然而在臨床醫學應用中，觀察者需要借助染色后的樣本包含的顏色信息定位樣本區域以及判讀組織和細胞的相關信息。因此，彩色重建對傅立葉疊層顯微鏡的實際應用十分重要。

傅立葉疊層顯微系統通常使用模塊化 LED 陣列進行照明，這種 LED 陣列被設計用于組裝室內或室外顯示屏，每個LED單元都包含紅綠藍3個發光單元。因此，實現彩色FPM的最簡單方法就是控制 LED 陣列分別發出紅綠藍3種色光，采集對應原始數據后利用相位恢復算法，將入射圖像引入的相位梯度轉化為相位信息，借助合成孔徑提高系統的等效數值孔徑，從而分別重建出紅綠藍通道的高分辨率復振幅圖像，再將強度信息合成為三通道的彩色圖像，從而實現彩色重建。以下將該方法簡稱為獨立通道法。該方法可以有效地獲取染色樣本的彩色信息，但是彩色重建效果與實際在高倍率顯微鏡下觀察得到的結果有一定差距。該方法的另一個問題是為了獲取3個通道的信息需要三次獨立地采集和重建，會進一步降低傅立葉疊層顯微鏡的時間分辨率，給實際應用造成困難。因此，保證時間分辨率是實現彩色傅立葉疊層重建中需要考慮的重要因素。

1.2 CNNFFPM模型

圖像融合是指將兩幅圖像或多幅圖像合并成一幅圖像，以獲得更豐富的信息或者達到特定的視覺效果。圖像融合的方法可以分為以下幾種：基于像素的融合、基于尺度的融合、基于特征的融合和基于深度學習方法的融合。當前使用深度學習方法的融合在紅外與可見光圖像融合、遙感圖像融合、多曝光圖像融合和醫學圖像融合等領域均有良好進展，因此本研究使用深度學習方法實現彩色FPM重建。

在融合模型中，假設F(i，j)是融合圖像在位置(i，j)的像素值，HR(i，j)和LR(i，j)分別是HR圖像和LR圖像中對應位置的像素值。要合理計算F(i，j)，我們需要首先考慮HR(i，j)和LR(i，j)的鄰域像素，分別表示為NH(i，j)和NL(i，j)。然后，通過使用CNN來計算NH和NL，并進一步得到融合圖像F。NH和NL通過將HR和LR圖像與大小為N×N的核進行卷積操作來獲得，而融合圖像F則通過將HR和LR與一個大小為1×1的核進行卷積操作得到。為了提高融合圖像的質量，在卷積之后進行非線性操作。最終的卷積操作被定義為：

F=ReLU(X*w)

(1)

式中X是卷積輸入，w是卷積核，ReLU是一個非線性激活函數，公式表示為：

ReLU(x)=max{0，x}

(2)

融合模型如圖2所示。模型的輸入是一對3通道的源圖像，輸出是一張融合后的彩色圖像。模型包含13個卷積層，其中8個是大小為N×N(N>1)，其余是1×1。我們使用這個網絡來表示融合函數 F(LR，HR)→F。令LRk(k = 1，2，3，4) 和HRk(k = 1，2，3，4) 表示圖像LR和HR的第k個卷積層的輸出。

圖2 卷積神經網絡融合模型

(3)

(4)

對于融合模型中的F1，它是通過圖像LR和HR的加權平均融合而成，具體計算方法如下：首先將圖像LR和HR合并為一個新圖像F0，并將其通道增加至8；然后進行1×1卷積計算。

F1=w(LR，c)F0(i，j，c)+w(HR，c)F0(i，j，c+4)

(5)

F2、F3、F4和融合圖像F的獲取方式與F1類似。從圖2可以看出，在計算F2、F3、F4和F時，輸入包含3個圖像而不是2個。以F2為例，首先將LR、HR和F1圖像組合起來構建一個新的圖像，然后進行1×1的卷積計算。

(6)

1.3 數據集與模型訓練

由于彩色傅里葉疊層重建圖像數據少，獲取相對昂貴，本研究使用CIFAR數據集[24]訓練模型。CIFAR數據集有以下優點：CIFAR數據集圖像多樣化且數據量大；CIFAR數據集中的圖像尺寸小且盡可能包含原始圖像強烈的紋理特征。因此，使用CIFAR數據集用于模擬LR和HR圖像。對于任何圖像I，將其視為真值圖像F，而其對應的低分辨率圖像則用作LR圖像。我們將圖像I在HLS空間中的L分量視為HR，作為模型的另一個輸入。在CIFAR數據集中，提取1 000張圖像用于模型測試，其余所有圖像用于模型訓練。為了避免失去更多的原始信息，我們只對原始圖像進行下采樣，使其大小減半，然后再上采樣到圖像的原始大小。

模型訓練在一個裝有NVIDIA 2080Ti GPU電腦上進行，python版本3.6，TensorFlow版本1.15。在訓練過程中，使用Adam優化器，mini batch size大小為128，在15個epoch中訓練模型。設置初始學習率為0.001，在總訓練epoch的50%和75%處除以10。為了評估重建質量，使用均方誤差(MSE)作為損失函數。最終模型經過大約25 000次小批量迭代的訓練，耗時1 h。

(7)

式中，I為真值圖像；HR為灰度圖像；LR為低分辨率圖像；F(θ；HR，LR)為模型輸出的融合圖像，n是訓練樣本數量。我們通過最小化L來解決融合函數F。此外，圖像的像素值范圍為0～255，在進入模型之前被歸一化到[0，1]間隔中。

1.4 評價指標

為定量評價所提方法的性能，采用均方根誤差和結構相似度作為評價指標。RMSE越接近0，兩幅圖像越接近，重建質量好。SSIM越接近1，說明兩幅圖像越相似，重建質量好。具體的計算公式分別為：

(8)

式中g(x，y)表示真值圖像，f(x，y)表示重建圖像。

(9)

式中，μ1，σ1及μ2，σ2分別為兩幅圖像的均值與標準差；σ12是兩者圖像的協方差；C1=C2為常數。

2 實驗

獨立通道法是目前彩色FPM重建的最常用方法，控制 LED 陣列分別發出紅綠藍3種色光，采集對應原始數據重建后再將強度信息合成為三通道的彩色圖像，從而實現彩色重建。文獻[15]所提出在FPM系統中使用對稱照明可以在不增加系統和算法復雜性的情況下減少約50%的LR圖像，節省約70%的采集時間，從而以較低的成本獲得較高彩色重建質量，本研究稱之為SWFPM方法。CFPM方法是文獻[16]所提出的方法，將Welsh算法應用于微觀尺度，成功顏色紋理信息傳輸到僅由單個波長捕獲的HR灰度FPM圖像。將CNNFFPM方法與SWFPM方法、CFPM方法和獨立通道法進行實驗對比，并給出定量評價指標方均根誤差(Root Mean Squared Error，RMSE)和結構相似度(Structural Similarity Index Measure，SSIM)，以展示本研究所提方法的有效性。

2.1 數值模擬實驗

數值模擬實驗中，采用13×13的方形LED陣列作為光源，相鄰LED單元之間的距離為8 128 μm，燈板到樣品之間的距離為98 mm。相機的像素尺寸為6.5 μm，顯微鏡為4×/0.13NA。圖3中真值為隨機選取segmentation_WBC數據集的部分圖像，圖像尺寸為300×300。LR為3種色光中直射光對應的圖像合成，圖像尺寸為75×75。HR為FPM重建的綠色通道圖像，圖像尺寸為300×300。所提方法采集綠色通道的低分辨率圖像重建出單色HR圖像，與LR卷積融合得到彩色融合結果。相應的評價指標SSIM、RMSE如表1和表2所示。

表1 3種方法所需采集圖像數量、采集和重建時間

表2 CNNFFPM、WMFPM、CFPM方法和獨立通道法的重建性能對比

圖3 4種方法在數值模擬中的重建結果

CNNFPM、CFPM和獨立通道法的采集圖像數量、采集時間和重建時間如表1所示。

由表1和表2中的數據可知，在數值模擬實驗中，獨立通道法重建效果好，同時取得最優SSIM和RMSE。但該方法每次只采集1個顏色通道的1幅LR圖像，采集效率低，采集圖像需要的數量和時間均約為所提方法和CFPM的3倍。CFPM利用色彩遷移原理將LR圖像的色彩遷移至HR圖像得到彩色圖像，所需要的采集圖像數量與所提方法一樣。CFPM方法重建時間長，重建圖像相較真值圖像略顯灰色，出現色彩失真，圖像的SSIM和RMSE均與其他3種方法有差距。WMFPM方法的重建結果比CFPM方法好，但是相比CNNFPM和獨立通道法依然有差距。WMFPM的重建耗時約105 s，在4種方法中用時最久。CNNFPM方法雖然相比獨立通道法有差距，但是SSIM和RMSE相差不足0.01，在可接受范圍內，并且所提方法在采集圖像數量、采集時間和重建時間的性能都處于4種方法前列。

2.2 數值模擬實驗

圖4為CNNFPM方法和CFPM方法在真實采集數據上的彩色重建，圖像數據來自文獻[15]。HR為采集綠色通道的低分辨率圖像重建的灰度圖像。LR圖像尺寸為170×128。其余圖像尺寸為512×384。兩種方法成功將LR所含色彩信息融合到HR圖像。

圖4 CNNFPM方法和CFPM方法在真實數據上的重建結果

CNNFFPM方法與CFPM方法在真實采集數據上的彩色重建相差較大。由表3可以看出，CFPM的RMSE取得不錯效果，與真值圖像相差0.037 3，但SSIM為0.751 2，相差大。CFPM方法的重建時間達到了124.49 s，原因是CFPM方法需要匹配兩幅圖像的像素點，每隔10個像素點進行搜索匹配，進行的運算量大，速度慢。因此CFPM重建的時間與LR和HR兩幅圖像的大小呈線性相關，圖像越大則重建時間越長。由圖3可看出，CFPM的結果圖與真值圖像的色彩差異較為巨大。CNNFPM方法的SSIM和RMSE是0.894和0.0289，取得不錯效果，優于CFPM方法。該方法利用深度學習重建彩色圖像，輸入圖像到訓練好的模型，耗時短，重建時間僅為2.1 s，比CFPM方法節省122 s，但是重建圖像的紋理特征不是特別理想。

表3 CNNFFPM方法和CFPM方法的重建性能對比

3 總結

提出了一種基于圖像融合算法的彩色傅里葉疊層顯微重建方法，使用卷積神經網絡學習低分辨率彩色圖像和灰度高分辨率圖像的聯系。結合使用單一波長捕獲后重建的HR圖像與相同視場下的LR率圖像，并將LR和HR圖像輸入訓練好的模型，成功地重建彩色FPM圖像。與傳統方法相比，該方法減少約2/3的采集時間，并且在保證圖像均方根誤差較低的同時，實現重建速度的提升，擁有較高的實用價值。