基于SRCNN的AFM超分辨率成像

林泓，林晨宇，吳騰，韓國強,

(福州大學 a.海洋學院；b.機械工程及自動化學院，福建 福州 350108)

0 引言

原子力顯微鏡(AFM)不僅可以在液體或真空環(huán)境下工作，還可以掃描納米尺度的導體、半導體和絕緣材料[1]。與傳統顯微鏡相比，具有更高的分辨率和更大的掃描范圍，其在生物學、高分子科學和材料科學領域發(fā)揮著非常重要的作用。但傳統的AFM成像技術由于定位精度和逐點掃描等原因，往往需要花費大量的時間，且在操作過程中探頭容易磨損甚至損壞。因此AFM成像質量會大大降低，圖像會出現局部模糊、信息丟失和噪聲污染。原始AFM圖像大多分辨率較低，不能滿足科學研究的需要。但對于納米尺度的測量和成像，獲得高分辨率的圖像是非常重要的。高分辨率圖像可以提供更重要的細節(jié)。圖像超分辨率技術是一種從現有的一幅或多幅低分辨率圖像中重建出更多細節(jié)的高分辨率圖像的方法[2-3]。該方法克服了硬件技術的局限性，成本低，實現簡單，廣泛應用于遙感成像、視頻監(jiān)控等領域。根據研究方法，超分辨率技術可以分為三類：基于插值、基于重構和基于學習。基于插值的超分辨率算法利用插值核函數在空間域內計算未知像素，獲取圖像中的高頻信息，最終重構出高分辨率圖像，例如雙三次插值[4]。插值算法具有計算復雜度低、實時性好的特點，但該方法的重建效果較差，圖像中會出現模糊的邊緣。基于重構的超分辨率算法利用圖像的先驗知識實現超分辨率重建，主要包括迭代反投影(IBP)[5]、凸集投影(POCS)[6]等。然而，該方法在求解過程中沒有唯一解，成像效果不好。因此，在AFM成像過程中引入基于卷積神經網絡的超分辨率技術(SRCNN)，可以克服硬件技術的局限性，通過軟件算法以較低的成本獲得高分辨率的AFM圖像。該網絡直接學習低分辨率和高分辨率圖像之間的端到端映射，能夠以良好的質量和速度實現超分辨率成像。

1 SRCNN算法

1.1 卷積神經網絡理論

如圖1所示，輸入層、隱含層和輸出層構成了一個簡單的神經網絡。相比于傳統網絡，卷積神經網絡在隱含層加入了卷積、激活和池化等操作[7]。利用卷積層從輸入的數據中學習圖像中隱含的深層信息。對輸入圖像I1(i,j)進行卷積運算，得到特征圖像Y(i,j)，數學表達式如下：

圖1 神經網絡的主要結構

Y(i,j)=(I1·K)(i,j)=(I1·w)(i,j)+b

(1)

式中：K為卷積核也稱為濾波器；w和b分別為卷積核的權重系數和偏置量；·為卷積運算符。卷積核包含大小k、步長s和擴展邊緣p這3個參數。由這3個參數組成的不同卷積核可生成不同的特征圖。如圖2所示，該卷積運算的卷積核大小為2 × 2，步長為1，擴展邊緣為0。對于卷積運算得到的特征圖，使用線性整流函數(ReLU)作為激活函數進行非線性處理，公式如下：

圖2 卷積運算

F(x)=max(0,x)

(2)

將卷積和激活后得到的特征圖傳遞到池化層來獲取重要特征并減少計算量。池化主要分為兩類：最大值池化和均值池化，計算過程如圖3所示。最后，將池化后的特征圖傳遞到全連接層，將特征映射到樣本空間進行特征分類。

圖3 池化運算

1.2 基于卷積神經網絡的超分辨率

如圖4所示，SRCNN網絡[8]首先采用雙三次插值算法對輸入圖像進行插值和放大。插值放大后的圖像仍稱為低分辨率圖像Y，通過卷積神經網絡結構映射得到盡可能接近原始高分辨率圖像X0的重建圖像X。

圖4 SRCNN網絡框架

SRCNN網絡結構主要包括三個階段。

第一階段，利用卷積層的第一層提取圖像的特征塊，即使用多個卷積核去提取圖像中的多個特征塊。采用激活函數ReLU進行非線性處理使得模型能表達更復雜的特征，計算過程如下：

X1=max(0,W1Y+b1)

(3)

式中：b1是偏置量；W1是大小為c×f1×f1×n1的濾波器。

在第二階段，將上層輸出的每個特征塊看作一個向量，對這些向量進行非線性映射，即讓輸入特征塊通過濾波器再次卷積和激活得到新的特征塊，計算過程如下：

X2=max(0,W2X1+b2)

(4)

式中：b2是對應的偏置量；W2是大小為n1×1×1×n2的濾波器。最后得到的向量對應目標圖像中的各個圖像塊。

第三階段，對輸出的圖像特征塊再次進行卷積計算，使最終整合圖像與原始高分辨率圖像的大小一致，計算過程如下：

X=W3X2+b3

(5)

式中：b3是對應的偏置量；W3是大小為n2×f3×c的過濾器。第三階段結束后，最終輸出特征圖像，大小與原始高分辨率圖像X0一致。

在經過上述三個階段(前向傳播階段)后進入反向傳播階段。使用損失函數均方誤差(MSE)計算重建圖像與原始高分辨率圖像之間的誤差，公式如下：

(6)

式中：I1(i,j)和I2(i,j)分別表示輸入和輸出圖像；M和N分別表示輸入和輸出圖像的長度和寬度。然后采用隨機梯度下降法更新權重系數w和偏置量b，其數學表達式如下：

θ=(w,b)

(7)

θ=θ-η?θMSE(θ;I1,I2)

(8)

式中η是學習率。通過訓練迭代使輸出圖像I2(i,j)與初始輸入圖像I1(i,j)之間的誤差最小化，最終得到高質量圖像。

2 實驗結果與討論

深度學習訓練用的是Caffe框架，在CPU環(huán)境下運行，仿真實驗在搭配Win7操作系統的MATLAB 2018軟件上進行。計算機配置AMD A10-5800K處理器，內存8 GB。訓練的最大迭代次數設置為10萬次，只訓練圖像YCrCb顏色空間中的Y(亮度)通道，輸出時可得到灰度圖像。將灰度圖像導入AFM圖像處理軟件進行彩色處理，得到最終的彩色圖像。在三層網絡結構中，卷積核的大小分別設置為9×9, 1×1和5×5個。第一層有64個卷積核，第二層有32個卷積核，第三層只有1個卷積核。根據不同的放大因子2、3、4訓練不同的模型，每個網絡模型只訓練1個放大因子。訓練集是一組60幅圖像，其中包含了許多AFM圖像。測試集由幽門螺桿菌、聚合物薄膜、納米帶和礦物方鉛礦這4幅樣品圖像組成，如圖5所示。原始圖像分辨率均為512×512像素。訓練集和測試集的圖像由NT-MDT公司[9]和Bruker公司[10]提供。

圖5 測試集

對于不同的放大因子(2、3和4)，將測試集中原始的高分辨率圖像分別進行相應的下采樣來得到原始的低分辨率圖像(256×256像素、170×170像素和128×128像素)。

將這些低分辨率圖像導入已訓練好的SRCNN網絡來重建出高分辨率圖像。引入圖像重建常用評價指標：峰值信噪比(PSNR)和結構相似度(SSIM)，并與迭代反投影(IBP)、凸集投影(POCS)和雙三次插值進行對比。表1、表2和表3分別展示了各樣本在放大因子為2、3和4時使用不同算法重建的PSNR、SSIM和時間。可以看到，放大因子為2時，除了聚合物薄膜的PSNR值比雙三次插值得到的稍低外，其他所有樣本用SRCNN算法得到的PSNR和SSIM都是最高的。特別是幽門螺桿菌的PSNR值高達54.67 dB，SSIM值高達0.999 4。在放大因子為3時，所有樣本用SRCNN算法得到的PSNR和SSIM值都是最高的。此時幽門螺桿菌的PSNR值也很高為50.81 dB，SSIM值為0.996 9。放大因子為4時，除了幽門螺桿菌，其它樣本用SRCNN算法得到的SSIM值都是最高的，其中聚合物薄膜的SSIM值高達0.989 7；此時對于PSNR，雙三次插值表現更好，其所有樣本的PSNR值都是最高的。而且可以看到，對于不同的放大因子，雙三次插值耗時都是特別短，速度上看會更高效，但重建質量會比較差。圖6展示了幽門螺桿菌在放大因子為4時用不同算法重建的圖像視覺效果對比，其中在細節(jié)上，IBP重建效果最差，出現了像馬賽克一樣的紋理；POCS和雙三次插值重建的在邊緣上比較模糊，影響了質量。可以清晰地看到用SRCNN算法重建的圖像最接近于原始的高分辨圖像，重建質量最好。綜上可知，無論是主觀視覺效果還是客觀評價指標，SRCNN算法都能有效地提高AFM圖像質量，最終實現高分辨率高質量成像。

表1 放大因子為2時使用各算法重建圖像的PSNR、SSIM和時間

表2 放大因子為3時使用各算法重建圖像的PSNR、SSIM和時間

表3 放大因子為4時使用各算法重建圖像的PSNR、SSIM和時間

圖6 幽門螺桿菌在放大因子為4時用不同算法重建的圖像視覺效果對比

3 結語

原子力顯微鏡是研究納米領域的一個很重要的儀器，但原始的AFM圖像分辨率普遍較低。本文將SRCNN算法應用到AFM成像中，實現了AFM的超分辨率成像。分析和討論了4個不同形貌的樣本在不同算法下重建圖像的PSNR、SSIM和視覺效果結果。實驗結果表明，在放大因子為2和3時，SRCNN算法的表現很好；放大因子為4時，PSNR稍差，但可以取得良好的視覺效果，形態(tài)上最接近于原始高分辨率圖像。綜上可知，SRCNN算法是實現AFM高分辨高質量成像的一個很有前景的方法。