基于序列信息的土壤CT圖像超分辨率重建

韓巧玲，周希博，宋潤澤，趙 玥※

（1. 北京林業大學工學院，北京 100083；2. 林業裝備與自動化國家林業局重點實驗室，北京 100083；3. 城鄉生態環境北京實驗室，北京 100083；4. 中國農業大學信息與電氣工程學院，北京 100091）

0 引 言

土壤土粒與團聚體之間或團聚體內部存在的間隙，稱為土壤孔隙[1-2]。計算機斷層掃描（Computed Tomography，CT）技術能夠高精度、無損地探查物體內部結構，是研究土壤孔隙的重要技術手段[3-4]。然而，受到掃描設備的硬件限制，CT圖像存在偽影、噪聲、部分容積效應等圖像退化問題[5-6]。圖像退化問題不僅影響觀察者的視覺效果，也會限制土壤孔隙分割精度，進而對后續土壤物理結構研究產生影響[7]。超分辨率（Super-Resolution，SR）技術可通過特定算法提高圖像清晰度，改善圖像質量[8-9]。相較于CT設備掃描精度的提高，超分辨率技術的應用更加便捷和高效，且其成本更低廉[10-11]。因此，可將超分辨率重建方法應用于土壤CT圖像，為后續研究提供高清晰度、高視覺效果的數據[12]。

目前，應用于CT圖像的超分辨率重建方法主要包括三維凸集投影法、三維高頻修正A+法等。王兵等[13-14]提出三維凸集投影法，實現三維圖像的超分辨率和運動補償。但該方法需要手動確定修正閾值，不能實現圖像自適應超分辨率重建。張廷蓉等[15-17]將高頻修正A+算法拓展至三維，實現巖心CT圖像的超分辨率重建，但該方法僅考慮稀疏解，導致圖像重建時容易丟失細節。近年來，卷積神經網絡法（Convolution Neural Networks，CNN）、生成式對抗網絡法（Generative Adversarial Network，GAN）等深度學習方法在超分辨率重建領域取得理想效果。神經網絡算法具有函數模擬的能力[18-19]，卷積神經網絡法使用卷積運算模擬稀疏算法，實現特征非線性映射和圖像重建[20-21]，但是卷積神經網絡存在計算量較大、特征理解能力較差的問題[22]。生成式對抗網絡法引入對抗模型，實現無監督的超分辨率重建，具有清晰度高、網絡學習能力強的優勢[23-25]，但是存在無法針對序列圖像、特征邊界失真和色差等問題。

因此，基于生成式對抗網絡法，本文提出了一種適用于土壤CT圖像的超分辨率重建方法，基于序列信息的生成式對抗網絡（Sequence information Generative Adversarial Network，SeqGAN），該方法結合土壤序列信息，使用序列信息矯正目標圖像，解決生成式對抗網絡法的特征邊界失真和色差問題。將SeqGAN法應用于土壤CT圖像，嘗試解決土壤CT圖像的孔隙邊界模糊問題，以期為土壤CT圖像可視化研究和土壤物理結構研究提供更加準確的數據基礎。

1 材料與方法

1.1 土壤樣本采集與CT圖像獲取

試驗土壤樣本均采集于黑龍江省齊齊哈爾市克山縣西北部的克山農場[26]（125°23′57″E，48°18′37″N）。采集位置起始于地表0 cm，采集深度為40 cm，采用機械分層法，提取3個黑土土柱。使用內徑10 cm、高10 cm的環刀筒對3個黑土土柱水平等距切割，得到12個與環刀筒大小相同的土柱。使用直徑為10 cm、高度10 cm的有機玻璃管作為采集后保存黑土樣本的容器，經過飽和水浸泡后得到濕潤土壤樣本。本次試驗使用黑龍江中醫藥大學的螺旋CT掃描儀獲取土壤CT圖像。掃描參數為：電流195 mA，電壓120 kV，掃描層數64，掃描排數128，最小掃描層厚0.65 mm，掃描點間距0.244 mm，間隔窗寬2 000，窗位800。每次掃描可得到220幅醫學數字圖像格式（Digital Imaging and Communications in Medicine，DICOM）的土壤CT圖像，其尺寸為170 mm×170 mm，分辨率為700像素×700像素。

1.2 土壤CT圖像預處理

土壤CT圖像經格式轉換得到像素范圍為0～255的bmp格式灰度圖像，經圖像裁剪后分辨率為256像素×256像素，尺寸為62.17 mm×62.17 mm，該圖像為本文超分辨率模型訓練的目標圖像，稱為高分辨率（High-Resolution,HR）圖像。對目標圖像二倍線性插值降采樣[27]后，圖像尺寸不變，分辨率為128像素×128像素。本文以降采樣后圖像作為超分辨率模型訓練的輸入圖像，稱為低分辨率（Low-Resolution，LR）圖像。

1.3 基于序列信息的土壤CT圖像超分辨率方法

為解決土壤CT圖像的孔隙邊界模糊問題，本文提出一種基于序列信息的生成式對抗網絡方法，該方法包括序列信息的增強、特征提取的強化、對抗模型的構建三部分。

由圖1可知，在超分辨率訓練時，以低分辨率土壤CT圖像作為輸入圖像，輸入序列圖像生成器得到超分辨率重建圖像；以高分辨率土壤CT圖像作為目標圖像，將重建圖像和目標圖像輸入鑒別器后輸出可信度，實現圖像鑒別器的訓練；可信度反饋給序列圖像生成器，實現圖像生成器的訓練。在超分辨率測試時，將待超分辨率土壤CT圖像輸入充分優化的序列圖像生成器得到超分辨率重建圖像。

1.3.1 序列信息的增強

土壤物理結構具有一致性和空間連通性[28]，因此，土壤CT圖像具有較高序列相似性（干燥土壤除外）。針對這一特點，本文提出一種可利用序列圖像信息增強超分辨率圖像質量的卷積塊改進結構，簡稱序列卷積塊（Sequence Convolution Block，SCB）。

由圖2可知，序列卷積塊由2個卷積塊組成。卷積塊1使用卷積運算處理目標圖像（在序列中索引為n），實現輸入圖像到特征圖的信息映射，并使用批量歸一化（Batch Normalization, BN）和帶泄露線性整流激活（Leaky Rectified Linear Unit，LReLU）強化信息提取能力，提取和壓縮目標圖像信息。卷積塊2輸入卷積塊1輸出的特征圖和序列上下張圖像（在序列中索引為n-1和n+1），并輸出融合3張圖像信息的特征圖，實現數據的降維和序列信息的提取。

序列卷積塊通過輸入上下張序列圖像，引入圖像的序列信息，通過提取的序列信息增強超分辨率圖像的質量，減少因只引入單張圖像導致的細節損失。

1.3.2 特征提取的強化

序列信息的引入，導致模型輸入信息量增大，因此本文構建了深層網絡以強化模型特征提取能力。但是深層網絡存在梯度爆炸和模型退化等問題，所以本文提出一種直接引入輸入參數的多層殘差塊改進結構，簡稱首尾殘差連接塊（Beginning-to-End Residuals connection block，BE-Resblock），見圖3。

由圖3可知，首尾殘差連接塊包括殘差塊和首尾殘差連接兩部分。殘差塊依次使用卷積層、BN層、線性整流激活層（Rectified Linear Unit，ReLU）、卷積層，BN層提取目標圖像的信息，在輸出前使用元素相加層（elements-add，eleadd）引入輸入信息，使殘差塊的輸入信息可以直接傳導至輸出。在多層殘差塊提取圖像信息后，首尾殘差連接使用eleadd層引入總輸入的信息，使輸入圖像信息可以直接傳導至深層網絡的輸出圖像。

首尾殘差連接塊使用多層殘差塊替代多層卷積塊，并建立總輸入和輸出之間的直接連接，減少因網絡過深導致的梯度彌散、模型退化，提高重建圖像質量。

1.3.3 對抗模型的構建

本文采用生成式對抗網絡生成器模型，基于序列卷積塊（圖2）和首尾殘差連接塊（圖3），構建了一種針對序列圖像的生成器改進模型，簡稱序列圖像生成器（圖4）。

由圖4可知，序列圖像生成器包括3部分，采用序列卷積塊代替卷積操作，提取圖像的序列信息；采用包含8個連續的殘差塊的首尾殘差連接塊提取圖像信息；采用卷積層、2倍像素重組（Pixel Shuffle）、ReLU激活實現2倍上采樣，提高分辨率。最后在卷積層和雙曲正切函數（hyperbolic tangent，tanh）激活層后輸出超分辨率重建圖像。

對抗模型中，生成器以最大化鑒別器輸出的超分辨圖像可信度為目標，輸入低分辨率圖像（ILR），輸出超分辨率重建圖像。鑒別器以最大化真實圖像可信度和最小化超分辨率重建圖像可信度為目標，輸入真實圖像（IHR）或超分辨率重建圖像（ISR），輸出圖像可信度。鑒別器目標函數f(θD)和生成器目標函數f(θG)[23-25]分別為Square Error，MSE）：衡量重建圖像與目標圖像間的像素差異，取值范圍為[0,+∞]，數值越小圖像質量越高，其公式[29]如下：

式中ISR(i,j)為待評價圖像(i,j)點的像素值，取值范圍[0,256]；IHR(i,j)為原始圖像(i,j)點的像素值，取值范圍[0,256]；M、N分別為圖像的長和寬。

2）峰值信噪比（Peak Signal to Noise Ratio，PSNR）：衡量圖像間像素最大值和差異的比值，取值范圍為[0,+∞]，數值越大圖像質量越高，其公式[29]如下：

式中DθD(I)為鑒別器輸出圖像I的可信度；θD為鑒別器的參數；GθG(IHR)為生成器輸入ILR時輸出的超分辨率重建圖像；θG為生成器的參數。

對抗模型訓練時，目標函數f(θG)和f(θD)交替優化，并最終趨于極大值。由于可信度DθD(I)取值范圍為0～1，

式中Q為圖像灰階數，位圖（Bitmap，BMP）格式灰度圖像取256。

3）結構相似性（Structural Similarity，SSIM）：衡量圖像間亮度、對比度、結構差異，取值范圍為[0,1]，數值越大表示圖像質量越高，其公式[29]如下：

式中uISR、uIHR分別為待評價圖像ISR和原始圖像IHR的像素平均值分別為ISR和IHR的像素方差當模型充分優化時，收斂于納什平衡狀態，即f(θG)=0.5，f(θD)=1，此時鑒別器無法區分超分辨率重建圖像和真實圖像，即真實圖像和超分辨率重建圖像可信度都為0.5。

綜上所述，SeqGAN法采用對抗網絡實現損失間接反饋，減少模型過擬合，增強模型的特征學習能力和泛化能力，提高超分辨率重建圖像質量。

1.4 評價指標

為精確評價本文超分辨率重建方法的有效性，本文采用3種圖像相似度指標計算重建圖像ISR和目標圖像IHR間的差異，以定量分析超分辨率圖像質量：1）均方誤差（Mean為ISR和IHR的像素協方差；c1、c2為穩定常數，c1=(k1Q)2和c2=(k2Q)2，k1和k2為調節系數，一般取0.01和0.03。

2 結果與分析

本文以序列相似度高的土壤CT序列圖像為試驗對象。試驗數據集包含440張土壤CT圖像，包括分辨率相差2倍的高分辨率圖像數據集和低分辨率圖像數據集。低分辨率圖像數據集中包含220張土壤CT圖像，每張圖像分辨率為128像素×128像素，尺寸為62.17 mm×62.17 mm；高分辨率圖像數據集中包含220張土壤CT圖像，每張圖像分辨率為256像素×256像素，尺寸為62.17 mm×62.17 mm，即原始土壤CT圖像。

為驗證SeqGAN法對序列相似度較高的土壤CT圖像的重建效果，選用了圖像插值領域的標準方法[30]雙三次線性插值法（Bicubic linear interpolation，Bicubic）、深度學習方法卷積神經網絡法（CNN）、本文改進方法的原方法生成式對抗網絡法（GAN）3種超分辨率方法進行對比分析。土壤CT圖像數據集以0.7∶0.2∶0.1比例分割為訓練集、驗證集、測試集，采取5折交叉驗證法以驗證泛化能力。CNN法和GAN法的訓練輪數為100輪，GAN法的初始化輪數為10輪。處理器為Intel? Xeon E5-2678 v3，主頻2.50 GHz，圖形處理器為GeForce RTX 2080Ti，內存64 GB。軟件環境為anaconda和Python編程語言。

2.1 低分辨率圖像重建結果與分析

表1 為220幅低分辨率圖像對應高分辨率圖像和不同超分辨率方法重建圖像的3種相似性指標的平均值和標準差。由表1可知，Bicubic法的均方誤差最高，峰值信噪比、結構相似性最低，表明重建圖像與原圖像相似度最低，重建圖像質量最差；CNN法的重建圖像質量比Bicubic法有一定的提升，均方誤差平均值降低14%，峰值信噪比平均值提高0.66 dB，結構相似性平均值提高2.3%。

表1 4種超分辨率重建方法的結果對比Table 1 Comparison of results of four super-resolution reconstruction methods

GAN法的重建圖像質量比CNN法有較大程度的提升，均方誤差平均值降低62.3%，峰值信噪比平均值提升7 dB，結構相似性平均值提升2%。但是GAN法的各指標標準差較高，對不同圖像的重建效果差異較大，方法自適應性較低；SeqGAN法的重建圖像質量最高，相比GAN法均方誤差平均值降低25%，峰值信噪比平均值提升1.4 dB，結構相似性平均值提升0.2%。同時各相似度指標的標準差降低25%到56%，重建不同圖像時效果保持穩定，方法具有較好自適應性。

為直觀展示4種方法超分辨率重建效果，從低分辨率土壤CT圖像數據集中隨機選取1張圖像，經超分辨率重建后，對從重建圖像中截取的2個局部圖像（圖5）進行定性分析。局部圖像1的主體為黑色孔隙，其圖像尺寸為15.54 mm×15.54 mm，對應輸入圖像的分辨率為32像素×32像素，對應目標圖像和重建圖像的分辨率為64像素×64像素；局部圖像2的主體為白色石礫，其圖像尺寸為7.77 mm×7.77 mm，對應輸入圖像的分辨率為16像素×16像素，對應目標圖像和重建圖像的像分辨率為32像素×32像素。局部圖像1和局部圖像2的超分辨率重建結果如圖6和圖7。

由圖6和圖7可知，Bicubic法和CNN法的超分辨率重建圖像中整體孔隙結構和礫石結構存在不同程度的模糊，清晰度較低。GAN法的重建圖像相比Bicubic法和CNN法更清晰，但重建后的孔隙結構和礫石結構體積增大，邊界存在失真現象，與目標圖像灰度差異較大。SeqGAN法的重建圖像較為清晰，孔隙結構和礫石結構與周圍分界明確，與GAN法相比色差較小。

綜上，對于具有較高序列相似性的土壤CT圖像，Bicubic法和CNN法重建圖像質量較差；GAN法重建圖像質量有較大提升，但是其對于不同土壤CT圖像的適應性較低；本文所提出的SeqGAN法重建的土壤CT圖像質量較高，提升了土壤孔隙和礫石的邊界清晰度，且具有較好的適應性。

2.2 高分辨率圖像重建結果與分析

為驗證SeqGAN方法的泛化能力，對高分辨率圖像（原始土壤CT圖像）進行超分辨率重建，其結果如圖8所示。

由圖8a和圖8b可知，高分辨率圖像（圖像3）經SeqGAN方法重建后，重建圖像整體清晰度較高，與原圖像灰度差異較小，白色礫石結構和黑色孔隙結構邊界明確。

重建圖像清晰度較高，肉眼無法分辨圖像細節，因此截取了局部圖像進行定性分析。截取的局部圖像（圖像4）分辨率為128像素×128像素，尺寸為15.54 mm×15.54 mm。由圖9a和圖9b可知，SeqGAN方法細節清晰，黑色孔隙邊緣較為明確，局部清晰度較高，與低分辨率圖像重建試驗結果一致。

綜上，對于低分辨率圖像和高分辨率圖像，SeqGAN方法重建的圖像清晰度均較高，孔隙邊界明確，與原始圖像灰度差異較小，方法泛化能力較強。

3 結 論

針對土壤計算機斷層掃描（Computed Tomography，CT）圖像因為部分容積效應導致的孔隙邊界模糊問題，本文基于土壤CT序列圖像的高相似性特點（干燥土壤除外），提出一種結合圖像序列信息的生成式對抗網絡超分辨率重建方法（Sequence information Generative Adversarial Network，SeqGAN）提升土壤CT圖像清晰度，并通過定性和定量試驗比較分析該方法和雙三次線性插值，卷積神經網絡，生成式對抗網絡3種方法的超分辨率重建圖像質量。結果表明：

1）基于序列卷積塊的特征提取能力，SeqGAN法挖掘出上下張土壤CT圖像的相關序列信息，并將其融合于目標圖像，減少了超分辨率重建圖像的細節損失。利用首尾殘差連接塊的信息傳遞能力，SeqGAN法實現了深層網絡結構中輸入信息和輸出信息的直接連接，提高了模型的特征提取能力，并避免了因網絡層數過深導致的模型退化問題。

2）SeqGAN法超分辨率重建圖像中的孔隙和礫石邊界清晰，細節損失和色差較小。其均方誤差平均值比次優方法（GAN）降低了25%，峰值信噪比平均值提升1.4 dB，結構相似性平均值提升0.2%。實現了精確的土壤CT圖像超分辨率重建，可為研究土壤物理結構提供先進的技術手段。

3）本文方法實現了具有高序列相似性的濕潤土壤CT圖像的超分辨率重建。而對于序列相似性較低的土壤CT圖像（比如干燥土壤）進行準確的超分辨率重建，將是進一步研究的重點。