Raw 格式巖心圖像超分辨率重建

黃帥坤，陳洪剛，卿粼波，郝傳銘

(四川大學 電子信息學院，四川 成都 610065)

0 引言

在地質勘探開發中，通過研究鉆取的巖心能獲得重要的地質信息，高清的巖心圖像更有利于研究人員進行分析。 基于線陣相機的掃描儀，采集的圖像分辨率較高，但掃描存在不穩定、成像時間長的問題[1]。 而基于面陣相機的掃描儀，通過一次成像，能大大減少巖心圖像的采集時間；但為了使同樣大小的巖心進入視野，采集的圖像分辨率會有所下降。因此，如何提升巖心圖像分辨率，從而達到后續的分析要求，具有重要的研究意義。

隨著數據集的越加廣泛[2-3]與訓練模型深度的加深[4-5]，單幅圖像超分辨率技術得到了很大的發展，但目前很多超分辨率方法在應用于巖心圖像時表現不佳。 首先，許多方法[1，4-7]通過固定的下采樣來獲得低分辨率圖像，但這種簡單的退化模型并不能反映真實場景圖像的退化過程。 其次，退化模型應該基于線性圖像[5，8]，但許多方法是基于相機圖像處理器(Image Signal Processor，ISP)處理后的非線性圖像[1，4]，由于經過色調校正、有損壓縮等非線性處理(如圖1 所示)，會使模型重建出的高分辨率圖像出現偽影。 為了解決這一問題，有研究者直接通過光學變焦方法拍攝現實場景中的圖像作為數據集[2，4，9]，但針對巖心這種小視場圖像，高低分辨率之間不同程度的畸變與較大視場差因素增大了對齊數據的難度。 文獻[8]提出了一種方法，先模擬ISP 過程合成數據集，再使用一個雙層卷積神經網絡進行學習，其重建的圖像色彩直接取決于分支2輸入圖像的色彩。 為得到逼真的色彩，需根據每次拍攝的壞境，對分支2 輸入圖像的色彩進行調整，且只能根據重建結果反饋給輸入進行調整， 該過程比較繁瑣和耗時。

圖1 相機 ISP 流程

本文基于以上研究成果，針對重建效果細節模糊或色彩偏差問題，做了以下工作：(1)基于 Raw 格式巖心圖像，模擬ISP 中的線性處理部分，制作線性圖像數據集。(2)基于文獻[8]網絡，引入重疊池化層減少分支1 的冗余信息；引入通道注意力機制提高分支2 色彩恢復效果；并針對分支2 色彩調整耗時長的問題，提出了基于Raw 格式巖心圖像的超分辨率重建算法。

1 提出方法

1.1 整體流程

為了使巖心圖像獲得更好的超分辨率結果，本文基于 Raw 格式圖像進行研究，16 位 Raw 格式圖像比8 位RGB 圖像多出的高位信息有利于圖像的重建[2，4，8-9]；并只學習線性高低分辨率圖像之間的映射關系，便于重建結果的色彩調整，整體流程如圖2 所示。首先，將輸入的 Raw 格式圖像 Iraw轉換為Bayer 格式圖像 Ibayer，并經過 CNN1 重建出紋理清晰的高分辨率圖像。然后，由于Bayer 格式圖像沒有色彩信息，因此將輸入的 Raw 格式圖像再經 ISP 線性化操作得到線性 RGB 圖像 Iref，并基于 CNN2 學習高低分辨率圖像的色彩映射關系。 最后，將分支1 得到的結構特征與分支2 得到的色彩特征進行特征融合(即圖2 中的 M 過程)，得到一張線性的彩色高分辨率圖像 Irestore。

圖2 整體流程圖

由于上述步驟是針對線性圖像的重建，并不包含ISP 中的非線性操作，與經過ISP 處理后的圖片相比，兩者在色彩與亮度上存在偏差，因此對 Irestore進行色調校正和圖像增強(即圖2 中的 no-linear 過程)：

其中，fb表示亮度校正，fg表示伽馬校正，fe表示對比度增強。 特別地，高分辨率圖像 Ihsr的色彩能根據拍攝環境直接在Irestore上進行非線性的色彩的調整，大大減少了色彩調整的時間。

1.2 網絡

本文網絡在文獻[8]網絡的基礎上進行了改進，圖3 所示為 CNN1 的網絡結構。 首先，將低分辨率Bayer 圖像的 RGGB 四個通道送入網絡， 并使用多個卷積層與密集塊[10](Dense Block，DB)來提取高維圖像的底層特征。 與文獻[8]不同的是，本文增加一個重疊池化層(Overlapping Pooling)來減少網絡中的冗余信息，使特征提取過程更加緊湊與高效。然后，對提取的底層特征enconder 進行高分辨率圖像重構，多個長短跳接能提高網絡的性能[7]，也彌補了隨著網絡加深帶來的梯度消失問題。 經過CNN1 網絡，獲得了高分辨率圖像的紋理特征；然后，經過如圖4 所示的CNN2 網絡，來獲取高分辨率圖像的色彩特征。

圖3 CNN1 網絡結構(conv1～6 為步長為 1 的卷積層，deconv 為步長為 2 的反卷積層，C 表示 Concat，DB 表示增長率為 16 的的密集塊)

圖4 CNN2 網絡結構(conv1～6 為步長為 1 的卷積層，avg_pool1～2 為平均池化層，deconv1～3 為步長為 2 的反卷積層，C 表示 Concat，CA 結構如圖5)

圖5 CA 層

CNN2 網絡在 U-Net[11]網絡的基礎上，采用 2×2平均池化層代替原網絡中的最大池化層。 在經過兩次卷積和池化后，將CNN1 提取的底層紋理特征enconder 與分支2 提取的底層色彩特征進行相加。由于兩者具有不同的通道尺度，本文引入如圖5 所示的通道注意力(Channel Attention，CA)機制來學習每個通道的權重，并自適應地更新縮放因子，使得經過CNN2 得到的色彩特征更加貼合 CNN1 獲得的紋理特征。 然后，經過 3 次反卷積重構高維的色彩特征。 最后，將 CNN1 得到的紋理特征與 CNN2 得到的色彩特征進行特征融合，融合方法采用文獻[8]中的空間色彩融合，最終獲得線性的高分辨率彩色圖像 Irestore。

2 基于巖心圖像的數據集生成

大多數超分辨率重建方法對經過ISP 處理后的圖像使用固定的下采樣獲得低分辨率圖像，但該方法與真實低分辨率圖像復雜的退化過程差距很大。為了模擬真實的退化過程并充分利用Raw 格式圖像中的高位信息，本文基于Raw 格式巖心圖像模擬相機ISP 過程中的線性化操作；將獲得的低分辨率圖像 Ilsr作為CNN1 的輸入，并通過相應色彩轉換來生成 CNN2 的輸入 Iref。

2.1 標簽圖像

如式(2)所示，首先使用 Dcraw 對 Raw 格式巖心圖像 Iraw進行預處理，在歸一化后得到 Bayer 格式圖像Ibayer：

其中，Lw表示相機的飽和度，Lb表示相機的暗電平值；而 Dcraw 為一種廣泛使用的 Raw 格式圖像處理算法，它將Iraw中的文本信息去掉，并轉換為線性的16 位數據。

進一步地，對 Ibayer做白平衡調整，對每個 Bayer陣列[4，8]的 R 通道與 G 通道分別乘上對應增益系數，以補償因三種濾波片具有不同光譜靈敏度帶來的影響。 經過 DDFAPD 色彩插值[12]后，得到中間結果 Ilinear。 然后，對其進行色彩空間轉換，將 Ilinear轉換到一個與設備無關的色彩空間，相機空間到sRGB空間的變換關系如式(3)所示：

其中 MXYZ2Camera轉換矩陣可通過相機得到，MsRGB2XYZ由統一標準制定；J(·)表示行歸一化，以確保圖像中白色在任何空間都呈白色，取逆后，獲得標簽圖像IGT∈RH×W×3。

2.2 低分辨率圖像

為了獲得低分辨圖像 Ilsr∈RH/2×W/2×1，對上節得到的中間結果Ilinear使用式(4)所示的退化函數進行計算：

其中，Kd為離焦模糊，Km為運動模糊，fdown為采樣因子為 2 的下采樣，而 fbayer表示 Bayer 采樣，其將三通道圖像經過RGGB 順序采樣恢復成單通道的Bayer格式圖像。 與添加簡單的高斯噪聲不同，本文采用更復雜的異方差高斯噪聲，其更有利于重建出真實的高分辨率圖像[8，13]：

其中，δs、δc表示隨機標準差，x表示Raw格式圖像每個像素位置的亮度強度。 為了獲得低分辨率圖像Iref∈RH/2×W/2×3，先對 Ilsr進行色彩插值，然后對得到的圖像進行色彩空間轉換，需要保證與處理標簽圖像時的參數一樣。

3 實驗

3.1 模型訓練

本文使用 Cannon 5Ds R 相機拍攝了 51 張 8 688×5 792 的原始 Raw 格式圖像，包括礫巖、頁巖柱狀和剖面巖心。 首先，將 Ilinear裁剪為 1 024×1 024 大小，經過篩選后，只保留圖像中的巖心部分，并進行數據增強。 然后根據第2 節中的操作，生成所需數據 集 。 其中，異方差高斯噪聲標準差δs、δc分 別 從[0，0.01]和[0，0.001]中均勻采樣，離焦半徑從[1，5]中隨機采樣，運動模糊內核大小從[3，11]中隨機采樣，在剔除一些有問題的數據后，最終得到9 750張訓練樣本和90 張測試樣本。

網絡選用L1作為損失函數，初始學習率為2×10-4。每次迭代都從數據集中選擇6 張圖，并從每張圖中隨機挑選一個256×256 的局部圖像進行訓練；相應地，標簽圖像也在相同位置進行裁剪。 在訓練6.5×104次迭代后得到模型；其中前 4×104次迭代，學習率進行衰減率為 0.96 的指數衰減，剩余以 10-5學習率訓練完。

3.2 實驗對比

首先基于本文構建的巖心數據集，以相同設置分別訓練出參考網絡[8]和本文網絡各自的模型；然后選擇90 張合成數據進行重建。 對重建結果進行峰值信噪比(PSNR)與結構相似性(SSIM)指標評估，以驗證本文對網絡的改進。 表1 結果表明本文對網絡的改進，對巖心圖像的重建效果有一定的提升。

表1 重建圖像質量評估

此外，為了評估本文提出的重建算法，本文還基于文獻[1]構建的RGB 巖心數據集，以相同設置訓練文獻[1]網絡和文獻[4]網絡。 然后使用Cannon 5Ds R 采集巖心圖像，并保存為 Raw 格式與RGB 格式；再將其裁剪為 1 024×1 024 的大小，最后從中選擇 30 張作為驗證集。 其中，本文模型和文獻[8]模型基于 Raw 格式圖像驗證；文獻[1]模型和文獻[4]模型基于 RGB 格式圖像驗證。 由于沒有高分辨率標簽圖像，本文通過無參考質量評估以及視覺觀察來對比分析巖心圖像的重建效果。

在無參考質量評估中，圖像的清晰度是衡量圖像質量優劣的重要指標，它能夠較好地與人的主觀感受相對應。 因此， 本文選用了具有不同算子的Laplace 與 Brenner 梯度函數來計算圖像相鄰范圍內的像素變化；并選用二階信息熵(Entropy)和SDM2[14]來反映圖像的聚焦程度。 四個指標都能較好地反映出圖像的清晰度，值越大，圖像越清晰。表2 結果表明， 基于 Raw 格式數據集的重建效果要好于基于RGB 格式數據集的重建，驗證了Raw 格式圖像中的高位信息有利于圖像的重建。 本文與其他方法的對比，驗證了本文提出的重建算法能有效地提升巖心圖像的重建效果。

表2 無參考圖像質量評估

圖6 是巖心圖像的重建效果對比。 其中，圖(b)、(c)與(d)、(e)對比，基于 RGB 格式的圖像重建出的圖像細節不清晰且平滑；而基于Raw 格式圖像的重建方法，重建效果有明顯的提升，進一步驗證了Raw格式圖像中的高位信息有利于圖像的重建。 圖(d)與(e)對比，本文算法重建的圖像在邊緣上更清晰，色彩也更飽滿，驗證了本文提出的重建算法能有效地提升巖心圖像的重建效果。 另外，由于模型重建的只是線性圖像，重建圖像在色彩與亮度上有偏差（圖6(f)），需要經過 ISP 的非線性處理，才可得到真實的色彩(圖6(e))。

圖6 重建效果對比圖

4 結論

本文提出了一種基于深度卷積神經網絡的Raw格式巖心圖像超分辨率重建算法，充分利用Raw 格式中多出的高位信息重建出清晰的紋理結構，并引入通道注意力機制和重疊池化層提高兩條分支的特征融合能力和使網絡更加緊湊。 另外，基于線性圖像重建出的圖像，能根據拍攝環境的不同，快速調整ISP 非線性操作的參數，從而得到滿意的高分辨率圖像。 本文與基于RGB 數據的超分辨率算法對比，在評估指標與視覺效果上都更優。 本文還與參考網絡進行對比，表明了本文對網絡的改進提升了重建效果。 綜上結果表明，本文提出的重建算法能能較好地對巖心圖像進行重建。