端對端深度學習無損去圖像散射研究

漆建軍

(廣東外語外貿大學 信息科學技術學院，廣東 廣州510006）

0 引言

在采集自然界圖片的時候經常會遇見散射造成的圖像損失，對于散射有很多情況，比如：當光線經過細小不規則分布的顆粒組成的介質的時候，光子與細小顆粒發生碰撞，造成行進的線路發生改變，產生散射，最后到達傳感器平面的時候不同線路延時的光子疊加，會造成圖像模糊，造成對比度與清晰度下降的現象；光照射在粗糙的物體表面，發生了漫反射，反射的圖像會有類似散斑的現象，這樣的衰減圖片對于自動駕駛、計算機視覺、醫學成像都有非常不利的影響[1]。為了恢復圖像，POPOFF S M等利用測定傳輸矩陣解卷[2]和生成共軛波前補償，但是測量傳輸矩陣需要費時的測量，硬件相對復雜，使用環境相對單一，而且只能在照明光具有一定相干性的前提下進行[3]。為此，特提出一種使用深度學習的方法，通過學習大量散射圖與無散射圖對比，讓網絡學習到散射圖和無散射圖之間的映射關系，避免了費時的傳輸矩陣測量。并且這樣的方法不需要對于樣本進行染色或者標記，不會對樣本產生破壞[4]。為此，將傳統的雙層卷積結構進行改進，采用了dense結構的Unet網絡，不管是在去散射的指標效果還是視覺效果上都有比較大的提升。因為深度學習需要大量的訓練數據，訓練數據的好壞對于學習結果起到至關重要的作用，還提出了一套通過拍攝屏幕的方法來搜集數據集的方法，主要創新有如下幾點。

(1）提出了一套相機拍攝屏幕創建深度學習訓練數據的流程，包含屏幕相機校準和圖像匹配的方法，此方法也可以廣泛用于其他圖像處理和圖像恢復的任務。

(2）提出了一種基于深度學習的端對端去散射網絡，相比于傳統測定傳輸矩陣的方法更加省時省力，且對于成像的樣本沒有損害，不需要染色或者其他標記。

(3）使用環境相對廣泛，采集裝置相對簡單，僅僅使用普通手機就可以進行采集，且對于照明光源沒有太多要求。

(4）改進了像素到像素圖像恢復雙層卷積的Unet結構，采用了dense的連接結構，使網絡具有更好的恢復圖像性能。

1 文獻綜述

1988年FENG S等人提出了光學的記憶效應(memory effect）[5]，說明當通過隨機的均勻的散射介質的時候,系統具有一定角度的平移不變性。LIU M等人進一步提出了雙層相位掩膜的模擬模型[6]，揭示了記憶效應的范圍角度與介質厚度成反比，與波長成正比。EDREI E等人提出在記憶效應的范圍內，光學系統的輸出可以寫成目標與PSF函數卷積的形式[7]，那么從散斑圖恢復目標圖只用解卷就可以了。POPOFF S M等人通過散射介質的測量傳輸矩陣[2]，然后求逆來進行目標恢復。Katz等人將透過散光片相機采集到的數據進行自相關，這樣可以讓散射介質的擴散函數高峰更高，拖尾更小，使得求解逆問題更加容易。這樣實現了不需要測量波前信息的無損散射介質成像。Vellekoop等人通過改變每一個SLM像素的相位值，使得最后經過波前調制的散射光可以重新匯聚在一點上。ANTIPA N等人在相機傳感器前面加了一個散光鏡(diffuser）[8]來制作無透鏡相機，然后通過ADMM的優化算法來進行解卷。MONAKHOVA K等人在其硬件上提出半經典半深度學習的Le-ADMM網絡[9]，自動學習先驗和數據項之間的權重，從而達到最優。

霧是由空氣中許多自用移動的顆粒形成的，因為光子在傳播過程中和這些懸浮的顆粒發生了相互作用，導致一部分光被散射，所以從本質上說霧也是散射介質，而且是時變的散射介質。McCartney提出了霧的大氣散射模型，NARASIMHAN S G和NAYAR S K進一步發展了它[10]，基于散射模型的去散射方法都是估計散射模型中的介質傳輸函數。He Kaiming等人在2010年提出利用了自然界圖片普遍存在的圖像先驗信息暗通道進行去霧[11]。Cai等人提出了DehazeNet依據dark prior的 Max優化問題，選擇了Max的激活函數。NAH S等人在網絡中加入了多尺度的信息[12]，多尺度的信息被證明在去散射的任務中具有作用。

2 散射圖像模型

光經過散射介質進入傳感器的過程可以看做重建場景和點擴散函數的卷積，如式(1）所示。

其中 o(x，y）是需要重建的目標物體；s是系統的點擴散函數，當散射介質十分薄的時候，點擴散函數可以近似看作空域不變的[5]；c為傳感器對與不同光譜的吸收系數；n為系統噪聲；i為相機傳感器采集到的圖像信息。已知測量量 i(x，y），目的是求解獲取 o(x，y）的真實值。這是一個典型的病態逆問題。如果直接求解卷，因為這是一個欠定的問題，所以會有無限多可能的解，傳統的優化的解決方案是通過圖像的先驗來限制可行解的范圍，然后再通過優化的方法進行求解[13]。然而這樣的缺點是需要手工定制圖像的先驗，很難找到一個任何場景下都準確的圖像先驗。另外手動調節損失函數中不同先驗之間的權重也是一項十分費力的工作，由此提出了基于深度學習的去散射成像方案，深度學習可以自動學習圖像的先驗信息[14]，避免繁雜的手動調節參數[15]。可以看作深度學習的神經網絡學習了成像系統的點擴散函數，做了一個解卷的工作。

3 網絡結構與參數

Unet結構是在pixel2pixel的圖像恢復中是一種十分流行的網絡結果[16]。因為其形狀像“U”形所以稱為Unet，這過程分為特征提取和特征重建。圖1是其網絡結構圖。前半部分(左邊）為特征提取部分，把圖像的特征信息縮減到高維。

基本的卷積結構如圖2所示，由BatchNorm2d層、ReLU 層、3×3的二維卷積層(padding）和 Dropout層組成。一個特征尺度到另外一個特征尺度之間選用2×2的Max Pooling池化層來過濾主要的信息。

維度的變換是采用一個3×3的二維卷積接一個dense結構連接的卷積。其中dense結構的卷積如圖 3所示，一共有五個 3×3的卷積，第二個卷積以后，每個卷積的輸出都與前面每一的卷積做合并操作(concatenation），然后作為下一個卷積的輸入。對于特征提取部分，每一個卷積的輸出第一都是32維。所以dense結構的增長率(growth rate）是 16，一個 dense結構一共有4次卷積，所以增加的維度是64。

圖1 Unet結構圖

圖3 dense的連接結構

對于特征重建部分，dense結構的增長率為 16，一共有 3次卷積，所以增加的維度是3×16=48。這樣做的優點是和每一個卷積之間都有跳連，把每一層的信息都利用上了，同時還能防止因為深度過深而產生的學習梯度消失的問題。

對于Unet的重建，如圖1右邊部分，可以采用雙線性插值的上采樣方法，而不是轉置卷積的方法。這樣做可以避免轉置卷積帶來的網格狀的噪聲，取得了較好的效果。Unet的網格噪聲和DescatteringNet的對比圖如圖4所示。

從圖1可以看出，Unet在特征提取和特征重建之間采用合并方式的跳連，讓抽取的每一級信息都可以提供給重建用，防止特征的丟失。最后輸出加了sigmoid層，讓輸出的圖像范圍在0和1之間。

4 仿真結果以及預訓練

圖5是實際實驗中光透過散射介質測定的中心視場的點擴散二維函數的標定圖與點擴散函數橫截線標定圖。實驗中采用的散射介質是采用磨砂紙均勻隨機打磨過的薄塑料片。

圖4 Unet的網格噪聲和DescatteringNet的對比圖

圖5 兩種函數的標定圖

圖5(a）所示是中心視場的 PSF標定圖，拍攝的是一個直徑為2 mm的點光源，可以看見點光源經過散射介質以后在傳感器上擴散到了很遠的距離。圖5(b）這個是中心視場PSF的橫截線的標定圖，可以看出PSF核的拖尾很長，能量比較集中的區域就有接近1 000個像素。根據實測的PSF生成了模擬的散射介質成像的合成數據。仿真采用的PSF是由高斯函數和一個長拖尾的鋸齒波函數構成的，選用的擴散核在900個像素左右，如圖6所示。

圖6 仿真的點擴散函數

使用仿真數據來進行算法的測試以及使用仿真出來的數據作為實測實驗的預訓練數據。將使用DescatteringNet和使用Unet來去散射的結果對比，得到的結果如圖7所示。

圖7 使用DescatteringNet和使用Unet來去散射的結果對比圖

從圖7可以看見Unet的恢復結果還是有些灰，顏色不太對，DescatteringNet的結果明顯好于 Unet。可以發現傳統的雙層卷積的Unet的結果并不好，特別是SSIM結構信息恢復很差，甚至不如沒有恢復前的。出現這種現象是因為Unet采用的是轉置卷積，而且有很嚴重的網格噪聲，導致結構信息被破壞。現將兩種方法的結果指標進行對比，如表1所示。

對于更加嚴重的散射退化的圖像，進行了對比實驗，圖8為Unet和DescatteringNet嚴重散射仿真結果對比圖，從圖中可以看出傳統Unet網絡存在很嚴重的色彩溢出問題，并且有光暈噪聲；DescatteringNet顏色的連續性更強，也更加接近原圖。

表1 輕度散射仿真結果PSNR值與SSIM值比較

圖8 Unet和DescatteringNet嚴重散射仿真結果對比圖

同時，將UNet和DescatteringNet嚴重散射PSNR值與SSIM值進行比較，得到的結果如表2所示。

表2 Unet和DescatteringNet嚴重散射PSNR值與SSIM值比較

從表 2可以明顯看出，DesactteringNet比 Unet提升了接近0.7 dB，SSIM提升了接近10%。

5 實際訓練數據采集和恢復結果

訓練數據的采集采用拍攝屏幕的方法，實驗數據收集裝置如圖9所示，采用手機在黑暗的環境中拍攝電腦屏幕。為了盡量模擬實際應用，采用華為榮耀20i的后置攝像頭進行拍攝，手機拍攝的數據作為需要恢復的散射圖，電腦屏幕上顯示的圖片作為真實圖，手機后置攝像頭分辨率為 5 072×6 896，拍攝的屏幕是分辨率是1 920×1 080，在黑暗環境中進行拍攝。為了避免因為手機空間分辨率和顯示器空間分辨接近而產生的摩爾紋，將相機稍微遠離屏幕一點點。全程采用手動模式，包括白平衡也是手動。先拍攝黑白的棋盤格圖片，用來進行標定，然后拍攝全白和全黑的圖片，用來計算圖片的相對像素值。在實際的實驗中，采用的散射介質是一塊十分薄的表面粗糙的透明玻璃，使用透明膠緊貼相機鏡頭固定，拍攝的屏幕是GS65筆記本電腦高對比度屏幕。

圖9 獲得實驗數據的采集裝置圖

5.1 相機屏幕校準

相機屏幕校準直接影響訓練數據的質量好壞，可以分為以下幾個步驟進行相機屏幕校準。

首先需要對于屏幕色彩進行校準，采用的是i1 Pro的屏幕色彩校準儀進行校準。校準散射介質的鏡頭的畸變，采用的方式是將棋盤圖顯示在屏幕上，然后采用貼有散射介質的相機鏡頭對屏幕上的棋盤格各個角度拍攝多張照片，使用多項式對畸變進行擬合與矯正。

然后固定相機位置拍攝棋盤格圖片，并拍攝收集到的訓練數據集，數據集采用的是Adobe4K數據集，全程采用手動模式，相機的參數固定不變。除了拍攝以上圖片以外，還需拍攝一張全黑和全白的圖片，對于拍攝到的棋盤格圖片，還需做角點檢測，然后計算單應矩陣，對圖片做變形，配準屏幕上的圖片和拍攝圖片數據。通過把拍攝的全黑的圖片作為黑色0值，算出相對顏色的值，再通過全白色的圖片做一個去暗角的操作。

5.2 實驗結果

實驗采集了814組實驗數據，因為GPU顯存限制，在實際操作的時候要對于圖片進行裁剪，隨機裁剪512×512的大小塊送入網絡進行訓練，考慮到薄玻璃具有“光的記憶效應”，同一張圖片上的點擴散函數應該具有空間不變性，所以這樣分塊學出來的點擴散函數與整體的圖片應該是一樣的，因此在推理階段，需將整張圖送入內存，利用CPU進行推斷。采用薄透明玻璃作為散射介質采集到的圖片去散射推理結果如圖10所示，通過觀察發現推理階段的PSNR和SSIM與訓練階段比較相似，說明關于點擴散函數的空間不變性假設得到了驗證。

圖10 DescatterinNet和 Unet實測結果對比圖

同時，將在這個過程中得到的DescatteringNet和Unet實測實驗結果進行對比，如表3所示。

表 3 DescatteringNet和 Unet實測實驗結果對比

可以看出兩種網絡結構都可以起到恢復圖像的作用，但是可以明顯發現Unet有嚴重的光暈現象，而DescatteringNet的結果要好許多，在結果上DescatteringNet在實際散射圖像的恢復上比Unet的結果在PSNR上要好1 dB左右，SIM要好0.1左右。實驗表明采用仿真數據的預訓練的結果比直接從頭開始訓練的結果要好，因為預訓練可以讓優化避開許多的局部最優點，從而盡量落入全局最優點。為顯示預訓練與無預訓練的結果差別，將預訓練與無預訓練結果的PSNR值與SSIM值進行對比，如表4所示。

表4 預訓練與無預訓練結果PSNR值與SSIM值的對比

6 結論

通過提出一種端到端的深度學習去散射的方法，得到了一種可以避免傳統方法需要手動設定圖像先驗的麻煩和避免復雜的設計系統，而只需要一套手機攝像頭大小的傳感器即可，且在仿真數據集和實測數據集上都做了詳細的實驗，得到的實驗結果一致，驗證了 DescatteringNet擁有比之前 Unet更好的表現。除此以外，這種處理方法對于樣本沒有損害，測試運算量小，速度快。從本質上來說，可以理解為神經網絡學習了散射圖和參考圖之間的點擴散函數，然后進行了一套解卷的操作。除此以外，還提出了一套拍攝屏幕搜集創建數據集的工作流程，且這套流程在大部分圖像處理和圖像恢復的任務中都可以使用。

值得說明的是，DescatteringNet雖然比Unet在視覺效果和指標上都更好一些，但是其與原圖還是有一定的差距，特別是在顏色恢復和細節處理上還有一定的差距。這也是目前這個領域中需要進一步探索的問題。