基于深度神經網絡的圖像分辨率增強技術研究

余萍

摘 要 如安防監控、遠程會議、醫療圖像等。和繪制的圖形不同的是，由于采集設備的精度問題，往往難以得到足夠精度的圖像。尤其在視頻監控領域，由于數據存儲量大，傳輸鏈路帶寬有限，以及CCD制造工藝和成本的限制，攝像頭的分辨率往往難以得到很好的改善。本文的目的是研究基于深度神經網絡的圖像分辨率增強技術。本文針對圖像分辨率增強問題，研究了超分辨率的相關理論和方法，設計了針對實際圖像進行分辨率增強的處理框架，通過預處理提高分辨率增強方法的效果，并提出了一個有效的光照歸一化方法。針對圖像分辨率增強，提出了基于深度神經網絡的分辨率增強方法，通過對各種圖像的增強，有效的提高了實驗結果的視覺效果。研究結果表明，圖像分辨率增強處理能夠在一定程度上提高相同硬件條件下的圖像的空間分辨率，改善因為硬件條件不足而造成的圖像退化及分辨率下降，在一定程度上彌補了圖像分辨率不足，使圖像更加清晰。

關鍵詞 深度神經網絡 圖像分辨率 分辨率增強技術

中圖分類號：TP751 文獻標識碼：A 文章編號：1007-0745（2021）01-0003-03

1 前言

隨著大數據時代的到來和計算機運算能力的顯著提升，以深度學習為首的智能算法正在占據我們的日常生活。對于提高圖像分辨率，可以依靠提高拍攝系統的精度和穩定性來實現。但這樣做的費用高，且制作技術難以實現，因此不能很好的解決提高圖像分辨率的問題。然而卷積神經網絡作為深度學習模型中的一種，在圖像識別領域的準確率很高，比人類肉眼更加精準，因此結合深度神經網絡在圖像分辨率增強技術的出色表現，研究基于深度神經網絡的圖像分辨率增強技術具有重要的意義。圖像信息在我們的日常生活中有著舉足輕重的地位，圖像的分辨率大小是衡量圖像質量的重要指標之一，所以我們也可以利用深度神經網絡的優點，將圖像和相關的神經網絡聚集到一起，使它不僅讓圖像分辨率增強，也可以廣泛應用于圖像處理的其他領域，以得到我們需要的結果。

本文討論的圖像分辨率增強技術主要指超分辨率技術，在80年代以前，針對超分辨率提出過長橢球波函數法、線性外推法、疊加正弦模板法等不同的方法，但在實用中的效果并不好[1]。80年代以后，超分辨率技術有了突飛猛進的發展，Huang等在用多幅遙感圖像恢復一張高質量的Landsat衛星圖像時，采用多幅衛星圖像對一幅圖像進行增強，取得了較好的效果[2]。隨后，基于重建的方法蓬勃發展，形成了基于插值的方法、迭代反向投影法（IBP）、最大后驗概率法（MAP）、凸集投影法（POCS）、正則化方法等不同的方法[3]。以上方法都是屬于空間域的方法，除此外還有部分學者致力于頻域方法的研究[4]。頻域方法的基本思想是通過在頻域消除頻譜混疊，從而達到改善圖像空間分辨率的目的，其理論基礎是傅里葉變換的平移特性[5]。目前已經很少有學者對頻域方法進行進一步的研究。相應的，空間域方法則由于其靈活性而得到了很大的發展，各種方法百花齊放[6]。針對圖像質量下降的各種因素，采用不同的數學方法來描述圖像的成像和降質過程，并可以運用很多成熟的數學方法進行求解，需要克服的困難就是模型的復雜性和求解的困難性，大量學者在該領域內做出了大量的工作[7-8]。基于深度神經網絡的方法是當前超分辨率研究領域的研究熱點，與傳統方法相比，該方法最大的不同就是指導圖像分辨率增強的先驗信息并非來源于學者的總結，而是從大量作為參考的高分辨率圖像的神經網絡中得來[9]。通過對參考圖像的高頻信息和低頻信息之間的規律的學習，從中總結出高頻塊和低頻塊對等不同形式的先驗信息來指導低分辨率圖像所缺失的高頻信息的恢復[10]。

本文基于深度神經網絡針對實際的圖像分辨率，設計了一個圖像分辨率增強框架，引入了適當的預處理，通過Retinex理論實現照度的歸一化，并針對傳統的Retinex方法速度較慢，不符合Retinex理論的先驗約束等缺點，設計了基于幾何包絡的Retinex方法，通過對各方面的圖像分辨率增強，有效的提高了實驗結果的視覺質量，實驗結果也與原始高分辨率圖像更接近。

2 方法

2.1 數字圖片成像和降質模型

超分辨率的目的是要從觀測得到的低分辨率圖像還原出“原始”高分辨率圖像，本質是觀測過程的逆過程，所以首先需要建立一個簡潔又符合事實的成像模型和降質模型。首先，假設高分辨率圖像為L1N1×L2N2的矩陣。將該矩陣寫成行接向量的形式為X=[x1，x2，x3，……，xn]T，其中N=L1N1L2N2，即將圖像的每一行所構成的行向量按照順序首尾相接組成一個一維的向量。這里，x是一個“理想”圖像，即它是從原始的連續場景在Nyquist采樣率或更高采樣率上采集得到的，包含了原始場景的全部信息，可以完整的恢復出原始信號。采樣得到的“理想”高分辨率圖像并不能直接被人所觀測到或者被儀器所記錄下來，因為這僅僅是觀測過程中的一個中間結果。由于光線在空氣中傳播的不均勻性、鏡頭和場景的相對運動、鏡頭的透光缺陷等因素，“理想”的高分辨率圖像又經過了平移旋轉等空間變換、散焦運動等模糊因素的影響，投影到CCD感光板上。由于CCD顆粒度的密度有限，它的采樣過程是一個降采樣過程，即圖像的大小又進一步縮小。最后，在光電轉換和傳輸的過程中又有模糊因素的加入，這才是完整的一個觀測過程。完整的觀測過程可以用以下公式進行表達。

yk=DBkMkx+nk ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（1）

其中，yk為觀測到的第k幀圖像，x為“理想”圖像，Mk為L1N1L2N2×L1N1L2N2的空間變換矩陣，Bk為L1N1L2N2×L1N1L2N2的模糊矩陣，D為N1N2×L1N1L2L2的降采樣矩陣，kn為第k幀圖像的噪聲。

在人臉圖像的超分辨率領域，大部分文獻沒有考慮如此復雜的觀測模型，而是簡化為：

y=Dx ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （2）

即忽略了模糊和噪聲因素，并事先做好人臉圖像的配準，即令Mk=I，I為L1N1L2N2×L1N1L2N2的單位矩陣。

2.2 Retinex光照模型

基于深度神經網絡的超分辨率技術是通過神經網絡輸入圖像和訓練庫中圖像的相似性來指導低分辨率圖像的增強，但在實際圖像中，哪怕是同一場景在不同的光照條件下也會呈現完全不同的灰度分布。所以如何使圖像的照度歸一化，也是基于神經網絡的超分辨率領域的一個研究問題。Retinex理論從人眼的觀測原理出發，較好的解釋了光照、顏色等視覺理論問題，是解決照度歸一化問題的一個突破口[11]。傳統的顏色理論認為，人眼感知光照是通過感應物體反射光線的性質決定的。這個理論和人們日常生活中的某些現象不一致，如同一個物品在不同的光照環境下其反射光線明顯不同，但人眼可以大致感應出物體的顏色并沒有改變[12]。Land對此提出了不同的看法，他認為人類感知顏色不僅僅通過眼睛視網膜的感光，而且有大腦皮層的參與[13]。他認為通過感知長、中、短波長的不同比例，在大腦中經過一定的運算形成了不同顏色的感知，據此提出了Retinex（Retina+Cortex，視網膜皮層）理論，并將之用于圖像增強等研究領域[14]。Retinex理論認為，一幅自然圖像是由景物的反射系數和入射光照兩部分形成的，用公式表

示為：

S （x，y）=R （x，y）×L （x，y） ? ? ? ? ? ? ? ? ? ? ? （3）

其中R為景物的反射系數分布圖像，L為光照強度分布圖像，S為形成的自然圖像。本文提出了基于幾何包絡的Retinex算法，在時間效率和實驗結果上都取得了良好的效果，并將之應用于圖像分辨率增強的預處理，取得了較好的效果。

3 實驗

1.圖像數據的獲取。對數據進行獲取記錄，分析模式的機理，通過對機理的分析，找出基于深度神經網絡的數字圖片成像和降質模型在構建過程中需要注意的問題。

2.模型的構建與檢測。運用基于深度神經網絡的數字圖片成像、降質模型和Retinex光照模型的數學算法，對圖像的各個層級與類型進行計算與相關分類。

3.模型的設計與應用。針對上述實驗結果數據以及圖像分辨率的特點，對圖片成像、降質模型和Retinex光照模型進行設計，并對相關設計進行實際的應用檢測。

4 結果

方法對比分析：

Retinex理論對人眼和圖像間的相互作用進行了深入的研究，并且其理論基礎就是將一幅輸入圖像分解為照度分量和反映物體本質屬性的反射系數分量兩部分。如果利用Retinex理論分離出圖像的照度分量，僅保留反射系數分量，則可以起到很好的照度歸一化效果。Retinex理論的經典方法有基于路徑比較的方法、基于卷積的方法、基于可變框架方法等。其中，目前比較成熟，效果較好的方法有MSR方法和Kimmel方法。MSR方法屬于基于卷積的方法，Kimmel方法屬于基于可變框架方法。本文提出了一種基于幾何包絡的方法，能夠更好的符合Retinex理論的基本假設，取得了較好的實驗效果，并且提高了時間效率。基于幾何包絡方法和MSR方法與Kimmel方法實驗效果的對比，并從理論和實驗兩方面對三種方法的時間效率進行了對比。Retinex方法常應用于薄云薄霧去除、顏色恢復、照度不均勻校正等領域。在本文中提出這種方法主要是用于修正薄云霧的干擾、顏色的失真和照度的不同。本文選取了薄云霧圖像、顏色失真圖像、低照度圖像各10幅進行實驗，這些圖像來源包括自拍圖像和Retinex的標準測試圖像。從實驗結果可以看出，MSR方法對比度增強度有時不夠，實驗結果效果不明顯，優點是圖像恢復的結果比較自然，視覺效果較好。Kimmel方法容易產生過增強的效果，無形中將噪聲也放大了很多，對噪聲很敏感，而且在亮點、光源和明暗交界處容易產生光暈現象，很多情況下實驗結果的效果很差。本文方法則可以很好的起到對比度增強、顏色保持和恢復、照度補足等效果，可以在去除薄云霧的同時保持自然的顏色且視覺效果較好，很好的對因照度不足而損失的顏色進行恢復。

當一批處理的圖像數量較大時，時間效率的提高有著重要的實際意義。多分辨率的基于幾何包絡方法在時間效率上與目前已經提出的效果較好的MSR方法和Kimmel方法相比有著明顯的優勢。

實驗結果進一步驗證了對三種方法實用性，MSR方法盡管是非線性的時間復雜度，但增加的復雜度僅僅是對數項的相乘，很接近線性復雜度。而Kimmel算法由于需要大量的迭代運算，且每步迭代的計算公式較為復雜，所以速度較慢，所以本文提出的方法通過深度神經網絡的設計，得出各方法的優劣性。

5 結論

圖像分辨率增強技術是一個重要的研究課題，基于深度神經網絡的圖像超分辨率是本領域的一個研究重點和熱點，可以廣泛應用在安防監控、公安偵查、國家安全等領域。本文針對圖像的分辨率增強技術，指出在實際應用中的輸入圖像往往和訓練庫中的圖像存在照度和空間方位等的不一致性，降低了基于深度神經網絡的效果，并設計了圖像分辨率增強的方法框架，通過引入適當的預處理和相應的后處理，增強了算法的結合性，提高了圖像分辨率的效果。

參考文獻：

[1] 樸智勛，金正浩，李大宇.基于多幀圖像的超分辨率算法在無人機顏色識別中的應用[J].韓國航空航天科學學會雜志，2017，45（03）：180-190.

[2] YOU，C，Huang，K，Chae，H.移動邊緣計算的能源效益資源分配[J].IEEE無線通信學報，2017，16（03）：1397-1411.

[3] 馮紹東，吳繼剛.空間延伸光源無透鏡同軸全息顯微鏡的分辨率增強方法[J].光學快報，2017，25（20）：24735.

[4] 倫緣瓦拉，法杜瓦.用在線和離線學術詞典處理文本圖像分辨率增強中的噪聲[J].國際文件分析與識別雜志，2018， 21（01-02）：137-157.

[5] 邱立榮，王云，吳漢虛.具有納米軸向聚焦能力的三維分辨率增強分裂孔徑相關差分共聚焦顯微鏡[J].光學快遞， 2018，26（03）：2314.

[6] 加爾比·邁克爾，陳嘉文，巴倫，喬納森·t.深度雙邊學習實時圖像增強[J].圖形交易，2017，36（04）：118.

[7] 李標，胡斌，楊玉良，等.利用超透鏡光刻系統中的掩模改進退倍成像[J].等離子體學，2017，12（03）：735-741.

[8] 權基哲，權基勛，額爾德內巴特.利用深度學習的整體成像顯微鏡的分辨率增強[J].光子學雜志，2019（99）：1.

[9] 陶曾，田張，田維明.基于重復通過相干融合的空間地面雙基地sar圖像增強[J].地球科學與遙感快報，2017，13（12）： 1832-1836.

[10] 路易斯·西本，路易斯·洛倫佐，米歇爾·皮歇.利用貝塞爾-高斯光束增強共聚焦顯微鏡的分辨率[J].光學快遞，2017，25（03）：2162.

[11] 江志龍，潘星辰，嚴空.數字全息部分飽和輔助分辨率增強[J].應用光學，2018，57（14）：3884.

[12] 健太郎，德卡.基于等離子體飽和激發顯微鏡的深層組織納米粒子成像的分辨率增強[J].急性髓細胞白血病光子學，2018，03（03）：301.

[13] 陳雙泉，王陽華.利用頻變小波尺度提高地震分辨率[J].地球科學與遙感通訊，2018（99）：1-5.

[14] 李在成.核心臟病學成像儀器的進展[J].核心臟病學雜志，2017，26（04）：1-14.

（江蘇鹽城師范學院 信息工程學院，江蘇 鹽城 224002）