基于深度神經(jīng)網(wǎng)絡(luò)的圖像分辨率增強技術(shù)研究

余 萍

（江蘇鹽城師范學(xué)院 信息工程學(xué)院，江蘇 鹽城 224002）

1 前言

隨著大數(shù)據(jù)時代的到來和計算機運算能力的顯著提升，以深度學(xué)習(xí)為首的智能算法正在占據(jù)我們的日常生活。對于提高圖像分辨率，可以依靠提高拍攝系統(tǒng)的精度和穩(wěn)定性來實現(xiàn)。但這樣做的費用高，且制作技術(shù)難以實現(xiàn)，因此不能很好的解決提高圖像分辨率的問題。然而卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)模型中的一種，在圖像識別領(lǐng)域的準確率很高，比人類肉眼更加精準，因此結(jié)合深度神經(jīng)網(wǎng)絡(luò)在圖像分辨率增強技術(shù)的出色表現(xiàn)，研究基于深度神經(jīng)網(wǎng)絡(luò)的圖像分辨率增強技術(shù)具有重要的意義。圖像信息在我們的日常生活中有著舉足輕重的地位，圖像的分辨率大小是衡量圖像質(zhì)量的重要指標之一，所以我們也可以利用深度神經(jīng)網(wǎng)絡(luò)的優(yōu)點，將圖像和相關(guān)的神經(jīng)網(wǎng)絡(luò)聚集到一起，使它不僅讓圖像分辨率增強，也可以廣泛應(yīng)用于圖像處理的其他領(lǐng)域，以得到我們需要的結(jié)果。

本文討論的圖像分辨率增強技術(shù)主要指超分辨率技術(shù)，在80年代以前，針對超分辨率提出過長橢球波函數(shù)法、線性外推法、疊加正弦模板法等不同的方法，但在實用中的效果并不好[1]。80年代以后，超分辨率技術(shù)有了突飛猛進的發(fā)展，Huang等在用多幅遙感圖像恢復(fù)一張高質(zhì)量的Landsat衛(wèi)星圖像時，采用多幅衛(wèi)星圖像對一幅圖像進行增強，取得了較好的效果[2]。隨后，基于重建的方法蓬勃發(fā)展，形成了基于插值的方法、迭代反向投影法（IBP）、最大后驗概率法（MAP）、凸集投影法（POCS）、正則化方法等不同的方法[3]。以上方法都是屬于空間域的方法，除此外還有部分學(xué)者致力于頻域方法的研究[4]。頻域方法的基本思想是通過在頻域消除頻譜混疊，從而達到改善圖像空間分辨率的目的，其理論基礎(chǔ)是傅里葉變換的平移特性[5]。目前已經(jīng)很少有學(xué)者對頻域方法進行進一步的研究。相應(yīng)的，空間域方法則由于其靈活性而得到了很大的發(fā)展，各種方法百花齊放[6]。針對圖像質(zhì)量下降的各種因素，采用不同的數(shù)學(xué)方法來描述圖像的成像和降質(zhì)過程，并可以運用很多成熟的數(shù)學(xué)方法進行求解，需要克服的困難就是模型的復(fù)雜性和求解的困難性，大量學(xué)者在該領(lǐng)域內(nèi)做出了大量的工作[7-8]。基于深度神經(jīng)網(wǎng)絡(luò)的方法是當前超分辨率研究領(lǐng)域的研究熱點，與傳統(tǒng)方法相比，該方法最大的不同就是指導(dǎo)圖像分辨率增強的先驗信息并非來源于學(xué)者的總結(jié)，而是從大量作為參考的高分辨率圖像的神經(jīng)網(wǎng)絡(luò)中得來[9]。通過對參考圖像的高頻信息和低頻信息之間的規(guī)律的學(xué)習(xí)，從中總結(jié)出高頻塊和低頻塊對等不同形式的先驗信息來指導(dǎo)低分辨率圖像所缺失的高頻信息的恢復(fù)[10]。

本文基于深度神經(jīng)網(wǎng)絡(luò)針對實際的圖像分辨率，設(shè)計了一個圖像分辨率增強框架，引入了適當?shù)念A(yù)處理，通過Retinex理論實現(xiàn)照度的歸一化，并針對傳統(tǒng)的Retinex方法速度較慢，不符合Retinex理論的先驗約束等缺點，設(shè)計了基于幾何包絡(luò)的Retinex方法，通過對各方面的圖像分辨率增強，有效的提高了實驗結(jié)果的視覺質(zhì)量，實驗結(jié)果也與原始高分辨率圖像更接近。

2 方法

2.1 數(shù)字圖片成像和降質(zhì)模型

超分辨率的目的是要從觀測得到的低分辨率圖像還原出“原始”高分辨率圖像，本質(zhì)是觀測過程的逆過程，所以首先需要建立一個簡潔又符合事實的成像模型和降質(zhì)模型。首先，假設(shè)高分辨率圖像為L1N1×L2N2的矩陣。將該矩陣寫成行接向量的形式為X=[x1,x2,x3,……,xn]T，其中N=L1N1L2N2，即將圖像的每一行所構(gòu)成的行向量按照順序首尾相接組成一個一維的向量。這里，x是一個“理想”圖像，即它是從原始的連續(xù)場景在Nyquist采樣率或更高采樣率上采集得到的，包含了原始場景的全部信息，可以完整的恢復(fù)出原始信號。采樣得到的“理想”高分辨率圖像并不能直接被人所觀測到或者被儀器所記錄下來，因為這僅僅是觀測過程中的一個中間結(jié)果。由于光線在空氣中傳播的不均勻性、鏡頭和場景的相對運動、鏡頭的透光缺陷等因素，“理想”的高分辨率圖像又經(jīng)過了平移旋轉(zhuǎn)等空間變換、散焦運動等模糊因素的影響，投影到CCD感光板上。由于CCD顆粒度的密度有限，它的采樣過程是一個降采樣過程，即圖像的大小又進一步縮小。最后，在光電轉(zhuǎn)換和傳輸?shù)倪^程中又有模糊因素的加入，這才是完整的一個觀測過程。完整的觀測過程可以用以下公式進行表達。

其中，yk為觀測到的第k幀圖像，x為“理想”圖像，Mk為L1N1L2N2×L1N1L2N2的空間變換矩陣，Bk為L1N1L2N2×L1N1L2N2的模糊矩陣，D為N1N2×L1N1L2L2的降采樣矩陣，kn為第k幀圖像的噪聲。

在人臉圖像的超分辨率領(lǐng)域，大部分文獻沒有考慮如此復(fù)雜的觀測模型，而是簡化為：

即忽略了模糊和噪聲因素，并事先做好人臉圖像的配準，即令Mk=I，I為L1N1L2N2×L1N1L2N2的單位矩陣。

2.2 Retinex光照模型

基于深度神經(jīng)網(wǎng)絡(luò)的超分辨率技術(shù)是通過神經(jīng)網(wǎng)絡(luò)輸入圖像和訓(xùn)練庫中圖像的相似性來指導(dǎo)低分辨率圖像的增強，但在實際圖像中，哪怕是同一場景在不同的光照條件下也會呈現(xiàn)完全不同的灰度分布。所以如何使圖像的照度歸一化，也是基于神經(jīng)網(wǎng)絡(luò)的超分辨率領(lǐng)域的一個研究問題。Retinex理論從人眼的觀測原理出發(fā)，較好的解釋了光照、顏色等視覺理論問題，是解決照度歸一化問題的一個突破口[11]。傳統(tǒng)的顏色理論認為，人眼感知光照是通過感應(yīng)物體反射光線的性質(zhì)決定的。這個理論和人們?nèi)粘Ｉ钪械哪承┈F(xiàn)象不一致，如同一個物品在不同的光照環(huán)境下其反射光線明顯不同，但人眼可以大致感應(yīng)出物體的顏色并沒有改變[12]。Land對此提出了不同的看法，他認為人類感知顏色不僅僅通過眼睛視網(wǎng)膜的感光，而且有大腦皮層的參與[13]。他認為通過感知長、中、短波長的不同比例，在大腦中經(jīng)過一定的運算形成了不同顏色的感知，據(jù)此提出了Retinex（Retina+Cortex，視網(wǎng)膜皮層）理論，并將之用于圖像增強等研究領(lǐng)域[14]。Retinex理論認為，一幅自然圖像是由景物的反射系數(shù)和入射光照兩部分形成的，用公式表示為：

其中R為景物的反射系數(shù)分布圖像，L為光照強度分布圖像，S為形成的自然圖像。本文提出了基于幾何包絡(luò)的Retinex算法，在時間效率和實驗結(jié)果上都取得了良好的效果，并將之應(yīng)用于圖像分辨率增強的預(yù)處理，取得了較好的效果。

3 實驗

1.圖像數(shù)據(jù)的獲取。對數(shù)據(jù)進行獲取記錄，分析模式的機理，通過對機理的分析，找出基于深度神經(jīng)網(wǎng)絡(luò)的數(shù)字圖片成像和降質(zhì)模型在構(gòu)建過程中需要注意的問題。

2.模型的構(gòu)建與檢測。運用基于深度神經(jīng)網(wǎng)絡(luò)的數(shù)字圖片成像、降質(zhì)模型和Retinex光照模型的數(shù)學(xué)算法，對圖像的各個層級與類型進行計算與相關(guān)分類。

3.模型的設(shè)計與應(yīng)用。針對上述實驗結(jié)果數(shù)據(jù)以及圖像分辨率的特點，對圖片成像、降質(zhì)模型和Retinex光照模型進行設(shè)計，并對相關(guān)設(shè)計進行實際的應(yīng)用檢測。

4 結(jié)果

方法對比分析：

Retinex理論對人眼和圖像間的相互作用進行了深入的研究，并且其理論基礎(chǔ)就是將一幅輸入圖像分解為照度分量和反映物體本質(zhì)屬性的反射系數(shù)分量兩部分。如果利用Retinex理論分離出圖像的照度分量，僅保留反射系數(shù)分量，則可以起到很好的照度歸一化效果。Retinex理論的經(jīng)典方法有基于路徑比較的方法、基于卷積的方法、基于可變框架方法等。其中，目前比較成熟，效果較好的方法有MSR方法和Kimmel方法。MSR方法屬于基于卷積的方法，Kimmel方法屬于基于可變框架方法。本文提出了一種基于幾何包絡(luò)的方法，能夠更好的符合Retinex理論的基本假設(shè)，取得了較好的實驗效果，并且提高了時間效率。基于幾何包絡(luò)方法和MSR方法與Kimmel方法實驗效果的對比，并從理論和實驗兩方面對三種方法的時間效率進行了對比。Retinex方法常應(yīng)用于薄云薄霧去除、顏色恢復(fù)、照度不均勻校正等領(lǐng)域。在本文中提出這種方法主要是用于修正薄云霧的干擾、顏色的失真和照度的不同。本文選取了薄云霧圖像、顏色失真圖像、低照度圖像各10幅進行實驗，這些圖像來源包括自拍圖像和Retinex的標準測試圖像。從實驗結(jié)果可以看出，MSR方法對比度增強度有時不夠，實驗結(jié)果效果不明顯，優(yōu)點是圖像恢復(fù)的結(jié)果比較自然，視覺效果較好。Kimmel方法容易產(chǎn)生過增強的效果，無形中將噪聲也放大了很多，對噪聲很敏感，而且在亮點、光源和明暗交界處容易產(chǎn)生光暈現(xiàn)象，很多情況下實驗結(jié)果的效果很差。本文方法則可以很好的起到對比度增強、顏色保持和恢復(fù)、照度補足等效果，可以在去除薄云霧的同時保持自然的顏色且視覺效果較好，很好的對因照度不足而損失的顏色進行恢復(fù)。

當一批處理的圖像數(shù)量較大時，時間效率的提高有著重要的實際意義。多分辨率的基于幾何包絡(luò)方法在時間效率上與目前已經(jīng)提出的效果較好的MSR方法和Kimmel方法相比有著明顯的優(yōu)勢。

實驗結(jié)果進一步驗證了對三種方法實用性，MSR方法盡管是非線性的時間復(fù)雜度，但增加的復(fù)雜度僅僅是對數(shù)項的相乘，很接近線性復(fù)雜度。而Kimmel算法由于需要大量的迭代運算，且每步迭代的計算公式較為復(fù)雜，所以速度較慢，所以本文提出的方法通過深度神經(jīng)網(wǎng)絡(luò)的設(shè)計，得出各方法的優(yōu)劣性。

5 結(jié)論

圖像分辨率增強技術(shù)是一個重要的研究課題，基于深度神經(jīng)網(wǎng)絡(luò)的圖像超分辨率是本領(lǐng)域的一個研究重點和熱點，可以廣泛應(yīng)用在安防監(jiān)控、公安偵查、國家安全等領(lǐng)域。本文針對圖像的分辨率增強技術(shù)，指出在實際應(yīng)用中的輸入圖像往往和訓(xùn)練庫中的圖像存在照度和空間方位等的不一致性，降低了基于深度神經(jīng)網(wǎng)絡(luò)的效果，并設(shè)計了圖像分辨率增強的方法框架，通過引入適當?shù)念A(yù)處理和相應(yīng)的后處理，增強了算法的結(jié)合性，提高了圖像分辨率的效果。