視頻圖像增強技術讓視覺更完美

文/本刊記者 沈文文

為了提高圖像的清晰度，改善人眼的視覺效果，同時便于后續的其他技術處理，對這類“模糊”或對比度低的圖像進行增強處理成為了必要。而且，圖像增強通常也是各種圖像分析和處理的預處理過程。

近年來，隨著數字視頻技術、網絡技術和無線通信技術的迅速發展，各種視頻應用層出不窮，并且具有繼續增長的發展趨勢。圖像，作為視頻應用中的關鍵元素，其呈現效果直接影響著視頻溝通的效率和品質。然而，在視頻會議、視頻監控等視頻應用過程中，圖像的呈現效果往往會受到設備、光照條件、視頻壓縮技術等眾多因素的制約，從而出現畫面對比度低、細節不清晰等問題，嚴重影響人眼對畫面的視覺感受和視頻內容的展示效果。

不僅如此，長期觀看品質低下的視頻可能會加重人們眼睛的負擔，容易產生視覺疲勞，甚至會頭暈目眩。

為了提高圖像的清晰度，改善人眼的視覺效果，同時便于后續的其他技術處理，對這類“模糊”或對比度低的圖像進行增強處理成為了必要。而且，圖像增強通常也是各種圖像分析和處理的預處理過程。

分辨率增強方法分類

據了解，提高圖像分辨率的較為直接的方法是改進傳感器制作工藝，減少像素的大小，從而實現空間分辨率的增強(即增加每單位面積內的像素個數)，但由于減少了有效采光的能力而容易產生散粒效應從而嚴重地降低圖像質量。此外，傳感器的制造工藝已經幾乎達到了極限，例如在0.35μm的CMOS水平下，一個像素的面積為40μm2，已經難以進一步減小。最后，以硬件升級方式提高圖像空間分辨率的做法其技術成本十分昂貴，極大地限制了該方法在實際情況中的應用。

因此，基于信號處理的軟件技術來提高圖像空間分辨率的技術得到了廣泛地研究。這種技術被稱作是分辨率增強（Resolution enhancement, RE）或超分辨率圖像重建（Super resolution reconstruction, SRR）。圖像分辨率增強是目前信號處理領域中最為活躍的研究方向之一。它通過將輸入的低分辨率圖像中的高頻細節復原，產生一幅接近退化前的理想高分辨率圖像，從而達到提高圖像分辨率的目標。這種方法的優點是不涉及硬件，成本相對較低，并且可以在諸多應用中重復再利用已有成像系統，因此是一種較為經濟的過渡方案。

分辨率增強是一種將輸入的低分辨率圖像（或圖像序列）進行處理，已獲得具有更高分辨率大小的圖像輸出的軟件技術。由于輸入的低分辨率圖像（圖像序列）中已經丟失了所要恢復的高分辨率圖像中的大部分高頻信息，因此為了進行分辨率增強處理，需要對丟失的高頻細節信息進行合理的建模和預測。

預測高頻細節的信息來源主要包括三個方面，分別是高分辨率圖像特征的先驗知識、具有互補信息的低分辨率圖像序列以及通過大量樣本學習得到的具有高-低分辨率圖像特征間對應關系的數據庫。根據這三個方面的信息來源，可以將圖像分辨率增強方法大致分為三類，分別為基于插值的方法、基于多幀圖像融合的方法和基于學習的方法。

基于插值的分辨率增強

基于插值的分辨率增強方法通常在無法獲得更多關于高分辨率圖像高頻細節信息的情況下，利用已知的圖像先驗知識（如圖像平滑性、邊緣方向連續性等）對高分辨率圖像中未知像素點進行估計重建。基于插值的方法在進行分辨率增強的過程中，由于所能獲取的信息或者計算復雜度要求所限，僅能夠依靠一些高分辨率圖像通用先驗模型來引導插值過程完成分辨率的轉換，因此在恢復圖像的高頻細節的性能表現方面，往往不能取得較為滿意的效果，尤其是當圖像放大倍數較大（例如四倍放大）時容易產生過于模糊和平滑的現象。

基于多幀圖像融合的分辨率增強

基于多幀圖像融合的方法的技術思路是將輸入低分辨率圖像序列所包含的互補信息進行融合，從而恢復得到高分辨率圖像中所應包含的高頻細節信息。基于多幀圖像融合的方法能夠成功的一個基本前提是可以獲得關于相同場景的不同角度或不同時刻的序列圖像。這些低分辨率圖像間具有亞像素尺度的偏移，從而為實現分辨率增強(高頻信息預測)提供了可能。

基于學習的分辨率增強

近年來，基于模式匹配和機器學習的圖像分辨率增強方法逐漸興起，得到較為廣泛地關注。基于學習的方法的提出主要是針對輸入信息十分有限的情況下（甚至僅有一張低分辨率圖像作為輸入）來獲得較為理想的高分辨率圖像，取得分辨率增強的效果。在這種情況下，上述基于多幀圖像融合的方法的性能迅速下降，尤其是在圖像放大倍數較大的情況下。而基于學習的方法則充分利用了自然圖像中包含著大量的重復和冗余結構這一重要的特性，利用學習的手段來捕獲不同分辨率間的特征對應關系，從而能夠根據輸入的中低頻信息通過模式匹配搜索的方式來尋找到最佳的高頻信息預測。

總體來講，基于學習的方法的優勢主要在于計算速度較快，但也有其自身的缺點，例如圖像放大倍數與圖像數據庫的訓練過程相對應，無法自適應地改變。此外, 基于學習的方法十分依賴樣本庫的選擇, 目前還沒有相關理論來進行指導。

視頻增強算法（Retinex算法）

Retinex（視網膜”Retina”和大腦皮層”Cortex”的縮寫）理論是一種建立在科學實驗和科學分析基礎上的基于人類視覺系統（Human Visual System）的圖像增強理論。該算法的基本原理模型最早是由EdwinLand（埃德溫·蘭德）于1971年提出的一種被稱為的色彩的理論，并在顏色恒常性的基礎上提出的一種基于理論的圖像增強方法。Retinex理論的基本內容是物體的顏色是由物體對長波（紅）、中波（綠）和短波（藍）光線的反射能力決定的，而不是由反射光強度的絕對值決定的；物體的色彩不受光照非均性的影響，具有一致性，即Retinex理論是以色感一致性（顏色恒常性）為基礎的。

不同于傳統的圖像增強算法，如線性、非線性變換、圖像銳化等只能增強圖像的某一類特征，如壓縮圖像的動態范圍，或增強圖像的邊緣等，Retinex可以在動態范圍壓縮、邊緣增強和顏色恒常三方面達到平衡，因此可以對各種不同類型的圖像進行自適應性地增強。據Retinex理論，物體的顏色是由物體對光線的反射能力決定的，而物體對光線的反射能力是物體本身固有的屬性，與光源強度的絕對值沒有依賴關系。因此通過計算各個像素間的相對明暗關系，可以對圖像中的每個像素點做校正，從而確定該像素點的顏色。正因為Retinex諸多良好的特性，使Retinex算法在很多方面得到了廣泛的應用。

未來

圖像分辨率增強技術提供了一種從低分辨率圖像源到高分辨率輸出的轉換方案。目前，圖像分辨率增強技術的應用十分廣泛，在視頻監控領域中發揮著十分重要的作用。而在新一代的視頻編碼標準研究中，分辨率增強技術已經開始成為編碼器中重要的一個部分。同時，圖像分辨率增強技術仍存在著許多需要解決的問題，對圖像分辨率增強技術的進一步研究必將導致這一理論和技術擴寬到更多的新的應用領域，為圖像分辨率增強技術研究帶來新的活力與挑戰。