改善投影分辨率的疊加圖像方法及其圖像質量評價方法概述

胡俊　劉清源

中圖分類號： TP391.41 文獻標識碼： A 文章編號： 2095-2457（2018）04-0026-001

An Overview of Superimposed Image Methods for Improving Projection Resolution and Their

Image Quality Evaluation Methods

HU Jun Liu Qing-yuan

（School of Electronic and Information Engineering，Changchun University of Science and Technology，

Changchun，Jilin 130022）

分辨率是投影儀性能的關鍵指標，提高分辨率是投影儀行業的重要目標之一。與空間光調制器（SLM）的原始圖像的分辨率比較，投影圖像疊加是有效的提高投影儀分辨率的方法。投影圖像疊加方法可以在多投影系統或者具有光機系統的單投影系統中使用。兩個或者多個圖像在投影幕布上組成疊加投影圖像，其疊加投影圖像可以用加法函數的方法來進行理論計算。

在4K高清視頻市場推動下，投影設備分辨率增強技術成為當下研究的熱點。并不是所有的SLM都可以進行4K調制，所以研究各種各樣的分辨率增強技術，提高SLM的投影分辨率。疊加圖像的分辨率增強技術，好比光學低通濾波器一樣濾除圖像中的高頻分量，增加有效像素的同時也增加了使圖像模糊的偽影，偽影影響了圖像的視覺質量和分辨率尺寸。疊加圖像的方法可以使投影圖像具有高分辨率和高質量的同時，又增加了偽影。與SLM的微縮方法得到的投影圖像相比較，偽影是一個新的挑戰。

本文介紹不同的疊加圖像方法和探求不同的方法間的圖像質量。概述前人在疊加圖像領域所做的工作及相應質量評估方法。質量度量學相關章節說明的是方法論及實驗設計，描述了使用不同度量學和疊加方法所設計的實驗方法。

Takahashi等在1995年設計四個LCD投影到一個屏上的復雜投影結構。其優點是對LCD像素的因子填充，在這個結構中，兩個像素處于低重疊狀態。所有投影設備像素的疊加，其目的是填充其他投影設備所投出的暗區域，同時在水平與垂直方向上獲得雙倍的分辨率。在安裝與調試上，本套設備需要繁瑣和精細的裝調。隨著使用時間的加長，LCD的填充的像素尺寸也變大，凸顯出方法的重大缺陷。Takahashi等使用光學仿真的方法獲得光學傳遞函數（MTF），并作為主要的評估分辨率方法。

Jaynes等設計由多個投影儀同時投射到一個屏幕上的系統，通過校準方式決定每個投影儀所投射出的子像素之間的關系。校準的目的是每個投影設備都是精確的投影圖像，目標幀是通過混合的緩沖幀獲得高分辨率的投影圖像。在實踐過程中，校準過程是非常精密的，而且要求操作者具有良好的實踐經驗，但是校準過的系統卻容易離焦。Jaynes等通過顯示改進后的圖像來說明他們所做工作的有效性。

Allen和Ulichney設計一個突破傳統想法的系統——用一個光機電投影設備替代原來的思想，在投影面上移動第n空間幀。這種方法稱為“Wobulation”，確保像素的統一移動和疊加。Wobulation實現在空間光調制器中的一個像素在投影后具有多個像素位置。Wobulation方法使用一個空間光調制器展示不同的圖像位置其價值在于降低時間分辨率來等效于多圖像位置。在Allen和Ulichney的論文中，相同的子幀在兩個不同位置疊加導致結果圖像有些模糊。作者在視覺上一步一步改善圖像質量，但是沒有對投影圖像改善的結果做定量分析。

Said在2006年提供一種創建子幀的理論框架，解決疊加圖像方法當前的局限性，并為疊加圖像方法的推廣奠定理論基礎。雖然Said所獲得的子幀并不是最佳的，但是用數學方法來評價圖像質量。其數學方法為PSNR和視覺表述評估圖像質量。

Damera-Venkata和Chang在2007年提出使用多投影設備生成疊加圖像的方法。此方法說明大于奈奎斯特采樣頻率的顯示頻率是可以提高投影圖像的分辨率的，但只是在視覺判別上給出定性的說明，而沒有進行定量的說明。

Okatani等從Damera-Venkata和Chang基礎上進一步進行理論研究，揭示了疊加圖像的質量隨系統最大亮度的變化而變化。在這個工作中，通過視覺探查判別圖像質量，而不是質量度量學。

Sajadi等在2012年介紹圖像增強方法，兩個串聯的SLM來增強圖像邊緣的銳度，同時也增加分辨率。兩個SLM的光像素分配單元在空間域內生成更小的像素。此方法在實際中是有效的，但是實驗系統只是通過視覺判別來評估圖像質量。

Sajadi等在2013年介紹一種低成本的疊加圖像方法，在原始圖像疊加一個經過精確移動（下轉第45頁）（上接第26頁）的子圖像。此方法與Allen和Ulichney設計的Wobulation類似，但是此方法不是時隙圖像，而是圖像自身移動后子圖像與原始圖像的疊加。此方法的圖像空間質量雖然不是最滿意的，但是是最有效的。通過SSIM度量學來表示此方法的圖像質量的增加，當色彩浮動時使用色差來檢測。Sajadi等人通過計算移動像素與多個疊加幀的不同組合的直方圖來評估圖像中的保留要素。

Heide等在2014年介紹一種有趣的方法，將圖像投影到SLM上，而不是疊加圖像到投影屏幕上。精確的移動帶有子像素的第二個SLM，減少第二個SLM的光強，而不是增加光強。此方法稱為“乘法疊加”，與之對應的是有在每一個子圖像的頂部規律增加疊加光。通過視覺判別、PSNR、SSIM和MTF分析來證明其顯而易見的優越性。

Barshan等在2015年介紹名為“移動疊加”的疊加原理。此方法類似于Allen和Ulichney設計的Wobulation方法，但是子圖像的生成是在更精細的方法中完成的。通過視覺判別和MSSIM度量學來說明此方法對圖像質量的提高。

上述所說明的是在疊加領域中，不同的作者有不同的疊加圖像方法與評估圖像質量方法。其共同點是通過不同的圖像表征疊加圖像視覺的優勢，但是這是一種缺乏不同算法間客觀對比的方法。接下來介紹與上述方法不同的質量度量學及可能用到的質量度量學。

質量度量方法可以分為兩類：基于原始誤差計算和人類視覺系統（HVS）啟發度量學。

基于誤差計算是基于兩個圖像間誤差量化的數學度量。因為簡單易懂、便于使用及低運算成本而使其廣泛應用。這些度量方法中典型的應用是均方差（MSE）和不同版本的信噪比（SNR）。信噪比和峰值信噪比是基于加工過的圖像，其是原始圖像加上中立的噪聲信號。信噪比是平均信號功率與噪聲信號功率的比值，峰值信噪比是峰值信號功率與噪聲信號功率的比值。基于原始誤差計算具有其自身的局限性，它們往往與主觀質量評估沒有很好的相關性。

為了克服這些弊端，加權信噪比（WSNR）是以HVS對比敏感函數來考慮開發的。WSNR定義為平均加權信號功率與平均加權噪聲功率之比。通過對HVS屬性的微小修改的基于誤差的度量，則WSNR是綜合基于原始誤差的計算和HVS的度量。其他的度量方法，比如PSNRHVS和PSNRHVSM都是使用PSNR法則，基于頻率的修改實現度量并與HVS的敏感度做對比。

由HVS屬性所衍生出的純HVS，目的是測量HVS的特殊圖像屬性，與SSIM度量法比在光強、對比度和圖像結構上敏感，在兩個圖像間測量其相似度。全部或者部分考慮HVS的方法促進如下幾種質量度量的方法，比如多尺度SSIM（MSSSIM）、ESSIM、SRSIM、FSIM、DCTex、VIF和VSNR。

本文對改善投影分辨率的疊加圖像方法及其圖像質量評價方法進行概述，總結能夠提高投影分辨率的不同疊加圖像方法，并概述了不同方法所對應的圖像質量評價方法。