一種與顯示設備相關的抗顏色混疊新方法

趙小明趙園美周筱媛②袁勝春

①(西安電子科技大學技術物理學院 西安 710071)②(西安科技大學計算機科學與技術學院 西安 710054)

1 引言

顯示技術是信息產業所包含技術中的最關鍵部分之一，是信息系統與人交互的橋梁與紐帶。它的發展與變革提高了人們的生活質量，促進了其它行業的發展。21世紀以來，各種平板顯示設備的應用(小到手機、數碼相機，大到戶外顯示屏等)在社會生活中隨處可見。平板顯示器與依靠電子束轟擊熒光屏發光的 CRT顯示器不同，它只有固定的分辨率，因為它們的物理像素由三基色(紅、綠、藍)亞像素按某種排布，整齊緊密地固化在顯示面板上。因此平板顯示器的畫面質量、生產成本、制造工藝與物理像素的規模緊密相關。

對顯示質量的持續追求是顯示行業研究的永恒課題。同等條件下，基于人眼空間混色效應的亞像素采樣技術以顏色混疊為代價有效提高了畫面的顯示質量，原因是人眼對色度的敏感程度遠低于對亮度的敏感程度[1]；同時，亞像素采樣技術可以使高分辨率畫面清晰顯示于低分辨率設備上。盡管如此，有效消除或減弱顏色混疊仍然是亞像素采樣技術亟待解決的關鍵問題。

目前眾多文獻[218]-的做法是在尋址之前對圖像進行低通預處理，濾除圖像中的高頻信息達到減弱或消除顏色混疊的目的。其中已出現了4種從不同角度設計濾波器的方法：一是以文獻[2,3]為代表的基于心理學實驗在頻率域定義一個顏色誤差度量，并在最小化誤差度量的基礎上構造 5-tap濾波器；二是以文獻[4,5]為代表的針對 LCD 顯示器亞像素RGB-trio排布的濾波器，其主要應用于灰度圖像的字體顯示。較強的針對性限制了這兩種方法的推廣；三是文獻[6]中提出的多相位濾波器。該方法在消除顏色錯誤的同時對高頻子圖像清晰度的影響較大；四是文獻[7,8]中提出的用最小化最大錯誤方向法構造的低通濾波器。另外文獻[9]基于人眼視覺特性從尋址后的圖像出發，提出一種多尺度的顏色誤差度量方法；文獻[10]在顏色誤差定位與量化的前提下提出一種自適應濾波法。后兩種方法雖然實現了在保持清晰度的同時弱化了顏色錯誤，但其存在計算量大的問題。

亞像素排布的多樣性(如常見的 RGB-trio排布，RGB-mosaic排布，RGB-delta排布等)是平板顯示器的另一大特點。分析與研究表明顏色混疊除了與顯示系統的采樣率有關外，還與三基色亞像素的排布密切相關。鑒于此，依據顯示設備亞像素排布各基色不同的Nyquist頻率限制，本文提出了與設備相關的抗顏色混疊法。該方法與已有文獻方法的最大不同在于對原始圖像各基色施加不同的抗顏色混疊濾波運算，以達到保持更多圖像細節并減弱甚至消除顏色錯誤的目的，同時，算法簡單易于實現。

本文首先簡要介紹亞像素采樣技術，其對顯示的貢獻以及所產生的負面問題顏色混疊現象。其次指出顏色混疊現象出現的原因，并在頻域內通過倒晶格理論揭示各基色Nyquist頻率限制與亞像素排布的關系，以及它們對顏色混疊的影響。然后闡述與設備相關的顏色混疊抑制算法。最后通過仿真實驗及理論分析說明該方法的有效性。

2 亞像素采樣

亞像素采樣技術泛指在顯示過程中以各基色亞像素作為尋址、采樣及重構的基本處理單元。由于空間位置分離的亞像素彼此緊密交錯排列，在適當的觀看距離下，并列排放在一起的不同顏色亞像素就會發生空間色彩混合，形成全彩色圖像。顯然，這種技術提高了亮度分量的顯示密度，從而有效改善了設備的顯示質量。

圖1顯示了4種常見的亞像素排布。圖2以圖1(c)所示的RGBR-mosaic排布為例，說明全像素采樣與亞像素采樣的不同。設大小為2M×2N的原始圖像，在低分辨率(M×N)設備上以全像素采樣方式顯示時，需要在水平、垂直方向上各進行壓縮2倍的下采樣，即從原始圖像每4個像素中抽取1個像素，尋址對應到設備的物理像素。而亞像素采樣從原始圖像中相鄰的4個像素分別獲得相應的R,G,B分量映射到一個物理像素上。

需要說明的是，盡管不同平板顯示器的發光體形狀各不相同，但在足夠的視距條件下亞像素形狀可以忽略不計。為便于描述，文中圖示選擇不同的亞像素形狀。

圖3為大寫字母V分別以全像素采樣和亞像素采樣在 RGBR-mosaic排布上顯示的仿真結果。可以看到，在相同的物理像素密度下，與全像素采樣相比，亞像素采樣使得顯示圖像邊緣的輪廓更加清晰，鋸齒狀邊界得到明顯緩解，但是圖像的局部區域(如“V”的上邊緣)出現了一定的顏色錯誤。

3 亞像素采樣的顏色混疊

3.1 顏色混疊出現的原因

若忽略顏色，從圖2可以看出，亞像素采樣一方面顯著提高了系統的采樣率；另一方面，只保留了原始圖像中每個像素的一個顏色分量。這種顏色上的欠采樣使得亞像素采樣系統的采樣混疊表現為背離于原始圖像的顏色錯誤。因此顏色欠采樣是亞像素采樣系統中混疊突出表現在顏色上的根本原因。

圖1 4種常見的亞像素排布結構

圖2 全像素采樣與亞像素采樣的對比

圖3 RGBR-mosaic排布全像素采樣與顏色欠采樣仿真結果

以顏色分量的缺失換取亮度分辨率的提升是非常值得的：(1)由于圖像數據本身的相關性，某一點處缺失的顏色分量可以通過相鄰點得到彌補；(2)亞像素采樣較全像素采樣擁有更高的采樣率及各點上更小的顯示面積，顯示圖像更加細膩清晰；(3)由于人眼有限的分辨率及空間色彩混合現象使得人眼亮度分辨率遠大于色度分辨率，因此亞像素采樣產生的顏色混疊較全像素采樣的亮度混疊對人眼的視覺影響小；(4)任何采樣系統都會出現混疊現象，在采樣前應用適當的抗混疊濾波器可以消除或減弱混疊現象。

文獻[9]從仿真實驗和頻譜分析進一步說明了顏色混疊還與設備的亞像素排布息息相關。事實上，亞像素排布各方向的Nyquist頻率限制在2維平面上形成了一定的區域，這些區域刻畫了某種排布各方向顏色混疊出現的“時刻”。下面就通過頻域分析以及倒晶格理論揭示各基色Nyquist頻率限制與亞像素排布的關系，從而提出與設備相關的抗顏色混疊法。

3.2 亞像素排布的2維Nyquist頻率限制圖

以圖1(a)中RGB-trio排布為例。設原始圖像為矢量，其分量分別用,表示，則有

對于排布中某一基色如 R，其水平方向采樣間隔為3a，垂直方向采樣間隔為b。若將每個燈點看作一個沖擊采樣，則采樣函數可表示為

其傅里葉變換RFs為

對圖1中的4種排布，將某一基色R/G/B的空間2維排布看成2維點陣晶格，由式(6)倒晶格基矢的基本性質并忽略系數2π可以得到其倒晶格空間2維排布，如圖4所示。其中圖4(a) RGB-trio，圖4(b)RGB-mosaic，圖4(d)RGB-delta 3種排布的R/G/B三基色的2維點陣晶格相同，故各自的2維倒晶格排布只有一種；而圖4(c)RGBR-mosaic排布的R基色和G/B基色的2維點陣晶格不同，故有2種倒晶格排布。

圖4 不同排布中R(G)基色的倒晶格空間2維排布

倒晶格空間中的每個黑色圓點表示一個cRF復制所在的位置點。黑色圓點的周期規律是采樣后 R分量圖像sRF中cRF復制的周期規律。圖中的陰影區域就是2維Nyquist頻率限制圖，刻畫了不發生顏色混疊的頻率范圍，其邊界線由相鄰cRF復制所在位置點的中分線(即相鄰黑色圓點的中分線)圍繞而成。將Nyquist頻率限制區域按照黑色圓點的位置進行周期性的重復，將不重疊地鋪滿整個2維頻域空間。可見，Nyquist限制區域限定了不發生采樣混疊情況下可以顯示的源圖像頻譜信息的最大面積。

當源圖像R分量頻譜分布cRF超過Nyquist頻率限制區域時就會發生R分量上的顏色欠采樣，其邊界附近的相鄰cRF就會互相交疊，使得cRF信息損失，發生顏色混疊；當源圖像R分量頻域分布cRF在 Nyquist限制區域范圍內時，相鄰cRF有一定的間隔，cRF完整性得以保留，源圖像信息不會損失。對于G,B分量，同樣的分析過程略。

4 與設備相關的抗顏色混疊法

4.1 基本思想

從上節得出，當源圖像某一基色頻域分布cRF,或cBF超過相應基色 Nyquist限制區域時，就會發生顏色混疊。故針對不同的R,G,B基色排布，需要對cRF,cGF及cBF各自使用不同的低通濾波器濾除其超過Nyquist限制區域的高頻成分，從而有效達到抑制顏色混疊的目的。

以RGB-mosaic排布的R分量為例，沿圖4(b)中45°剖面方向將2維頻域轉為1維進行分析。抑制顏色混疊的方法如圖5所示。圖中的垂直虛線畫出了Nyquist限制區域在45°方向的界限。當原始圖像R分量的頻譜分布cRF未超出RGB-mosaic排布的紅色Nyquist頻域限制時，沒有混疊發生，如圖5(a)和圖5(b)所示。相反當R分量的頻譜分布超出相應的Nyquist頻域限制時，顯示圖像R分量上發生混疊導致產生顏色錯誤，如圖5(c)和圖5(d)所示。若對R分量原始圖像施加一截止頻率接近于Nyquist限制頻率的低通濾波，濾除可能發生混疊的高頻成分，便可消除該分量上的顏色錯誤。

根據圖4所示的Nyquist頻域限制圖可以設計出施加于原始圖像各顏色分量上的低通濾波器。如根據圖4(a)，適合RGB-trio排布R分量濾波器水平方向的截止頻率應該明顯低于垂直方向的截止頻率。對RGB-trio排布，根據圖4(d)，適合R分量的濾波器在六邊形的 6個頂點方向上截止頻率較高，在6條邊的法線方向上的截止頻率較低。

由于各基色的2維Nyquist頻率限制圖隨著亞像素排布的不同而不同，因此文中將這種方法稱為與設備相關的抗顏色混疊法。

4.2 算法過程

對于任一顯示面板，根據其三基色亞像素排布，進行與設備相關的抗顏色混疊法的基本處理過程如下：

(1)根據亞像素排布各基色的2維Nyquist頻率限制圖，確定施加于各基色的低通濾波器，該濾波器各方向的截止頻率應該小于并接近相應的Nyquist限制頻率；

(2)對各分量原始圖像進行低通濾波運算，得到濾波預處理后的圖像Fh，其各基色分量子圖像為

在空間域時，濾波運算采用各基色子圖像與相應的濾波模板做卷積的方法進行。如R分量子圖像。

(3)對圖像fh應用亞像素采樣。以RGB-mosaic排布為例，對于R分量，采樣后圖像為

(4)將各基色濾波采樣后的亞像素值映射到物理設備上重構顯示。

5 仿真實驗與結果分析

以圖1中的4種排布仿真顯示波帶片圖像，并設各種排布亞像素的水平、垂直間距相等(a=b)。由于篇幅的限制，圖6給出了RGB-delta排布下的仿真結果。其中圖 6(a)為直接進行全像素采樣的顯示圖像，混疊現象比較嚴重；圖 6(b)為對源圖像低通濾波后再進行全像素采樣的顯示結果，混疊現象得到緩解，但圖像的清晰程度明顯下降；圖 6(c)為亞像素采樣后的顯示圖像，較全像素采樣時的顯示效果清晰細膩，但有明顯的顏色錯誤；圖 6(d)為對源圖像應用 5-tap濾波消除顏色錯誤后的亞像素采樣顯示結果；圖 6(e)為使用本文濾波方法后進行亞像素采樣的結果。對比看到，本文方法相比于其它抗混疊方法的顯示結果擁有更高的清晰度，尤其在圖像高頻處可清晰分辨的圓環更多。

圖4的2維Nyquist頻率限制圖反映了各種排布在各個方向上發生顏色混疊的不同特征。如RGB-trio排布各基色在水平方向，RGB-delta排布各基色在°方向上的Nyquist限制區域較其它方向窄，意味著這些方向更易發生顏色混疊，相應低通濾波器的截止頻率也較低。圖6(c)顯示了這兩種排布下顏色混疊發生的區域，其位置與分析結果完全吻合。

圖5 抑制顏色混疊方法說明

圖6 5種不同情況下波帶片圖像的顯示結果

由人眼結構及人眼的視敏特性知道，人對物像的感知是從亮度和色度兩方面進行的。因此在后續的結果分析中，使用亮度與色度分離的顏色空間(如YUV顏色空間)更加符合人眼的主觀感受。鑒于人眼對圖像的亮度信息更加敏感，所以文中在計算各種采樣方法顯示圖像的質量時，采用在無明顯感知顏色錯誤的前提下重點考查亮度上各種方法對顯示結果的貢獻。

波帶片圖像經 5-tap濾波和本文的與設備相關法濾波處理后亞像素采樣的顯示結果中均無明顯的顏色錯誤(如圖 6所示)。在這個前提下，由于直接進行亞像素采樣顯示的圖像具有最高亮度分辨率，因此以它作為參考計算其它4種方法的顯示圖像在YUV空間亮度分量Y上的PSNR，以此反映各種采樣方法顯示圖像的清晰度。PSNR的計算見式(9)。

表1列出了圖1中4種不同排布上各種采樣方法顯示波帶片圖像的PSNR值。明顯看到，本文方法的PSNR值較其它3種采樣方法大。相比于5-tap濾波后亞像素采樣的顯示結果，本文方法將各種排布下顯示圖像的平均亮度PSNR提高了近26%。這說明本文提出的與設備相關的抗混疊濾波法對平板顯示器的各種排布均能在有效抑制顏色混疊的同時，保持圖像的更多細節。

圖 7和圖 8分別給出了 RGB-trio排布以及RGB-delta排布下不同采樣方式的處理結果。不同顯示方法重構效果的區別要在圖像的細節處觀察，如圖7中花紋的清晰度，圖8中樹枝的細小枝丫等細節。可以看出，全像素采樣重建后的圖像混疊最為嚴重；低通濾波后全像素采樣的重構圖像較模糊；亞像素采樣重構后的圖像顏色混疊明顯；經 5-tap濾波及與設備相關濾波處理的亞像素采樣重構的圖像均無可見顏色混疊，但后者處理的顯示結果更清晰。

通過對多幅圖像在不同排布方式下采用不同采樣方法進行重建，通過計算得出，相比于 5-tap濾波后亞像素采樣顯示的結果，本文方法可將顯示圖像的平均亮度PSNR提高約30%。以上實驗表明本文提出的與設備相關的抗混疊濾波法，在常見排布上對亞像素采樣顯示的大多數圖像上，均能在有效抑制顏色混疊的同時，保持更多圖像的細節。

表1 YUV空間下4種采樣方法重構波帶片圖像的PSNR對比

圖7 RGB-trio排布5種采樣方法重建后的圖像對比

圖8 RGB-delta排布5種采樣方法重建后的圖像對比

6 結論

本文針對亞像素采樣中的顏色問題，提出了一種與設備相關的抗顏色混疊濾波方法。該方法的關鍵在于，采樣前根據設備亞像素排布各基色的2維Nyquist頻率限制圖設計不同的低通濾波器，對原始圖像的R,G,B分量分別進行預處理，并使各基色低通濾波器的截止頻率截面形狀小于且接近相應的Nyquist限制區域的形狀。相比于其它抗顏色混疊法，該方法除有效減弱由亞像素采樣帶來的顏色混疊，更多保持圖像的細節外，同時，該算法實現簡單，易于實際應用。

[1] Medjeldi T, Horé A, and Ziou D. Enhancement of the quality of images through complex mosaic configurations[C].International Conference on Image Analysis and Recognition,Halifax, Canada, 2009, 5627: 43-53.

[2] Platt J C. Optimal filtering for patterned displays[J]. IEEE Signal Process Letter, 2000, 7(7): 179-181.

[3] Betrisey C, Blinn J F, Dresevic B, et al.. Displaced filtering for patterned displays[J]. SID Symposium Digest of Technical Papers, 2000, 31(1): 296-299.

[4] Gibson S. Subpixel font rendering[OL]. http://www.grc.com/cleartype.htm, 2013.

[5] Microsoft Corporation. Font hinting[OL]. http://www.microsoft.com/typography/TrueTypeHintingIntro.mspx,2011.

[6] Klompenhouwer M A and Haan G. Subpixel image scaling for color matrix displays[J]. Journal of the Society for Information Display, 2003, 11(1): 99-108.

[7] Fang L and Au O C. Subpixel-based image down-sampling with min-max directional error for stripe display[J]. IEEE Journal of Selected Topics in Signal Processing, 2011, 5(2):240-251.

[8] Fang L, Au O C, Tang K, et al.. Novel 2-D MMSE subpixelbased image down-sampling[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2012, 22(5):740-753.

[9] 趙小明, 張建奇, 邵曉鵬, 等. 彩色矩陣顯示器亞像素采樣混色錯誤的分析與評價[J]. 光電子激光, 2012, 23(5): 891-896.Zhao Xiao-ming, Zhang Jian-qi, Shao Xiao-peng, et al..Analysis and evaluation of color aliasing for subpixel sampling in color matrix display[J]. Jouranl of Optoelectronics Laser, 2012, 23(5): 891-896.

[10] 趙小明, 邵曉鵬, 張建奇, 等. 基于多尺度區域混色的 RGB欠采樣圖像顏色錯誤評價[J]. 電子與信息學報, 2012, 34(9):2071-2077.Zhao Xiao-ming, Shao Xiao-peng, Zhang Jian-qi, et al..Objective assessment of the colorerrors in RGB undersampled images based on color blending of multi-scale region[J]. Journal of Electronics ＆amp; Information Technology,2012, 34(9): 2071-2077.

[11] Kim Jun-seong and Kim Chang-su. A filter design algorithm for subpixel rendering on matrix displays[C]. European Signal Processing Conference, Poznan, Poland, 2007: 1487-1491.

[12] Lin Chen-wei and Chao M C T. A novel pixel design for AM-OLED displays using nanocrystalline silicon TFTs[J].IEEE Transactions on Very Large Scale Integration (VLSI)Systems, 2011, 19(6): 939-952.

[13] Kang Suk-ju, Kim Seong-gyun, Oh Eui-yeol, et al..Luminance-difference-based adaptive subpixel rendering algorithm for matrix displays[C]. IEEE International Conference on Consumer Electronics, Santander, Spain, 2012:727-728.

[14] 王瑞光, 陳宇, 金福壽, 等. 基于主觀感覺理論的LED圖像顯示質量的簡易測定評估方法[J]. 發光學報, 2011, 22(3):303-308.Wang Rui-guang, Chen Yu, Jin Fu-shou, et al.. Simplified measuring and evaluating method of imagequality of LED visual display based on subjective perception theory[J].Chinese Journal of Luminescence, 2011, 22(3): 303-308.

[15] Fang L, Au O C, Yang Y, et al.. A new adaptive subpixelbased downsampling scheme using edge detection[C]. IEEE International Symposium on Circuits and Systems, Taipei,2009: 3194-3197.

[16] Elliott C H B, Han S, Im M H, et al.. Co-optimization of color AMLCD subpixel architecture and rendering algorithms[J].Society for Information Display, 2002, 13(3): 172-175.

[17] Kang Suk-ju. Color difference-based subpixel rendering for matrix displays[J]. Journal of Display Technology, 2013, 9(6):319-323.

[18] Hara Zen-ichiro, Terazaki Nobuo, Shiramatsu Naoki, et al..Picture quality of different pixel arrangements for large-sized matrix displays[J]. Electronics and Communications in Japan,1994, 77(7): 105-120.