一種用于移動終端視頻圖像色彩增強的實時方法

金 輝

摘要:智能手機在可視通話的過程中,由于攝像頭和液晶顯示器等硬件性能上的一些局限性,使其在某些條件或環境下采集的視頻圖像光線昏暗,或者視頻圖像表現的顏色不夠鮮艷、靚麗甚至發生偏色。文章提出一種在硬件具體的特性和性能參數下,對視頻圖像的明亮可視度以及顏色進行增強的實時方法。在智能手機上的應用和驗證顯示,該方法不需要額外的芯片就能夠改善移動可視電話中視頻圖像的主觀視覺效果,提高亮度、清晰度,并使顏色的表現更豐富、艷麗。

關鍵詞:移動可視終端;色彩增強;明亮可視度增強

Abstract: In certain environments and under some conditions, the video images taken by the intelligent mobile video phones seem dark, and the colors are not bright or saturate enough. This paper presents an adaptive method to enhance the video image brightness visualization and the color performance depending on the certain hardware property and function parameters. Through verification, the preferred color reproduction enhancement algorithm makes the worse expressed and some of the particular colors more desirable and brighter. The experimental results prove that this method can enhance the colors and the contrast of the video images, based on the estimated quality feature values of each frame, without using the extra Digital Signal Processor (DSP).

Key words: mobile video phone; color enhancement; brightness enhancement

目前,對于移動智能手機來講,傳統的話音業務已經無法滿足廣大消費者個性化、差異化需求,所以各項增值業務被視為新的黃金增長點。移動可視電話作為3G的標志性核心業務,逐漸受到各方的廣泛關注。視頻通話過程中視頻圖像的質量直接影響到業務的普及與擴展,將來也會在市場上掀起一場完美的視頻應用風暴。

在對TD-SCDMA的3G終端性能測試中,視頻通話是測試的關鍵環節之一。大部分3G手機終端視頻通話質量都有不盡如人意的地方,如延遲、拖影、馬賽克等現象。這些主要是由于網絡原因造成的視頻質量問題。除此之外還有視頻圖像本身的質量問題,如在暗的環境下,采集的圖像昏暗不清,打可視電話時色彩不夠豐富亮麗等。這些問題已受到各通信設備供應商和技術研究者的關注。

在視頻處理領域中,主觀視覺質量的改善是視頻增強的一個主要內容。在消費電子領域中,視頻增強技術令產品對于消費者更具有吸引力和魅力。

如今許多廠商都需要擁有自主的色彩增強技術,“顏色再現增強技術”已成為一個重要的話題。

設備制造商通常采用色彩增強芯片,使用函數曲線或用矩陣轉換方法來做圖像的增強。文獻[1-2]設備中的增強參數是固定的,并且是各種視頻場景序列估計的平均。這樣不能自適應地在各種情況下都起到更好的增強作用。根據人眼對亮度和顏色不同的敏感特性,按照視覺心理特性選擇適當的色度空間,人們在此空間中提出基于小波變換的彩色圖像增強算法。文獻[3-6]中對圖像的顏色校正通常只是對靜止圖像,文獻[7]針對視頻序列并且在幀間采用參數轉換控制技術。

傳統的增強方法存在兩個問題。

(1)參數不是針對所有場景都最優。例如,能提高一個風景場景的圖像對比度的曲線參數,對人臉圖像序列的視覺效果就有損傷。

(2)很難獲得更好的顏色再現。因為傳統的顏色再現對整個圖像的顏色都有影響,不只是所選擇的特殊物體的某些顏色。

對于移動終端來講,人們希望通過最小的成本、最低的功耗達到最佳的主觀質量增強的目的。本文提出的方法經過了在TD-SCDMA智能終端上的應用和驗證。它基于移動終端本身的平臺,在無需增加額外的硬件資源和開銷的條件下,能夠實時地解決視頻通話圖像質量的色彩問題,自適應地提高低照度下亮度和可視度問題,使用戶得到最佳的視頻通話感受和體驗。

1 自適應的明暗亮度可視度增強方法

手機終端在視頻采集的過程中,因為其攜帶的方便和便捷性,拍攝的場景也比較自由、隨意,常常會在咖啡廳、卡拉OK等光照條件較弱或背光的地方,所以拍攝的圖像視頻光線較弱,很難分辨清楚。另外,在手機終端的液晶顯示器上顯示和觀看采集的圖像視頻序列時,因液晶特殊的光電特性,輸入與輸出成非線性關系,使得屏幕不能完全重現原始序列的灰度等級。因此,可視度可能會再一次衰減。針對這些問題,本文通過自適應的明暗亮度可視度增強方法(ADLE)來解決。

1.1 亮度可視度增強方法

由于硬件的Gamma特性,可以用Gamma校正來增強圖像的表現能力。對應偏暗的場景,采用的Gamma值小于1,可以提高場景的亮度和可視度;對應普通場景,由于器件本身的Gamma特性具有一定的暗化特性,采用的Gamma值接近1并略小于1,可以在一定程度上恢復圖像的亮度;對應過亮甚至發白的場景,圖像的視覺效果因缺乏對比度和層次感而降低,這時可以采用大于1的Gamma值來拉伸圖像的動態范圍,增強圖像的層次感和細節可視度。

Gamma校正算法本身是基于對RGB三基色分別進行處理。實驗證明直接對Y分量進行校正與RGB空間校正的顯示效果非常接近,計算速度則更快。在移動終端的應用中,視頻序列在編解碼前后采用的是YUV色度空間,所以為了提高暗場景下的可視度,可以直接對Y分量進行處理。

圖1是Gamma曲線的示意圖,其中x軸表示原始序列的亮度等級,y軸表示經過Gamma校正后的亮度等級,圖中給出了Gamma小于1、Gamma等于1、Gamma大于1這3種情況,分別對應亮度等級提高、不變和降低。

1.2 場景檢測策略

對于Gamma校正方法,如果僅采用固定的Gamma值來校正過暗、過亮圖像,將會導致兩個問題:

很難準確校正明暗程度不同的場景。例如過暗的場景和稍微有點兒昏暗的場景,全部采用同一個Gamma參數值來校正很難做得較好。

采用固定的Gamma值校正,容易導致處在判決閾值附近的場景產生階變而出現閃爍現象。例如處在暗場景和普通場景的閾值附近時,可能因為微小的變化,在閾值的兩側,從極暗場景處理到普通場景處理的相互跳變式切換過程中而產生變化不定。(該現象在由暗到普通場景過渡時尤為明顯。)

針對以上問題,本文采用適當的場景檢測策略,設計11組連續變化的Gamma值,能夠根據場景的明暗程度設定相應大小的Gamma值,并在場景明暗程度發生變化時形成一個平緩的過渡帶,不產生閃爍。同時根據相應的場景檢測策略,對Gamma設定相應值。

(1)場景檢測判斷是否為正常亮度場景

亮度值小于100的像素數如果小于等于整幅圖像像素總數的7/8,則判斷為正常亮度場景,這時可以設定Gamma等于0.9。否則場景偏暗。

(2)判斷場景暗的程度

依據的準則為小于等于某亮度等級(該亮度級從50以步長5開始遞增)的像素數比例是否大于總數的7/8,若符合,則設定相應的Gamma值(該Gamma值從0.7開始以步長0.02遞增)。

(3)構建11組Gamma值對應的LUT。

對從0到255每個亮度等級,針對11個不同的Gamma值(從0.7開始以步長0.02增加到0.9),計算校正后的亮度等級。圖2是Gamma值從0.7至0.9的11條映射曲線(從上至下Gamma值遞增),橫坐標表示輸入亮度等級,縱坐標表示校正后的亮度等級。(過亮的場景在實際應用中很少,所以暫不考慮。)

從圖2可以看出,隨著Gamma值的漸進式變化,對亮度的校正也是漸進的;對于連續變化的場景的校正也具有漸進性,有效避免了校正后亮度的突變。

2 色彩增強

2.1 圖像的偏色

智能手機在可視通話過程中,視頻采集系統可能會造成一定的偏色,使視頻圖像質量的主觀感受下降。圖3所示是在同一個環境下拍攝的人臉圖像,左邊為單反相機拍攝的效果,顏色比較逼真,色彩還原能力強;右邊為中興通訊TD U980(調試版)智能手機的視頻采集系統拍攝的效果,整體色溫偏低,圖像偏紅。偏色的原因很復雜。

(1)與復雜的拍攝環境有關,可能是感光材料本身的影響、拍攝曝光的影響、光源色溫的影響等。

(2)不同軟件間的傳輸、轉換、編輯、各色彩空間的差異等,也是造成偏色的重要原因。因為機器和人眼不同,機器記錄的顏色比較忠實于現場的色溫,能夠記錄到高色溫的青色,比如陰影處發青發藍的偏色等。而人眼可以適應現場色溫,大腦可以調節偏色,例如熒光燈下人眼看到的白色仍然是白色而不會感到有青綠色存在;人眼對紫外線不敏感,陰天和雪景中的高色溫現象也察覺不到,這是視覺惰性。“校正偏色”就是讓機器記錄的色彩信息與人眼看到的狀態相一致,校正這些平時眼睛看不到而機器卻能記錄到的顏色。

(3)偏色另一個非常重要的原因是顯示器的白平衡差異,使本不應偏色的圖像在這些非標顯示器上偏了色。自動白平衡的原理就是基于假定場景色彩的平均值落在一個特定的范圍內,如果測量得到結果偏離該范圍,則通過調整采集系統的對應參數,校正采集系統的測量值直到其均值落入指定范圍。這個處理過程可以基于YUV空間,也可以基于RGB空間來進行。

2.2 視頻采集動態范圍的衰變

為了分析移動終端的攝像頭在室內、熒光燈、正常光照下視頻采集的動態范圍,采用對色卡進行采集、分析的方法。首先選擇一個參照系,該參照系中,視頻圖像采集的主觀質量效果優于手機攝像頭的采集系統。在實驗中,K800手機的視頻采集主觀效果好,所以這里暫以K800手機作為研究U980(調試版)視頻采集動態范圍衰變規律的參考對象。

用U980和K800同時對色卡在同樣的條件下進行采集,在YUV空間上對兩幅圖像各個色塊的顏色偏差進行統計,如圖4、圖5所示。顏色的偏差用UV分量的差值來表示,其中U分量的差值是同一色塊對應的兩幅圖像的U分量值之差,同樣V分量的差值是同一色塊對應的兩幅圖像的V分量值之差。

圖4是UV分量色差在U分量坐標上的統計情況:三角是V分量的顏色偏差,星星是U分量的顏色偏差,橫坐標是U分量的值。可以看出,在U分量的坐標上,V分量的偏差基本上是無規律的,但是U分量的偏差卻是遞減的。同時,在U分量的值較高和較低的情況下,U分量偏差的絕對值較大;在U分量中間的區域,偏差的絕對值較小。

同樣,圖5是UV分量色差在V分量坐標上的統計情況,我們可以得到類似結果。三角表示V分量的偏差,星星代表U分量的偏差。在V分量的值較高和較低的情況下,V分量偏差的絕對值較大;在V分量值的中間部分,偏差的絕對值較小。

如果增加采樣點可以得到更加詳細的色彩偏差圖,從而更細致地對色彩進行校正和增強。當然色彩的增強程度不能太大,參數的調節要具有連續性。

2.3 色彩空間的轉換

人類具有一種對特殊的某些自然物體的記憶色,通常這些記憶色會比物體本身真實的顏色更令人感到賞心悅目。“顏色再現方法”就是對一些自然景物如綠葉、藍天、皮膚、紅蘋果等,產生令消費者和客戶滿意的顏色,而不是維持物體本身具有的顏色信息。

色彩空間轉換查找表的生成大致分為3個過程:

調整色彩分量,改善視頻采集序列的圖像偏色問題;

調節對比度,增加色彩的艷麗、飽和度;

通過對特殊景物色彩的渲染,提高主觀視覺效果。

色彩空間轉換算法的參數,與特定的硬件參數和外界光照環境有關。在具體實驗中本文算法參數的實驗條件是:

硬件環境——U980的前置攝像頭和液晶顯示器;

外界環境——室內環境、熒光燈、正常光照。

(1)色彩的調整

色彩包括色調和色飽和度,所以每一種彩色都是由YUV的3個分量來決定的。對色彩的調整包括分別對Y、U、V的3個分量的調整。

根據對U980前置攝像頭的采集圖像的數據分析,發現采集傳感器對紅分量的感應偏高,同時蘭分量偏低。因此,在YUV空間中,適當調整YUV的3個分量,從而達到相應減小紅分量,提高蘭分量的效果。這里可以利用Gamma非線性校正,對V分量采用系數為:Gamma等于1.03,U分量采用的系數為Gamma等于0.95。Y分量通過分段的線性調整。

(2)對比度調整

調整亮度分量可以調節對比度,這里采用分段調整的方法,從全局和局部都能改善對比度,從而提高主觀質量。

低值對比度拉伸:Gamma為1.03(在亮度值小于80的情況下);高值對比度拉伸:Gamma為0.97(在亮度值大于170的情況下);其他:Gamma為0.99(在亮度值處于80和170之間)。

U980(調試版)攝像頭室內膚色場景亮度色度校正主要是對U980攝像頭在室內視頻通話或拍照常見下的膚色、偏色、亮度不符合人眼的情況進行校正。校正在YUV色域下進行,分別對Y、U、V的3個分量進行映射。

(3)特定色彩的渲染

由于人眼分辨顏色變化的能力是有限的,故對色度差很小的兩種顏色,人眼分辨不出他們的差異,只有當色度差增大到一定數值時,人眼才能覺察出他們的差異,人眼剛剛能覺察出顏色差別所對應的色度差稱為剛辨差(JND)。在CIE色度圖上,不同位置或者同一位置的不同方向,人眼的剛辨差是不相同的。1942年麥克亞當(Macadam)對25種色光進行實驗,在每個色光點大約沿5到9個方向上測量剛變差,結果得到的是一些面積大小各異、長短軸不等的橢圓,稱為麥克亞當橢圓。如圖6所示,人眼對在每一個麥克亞當橢圓內的顏色視為同一種色彩。

根據色彩的剛變差和麥克亞當橢圓的原理,本文找出著重感興趣的幾種顏色及顏色區域,然后作加強處理。在室內正常熒光燈光照下,聯合考慮色度U、V分量,根據實驗測定幾種特定感興趣色彩區域,例如人臉皮膚的顏色、紅色、蘭色、綠色、黑色、黃色的麥克亞當中心點的值,并且近似地估算麥克亞當橢圓為圓,對感興趣色彩區域進行加強增強處理。

在本文算法實驗限定的環境參數下,根據經驗值測出的顏色中心點及調整方法如下:

在人臉膚色中心點(105,150),半徑20之內,則u =u +3,v =v -6;

在黃色中心點(60,155),半徑15之內,則u =u -15,v =v +10;

在紅色中心點(120,165),半徑15之內,則u =u,v =v +3;

在頭發中心點(115,120),半徑10之內,則u =u -2,v =v -2;

在綠色中心點(99,92),半徑15之內,則u =u -8,v =v -15;

在蘭色中心點(150,112),半徑15之內,則u =u -2,v =v -2;

在白色墻中心點(132,125),半徑10之內,則u =u +2,v =v -2。

如圖7是重點顏色區域的校正效果,左邊為原始U980采集的圖像序列,中間為渲染前的色彩增強結果,右邊為渲染后的算法在蘭色、綠色、黃色區域加強處理的效果。

本文的色彩空間轉換的算法由于采用了查表法,在效率上符合智能手機U980的處理能力要求,增強后的效果比原始圖像效果要好,也有較好的穩定性和魯棒性。

3 試驗結果

在PC機上運行本文提出的自適應場景亮度明暗可視度增強算法,在采用3.2 GHz CPU、1G DDR內存和VC6.0 Release模式的軟件環境下,處理尺寸為(176×144)的qcif圖像的視頻圖像序列時,一幀的平均處理時間為0.18 s。

如圖8所示,在(a)、(b)、(c)場景下,從非常暗到稍微暗的場景變化中,可視度增強后的效果也是漸進式的,不會發生跳躍和閃爍。在(d)正常光照下的場景,經過增強后,也不會顯得過白。這說明本算法具有場景自適應性檢測和自適應增強的功能。

在色彩增強實驗中,尺寸大小為(176×144)的qcif圖像,處理一幀的平均時間為0.065 s。色彩增強的實驗結果如圖9所示。左邊為原序列截圖,右邊為處理后的序列截圖。可以看出原圖色調偏紅,層次感差,亮度分布不均,主觀視覺感受昏暗、壓抑;而右圖色彩鮮艷亮麗,層次感較強,亮度分布均勻,其中人臉膚色和背景墻壁部分改善效果尤為明顯。處理后的序列無閃爍,無算法導致的色斑出現,效果更加符合人眼視覺。

4 參考文獻

[1] INOUE A, TAIJIMA J. Selective Color Correction for Arbitrary Hues [J]. ICIP, Vol 3, 1997: 38-41.

[2] SMITH A.R. Color Gamut Transformation Pairs [J]. Computer Graphics, Vol.12, 1978: 12-19.

[3] HUNT: R W G. Objectives in Colour Reproduction [J]. Photographic Science, Vol.18, 1970: 205-215.

[4] YENDRIKHOVSKIJ S N. Optimizing Color Reproduction of Natural Images [R]. 6th Color Imaging Conference, 1998.

[5] INOUE A, TAJIMA J. Adaptive Quality Improvement Method for Color Images [J]. SPIE, Vol.2179, 1994: 429-439.

[6] TSUKADA M, FUNAYAMA C, TAJIMA J. Automatic Color Preference Correction for Color Reproduction [J]. SPIE, Vol.4300, 2001: 216-223.

[7] SUZUKI T, INOUE A, TSUKADA M, TAJIMA J. Adaptive Image Quality Improvement Method for Moving Pictures using Smoothing Parameter Transition and Scene Cut Detection [R]. the European Conference on CGIV, 2002.

收稿日期:2009-06-28

作者簡介

金輝,博士,哈爾濱工業大學畢業,現工作于中興通訊股份有限公司方案營銷部,主要研究方向為人工智能、模式識別、視頻處理、數據壓縮,已發表論文10余篇。