基于改進的MSR算法在軟件視頻會議系統上的應用*

謝小軍，孔偉偉

(1.國網安徽省電力公司信息通信分公司，安徽 合肥 230061；2.國網電科院安徽南瑞繼遠軟件有限公司，安徽 合肥 230088)

基于改進的MSR算法在軟件視頻會議系統上的應用*

謝小軍1，孔偉偉2

(1.國網安徽省電力公司信息通信分公司，安徽 合肥 230061；2.國網電科院安徽南瑞繼遠軟件有限公司，安徽 合肥 230088)

視頻會議是一種應用廣泛的會議方式，由于光照、視頻采集設備品質、網絡帶寬等外界復雜因素的影響，常常導致視頻會議視頻圖像質量下降。在多尺度Retinex濾波(MSR)算法的基礎上，使用雙邊濾波獲取原始圖像的高低頻信息，然后采用顏色約束方法和增益補償方法增強經過雙邊濾波處理后的高頻反射圖像。通過主觀體驗和客觀評價，改進算法增強了視頻圖像，同時保留了邊緣細節，應用于軟件視頻會議系統，提高了視頻圖像的清晰度，改善了視覺效果。

視頻會議；圖像增強；MSR；雙邊濾波；顏色約束；增益補償

1 引言

近年來，隨著網絡多媒體技術的飛速發展，人們期盼新一代多媒體通信技術能夠完美融合語音、文字和圖像等功能[1]。視頻會議系統通過視頻、聲音等方式使得在地理上分散的用戶得以實現即時的交流溝通[2]。

目前分組交換網上的視頻會議系統都是基于嵌入式硬件實現的體系結構，各種不同的終端都需接入多點控制單元MCU(Multiple Control Unit)進行集中交換，組成一個視頻會議網絡[3]，實現多點交互和音視頻處理以及各項會議功能，其不足之處是對帶寬要求高，部署價格昂貴，且數據處理功能不足[4]。因此，軟件視頻會議系統模式逐漸成為當今視頻會議系統發展的大趨勢，它具有豐富的數據協作、會議管理和控制功能并且能個性化地定制；另外純軟件系統在硬件設備上維護量小，投資靈活[5]。但是，由于軟視頻系統從實際場景采集視頻圖像受現場環境的光照不足及攝像頭配置參數的影響，再加上本身處理音視頻能力的局限性，以及傳輸過程中造成的抖動、延時、丟包等問題[6]，使得客戶端接收的視頻質量受損，影響視覺效果，例如，視頻圖像噪聲嚴重、亮度與對比度失衡、局部顏色失真等。本文針對這些問題，使用基于改進的MSR(Multiple Scale Retinex)算法對軟件視頻會議中的視頻圖像進行增強，實時優化視頻圖像幀，改善圖像質量，提高視覺效果。

2 經典MSR算法

Retinex理論是一種自適應圖像增強算法[7]，其理論基礎是顏色的恒常性，即物體的顏色是由物體對不同波長光線的反射能力來決定的，光照無法影響物體的色彩[8]；由此可知，Retinex理論將圖像視為由含有物體本質信息的反射圖像與光照作用在物體上形成的干擾性的光照圖像[9]。

本文基于上述原理通過在原始圖像中檢索或降低光照圖像的影響，得到物體的反射圖像，獲得物體的本質信息。若原圖像為彩色圖像，則將其按R、G、B三分量分為三幅圖像分別處理。

(1)

(2)

一般將光照圖像假設估計為空間平滑圖像，可由卷積項得到：

(3)

(4)

(5)

其中，c為高斯環繞函數的尺度常數，尺度c的大小決定了卷積核的作用范圍。尺度c越小，圖像的邊緣紋理等細節突出，但圖像的顏色失真嚴重；尺度c越大，圖像顏色豐富協調自然，但是細節不明顯。K為歸一化因子，滿足：

(6)

單尺度Retinex算法通過去除根據卷積獲得的低頻部分，得到原始圖像的高頻部分。但是，單個尺度不能滿足動態范圍壓縮大和色彩保真度高以及邊緣銳化等狀態。因此，需要采用多尺度Retinex算法，即MSR，它對原始圖像在多尺度下進行SSR運算，最后將結果加權線性疊加，獲取最佳的視覺效果，數學形式如下：

(7)

其中，N為采用的尺度個數，ωn為對應尺度的權值，為了使各尺度對處理結果貢獻相同的作用，取值1/N。

MSR算法是基于對不同尺度SSR進行加權平均處理的結果，既能很好地完成圖像的動態范圍壓縮，又可以保證圖像的顏色協調性，削弱“光暈”現象，增強圖像的處理效果。但是，傳統MSR算法具有如下的缺點，如放大平滑區域噪聲、在明暗對比強烈處容易產生暈環。其原因在于MSR算法獲得的光照圖像為低頻信息，而在使用高斯濾波獲取光照圖像的過程中會在明暗交界處造成暈環的產生。

3 改進的MSR算法

MSR算法通過去除原圖像中低頻的光照圖像，對保留的高頻反射圖像歸一化顯示作為最后的結果。這樣一來噪聲不僅得以保留且后續的歸一化過程有進一步增大噪聲的效果。為克服經典MSR算法的這一不足，本文采用雙邊濾波代替高斯濾波進行光照估計，并對反射圖像采用雙邊濾波進行處理，雙邊濾波可以更好地控制圖像的亮度，減少噪聲和光暈效果。具體如下：

‖p-q‖)Gσr(Ip-Iq)Iq

(8)

(9)

當分別增強一幅圖像的R、G、B分量時，個別像素點原始的RGB比例關系可能會改變，從而對整幅圖像的色彩構成造成影響。為了減小這種可能造成圖像色彩失真的影響，本文引入了顏色約束方法，即通過原始圖像中RGB三個通道之間的比例關系，對反射圖像進行處理。該約束方法通過延續圖像原有的色彩比例，對可能的色彩失真進行調整，以增強色彩的協調性。顏色約束方法如下：

(10)

(11)

上述顏色約束方法通過對處理后的圖像延續原始圖像的色彩比例，可以最大程度地復原原圖像的色彩信息，克服圖像發灰情況。但是，文獻[10]指出MSR理論模型依賴于灰度世界假設，即僅在原圖像符合灰度世界假設時MSR可以取得較好的處理效果，當原始圖像不符合灰度世界假設(灰度世界是假設當一幅圖像具有足夠多的顏色變化時，任意像素三個顏色通道的平均反射分量近似相等)，即存在偏色或退化時，經過MSR算法本來已經校正的圖像偏色，再采用顏色約束方法延續原圖像的RGB分量比例關系將會導致色彩再次失真。為此，本文為顏色約束方法設立判據，當原始圖像符合灰度世界假設時，才使用顏色約束方法，反之則不采用。

由于MSR的計算通常在對數域內進行，最終得到的反射圖像像素值往往較小，其像素值的動態范圍也很小，不能滿足圖像0～255的顯示范圍，為了方便觀察還需將處于對數域數值范圍內的反射圖像進行增益補償方法，使其值歸一化到0～255，滿足圖像顯示的要求。

(12)

其中，Rci為反射圖像的像素值，Rup和Rlow為增益范圍的上下限，dmax為圖像顯示范圍的上限，一般為255。

傳統MSR算法采用反射圖像的最值作為增益范圍的上下限，這樣一來如果R、G、B三分量中的某一分量具有較其它兩個分量更大的分布范圍時，會使增強后的圖像出現該分量上的色偏。本文將通過控制各分量的增益范圍達到消除色偏的目的，考慮到反射圖像的像素數值分布類似于正態分布，故采用其置信區間的大小作為增益范圍的大小，集合圖像中大部分像素點的置信區間作為增益范圍，可僅對各分量中數值大小較為集中的像素進行歸一化，從而避免了漂移像素值對歸一化的影響。置信區間數學描述如下：

(13)

其中，μi和σi分別為Ri的均值和均方差，A為調節增益范圍參數，A越小則對比度越高，但如果A取值過小則參與歸一化過程的像素過少，導致圖像色彩不豐富，一般取2～3。

4 實驗結果分析

為了分析改進算法的實際效果，本文采用控制變量法，在每組對比中使相對應的處理步驟不同，而其余步驟保持相同，以展現出該步驟的效果。在這里，MSR算法的尺度數K=3，尺度分別為c1=20、c2=80、c3=140。

實驗圖片為安徽省電力公司軟件視頻會議視頻圖像截圖，視頻圖像的不足主要體現在色彩對比不明顯，昏暗，將改進的MSR算法嵌入基于DirectShow架構的采集軟件中，對顏色分量進行增強，實現對視頻圖像的優化。

Figure 1 Original video capture for contrast experiment

(1)不同濾波方法對圖像增強效果的分析。

Figure 2 Effect pictures of Gaussian filtering and bilateral filtering enhancement

由于MSR算法本質是通過去除原始圖像中低頻的光照圖像，增強保留下來的高頻反射圖像，以獲得理想的視覺效果。對高頻反射圖像的增強，也就意味著其中的噪聲會同步得到增強，如圖2a左下方的桌板處可以看到噪聲的存在。本文算法將在增強反射圖像前使用在細節保持方面具有良好表現的雙邊濾波進行降噪處理，如圖2b所示，經方差為5和10的雙邊濾波后在同樣的桌板部分噪聲得到了一定程度的消除。

(2)顏色約束方法對圖像增強效果的分析。

使用顏色約束方法可以使增強后的圖像保持原始圖像的色彩比例信息，即在色彩信息上保持與原始圖像的一致性，但前提是原始圖像符合灰度世界的假設。在該幀圖像中RGB的比例關系為4.21∶4.26∶4.13，近似相等，可視為符合灰度世界假設。如圖3a所示，經過增強的圖像整體發灰，影響到主觀的視覺觀感。在采用顏色約束方法的圖3b中，圖像的色彩變得更為豐富協調。

Figure 3 Effect pictures with and without color constraints

(3)增益補償范圍對圖像增強效果的分析。

Figure 4 Histogram distribution for each channel

對比兩圖，可以發現以最值確定增益范圍的圖像存在著明顯的色偏。圖4為各通道的直方圖分布，分析RGB各分量的直方圖分布可知，紅色的R分量分布得最為分散且加之其最小值為-0.01，在增益補償方法中，將過于分散的R分量置于與G、B分量相同大小的顯示區間內，將造成R分量獲得較G、B兩個分量更大的增強幅度，使整幅圖像出現色偏，呈現出淡紅色，如圖5a所示。而以置信區間大小確定增益范圍的圖5b色偏現象基本得到了抑制，這是由于置信區間縮小了需要增強的空間分量通道值，使RGB三分量像素點均保留了相似的直方圖分布與相差不大的通道值區間長度，從而使各分量的增益補償幅度相當，保持了原有的分量比例，沒有色偏現象的產生。其中調整增益范圍的參數A=2。

Figure 5 Effect pictures of gain compensation enhancement

(4)不同算法對視頻會議圖像幀增強效果的對比分析。

對比觀察如圖6所示的圖片，可以明顯感到圖6e具有最佳的視覺體驗。圖6b為直方圖均衡的結果，畫面亮度改善不明顯，細節處也不夠精細。圖6c將MSR增強由RGB空間轉化到HSV空間，畫面出現嚴重失真。圖6d為經典MSR算法處理后的圖像，畫面色彩過于飽和，以至于人與背景間存在著明顯的白色光圈，使得過渡極不自然。

Figure 6 Comparison of the four image enhancement methods

在該組對比中，除了使用主觀視覺體驗外，還將采用客觀指標顯示不同方法的增強效果。以下為各種客觀指標的定義。

亮度反映了圖像整體的明暗效果，方差說明圖像灰度層次豐富程度。

(14)

(15)

信息熵是對圖像所包含的信息量的度量。信息熵越大，表示圖像的紋理越復雜，包含的信息越多。圖像的信息熵可以定義為：

(16)

其中，pi表示圖像的第i個灰度級出現的頻率。

清晰度定義為每一點像素值向其鄰域擴散程度，擴散程度越劇烈，清晰度的值越大，表示圖像的局部細節越清晰。圖像的清晰度可表示為：

(17)

表1為實驗原圖以及不同算法對圖像進行處理后，采用上述定義獲得的指標值。

Table 1 Parameters of different algorithms表1 圖像指標值對比

由表1可知，各種增強算法都對客觀指標有所改變。綜合評價，本文算法的各指標值都處在較高的水平。在圖像的方差和信息熵這兩項指標上要高于其它方法，說明圖6e具有更豐富的視覺展現，包含更多的信息量。合適的亮度與清晰度使畫面顯得明暗適中，過渡自然。這里需要注意的是如圖6c的方法雖然大多數指標高于本文算法的指標，但其視覺體驗明顯要遜于本文算法。所以，在圖像處理領域，并不能單純地以指標的高低衡量圖像質量的好壞，人眼的主觀視覺體驗往往占有很重要的地位。

(5)改進算法對局部曝光圖像的處理效果。

在室內會議中往往存在著光照分布不均的情況，使視頻圖像出現明暗相伴的現象。由于Retinex算法對暗區域有更好的恢復能力，因此對明暗相伴的情況，本算法具有良好的優化效果，圖7為采用改進MSR算法對局部曝光視頻圖像的處理實驗結果圖。

Figure 7 Original picture and the of image enhancement by our method

對比兩圖可以發現，經過處理后的圖像暗區域的亮度有著顯著的提升，細節顯示得更加清晰。通過對客觀指標的計算發現處理后圖像的均值、信息熵和清晰度三項指標都明顯高于原圖像，如表2所示，說明了本文算法對局部曝光圖像處理的有效性。

Table 2 Comparison of image parameter values表2 圖像指標值對比

(6)不同算法處理單幀圖像時間。

表3展示了上述經典算法與改進后MSR算法處理單幀圖像所需時間的對比，改進的算法所花費的時間要高于這些經典算法，但是1秒鐘能處理35幀左右，而視頻會議1秒鐘僅傳輸25幀，改進的算法依舊能滿足視頻會議圖像幀的實時處理。

Table 3 Time needed for processing a single frame image with different methods表3 處理單幀圖像所需時間

5 結束語

Retinex是一種基于人眼生理構造的數學模型。MSR算法是利用Retinex模型進行增強的經典方法。本文根據經典MSR算法的不足給出了改進方法，首先使用雙邊濾波將原始圖像分為低頻和高頻圖像信息，再利用雙邊濾波對高頻圖像進行降噪處理，最后使用顏色約束和增益補償方法增強高頻圖像，使高頻圖像可以得到優化顯示。本文在實驗對比環節從人眼主觀視覺體驗和客觀指標評價兩方面將本文算法和不同的增強算法進行了比較，對比結果表明本文提出的算法有較好的增強效果。

[1] Zhou Zheng,Feng Wei-dong,Ye Lu,et al, Video conference system image evaluation and quality enhancement method is analysed[J]. Technology and Application of Network Security,2014(4):105-107.(in Chinese)

[2] Chen Xin-jun. The design and implementation of embedded video conference system[D].Chengdu: University of Electronic Science and Technology,2013.(in Chinese)

[3] Hu Min,Liu Liu-cheng,Liu Peng. The design and implementation of video conference system based on WebRTC[J]. Video Engineering,2013,37(1):141-144.(in Chinese)

[4] Li Yong-jie, Chang Ying, Wang Xin, et al. System architecture and analysis of Henan electric power video-conference[J]. TV Engineering, 2014,38(19):221-224.(in Chinese)

[5] Zheng Yan,Li Long-teng,Liu Chun-xiao,et al. Design of interactive remote video conference system based on multi-agent[J]. TV Engineering,2013,37(1):144-146.(in Chinese)

[6] Lee M.Implementation of stable video conference system[C]∥Proc of ICCE, 2013:442-445.

[7] Liu C-H,Hsu W-F.The study of video conference transmission security as an example on Windows Live[C]∥Proc of NCM, 2010:505-508.

[8] Li Ying. Image enhancement algorithm based on the theory of the Retinex research[D].Xi’an: Northwest University,2014.(in Chinese)

[9] Chen Chao. Single scale Retinex algorithm in the application of the image enhancement[J]. Computer Applications and Software,2013,30(4):55-58.(in Chinese)

[10] Lee C-H,Shih J-L.Adaptive,multiscale retinex for image contrast enhancement[C]∥Proc of SITIS,2013:43-50.

[11] Fu Xue-yang, Sun Ye.A novel retinex based approach for image enhancement with illumination adjustment[C]∥Proc of ICASSP,2014: 1190-1194.

附中文參考文獻：

[1] 周正,馮偉東,葉露,等.視頻會議系統圖像評價及質量增強方法淺析[J]. 網絡安全技術與應用,2014(4):105-107.

[2] 陳新軍.嵌入式視頻會議系統的設計與實現[D].成都:電子科技大學,2013.

[3] 胡敏,劉六程,劉鵬.基于WebRTC的視頻會議系統的設計與實現[J].電視技術,2013,37(1):141-144.

[4] 李永杰，常穎，王欣，等.河南電力視頻會議電視系統架構與分析[J].電視技術,2014,38(19):221-224.

[5] 鄭炎,李龍騰,劉春曉,等. 多Agent協作可交互的遠程視頻會議系統的實現[J].電視技術,2013, 37(1): 144-146.

[8] 李瑩.基于Retinex理論的圖像增強算法研究[D].西安:西北大學,2014.

[9] 陳超.改進單尺度Retinex算法在圖像增強中的應用[J].計算機應用與軟件,2013,30(4):55-58.

謝小軍(1975-),男,安徽涇縣人，碩士，高級工程師，研究方向為視頻會議系統的運行管理及研究。E-mail:xiaojunxie@163.com

XIE Xiao-jun,born in 1975,MS,senior engineer,his research interests include the research and application of video conference and enterprise information.

An application of an improved MSR algorithm in software video conference system

XIE Xiao-jun1,KONG Wei-wei2

(1.State Grid Information Communication Company of Anhui Province Power Company,Hefei 230061;2.Anhui NARI Jiyuan Software CO.,LTD.,SOEPRI,Hefei 230088,China)

Video conferences, a new type of conference in the internet age, have been widely used. Due to the influence of the external factors such as light, video acquisition device quality and network bandwidth, the quality of images of video conferences may deteriorate. Based on the multiple scale Retinex (MSR) algorithm, we divide the original images into illumination images of low frequency and high frequency reflection images by the bilateral filtering technique. And then the color constraints method and the gain compensation method are adopted to enhance the high frequency reflection images. Subjective experience and objective evaluation show that the improved algorithm enhances video images and preserves edge details when applied to soft video conferences, thus providing a better visual effect.

video conference;image enhancement;MSR;bilateral filtering;color constraints;gain compensation

1007-130X(2015)09-1730-06

2014-12-08;

2015-01-31

TN391.4

A

10.3969/j.issn.1007-130X.2015.09.022

通信地址：230061 安徽省合肥市包河區黃山路9號

Address:9 Huangshan Rd,Baohe District,Hefei 230061,Anhui,P.R.China