基于直方圖匹配的多視點視頻亮度相關性處理算法

安徽工程大學機電學院 段 毅

?

基于直方圖匹配的多視點視頻亮度相關性處理算法

安徽工程大學機電學院 段 毅

【摘要】多視點間的亮度差異是降低編碼效率的主要原因之一。本文針對亮度差異介紹了直方圖匹配算法的亮度差異補償的方法，得到校正后的圖像。從圖像主觀視覺比較、相關系數和峰值信噪比三方面檢驗其效果。實驗結果表明基于直方圖匹配的亮度相關性增強技術能夠較好地補償亮度差異，且具有復雜度低的優點。

【關鍵詞】多視點視頻；亮度補償；直方圖匹配；累積直方圖；直方圖相關系數

引言

多視點視頻是由多個攝像機對同一場景進行拍攝，相鄰攝像機的視點畫面內容是十分相近的，所因此相鄰視點間的畫面具有很強的相關性［1］。若分別進行單獨的視頻編碼，將會消耗大量的存儲空間，在很大程度上都是冗余信息。因此，采用視點間預測，則能夠大幅提高編碼效率，減小存儲空間［2］。

實際中由于拍攝角度、攝像機參數等差異性，造成視點間畫面亮度值和色度值的不一致，使視點間的相關性減弱，補償相視點亮度差異可增強空間畫面相關性，提升編碼空間效率［3］。本文研究了基于直方圖匹配的亮度相關性增強技術。

1、圖像的亮度直方圖和累計直方圖

直方圖是對圖像數據進行統計的一種方式［4］。亮度直方圖，即對一幀圖像的各像素的亮度值進行統計，畫面的每一個像素亮度是按一個字節存儲的，共有256個亮度值即每個亮度值出現的概率，如圖1 （a）所示。反映了在一幀圖像中各不同亮度的像素分布狀況。

累積直方圖是亮度直方圖的累計圖，每一個亮度點的累計概率值便是小于等于該亮度值的所有亮度點的出現概率的累加，如圖1（b）所示。

圖1　圖像的亮度直方圖和累積直方圖

2、直方圖匹配算法

本文通過亮度直方圖匹配的方法來校正相鄰視點之間的圖像亮度差異［5］。

直方圖匹配的第一步是計算相鄰視點同一時間幀的亮度直方圖，公式（1）給出了圖像的的亮度直方圖計算公式：

其中w表示圖像的寬度，h表示圖像高度，u表示圖像的亮度等級，Hpicture（u）表示圖像中亮度值為u的像素所占的百分比。Ipicture（i，j）表示像素（i，j）處的的亮度值。

通過亮度直方圖匹配的方法來建立參考圖像和原始圖像亮度直方圖之間的映射函數需要經過以下兩步：

（1）計算出參考圖像和原始圖像的亮度累積分布函數——亮度累積直方圖，該累積直方圖由以下公式（2）求得：

式中，Cpicture（u）為表示圖像中亮度值小于或者等于u的像素占總像素的百分比。

由于計算機的浮點型數總是有精度限制，累積起來最后的Cpicture（255）可能不等于一，最后還要對累積直方圖進行簡單修正。

（2）得到兩幅相鄰視點圖像的亮度累積直方圖后，再通過累積直方圖的對應關系建立亮度變換的映射函數，使得校正后的圖像和參考圖像的累積直方圖在每個亮度值處具有相似的數值。可使用下面的公式（3）得到映射函數。

公式（3）中，Map表示亮度映射函數，Cref（u）和Corg（v）分別代表參考圖像和原始圖像的亮度分量累積直方圖，當條件滿足時，表示原圖像中亮度值小于或者等于v的像素和參考圖像中亮度值小于或者等于u的像素數目近似。

此時，便用這種亮度等級的累積發生概率的近似相等作為我們求亮度映射函數的標準。以此我們便得到了兩幀圖像之間的亮度映射函數，得到了兩圖像亮度之間的近似差異對應關系。

3、直方圖匹配算法性能實驗分析

從中3DAV特別小組提供的標準多視點視頻序列中選出四組進行性能測試：Exit，Rena，Race1和Flamenco2。選出每一組序列中的兩個視角圖像進行直方圖匹配后分析。

（1）主觀視覺感受分析比較

通過對測試序列的原始圖像和參考圖像的進行亮度直方圖匹配，我們得到了校正后的圖像。通過肉眼可以明顯看出，相比于原始圖像來說更加接近于參考圖像，校正后的圖像亮度明顯更加相近于參考圖像。這里從主觀視覺感受上驗證了亮度直方圖匹配的效果，對比來看，其效果是顯著的。

（2）累積直方圖相關系數分析比較

直方圖匹配前后的圖像和參考圖像之間的亮度累積直方圖相關系數如表1所示。該表中的數據是取同一序列一對相鄰視點的60幀圖像匹配前后的累積直方圖相關系數的平均值。通過相關系數比較，可以明顯看出修正后的圖像的累積直方圖與參考圖像的更強，幾乎達到一致。

表1　亮度補償前后圖像和參考圖像累積直方圖相關系數和PSNR值

（3）PSNR值分析比較

對亮度補償前后圖像和參考圖像PSNR的比較分析結果如表1所示，同樣，該表中的數據是取同一序列一對相鄰視點的60幀圖像一一匹配前后的與參考圖像PSNR的平均值。可以看出，除了Flamenco2序列經過直方圖匹配后的圖像與參考圖像的PSNR有所下降外，其他序列的都有較大提高。

4、總結

從視覺主觀效果對比、累計直方圖相關性對比和匹配前后圖像與參考圖像亮度PSNR系數對比三個方面分析了直方圖匹配算法的性能。結果均反映出亮度直方圖匹配算法在亮度補償方面具有十分顯著的效果。直方圖匹配增強了相鄰視點間的相關性，提高空間預測的效率，減少編碼時所需存儲空間，并且算法復雜度低，大大降低對硬件速度或軟件復雜度的需求。

參考文獻

［1］Yun He， J?rn Ostermann， Masayuki Tanimoto， et al. Introduction to the Special Section on Multiview Video Coding. IEEE Trans. Circuits and Systems for Video Technology.2007，17（11）： 1433-1435.

［2］Schwarz H，Wegner K，Rusert T.Overview of 3DV Coding Tools Proposed in the Call for Proposals［C］//Proceedings of Moving Pictures Experts Group the 98 th Meeting.Geneva：MPEG， 2011：1-6.

［3］楊旭，常義林，霍俊彥，等.一種三維視頻深度圖像快速幀內編碼方式［J］.西安電子科技大學學報，2012，39（3）：7-13.

［4］楊海濤，常義林，霍俊彥，等.一種基于亮度直方圖的自動曝光控制方法.光學學報.2007，27（5）：841-847.

［5］汪世剛，呂東輝.基于最優聚類數和直方圖匹配的圖像彩色化方法［J］.計算機應用，2010，30（2）：20-23.

作者簡介：

段毅（1988-），男，安徽蕪湖人，碩士，助教，研究方向：智能信號處理。