基于多興趣區(qū)域融合的視頻增強(qiáng)算法研究

梁龍飛，陳遠(yuǎn)哲，戴莉勤，林巍峣，田 廣

(1.博康智能網(wǎng)絡(luò)科技股份有限公司，上海 200233;2.上海交通大學(xué)電子工程系，上海 200240;3.上海市電力公司市區(qū)供電公司，上海 200080)

責(zé)任編輯:時 雯

1 視頻增強(qiáng)算法簡述

隨著互聯(lián)網(wǎng)和多媒體通信設(shè)備的快速發(fā)展，視頻服務(wù)的應(yīng)用越來越廣泛。但在實(shí)際應(yīng)用中，由于受光照條件、曝光程度以及傳輸帶寬、存儲容量等方面的限制，其質(zhì)量難以保證。因此，通過視頻增強(qiáng)算法來保證高質(zhì)量的視頻服務(wù)，是目前最實(shí)際有效的方法。

視頻增強(qiáng)的算法可以大致分為兩類:第一類是將整個視頻幀看成一個整體來進(jìn)行增強(qiáng)［1－8］。該方法通常通過提取整個視頻幀的某幾個特征來描述一幀圖像，例如全局直方圖等。然而，由于沒有考慮視頻幀內(nèi)部不同區(qū)域之間的差異，該方法不能保證對視頻中的每個關(guān)鍵區(qū)域都進(jìn)行適當(dāng)?shù)脑鰪?qiáng)。第二類算法會針對視頻幀中的關(guān)鍵區(qū)域提取特征，然后有針對性的進(jìn)行增強(qiáng)［9－10］。但大多數(shù)這類算法僅考慮了某一特定區(qū)域，因此其他區(qū)域的增強(qiáng)效果得不到保證，不具有普適性。

文獻(xiàn)［10］提出了一種基于學(xué)習(xí)的視頻增強(qiáng)算法。文獻(xiàn)［11］將該算法推廣到針對視頻幀中的兩個興趣區(qū)域。然而，由于實(shí)際應(yīng)用中往往需要同時增強(qiáng)視頻幀中的多個視頻內(nèi)容，該算法依然有較大的局限性。基于上述討論，本文提出了一種新的視頻增強(qiáng)算法。

2 基于多興趣區(qū)域融合的視頻增強(qiáng)算法

本文提出的視頻增強(qiáng)算法的系統(tǒng)框圖如圖1所示。該算法首先提取當(dāng)前幀中的感興趣區(qū)域。然后對各個提取出的興趣區(qū)域分別用混合高斯建模其顏色分布，并對每個區(qū)域構(gòu)造映射函數(shù)。接著，利用本文提出的漸進(jìn)融合策略對多個區(qū)域的構(gòu)造映射函數(shù)進(jìn)行融合，得到全局的映射函數(shù)，并將該全局映射函數(shù)應(yīng)用于當(dāng)前幀。最后，利用相鄰幀的時間相關(guān)性對當(dāng)前幀進(jìn)行進(jìn)一步融合即可得到最終的增強(qiáng)結(jié)果。本文將對框圖中的各個步驟進(jìn)行詳細(xì)闡述。其中，興趣區(qū)域的混合高斯建模、漸進(jìn)融合策略和基于時域相關(guān)性的融合是本算法的關(guān)鍵部分，將著重予以介紹。

2.1 興趣區(qū)域的提取及混合高斯建模

本文以視頻會議和視頻監(jiān)控等為主要應(yīng)用場景，利用基于Harr特征和Adaboost分類器的檢測器［12］檢測人臉、白板、人手、車輛等目標(biāo)作為興趣區(qū)域。

圖1 基于多興趣區(qū)域融合的視頻增強(qiáng)算法系統(tǒng)框圖

然后對一個興趣區(qū)域的RGB三個顏色通道分別用一個混合高斯模型進(jìn)行擬合。每一個混合高斯模型都可以看成是多個高斯模型的加權(quán)和。這樣做的好處在于，即使興趣區(qū)域的顏色分布較為復(fù)雜(比如含有多個主顏色成分)，仍能有效地建模并進(jìn)行適當(dāng)?shù)脑鰪?qiáng)。實(shí)驗(yàn)中取混合高斯模型的高斯分布數(shù)量為2，并采用最大期望算法(EM algorithm)［13］進(jìn)行求解。

2.2 興趣區(qū)域映射函數(shù)的構(gòu)建

在求得混合高斯模型后，需要對每個興趣區(qū)域構(gòu)建映射函數(shù)。本文采用文獻(xiàn)［10］中的基于學(xué)習(xí)的算法來計(jì)算映射函數(shù)。該算法在文獻(xiàn)［10］中有詳盡的描述，這里只對其思想進(jìn)行簡述:該算法利用高質(zhì)量的訓(xùn)練圖像進(jìn)行學(xué)習(xí)，從而得到高質(zhì)量視頻特征所對應(yīng)的典型分布。在處理待增強(qiáng)視頻時，也同樣求得其對應(yīng)特征的分布函數(shù)，然后用函數(shù)映射將該分布函數(shù)變換成和典型分布像類似的分布函數(shù)，從而達(dá)到增強(qiáng)的效果。原理上分析，高質(zhì)量的圖像通常給興趣區(qū)域分配了較多的色彩資源，因此函數(shù)映射的目的就是使待增強(qiáng)視頻中的興趣區(qū)域也能得到類似的色彩資源，從而達(dá)到更好的視覺效果。

本文提出的策略將先對單個高斯分布采用文獻(xiàn)［10］的方法求取映射函數(shù)，然后再利用融合策略將多個映射函數(shù)融合成一個全局映射函數(shù)。具體的融合策略將在下文介紹。

2.3 漸進(jìn)融合策略

利用前兩節(jié)闡述的方法可得到每個興趣區(qū)域中每個高斯分布對應(yīng)的映射函數(shù)，以 Fi，j，k(x)表示，其中i是第 i個興趣區(qū)域，j是顏色通道的序號，k是高斯分布的序號。融合策略的目標(biāo)是對每一個顏色通道得到一個全局的映射函數(shù)，該函數(shù)盡可能地在該顏色通道對應(yīng)的高斯分布均值的周圍貼近對應(yīng)的映射函數(shù)。全局映射函數(shù)用一個光滑單調(diào)的函數(shù)對原有的分布進(jìn)行映射，從而不會改變圖像色彩的連貫性。如果采用不同映射函數(shù)對不同興趣區(qū)域進(jìn)行映射的話，很容易在邊緣產(chǎn)生不自然的邊緣痕跡，從而嚴(yán)重影響視頻質(zhì)量。

文獻(xiàn)［11］提出了一種對兩個映射函數(shù)融合的方法，簡述如下:若兩個興趣區(qū)域的重疊面積較大，采用基于分段的融合方法;若重疊面積較小，采用基于參數(shù)的融合方法。基于分段的融合方法可由式(1)、式(2)來表示

式中:F1，F(xiàn)2為兩個單高斯分布對應(yīng)的映射函數(shù);m1，m2，σ1，σ2分別為兩個高斯分布的均值和標(biāo)準(zhǔn)差;t1，t2，α 均為參數(shù)，在實(shí)驗(yàn)中分別取值為0.9，0.5，1。利用與式(2)對稱的限制條件可以類似地求出FPB，2(x)。

此外，基于參數(shù)的融合方法可由式(3)表示

圖2給出了一個基于分段融合的實(shí)例，其中包含兩個興趣區(qū)域。從圖2中可以看出，融合后的映射函數(shù)由兩部分組成，其中第一部分與第一個興趣區(qū)域在其主要顏色范圍內(nèi)(m1－ασ1，m1+ασ1)的映射函數(shù)(虛線段)很接近，而第二部分與第二個興趣區(qū)域在其主要顏色范圍內(nèi)(m2－ασ2，m2+ασ2)的映射函數(shù)(點(diǎn)劃線)很接近。因此，兩個興趣區(qū)域都可以通過融合后的映射函數(shù)得到適當(dāng)?shù)脑鰪?qiáng)。

圖2 基于分段融合的實(shí)例

然而，該方法不能處理多個興趣區(qū)域的同時增強(qiáng)。因此，本文提出一種漸進(jìn)融合策略，可以對多個興趣區(qū)域的多個映射函數(shù)進(jìn)行融合，過程如下。

1)對第 i個興趣區(qū)域，以 Li，j=mi，j－ ασi，j，Ri，j=mi，j+ασi，j標(biāo)識其j個顏色通道中的主要顏色成分區(qū)域的左右邊界。其中，mi，j是該興趣區(qū)域的 j通道顏色均值，σi，j是該興趣區(qū)域的 j通道顏色方差。也就是說，［Li，j，Ri，j］表示興趣區(qū)域i在j個顏色通道中的范圍。

2)根據(jù)式(5)，選取兩個顏色重合區(qū)域最大的興趣區(qū)域 (LA，RA)，(LB，RB)

3)利用式(1)～(4)對興趣區(qū)域 (LA，RA)，(LB，RB)對應(yīng)的映射函數(shù)進(jìn)行融合。

4)將步驟3)中得到的結(jié)果看作是一個新的大興趣區(qū)域，并用 (LAB，RAB)=(min(LA，LB)，max(RA，RB))表示該大興趣區(qū)域的顏色范圍。

5)重復(fù)步驟2)～5)，直到所有的興趣區(qū)域合并成一個大興趣區(qū)域，并得到最終的全局融合映射函數(shù)。

漸進(jìn)融合的策略就是每次選取最接近的兩個興趣區(qū)域進(jìn)行融合，并將得到的結(jié)果認(rèn)為是一個更“大”的興趣區(qū)域。不斷重復(fù)這個過程，直到僅剩下一個大興趣區(qū)域，這個大興趣區(qū)域?qū)?yīng)的映射函數(shù)就是全局映射函數(shù)。通過這種選取策略，每次選取的興趣區(qū)域的主要顏色區(qū)域(即［Li，j，Ri，j］)之間通常不會含有其他興趣區(qū)域的主要顏色區(qū)域，因此就不會影響到已融合高斯分布主要區(qū)域的增強(qiáng)效果。另外，要注意的是，如果一個興趣區(qū)域包含了多個高斯分布(即2.2節(jié)中的混合高斯分布)，可以先將這些高斯分布拆開成多個“微小”興趣區(qū)域，然后再利用上述步驟將這些微小興趣區(qū)域與其他區(qū)域進(jìn)行融合，這樣就可以防止在融合中對已融合的部分造成影響，從而保證增強(qiáng)的效果。

2.4 全局增強(qiáng)

利用全局映射函數(shù)對當(dāng)前幀的像素進(jìn)行顏色映射處理［10－11］，從而使得到的結(jié)果能同時有效增強(qiáng)多個感興趣區(qū)域。

2.5 基于時域相關(guān)性的融合

由于上述增強(qiáng)結(jié)果是基于當(dāng)前幀的，并沒有考慮相鄰幀之間的相關(guān)性，因此可能導(dǎo)致相鄰幀之間的閃爍問題。因此，本文進(jìn)一步引入基于時域相關(guān)性的融合方法，利用相鄰信息對當(dāng)前幀進(jìn)行處理，以保證相鄰幀之間增強(qiáng)效果的連續(xù)性。基于時域相關(guān)性的融合方法描述如式(6)所示

3 實(shí)驗(yàn)與分析

分別對混合高斯建模、漸進(jìn)融合策略、基于時域相關(guān)性的融合效果進(jìn)行實(shí)驗(yàn)分析。

3.1 針對混合高斯建模的實(shí)驗(yàn)結(jié)果

混合高斯模型實(shí)驗(yàn)結(jié)果如圖3所示。

圖3 混合高斯模型實(shí)驗(yàn)結(jié)果

比較圖3c和圖3d可以看出，由于花這個興趣區(qū)域包含了黃色和紅色這兩個不同的主要顏色(編者注:圖3原為彩圖)，如果僅用單高斯模型建模興趣區(qū)域顏色(圖3c，即文獻(xiàn)［10］的方法)，增強(qiáng)后的花效果仍顯單調(diào)。相比之下，如果用混合高斯建模興趣區(qū)域顏色(即圖3d)，則增強(qiáng)后的花顏色更為鮮艷，黃紅兩部分顏色更為鮮明。同時，比較圖3b～圖3f，可以進(jìn)一步看出融合方法的有效性，如果只考慮了單個興趣區(qū)域(如圖3b、圖3c、圖3d)，都難以使另一個興趣區(qū)域的色調(diào)顯得自然，當(dāng)利用融合方法以后(如圖3e、圖3f)，兩個興趣區(qū)域能同時得到有效的增強(qiáng)。此外，對比圖3e和圖3f，可以進(jìn)一步看出利用本文的混合高斯模型能使花朵在最終的融合增強(qiáng)結(jié)果中得到更為鮮艷的效果。

此外，圖4給出了與圖3結(jié)果中花朵興趣區(qū)域相對應(yīng)的映射函數(shù)的對比圖，針對G通道。可以看出花朵興趣區(qū)域含有兩個主要顏色區(qū)域，即m1為中心區(qū)域和m2為中心的區(qū)域(即花朵的紅色和黃色區(qū)域)，F(xiàn)1(x)和F2(x)為針對這兩個主要顏色區(qū)域的理想映射曲線。采用混合高斯模型的曲線Ff，1(x)在均值m1和m2附近均比較靠近對應(yīng)顏色區(qū)域的映射函數(shù)的曲線(F1(x)，F(xiàn)2(x))，而采用單高斯模型的曲線Ff，2(x)與之有明顯的差別，因而很難得到理想的增強(qiáng)效果。另外，圖4下方的曲線對應(yīng)了該顏色通道的顏色分布直方圖，可以大致看出它有兩個峰值，用混合高斯模型可以更精細(xì)地模擬，這也間接說明了混合高斯模型的有效性。

圖4 映射函數(shù)對比圖(G綠色通道)

3.2 針對漸進(jìn)融合策略的實(shí)驗(yàn)結(jié)果

圖5給出了漸進(jìn)融合策略的實(shí)驗(yàn)結(jié)果。可以看出圖5b～圖5d盡管對某一興趣區(qū)域進(jìn)行了適當(dāng)?shù)脑鰪?qiáng)，但對其他興趣區(qū)域的增強(qiáng)效果并不好。圖5e盡管對兩個人臉部分都有明顯的增強(qiáng)，但窗戶區(qū)域的細(xì)節(jié)仍然看不到。圖5f可以明顯看出對多個興趣區(qū)域進(jìn)行融合的結(jié)果，和其他方法相比有更好的視覺效果。

圖5 漸進(jìn)融合策略實(shí)驗(yàn)結(jié)果

圖6為圖5結(jié)果中人臉興趣區(qū)域相對應(yīng)的映射函數(shù)的對比圖，其中，fA，j(x)，fB，j(x)，fB，j(x)分別對應(yīng)圖 5b，圖5c，圖5d的映射函數(shù)，點(diǎn)劃虛線曲線和虛線曲線分別對應(yīng)圖5e和圖5f的全局映射曲線。可以看出利用本文的漸進(jìn)融合策略(即圖6中的虛線段)，可以有效地使最終映射曲線在每個興趣區(qū)域的顏色區(qū)間內(nèi)接近各自的理想映射曲線，而在同時保持最終映射曲線的單調(diào)遞增和平滑性，得到比圖5b～圖5e(即文獻(xiàn)［10－11］)更好的效果。

圖6 圖5結(jié)果中的映射函數(shù)對比圖(R通道)

3.3 針對基于時域相關(guān)性的融合的實(shí)驗(yàn)結(jié)果

圖7顯示了一組基于時域相關(guān)性的融合結(jié)果，其中最左邊一列為原始視頻幀，中間一列為利用改進(jìn)的直方圖均衡方法得到的結(jié)果［2］，右邊一列為用本文方法的結(jié)果。從圖中可以看出，由于場景中出現(xiàn)閃電現(xiàn)象，原始視頻幀出現(xiàn)忽明忽暗現(xiàn)象，利用文獻(xiàn)［2］的方法，該現(xiàn)象得到緩解，然后仍然有一定的閃爍，利用本文方法，時間連續(xù)性得到很好的保存。

圖7 基于時域相關(guān)性的融合的結(jié)果

3.4 主觀客觀數(shù)據(jù)結(jié)果比較

為進(jìn)一步驗(yàn)證本文方法的有效性，表1比較了各個增強(qiáng)方法結(jié)果在一個視頻數(shù)據(jù)庫上［11］的客觀指標(biāo)。其中，H，HIBTE，TAMBE(μ)，和TAMBE(σ )分別表示視頻的離散熵［2］、直方圖時域抖動［2，6］、時域平均亮度絕對值差［2］、以及相鄰幀標(biāo)準(zhǔn)差抖動［2］。其中，離散熵H值越大表示視頻幀圖像質(zhì)量越好，而HIBTE，TAMBE(μ)和 TAMBE(σ)值越小表示視頻幀相鄰幀質(zhì)量平滑性越好。

表1 不同方法的客觀質(zhì)量比較

此外，表2比較了一個主觀實(shí)驗(yàn)的比較結(jié)果。在該實(shí)驗(yàn)中，30個觀察者觀看用不同方法增強(qiáng)的視頻結(jié)果并打出1～5的分?jǐn)?shù)［10］，其中“1”表示視頻質(zhì)量很差，而“5”表示質(zhì)量很好。表2顯示了不同觀察者對同一個方法的所有視頻打分值的平均結(jié)果。

從表1和表2可以進(jìn)一步看出，本文提出的方法在客觀和主觀質(zhì)量上都比以前基于興趣區(qū)域的方法有了較為明顯的改進(jìn)和提高。

表2 不同方法的主觀質(zhì)量比較

4 小結(jié)

本文針對現(xiàn)有視頻增強(qiáng)算法的不足，提出了一種基于多興趣區(qū)域融合的增強(qiáng)算法。該算法利用混合高斯模型進(jìn)行建模，并提出了一種漸進(jìn)融合策略對多個興趣區(qū)域的增強(qiáng)映射函數(shù)進(jìn)行融合以及利用時域相關(guān)性進(jìn)行時域融合保證視頻質(zhì)量時域平滑性。實(shí)驗(yàn)結(jié)果表明該算法具有較高的魯棒性，適用于多種不同的視頻服務(wù)。

在未來工作中，將進(jìn)一步研究新的興趣區(qū)域提取方法，以進(jìn)一步改進(jìn)興趣區(qū)域的提取效果。同時，研究本文方法在存在圖像模糊、噪聲等其他干擾情況下如何有效實(shí)現(xiàn)增強(qiáng)。

［1］STARK J A.Adaptive image contrast enhancement using generalizations of histogram equalization［J］.IEEE Trans.Image Processing，2000，9(5):889－896.

［2］ARICI T，DIKBAS S，ALTUNBASAK Y.A histogram modification framework and its application for image contrast enhancement［J］.IEEE Trans.Image Processing，2009，18(9):1921－1935.

［3］SCHETTINI R，RANCESCA G.Contrast image correction method［J］.Journal of Electronic Imaging，2010，19(2):1－8.

［4］汪志云，黃夢為，胡釙，等.基于直方圖的圖像增強(qiáng)及其MATLAB實(shí)現(xiàn)［J］.計(jì)算機(jī)工程與科學(xué)，2006，28(2):54－56.

［5］周旋，周樹道，黃峰，等.基于小波變換的圖像增強(qiáng)新算法［J］.計(jì)算機(jī)應(yīng)用，2005，25(3):606－608.

［6］李耀輝，劉保軍.摹于直方圖均衡的圖像增強(qiáng)［J］.華北科技學(xué)院學(xué)報(bào)，2003，5(2):65－66.

［7］任炎輝，李僅偉，畢衛(wèi)紅.一種優(yōu)化參數(shù)的圖像增強(qiáng)算法［J］.電視技術(shù)，2012，36(3):7－10.

［8］李建彬，韓軍，邱君華.基于Retinex的舊視頻序列增強(qiáng)算法［J］.電視技術(shù)，2011，35(5):21－24.

［9］SHI C，YU K，LI J，and et al.Automatic image quality improvement for videoconferencing［C］//Proc.ICASSP 2004.［S.l.］:IEEE Press，2004:701－704.

［10］LIU Z，ZHANG C，ZHANG Z.Learning－based perceptual image quality improvement for video conferencing［C］//Proc.ICME 2007.［S.l.］:IEEE Press，2007:1035－1038.

［11］XU N，LIN W，ZHOU Y.A new global－based video enhancement algorithm by fusing features of multiple region－of－interests［C］//Proc.VCIP 2011.［S.l.］:IEEE Press，2011:1－4.

［12］VIOLA P，JONES M.Robust real－time object detection［EB/OL］.［2012－08－02］.http://www.hpl.hp.com/techreports/Compaq－DEC/CRL－2001－1.pdf.

［13］HOGG R，MCKEAN J，CRAIG A.Introduction to mathematical statistics［M］.6th ed.［S.l.］:Pearson Prentice Hall，2005:359－364.