一種彩色視頻超分辨率重建算法

劉偉儉　肖思達

摘 要：基于RGB三通道的超分辨率視頻重建算法對彩色視頻進行處理將導致算法的計算量過大，不利于其在彩色視頻實時處理中的應用。針對這一缺點，本文基于核回歸函數提出了一種高效的彩色視頻超分辨率重建算法，該算法只需要對亮度分量進行超分辨率重構，在增大視頻序列重構信息量的同時，大幅降低超分辨率重建算法的計算量，更適用于彩色視頻的實時超分辨率重建場景中。

關鍵詞：視頻超分辨率；亮度補償；核回歸函數

中圖分類號：TP39 文獻標識碼：A

1 概述

圖像超分辨率技術是一種基于信號處理方法獲得較高分辨率圖像的技術，近年來成為了圖像處理領域熱點研究方向。視頻超分辨率重建的主要目的是通過圖像/視頻處理技術從多幀低分辨率（Low Resolution，LR）視頻中獲得高分辨率（High Resolution，HR）視頻，這項技術可以用于圖像和視頻的許多應用中，如：視頻監控，醫學成像和衛星成像。

視頻超分辨率重建作為一個病態問題，特別是對彩色圖像的超分辨率重建，其計算量太大，極大地影響了其在視頻實時處理中的應用。Celiu等人提出了一種基于貝葉斯的自適應視頻超分辨率重建方法，具有非常出色的細節恢復效果，但生成一幅720*480的彩色圖像所用時間長達2小時。

因此，本文提出一種高效的彩色視頻超分辨率重建算法，在增大視頻序列重構信息量的基礎上，在一定程度上降低了算法的計算量和復雜度，更有利于彩色視頻超分辨率的實時處理

2 核回歸方程

圖像重建的任務是從低分辨率的觀測圖像yk中估計出高分辨率圖像xk。核回歸方程的表達式為：

yi=z（xi）+ni，i=1，…，P，xi=[x1i，x2i，ti] （1）

是所估計的回歸函數，yi是在xi位置的噪聲采樣，x1i和x2i是空間坐標，ti是時間坐標，ni是獨立同分布零均值的噪聲，P是時空領域采樣像素點的總數。

假設圖像數據局部足夠平滑，為了估計函數在任意點x的值，可以采用該點函數的局部展開。如果x離采樣點xi很近，我們得到N項的泰勒級數：

3 所提出的彩色視頻超分辨率重建算法

核回歸算法可用于視頻去噪和無精確估計的超分辨率重建的，本文的彩色視頻超分辨率重建算法是基于核回歸算法所提出的，算法架構如圖1所示，增大視頻序列重建信息量的同時，大幅降低超分辨率重建算法的計算量，促進了彩色視頻超分辨率算法在實時處理中的應用。

將超分辨率重建后圖像的亮度信息z_Y（k）作為約束，令補償后的亮度分量y_Y補償（k）無限逼近z_Y（k），從而獲得補償的信息量，同時，避免了對R、G、B三通道都進行超分辨率重建的復雜處理。最后，再合成彩色的高分辨率（HR）序列。

4 仿真結果

我們將測試所提出的彩色視頻超分辨率重建算法對于帶有模糊和噪聲彩色視頻序列的處理性能。實驗的數據采用7幀低分辨率（LR）序列重建1幀高分辨率（HR）圖像的方法。將視頻calendar和foliage進行退化處理，選取視頻的前30幀圖像，圖像大小為720*480，采用3*3的統一點擴散函數進行模糊處理，空間下采樣系數為4，再加上標準差σ=2的加性高斯白噪聲。我們分別選取視頻calendar的第11幀和視頻foliage的第6幀，分別通過現有算法和本文的算法對退化圖像進行處理，如圖2所示。

我們采用PSNR和SSIM值客觀評價各種算法的效果，如表1所示。結果顯示本文的算法重建的結果的PSNR和SSIM值，接近現有算法重建的值。這表明本文的算法接近現有算法的處理效果，其結果也與我們人眼主觀觀察相一致。

在計算量方面，我們基于Intel的i5-2400芯片，4GB的RAMs平臺，在Matlab R2009a上實現基于7幀圖像的彩色視頻超分辨率重建，放大倍數為4，獲得1幀704*576的高分辨率圖像。

現有算法和本文算法分別對calendar視頻序列進行處理的計算量對比如表2所示，表中給出了現有算法中分別對R、G、B通道進行處理的時間及其總時長，本文算法中的亮度補償處理相對于亮度分量的超分辨率處理，其計算量可以忽略不計，因此只給出對Y分量進行處理的時間。由表中數據對比可得，本文算法的計算量得以有效降低。

結語

本文提出了一種高效的彩色視頻超分辨率重建算法，通過將超分辨率處理后的亮度分量作為約束補償，只對亮度分量進行超分辨率重構，在增大視頻序列重構信息量的基礎上，大大降低了算法的計算量和復雜度，特別適合在彩色視頻實時處理中的應用。

參考文獻

[1]L Zhang， H Zhang， H Shen， P Li. A super-resolution reconstruction algorithm for surveillance images[J]. Signal Process， 2010， 90（3）：848–859.

[2]J A Kennedy， O Israel， A Frenkel， R BarShalom， H Azhari. Super-resolution in PET imaging[J]. IEEE Transactions on Medical Imaging， 2006， 25 （2）：137-147.

[3]G S Mayer， E R Vrscay. Measuring information gain for frequency-encoded super-resolution MRI[J]. Magnetic Resonance Imaging， 2007， 25 （7）：1058–1069.

摘 要：基于RGB三通道的超分辨率視頻重建算法對彩色視頻進行處理將導致算法的計算量過大，不利于其在彩色視頻實時處理中的應用。針對這一缺點，本文基于核回歸函數提出了一種高效的彩色視頻超分辨率重建算法，該算法只需要對亮度分量進行超分辨率重構，在增大視頻序列重構信息量的同時，大幅降低超分辨率重建算法的計算量，更適用于彩色視頻的實時超分辨率重建場景中。

關鍵詞：視頻超分辨率；亮度補償；核回歸函數

中圖分類號：TP39 文獻標識碼：A

1 概述

圖像超分辨率技術是一種基于信號處理方法獲得較高分辨率圖像的技術，近年來成為了圖像處理領域熱點研究方向。視頻超分辨率重建的主要目的是通過圖像/視頻處理技術從多幀低分辨率（Low Resolution，LR）視頻中獲得高分辨率（High Resolution，HR）視頻，這項技術可以用于圖像和視頻的許多應用中，如：視頻監控，醫學成像和衛星成像。

視頻超分辨率重建作為一個病態問題，特別是對彩色圖像的超分辨率重建，其計算量太大，極大地影響了其在視頻實時處理中的應用。Celiu等人提出了一種基于貝葉斯的自適應視頻超分辨率重建方法，具有非常出色的細節恢復效果，但生成一幅720*480的彩色圖像所用時間長達2小時。

因此，本文提出一種高效的彩色視頻超分辨率重建算法，在增大視頻序列重構信息量的基礎上，在一定程度上降低了算法的計算量和復雜度，更有利于彩色視頻超分辨率的實時處理

2 核回歸方程

圖像重建的任務是從低分辨率的觀測圖像yk中估計出高分辨率圖像xk。核回歸方程的表達式為：

yi=z（xi）+ni，i=1，…，P，xi=[x1i，x2i，ti] （1）

是所估計的回歸函數，yi是在xi位置的噪聲采樣，x1i和x2i是空間坐標，ti是時間坐標，ni是獨立同分布零均值的噪聲，P是時空領域采樣像素點的總數。

假設圖像數據局部足夠平滑，為了估計函數在任意點x的值，可以采用該點函數的局部展開。如果x離采樣點xi很近，我們得到N項的泰勒級數：

3 所提出的彩色視頻超分辨率重建算法

核回歸算法可用于視頻去噪和無精確估計的超分辨率重建的，本文的彩色視頻超分辨率重建算法是基于核回歸算法所提出的，算法架構如圖1所示，增大視頻序列重建信息量的同時，大幅降低超分辨率重建算法的計算量，促進了彩色視頻超分辨率算法在實時處理中的應用。

將超分辨率重建后圖像的亮度信息z_Y（k）作為約束，令補償后的亮度分量y_Y補償（k）無限逼近z_Y（k），從而獲得補償的信息量，同時，避免了對R、G、B三通道都進行超分辨率重建的復雜處理。最后，再合成彩色的高分辨率（HR）序列。

4 仿真結果

我們將測試所提出的彩色視頻超分辨率重建算法對于帶有模糊和噪聲彩色視頻序列的處理性能。實驗的數據采用7幀低分辨率（LR）序列重建1幀高分辨率（HR）圖像的方法。將視頻calendar和foliage進行退化處理，選取視頻的前30幀圖像，圖像大小為720*480，采用3*3的統一點擴散函數進行模糊處理，空間下采樣系數為4，再加上標準差σ=2的加性高斯白噪聲。我們分別選取視頻calendar的第11幀和視頻foliage的第6幀，分別通過現有算法和本文的算法對退化圖像進行處理，如圖2所示。

我們采用PSNR和SSIM值客觀評價各種算法的效果，如表1所示。結果顯示本文的算法重建的結果的PSNR和SSIM值，接近現有算法重建的值。這表明本文的算法接近現有算法的處理效果，其結果也與我們人眼主觀觀察相一致。

在計算量方面，我們基于Intel的i5-2400芯片，4GB的RAMs平臺，在Matlab R2009a上實現基于7幀圖像的彩色視頻超分辨率重建，放大倍數為4，獲得1幀704*576的高分辨率圖像。

現有算法和本文算法分別對calendar視頻序列進行處理的計算量對比如表2所示，表中給出了現有算法中分別對R、G、B通道進行處理的時間及其總時長，本文算法中的亮度補償處理相對于亮度分量的超分辨率處理，其計算量可以忽略不計，因此只給出對Y分量進行處理的時間。由表中數據對比可得，本文算法的計算量得以有效降低。

結語

本文提出了一種高效的彩色視頻超分辨率重建算法，通過將超分辨率處理后的亮度分量作為約束補償，只對亮度分量進行超分辨率重構，在增大視頻序列重構信息量的基礎上，大大降低了算法的計算量和復雜度，特別適合在彩色視頻實時處理中的應用。

參考文獻

[1]L Zhang， H Zhang， H Shen， P Li. A super-resolution reconstruction algorithm for surveillance images[J]. Signal Process， 2010， 90（3）：848–859.

[2]J A Kennedy， O Israel， A Frenkel， R BarShalom， H Azhari. Super-resolution in PET imaging[J]. IEEE Transactions on Medical Imaging， 2006， 25 （2）：137-147.

[3]G S Mayer， E R Vrscay. Measuring information gain for frequency-encoded super-resolution MRI[J]. Magnetic Resonance Imaging， 2007， 25 （7）：1058–1069.

摘 要：基于RGB三通道的超分辨率視頻重建算法對彩色視頻進行處理將導致算法的計算量過大，不利于其在彩色視頻實時處理中的應用。針對這一缺點，本文基于核回歸函數提出了一種高效的彩色視頻超分辨率重建算法，該算法只需要對亮度分量進行超分辨率重構，在增大視頻序列重構信息量的同時，大幅降低超分辨率重建算法的計算量，更適用于彩色視頻的實時超分辨率重建場景中。

關鍵詞：視頻超分辨率；亮度補償；核回歸函數

中圖分類號：TP39 文獻標識碼：A

1 概述

圖像超分辨率技術是一種基于信號處理方法獲得較高分辨率圖像的技術，近年來成為了圖像處理領域熱點研究方向。視頻超分辨率重建的主要目的是通過圖像/視頻處理技術從多幀低分辨率（Low Resolution，LR）視頻中獲得高分辨率（High Resolution，HR）視頻，這項技術可以用于圖像和視頻的許多應用中，如：視頻監控，醫學成像和衛星成像。

視頻超分辨率重建作為一個病態問題，特別是對彩色圖像的超分辨率重建，其計算量太大，極大地影響了其在視頻實時處理中的應用。Celiu等人提出了一種基于貝葉斯的自適應視頻超分辨率重建方法，具有非常出色的細節恢復效果，但生成一幅720*480的彩色圖像所用時間長達2小時。

因此，本文提出一種高效的彩色視頻超分辨率重建算法，在增大視頻序列重構信息量的基礎上，在一定程度上降低了算法的計算量和復雜度，更有利于彩色視頻超分辨率的實時處理

2 核回歸方程

圖像重建的任務是從低分辨率的觀測圖像yk中估計出高分辨率圖像xk。核回歸方程的表達式為：

yi=z（xi）+ni，i=1，…，P，xi=[x1i，x2i，ti] （1）

是所估計的回歸函數，yi是在xi位置的噪聲采樣，x1i和x2i是空間坐標，ti是時間坐標，ni是獨立同分布零均值的噪聲，P是時空領域采樣像素點的總數。

假設圖像數據局部足夠平滑，為了估計函數在任意點x的值，可以采用該點函數的局部展開。如果x離采樣點xi很近，我們得到N項的泰勒級數：

3 所提出的彩色視頻超分辨率重建算法

核回歸算法可用于視頻去噪和無精確估計的超分辨率重建的，本文的彩色視頻超分辨率重建算法是基于核回歸算法所提出的，算法架構如圖1所示，增大視頻序列重建信息量的同時，大幅降低超分辨率重建算法的計算量，促進了彩色視頻超分辨率算法在實時處理中的應用。

將超分辨率重建后圖像的亮度信息z_Y（k）作為約束，令補償后的亮度分量y_Y補償（k）無限逼近z_Y（k），從而獲得補償的信息量，同時，避免了對R、G、B三通道都進行超分辨率重建的復雜處理。最后，再合成彩色的高分辨率（HR）序列。

4 仿真結果

我們將測試所提出的彩色視頻超分辨率重建算法對于帶有模糊和噪聲彩色視頻序列的處理性能。實驗的數據采用7幀低分辨率（LR）序列重建1幀高分辨率（HR）圖像的方法。將視頻calendar和foliage進行退化處理，選取視頻的前30幀圖像，圖像大小為720*480，采用3*3的統一點擴散函數進行模糊處理，空間下采樣系數為4，再加上標準差σ=2的加性高斯白噪聲。我們分別選取視頻calendar的第11幀和視頻foliage的第6幀，分別通過現有算法和本文的算法對退化圖像進行處理，如圖2所示。

我們采用PSNR和SSIM值客觀評價各種算法的效果，如表1所示。結果顯示本文的算法重建的結果的PSNR和SSIM值，接近現有算法重建的值。這表明本文的算法接近現有算法的處理效果，其結果也與我們人眼主觀觀察相一致。

在計算量方面，我們基于Intel的i5-2400芯片，4GB的RAMs平臺，在Matlab R2009a上實現基于7幀圖像的彩色視頻超分辨率重建，放大倍數為4，獲得1幀704*576的高分辨率圖像。

現有算法和本文算法分別對calendar視頻序列進行處理的計算量對比如表2所示，表中給出了現有算法中分別對R、G、B通道進行處理的時間及其總時長，本文算法中的亮度補償處理相對于亮度分量的超分辨率處理，其計算量可以忽略不計，因此只給出對Y分量進行處理的時間。由表中數據對比可得，本文算法的計算量得以有效降低。

結語

本文提出了一種高效的彩色視頻超分辨率重建算法，通過將超分辨率處理后的亮度分量作為約束補償，只對亮度分量進行超分辨率重構，在增大視頻序列重構信息量的基礎上，大大降低了算法的計算量和復雜度，特別適合在彩色視頻實時處理中的應用。

參考文獻

[1]L Zhang， H Zhang， H Shen， P Li. A super-resolution reconstruction algorithm for surveillance images[J]. Signal Process， 2010， 90（3）：848–859.

[2]J A Kennedy， O Israel， A Frenkel， R BarShalom， H Azhari. Super-resolution in PET imaging[J]. IEEE Transactions on Medical Imaging， 2006， 25 （2）：137-147.

[3]G S Mayer， E R Vrscay. Measuring information gain for frequency-encoded super-resolution MRI[J]. Magnetic Resonance Imaging， 2007， 25 （7）：1058–1069.