多尺度自適應配準的視頻超分辨率算法

盧　濤，章　瑾，陳白帆，管英杰

1.武漢工程大學計算機科學與工程學院，湖北 武漢 430205；

2.智能機器人湖北省重點實驗室（武漢工程大學），湖北 武漢 430205；

3.中南大學信息科學與工程學院，湖南 長沙 410083

多尺度自適應配準的視頻超分辨率算法

盧濤1，2，章瑾1，2，陳白帆3，管英杰1，2

1.武漢工程大學計算機科學與工程學院，湖北 武漢 430205；

2.智能機器人湖北省重點實驗室（武漢工程大學），湖北 武漢 430205；

3.中南大學信息科學與工程學院，湖南 長沙 410083

為了提升制約視頻超分辨率重建質量的多幀配準精度，提出了一種基于圖像塊多尺度自適應配準的視頻超分辨率算法.依據圖像幀的塊內容自適應選擇配準尺度，運動邊緣信息采用高精度配準，然后將運動向量補償到多幀圖像超分辨率重建代價函數中，利用最大后驗概率算法迭代優化高分辨率視頻幀.仿真表明：多尺度自適應配準算法不僅提高了配準精度，還提升了視頻超分辨率重建圖像幀的主客觀質量，證明了多尺度自適應配準在視頻超分辨率重建中的有效性.

視頻超分辨率；多尺度塊匹配；自適應配準

1　引　言

在多媒體信息時代，視頻信息在軍事、通訊、航空航天等領域有著廣泛的應用.出于適應通訊低帶寬、節約存儲空間的考慮，視頻圖像信息在壓縮編碼過程中降低了圖像的分辨率；同時在視頻成像過程中，受到成像環境光照變化、視頻錄像設備自身的噪聲等因素的影響，實際的視頻圖像質量通常較差，無法滿足生產生活中對高質量、高分辨率圖像的需求，特別是在依賴機器視覺的應用場景中，目標對象常常遠離攝像頭，目標圖像常常分辨率較低.另一方面，極低分辨率的目標圖像識別極其困難，極大的影響了基于視頻信息的視覺應用效率［1］.要從輸入的低分辨率視頻獲得目標的部分細節信息，最簡單的方法是利用插值算法直接提升視頻分辨率，然而直接插值算法無法提供足夠的細節信息而限制了其應用范圍.由于超分辨率算法能夠融合多幀圖像細節信息，與傳統的圖像上采樣插值方法相比具有較好的算法性能優勢，因而成為了目前的研究熱點問題.

視頻圖像的獲取過程如圖1所示.

圖1　視頻的低分辨率圖像成像過程Fig.1　Imaging process of low-resolution image of video

1964年，Harris等人提出了超分辨率數學理論基礎，開創了超分辨率技術的新領域［2］.1984年，Huang和Tasi［3］利用離散和連續傅立葉變換之間的平移以及混疊等性質建立了由多幅低分辨率圖像得到一副高分辨率圖像的方程組，明確的提出了圖像超分辨率的概念.在這些工作的啟發下，頻域超分辨方法得到了廣泛的應用與發展.然而，頻域超分辨率重建方法都是基于低分辨率圖像之間僅僅只有全局平移運動的假設基礎上，這樣的假設在實際應用中常常難以滿足，進而限制了該類算法的應用.

為了適應視頻中目標的一般運動以及不同圖像退化類別的要求，空域多幀圖像超分辨率方法被提出并迅速發展.目前廣泛應用的有凸集投影算法（POCS）［4］以及最大后驗概率算法（MAP）［5］.視頻超分辨率利用了多幀圖像的互補信息，因此其核心在于多幀圖像的運動矢量的精確配準，研究表明：配準誤差不僅導致了圖像的模糊，還降低了圖像超分辨率重建質量.因此，大量研究圍繞低分辨率的亞像素精度的配準而展開.

Mitzel［6］等人提出了一種基于Tikhonov正則的光流估計的視頻超分辨率算法框架，從輸入任意視頻的多幀低分辨率圖像重建一幅高分辨率圖像輸出，光流法主要用來估計多幀之間的運動參數，獲得了較好的重建效果，然而，光流法估計每個像素的運動場，算法時間開銷大.Bishop［7］等人提出了一種視頻超分辨率增強算法，利用樣本學習獲得圖像塊中高頻信息和低頻信息的映射關系，提升了視頻超分辨率算法的速度.Liu［8］等人提出了一種基于貝葉斯估計的自適應視頻超分辨率算法，該算法利用貝葉斯框架對超分辨率重建過程中的模糊核、圖像運動矢量和噪聲進行建模，在獲得高分辨率重建圖像的同時，能夠對噪聲和運動等重要影響因素自適應估計，獲得了較好的圖像重建質量.然而多變量迭代優化算法框架增大了算法的復雜度和時間開銷.

文獻［9］認為亞像素精度的圖像配準是影響超分辨率重建的一個重要因素.特別是視頻中存在局部運動的情況下，高精度配準難度較大，常用的配準有光流法、圖像特征匹配法和圖像塊配準法［10］等幾種方法，由于光流法是對像素點的操作其配準精度高，但是計算復雜度高，對局部運動的運動估計精度大幅下降；特征匹配方法需要事先提取特征，然后進行匹配，在復雜的成像條件下，特征提取的精度受到影響，降低了其配準精度.

傳統的視頻超分辨率算法大部分是假設多幀圖像之間的運動為整體運動，然而在實際的視頻中，圖像幀之間不僅僅存在整體運動，監控目標還存在著復雜的局部運動，因此與通用視頻超分辨率算法相比低質量視頻圖像的超分辨率算法更具挑戰性.在面向實際視頻圖像的應用中，研究精確配準技術是解決目前視頻超分辨率重建問題技術瓶頸的方向之一，特別是在存在復雜局部運動的實際視頻中，研究多尺度精度的自適應的配準方法具有重要的作用.

2　算法設計

2.1多尺度自適應塊匹配圖像配準

2.1.1塊匹配自適應圖像配準算法針對實際視頻的局部運動，采用塊匹配技術實現視頻多幀的圖像配準.塊匹配技術圖像配準常見于視頻壓縮標準中，將待配準的低分辨率圖像分為一系列特定大小的方塊，常用的有16×16、8×8以及4×4像素等塊大小，以參考幀為基準對待配準圖像進行搜索（常用的有三步搜索算法，十字搜索算法等），在給定匹配標準下找出誤差最小的方塊，從而得到該對應方塊的位移矢量.用位移矢量（Motion Vector，MV）來描述每個方塊的配準參數，用每個方塊的位移矢量集描述整個圖像的配準參數，如圖2所示.

圖2　塊匹配原理示意圖Fig.2　Diagram of block-matching algorithm

最常用的匹配準則是求和絕對誤差.假設（i，j）為位移矢量，f（x，y）和g（x，y）分別是待配準和參考圖像上的像素灰度值，M×N為選定的塊大小，S是求和絕對誤差，則求和絕對誤差匹配準則的表達式如下：

塊匹配配準算法簡單高效，容易在超大規模集成電路中實現，因此在傳統的視頻、圖像壓縮領域被認為是最通用的算法.目前針對實際視頻的特點，本文采用多尺度自適應塊匹配算法提升圖像塊的配準精度，進而提高多幀超分辨率的圖像重建質量.

分析可知，采用塊匹配圖像配準中塊大小選取非常重要.選取的塊大時，因為默認塊內各像素作相同的平移運動，則估計的精度將受到影響，不過大塊更能反映圖像的實際內容，這也將使得塊匹配的準確度比較好，受噪聲等因素的影響較小.反之，選取的塊小時，一方面運算量必然會大幅增加；另一方面由于噪聲等因素的影響，雖然像素級的配準精度會提高，但是因為匹配準則等因素的影響，圖像塊整體配準的準確度會受到一定的限制.為了在估計精度與運算量之間取得均衡，需要選取合適的塊大小結構.對不同內容的不同尺度上的配準，將有利于圖像塊配準的精度，同時能夠提升對噪聲的魯棒性.

從算法的時間復雜度的出發，圖像塊的大小通常傾向于選擇一個比較大的塊劃分方式，這樣可以改善監控設備抗噪能力差的弱點.比如16×16像素塊大小的劃分.而對于存在多個運動物體的序列圖像，圖像邊緣的運動估計算法精度要求和圖像平滑區域的精度要求不一致，因此需要自適應選擇圖像塊的大小.

自適應塊匹配圖像配準，要綜合考慮配準的抗噪能力強弱問題和配準的精度問題.對于需要高精度的區域盡量劃分成較小的塊，而對精度影響不大的平坦區域，則相應的選擇較大的塊.首先找出需要進行圖像配準的前后幀之間存在的運動邊緣.然后在根據運動邊緣信息，建立塊大小選擇的自適應準則.

2.1.2圖像運動邊緣的提取使用幀差法來提取運動邊緣信息.幀差法是將兩幀圖像像素值逐點相減獲得殘差圖像；對殘差圖像再進行一個簡單的閾值濾波，去除由于光照因素引起的像素值變動而導致的較小的殘差.對于固定位置的攝像頭而言，相鄰兩幀目標場景的背景信息不會發生變化，圖像像素出現的比較大的變化可以認為是由物理的相對位置發生改變造成的.因此，經過濾波后的殘差圖像可以反映出求幀差的兩幀圖像之間的物體局部運動情況.兩幀的差值小于一定閾值的區域作為平坦區域，大于一定閾值后認為是具有顯著度的運動邊緣信息.如圖3所示，輸出圖像（c）中的0值區域就代表了兩幅圖像（a）、（b）的運動邊緣信息.圖3（a）表示當前幀，（b）表示參考幀，（c）中黑色區域為當前幀與參考幀之差.

圖3　圖像運動邊緣信息提取示意圖Fig.3　Schematicdiagram of extraction of moving edge information of video

2.1.3多尺度塊大小選擇自適應準則對于上述所得的殘差圖像，可以采用統計的方法得出劃分塊大小的自適應準則.具體的步驟如下所示：

算法1：圖像自適應多尺度圖像塊選擇算法.

輸入：相鄰兩幀圖像圖3（a）和圖3（b），閾值T1

輸出：多尺度圖像塊劃分策略

第一步：對輸入圖像圖3（a）和圖3（b）的幀差圖像圖3（c）進行較大塊的劃分，如32×32塊；

第二步：對劃分的圖像塊，統計其中0的個數；

第三步：對于0的個數超過閾值T1的塊，認定其包含了較多的運動邊緣信息；

第四步：對于第三步中認定的包含了較多運動邊緣信息的大塊按照較小的塊大小進行重新劃分，而其他的大塊仍然按照較大的塊進行圖像配準.最后輸出整個圖像幀的分塊策略.

通過上述步驟，可以獲得運動邊緣和平坦區域的不同尺度的配準精度模型，從而實現自適應的配準尺度的選擇，一定程度上均衡了準確度和算法時間開銷的不同需求.如圖4所示，為兩幀圖像采用自適應塊大小選擇后的塊劃分示意圖.

圖4中，對于運動邊緣區域，采用較小的塊劃分方式，而其他區域仍然保持原來的大塊劃分法.

圖4　自適應塊大小選擇后塊劃分示意圖Fig.4　Distributionchart of adaptive blocks withdifferent patch sizes

2.1.4自適應閾值修正配準塊匹配圖像配準算法是基于這樣的假設：被劃分成的小塊內部的所有像素都是遵循同一個平移運動的，而事實上不盡然.在圖像內部，不同物體或者場景的邊緣部分，或者圖像紋理細節豐富的區域，受到塊的劃分以及塊匹配準則選取等因素的影響不同.而在具體的運算過程中，由于匹配準則的限制，確實已經找到了符合當前匹配準則的最優匹配塊，但對其中的某些像素來說，是可能存在比較大的誤差的，這稱之為配準誤差.配準誤差降低了超分辨率重建圖像的主客觀質量.尤其對于非平滑區域和運動邊緣的像素來說，由于塊的選擇極有可能包括了這些非線性變化的像素值，采用求和絕對誤差的匹配準則，不能夠反映真實的圖像匹配情況.文獻數據表明［11］：超分辨率重建圖像的運動邊緣區域以及紋理細節比較豐富的區域會產生方塊效應等錯誤信息，這些現象常常是由于配準誤差導致的.

提升圖像的配準精度會提升超分辨率的重建質量.因此在現有的圖像配準技術基礎上，引入對運動矢量的修正模型顯得十分必要.由于配準誤差通常導致超分辨率圖像出現嚴重的振鈴效應.因此可以采取在配準錯誤的區域去除運動矢量，直接用原始圖像進行上采樣的策略.

本文提出了一種既考慮了待配準圖像與補償圖像整體匹配又計算簡便的方法來修正當前的配準參數，且算法能夠自適應獲得評估運動矢量是否準確的閾值.

設待配準圖像為f，參考圖像為g，m和n分別表示行和列的運動矢量矩陣，則可以由已知的配準參數和參考圖像求出補償圖像.并設x（x1，x2）為當前像素點，每幅圖像共有N個像素點.補償圖像可以有g表示為：g［x1-m（x），x2-n（x）］；設在點x處待配準圖像與補償圖像之間的絕對差為Dfd，則有

如果圖像配準非常準確的話，則Dfd的值應該接近于0值.但是存在配準誤差的配準參數則將導致Dfd的值偏離0值.因此，通過求Dfd的值可以判斷是否存在匹配誤差.

設每一個像素點Dfd的平均值為 μDfd，方差為，則有如下計算公式：

設定判斷是否出現配準誤差的條件為Dfd是否大于某一個閾值T2，設T2=μDfd+2σDfd，同時再加上一個附加條件，即比較當前圖像與參考圖像對應像素點值的變化情況，如果變化不大，則也可以認同當前點不需要進行運動估計.即有

其中，Fdx表示點x處兩幀圖像的像素值的絕對差值.通過比較每一個像素點x處的Dfd值和Fd值，可以判斷出，當前是否出現了配準誤差.對于出現配準錯誤的點，直接放棄當前的配準參數，不做與參考圖像的配準，補償圖像由原圖像構成.

基于自適應塊匹配的圖像配準算法總結如下：算法2：基于自適應塊匹配的圖像配準算法.輸入：相鄰兩幀圖像圖3（a）和圖3（b），配準誤差閾值T1和T2.

輸出：運動配準矩陣F.

第一步：依據算法1獲得運動邊緣信息圖3（c），根據邊緣和平坦區域選擇不同的配準尺度；

第二步：對于待配準圖像，計算每個像素點的Fdx值，大于T2部分直接用插值方法獲得運動向量，小于T2部分使用計算獲得運動向量；

第三步：對所有圖像塊進行遍歷，獲得運動配準矢量F輸出.

2.2基于多尺度自適應圖像配準的視頻超分辨率算法

在獲得更為精確的自適應塊匹配配準參數后直接將這些運動估計參數應用到視頻多幀超分辨率重建的過程中.假設有連續k幀視頻圖像，那么低分辨率的視頻序列成像過程可以用公式（6）表示.

其中，X表示所求的高分辨率圖像；Y表示低分辨率圖像序列，k表示幀數，F表示配準補償矩陣；H表示成像模糊降質；D表示圖像欠采樣降質；E表示加性噪聲干擾降質.

視頻超分辨率是公式（6）中從觀測得到的低分辨率序列推導對應的高分辨率圖像的過程.由于公式（6）是一個欠定方程，方程的個數少于未知數的個數，這樣求得的高分辨率圖像沒有唯一解.在方程求解之前，降質過程的每個因素均應該獲得對應的具體數值.一般情況下，假設在k幀圖像具有短時平穩性，這樣可以假定其系統模糊函數是固定的，且可以用高斯函數模擬，下采樣函數一般使用多取一方法直接獲得對應的低分辨率矩陣，這樣當Fk已知的情況下，方程可以求解并獲得高分辨率圖像輸出.

超分辨率重建的過程就是在已知Yk的情況下，估計出配準補償矩陣Fk，然后利用圖像的先驗知識約束高分辨率解空間，進而獲得方程的唯一解.

假設：Ck=DkHkFk.則Yk=CkX+Ek，也即：Y=C·X+E.那么視頻中單幀圖像的重建代價函數如下：

其中，X是所求的高分辨率幀圖像，C是包括配準參數在內的配準系數，λ是平衡因子，調整重建誤差與重建高分辨率圖像平滑之間的關系，τ（X）是高分辨率圖像的平滑先驗.公式（7）使用最速下降法進行求解，其主要過程參考文獻［12］.

基于自適應圖像塊的視頻超分辨率算法主要分為三個部分：

1）多尺度的低分辨率圖像配準.對輸入的低分辨率圖像在圖像塊級別進行自適應配準，首先利用幀差法獲得運動邊緣，對具有高顯著度的邊緣信息進行小分塊進行處理，對于圖像的平坦區域則利用大分塊進行配準，在此基礎上計算圖像的整體配準誤差，自適應調整誤差超過閾值的部分運動矢量，達到計算速度和精度的均衡.

2）估計降質函數.按照視頻的降質過程估計運動配準補償向量，系統模糊函數和下采樣矩陣，為超分辨率重建建立基本求解數據.

3）利用超分辨率重建代價函數求解分辨率圖像.主要是在高分辨率圖像通用先驗知識的約束下，利用梯度下降法求解高分辨率圖像，最后將多幀高分辨率圖像合成為高分辨率視頻序列輸出.

這樣基于塊匹配自適應配準技術的視頻超分辨率算法總結如下：

算法3：基于多尺度自適應配準的視頻超分辨率算法.

輸入：k幀低分辨率圖像Yk，自適應閾值T1和T2，降質模糊函數Hk.

輸出：高分辨率圖像序列 Xk.

第一步：利用算法1確定圖像塊分割策略；第二步：利用算法2計算圖像的配準補償矩陣Fk；

第三步：利用公式（7）建立超分辨率求解代價函數，其中下采樣矩陣使用上采樣矩陣的逆過程；第四步：利用梯度下降法求解高分辨圖像；第五步：將多幀高分辨率圖像組合成高分辨率序列輸出Xk.

2.3仿真實驗設計

為了驗證本文算法的合理性，設計了仿真實驗，主觀圖像質量以標準測試序列Foreman和Mobile為例.測試序列原始圖像分辨率大小為352×288像素，對視頻序列加入高斯模糊模擬成像系統的降質模糊，下采樣圖像大小為原來的1/2，制備低分辨率視頻為輸入測試序列.多幀圖像選擇相鄰幀圖像，低分辨率圖像的大小為176×144像素.

為了測試本文研究思路的正確性，仿真實驗測試自適應塊匹配圖像配準超分辨率，傳統視頻超分辨和單一塊大小配準超分辨率實驗.其中對比算法選擇傳統視頻超分辨率算法［13］.實驗分別從主觀圖像質量和客觀圖像質量兩個方面開展，其中客觀圖像質量評估指標選擇峰值信噪比.峰值信噪比主要用來比較原始高分辨率視頻圖像幀與重建的高分辨率視頻圖像幀的相似性.

圖5　原始高分辨率圖像分辨率為352×288像素（a）當前幀圖像；（b）參考幀圖像Fig.5　Original high-resolution images with 352×288 pixels（a）Current frame；（b）Reference frame

3　結果與討論

如圖5表示原始高分辨率圖像的灰度圖，圖6所示為經過高斯模糊以及下采樣降質的低分辨率圖像.其中參考幀取第標準測試序列的第3幀，當前幀取第4幀，可以觀測出高低分辨率視頻幀的對應關系.利用算法1獲得自適應圖像塊大小的劃分結果圖如圖7所示，大塊表示8×8像素，小塊表示4×4像素.

圖6　下采樣后的低分辨率圖像大小為176×144像素（a）降質后的當前幀；（b）降質后的參考幀Fig.6　Down-sampled low-resolution images with 176×144 pixels（a）Degradedcurrent frame；（b）Degraded reference frame

圖7　自適應塊大小選擇時，獲取運動邊緣信息圖以及塊大小示意圖 大塊表示8×8塊大小，小塊表示4×4塊大小（a）圖像間運動邊緣；（b）根據運動邊緣塊大小劃分Fig.7　Adaptive patch selection for moving edges atdifferent block sizes：big patch with 8×8 pixels，small patch with 4×4 pixels（a）Moving edges between multi-frames；（b）Moving edge-blocks withdifferent scales of registration

依據本文算法，利用每10幀圖像融合生成對應的高分辨率圖像，將重建視頻的第10幀圖像進行對比，主觀重建質量圖像如圖8所示.圖8（a）和（b）表示單一圖像塊配準的超分辨率重建圖像，圖8（c）是文獻［13］的對比算法重建圖像，圖8（d）是雙三次插值的放大圖像，圖8（e）是本文重建圖像.從圖像中可以發現，重建算法在細節清晰度上相比對比算法有提升，相對插值算法明顯更清晰，而且本文算法重建圖像相比單一配準算法重建質量有明顯的提升.值得注意的是，圖8（b）相對圖8（a）中有部分細節出現了誤差，說明了不同尺度的配準誤差作用不同，大尺度的分塊的配準精度對超分辨率重建具有影響.

圖8　多種超分辨率算法重建主觀質量對比圖（a）4×4塊大小，無運動補償的超分辨率算法；（b）8×8塊大小，無運動補償的超分辨率算法；（c）文獻［6］算法；（d）雙三次插值算法；（e）多尺度配準的超分辨率算法Fig.8　Compared images of reconstructed subjective quality bydifferent super-resolution algorithms（a）4×4 pixels without motion registrationcompensation；（b）8×8 pixels without motion registrationcompensation；（c）The algorithm according to reference 6；（d）Bi-cubic interpolation；（e）The proposed method based on Multi-scale block matching

為了進一步說明超分辨率的重建質量，多種超分辨率重建圖像的客觀質量對比如表1所示.

表1　不同視頻超分辨率算法客觀重建質量（PSNR）對比Tab.1　Objective reconstructed quality ofdifferent video by super-resolution algorithms（PSNR）db

從主客觀超分辨率圖像重建質量來看：配準誤差影響了超分辨率重建，使用自適應塊匹配算法的超分辨率重建圖像主客觀質量優于對比算法，特別是相比插值算法，圖像細節表現能力明顯具有優勢，相比對比算法圖像客觀重建質量平均提升了0.3db，相比插值算法圖像客觀重建質量平均提升了0.61db.同時相對于單一尺度圖像塊大小的配準，自適應配準視頻超分辨率算法提升了0.91db，證明了本文所提出算法的具有良好的主客觀重建性能.

4　結　語

針對視頻序列圖像進行超分辨率重建中圖像配準誤差導致重建圖像質量低的問題，提出了一種自適應選擇塊大小的多尺度圖像配準算法.利用了圖像運動邊緣信息的顯著性，對運動邊緣和圖像平坦區域分別進行多尺度圖像塊配準.同時，根據圖像塊的配準誤差大小來選擇配準矢量，引入誤差自適應修正模型，進一步克服全局配準中出現的誤差問題.最后將這自適應圖像配準算法應用到視頻超分辨率重建中去，利用視頻多幀自適應塊配準技術提升超分辨率重建圖像的主客觀質量，仿真實驗證明了本算法的有效性.

［1］張新民，沈蘭蓀.超分辨率復原技術的發展［J］.測控技術，2002，5（22）：33-35. ZHANG X M，SHEN L S.Thedevelopment of super-resolution restoration from image sequences［J］. Measurement&control technology，2002，5（22）：33-35.

［2］KANADE T，BAKER S.Limits on super-resolution and how to break them［J］.IEEE transactions on pattern analysis and machine intelligence，2002，24（9）：1167-1183.

［3］TSAI R Y，HUANG T S.Multiframe image restoration and registration［M］.Greenwich USA：JAI Press Inc，1984.

［4］PATTI A J，SEZAN M I，TEKALP A M.Super-resolution video reconstruction with arbitrary sampling lattices and nonzero aperture time［J］.IEEE transactions on image processing，1997，6（8）：1064-1076.

［5］SCHUILTZ R R，STEVENSON R L.Extraction of high resolution frames from video sequences［J］.Image processing，IEEE transactions on，1996，5（6）：996-1011.

［6］MITZELd，POCK T，SCHOENEMANN T.Pattern recognition［M］.Jena，Germany：Springer Berlin Heidelberg，2009.

［7］BISHOPc M，BLAKE A，MARTHI B.Patch-based videosuper-resolution：US，US7218796B2［P］.2007-05-15.

［8］CE L，DEQING S.On bayesian adaptive video super resolution［J］.IEEE transaction on pattern analysis and machine intelligence，2014，36（2）：346-360.

［9］ELAD M，FEUER A.Restoration of a single super-resolution image from several blured，noisy and undersampled measured images［J］.IEEE transactions on image，1997，6（12）：1646-1658.

［10］KERENd，PELEG S，BRADA R.Image sequence en

hancement using sub-pixeldisplacements［C］//Computer Vision and Pattern Recognition.ProceedingscVPR'88.Computer Society.Comference on IEEE 1988：724-746.

［11］BAKER S，KANADE T.Super-resolution optical flow ［M］.Ann Arbor Michigan：IEEE，1999.

［12］TIKHONOV A N.Regularization of incorrectly posed problems［J］.Sov math，1963（4）：1624-1627.

［13］FARSIU S，ELAD M，MILANFAR P.Multiframedemosaicing and super-resolution ofcolor images［J］.IEEE transactions on image processing，2006，15（1）：141-159.

本文編輯：陳小平

Video Super-Resolution Algorithm Via multi-Scale Adaptive Block-Matching Registration

LU Tao1，2，ZHANG Jin1，2，CHEN Baifan3，GUAN Yingjie1，2
1.School ofcomputer Science and Engineering，Wuhan Institute of Technology，Wuhan 430205，China，；
2.Hubei Key Laboratory of Intelligent Robot（Wuhan Institute of Technology），Wuhan 430205，China；
3.School of Information Science and Engineering，Central South University，Changsha 410083，China

To improve the registration accuracy which influences the performance of video super-resolution algorithms，we proposed a video super-resolution algorithm based on multi-scale adaptive block-matching registration.Registration scale was selected with blockcontents and the moving edge information of video was represented in high registration accuracy.Then，the registration motion vectors werecompensated into thecost function of multi-frame super-resolution，and the high-resolution outputs frames were iteratively optimized by the algorithm of maximum a posteriori estimation.Simulation results show that the adaptive multi-scale registration not only enhances the accuracy of video registration，but also improves the performance of video super-resolution，whichdemonstrates the validity of adaptive multi-scale registration in video super-resolution reconstruction.

video super-resolution；multi-scale block matching；adaptive registration

TP391.4

A

10.3969/j.issn.1674-2869.2016.02.014

1674-2869（2016）02-0178-07

2015-12-02

863計劃項目（2013AA12A202）；國家自然科學基金項目（61172173），（61502354）；湖北省自然科學基金項目（2014CFA130），（2015CFB451）；湖北省教育廳重點科研項目（D20141505）；湖南省科技計劃項目（2014FJ3157）

盧濤，博士，副教授.E-mail：lut@wit.edu.cn