結合小波金字塔的空頻域亞像素圖像配準

陳岳軍， 孫廣玲， 姚 恒

(上海大學通信與信息工程學院，上海200072)

基于圖像序列的超分辨率重建旨在突破硬件設備固有分辨率的限制，充分利用序列中圖像之間的互補信息進行數據融合，從而重建出分辨率更高的圖像或視頻.超分辨率圖像的產生通常由配準和重建兩個步驟組成：首先，利用亞像素圖像配準技術，將所有的低分辨率圖像進行配準，以找到在高分辨率圖像中對應的位置;然后，利用這些不規則的采樣點重建高分辨率圖像.

亞像素圖像配準通常是超分辨率重建非常關鍵的一步，因為它是后續重建的基礎.目前，圖像配準方法主要包括頻域法和空域法.大多數頻域的配準方法是利用空域里圖像之間的平移與頻域里相位之間的關系，通過極坐標變換，將圖像的旋轉和縮放估計轉化為圖像的平移估計.Lucchese等［1］基于原始圖像和旋轉圖像傅里葉變換的幅度是一對正交的零交叉的傅里葉變換對，先計算了旋轉參數，然后根據相位相關性，計算了平移參數.Foroosh等［2］對相位的相關性作了進一步的拓展，指出信號的能量不是集中在一個單一的波峰上，而是集中在幾個連續的波峰上.Vandewalle等［3］通過使用相位相關性的方法來估計圖像的平移，并著手解決含有混疊信息圖像的配準.空域法具有比頻域法更為普遍的運動模型.Capel等［4］將整幅圖像或其特征向量作為配準的對象，并將計算機視覺技術應用于圖像的超分辨率重建.Farsiu等［5］根據圖像和模糊的先驗知識，構造雙邊正則化最小化函數來估計高分辨率圖像.Shen等［6］將圖像的配準和超分辨率重建同時進行，并用最大后驗概率的方法解決所提出的方程.Robinson等［7］將變量方程應用于含有混疊圖像的配準.Gluckman等［8］提出了一種基于梯度場分布的算法.他們首先計算了平面的旋轉參數，然后用獲得的旋轉參數將圖像反向旋轉，并使用相位相關法來估計平面的平移參數.

Keren等［9］提出的基于泰勒級數展開的平面運動方法，在小旋轉角度的情況下能獲得較為精確的旋轉參數，但在大角度情況下存在較大的誤差，并對平移的估計不夠理想.Fani等［10］在Keren方法的基礎上用小波金字塔代替了高斯金字塔，在每一層里面分別用小波分解出的4幅圖像進行配準.Fan等［11］提出了Keren改進算法，采用簡化的四參數仿射變換模型，減小了由角度的泰勒級數展開所帶來的誤差.Vandewalle等［12］提出了一種基于頻域的方法用于配準可能帶有混疊信息的圖像，但在同時含有平移和旋轉的情況下，對平移量的估計有較大的配準誤差.本研究結合小波金字塔多級分解、空域Keren改進方法以及頻域Vandewalle方法各自的優點，提出了一種新穎的圖像亞像素配準方法，并將該配準方法應用于圖像的超分辨率重建.實驗結果證明，本方法優于空域Keren改進方法和頻域Vandewalle方法，具有更高的配準精度和更好的超分辨率重建效果.

1 空域Keren改進方法和頻域Vandewalle配準方法

1.1 空域Keren改進方法

在Fan等［11］的方法中，采用的簡化四參數仿射模型為

式中，a1為參數，a3為水平方向的平移量，a4為垂直方向的平移量，旋轉角度θ≈-180/π×arcsin a2.假設低分辨率參考圖像和待配準圖像分別為f和g，則圖像f(x，y)和g(x，y)之間的關系可以表示為

對函數f進行泰勒級數展開，并用一階近似，即

獲得誤差函數為

為了得到最小的誤差，分別對a1，a2，a3，a4求偏導數，并令其為0.忽略非線性項以及一些小系數項，得到如下的運動配準參數估計：

1.2 頻域Vandewalle方法

Vandewalle等［12］提出的是一種基于頻域的圖像配準方法.假設參考圖像為f1(x)，待配準圖像為f2(x).二者的關系可以表示為

1.2.1 旋轉參數估計

為了有效地利用頻域的幅值估計旋轉角度，定義一個旋轉角度α的函數為

1.2.2 平移參數估計

圖像在平面內的移動可以通過頻域中一個線性的相位移動來表示，即

相位差∠(F2(u)/F1(u))為u的線性函數，其斜率為2πΔx，因此，平移參數Δx可以通過計算相位差的斜率獲得.為了減小對噪聲的敏感度，可以通過最小二乘法來擬合相位差平面的斜率.

2 結合小波金字塔的Keren改進方法和Vandewalle配準方法

結合旋轉參數和平移參數，估計得出Vandewalle方法［12］的步驟如下.

(1)將低分辨率的圖像fLR，m乘以一個塔基窗口(Tukey window)，使得圖像得以循環對稱，同時得到加窗圖像 fLR，w，m，其中 LR表示低分辨率(low resolution)的圖像，m表示第m幅低分辨率的圖像.

(2)對所有低分辨率的圖像進行傅里葉變換，得到FLR，w，m.

(3)旋轉參數估計.計算每幅待配準圖像fLR，w，m(m=2，3，…，M)相對于參考圖像fLR，w，1的旋轉角度：①計算圖像的極坐標(r，θ);②對于任意角度α，通過計算獲得相應的傅里葉系數hm(α)，其中α-1＜θ＜α+1，0.1ρ＜r＜ρmax，hm(α)每隔0.1°計算一次，ρmax的經驗值取0.6;③在［-30°，30°］區間內找到h1(α)和hm(α)相關性最大的情況，選取滿足該條件的фm;④ 將fLR，w，m旋轉-фm，以進一步計算圖像的平移參數.

(4)平移參數估計.計算每幅待配準圖像fLR，w，m(m=2，3，…，M)相對于參考圖像fLR，w，1的水平和垂直位移：①計算待配準圖像m和參考圖像之間的相位差∠(FLR，w，m/FLR，w，1);② 對于所有滿足-us+umax＜u＜us-umax的頻率u(為了消除圖像的混疊信息)，通過計算得到相位差的斜率Δx，并以此作為未知數，列出平面線性方程;③ 用最小二乘法得到方程的解作為平移參數Δxm.

從上述Vandewalle方法和Keren改進方法的實現原理可以看出，頻域Vandewalle方法的優點是魯棒性強，對噪聲的抗干擾能力很好，可以消除圖像的混疊信息.但是該方法是先估計旋轉角度，然后將待配準圖像按所得的角度反向旋轉，再估計平移參數，因此，即使較小的旋轉參數估計誤差，也將加劇平移參數的估計誤差，造成對平移參數估計的不夠精確.空域Keren改進方法在較小的旋轉角度下，對旋轉角度估計的精度相當高，但在較大的旋轉角度下，該方法對旋轉角度估計的精度雖比Keren方法有所提高，但仍沒有Vandewalle方法準確，而且對平移參數的估計存在較大的誤差.

基于以上分析，本研究提出了一種基于小波金字塔，并將Vandewalle方法和Keren改進方法相結合的配準方法.將參考圖像和待配準圖像進行Harr小波多級分解，得到多級圖像(見圖1).從最高層，即最小分辨率的圖像開始，配準當前級別分辨率的圖像，并利用配準結果補償下一級的運動差異，直至最低層，即最高分辨率的圖像結束，同時得到最終的配準參數.在每一級里，首先應用頻域Vandewalle方法初步配準小波分解出的低頻子圖，然后根據Vandewalle方法所得的旋轉角度和平移量將待配準圖像進行反向旋轉和反向平移，最后應用Keren改進方法進一步提高配準精度.小波金字塔(見圖2)的應用在不同層上實現了由粗到精的配準，提高了配準的效率.

圖1 參考圖像和待配準圖像的小波多級分解Fig.1 Reference image，image intended to be registered and their wavelet pyramid decomposition

圖2 金字塔結構的圖像配準Fig.2 Pyramid structures for image registration

由式(3)可見，Keren改進方法與一階泰勒級數近似，因此，本研究先進行了一個預處理，將每一級的圖像先用高斯低通濾波器進行濾波，然后再應用Keren改進方法，從而有效地減小了一階泰勒級數近似引起的誤差，提高了對平移參數的配準精度.具體步驟如下.

(1)對參考圖像和待配準圖像進行Haar小波多級分解，建立金字塔.假設有L層，金字塔最高層的大小至少為64×64.

(2)對當前層進行圖像配準(初始為金字塔最高層)：①對當前層小波分解的低頻子圖應用Vandewalle方法，計算平移量Δx1和旋轉角度 θ1;②根據求得的平移量和旋轉角度，將待配準圖像進行反向平移和反向旋轉，并利用Keren改進方法計算平移量Δx2和旋轉角度θ2;③ 重復②，直到平移量和旋轉角度的絕對值小于各自的閾值;④累加配準結果，得到Δx和θ，其中Δx為Δx1與所有Δx2的總和，θ為θ1與所有θ2的總和.

(3)應用步驟(2)得到的配準參數，將下一層的待配準圖像進行反向平移和反向旋轉，以補償運動差異，其中平移參數要進行2倍率的尺度變換，旋轉參數不需要進行尺度變換.

(4)對下一層金字塔執行步驟(2)和步驟(3)，直至到達金字塔最低層.

(5)最終的配準參數為

3 實驗結果

3.1 仿真圖像實驗

仿真數據生成的過程如下：①先對一幅高分辨率的圖像加一個塔基窗，使得圖像得以循環對稱;②對圖像進行下采樣，并進行旋轉和平移，得到多幅低分辨率序列，如圖3所示，其中圖3(a)為一幅高分辨率的原始圖像Leaves(1 704×1 704)，圖3(b)為加了塔基窗口的圖像，圖3(c)為低分辨率圖像中的參考圖像，圖3(d)為低分辨率圖像中的一幅待配準圖像.在由高斯零均值隨機變量產生30組數據的模擬實驗中，通過改變標準差的大小來改變數據的大小，并通過比較各種方法的平移參數和旋轉參數的估計值與原始值，計算出平移量和旋轉角度的絕對誤差和標準差，結果如表1～表3所示，其中μx，μy，μθ分別為水平方向平移量、垂直方向平移量和旋轉角度的絕對誤差，σx，σy，σθ分別為相應誤差的標準差.表1為當平移參數和旋轉參數的標準差為2時，使用不同方法產生的配準結果，測試圖像為國際標準圖像Barbara(256×256).表2為當平移參數和旋轉參數的標準差為5時，使用不同方法產生的配準結果，測試圖像為國際標準圖像 Airplane(512× 512).表3為當平移參數和旋轉參數的標準差為10時，使用不同方法產生的配準結果，測試圖像為圖3(a).實驗結果表明，無論是在較小的、適中的還是較大的運動參數下，本配準方法的精度均高于Keren改進方法和Vandewalle配準方法.

圖3 仿真數據生成示例Fig.3 Illustrations of data simulation

表1 較小的運動參數下，不同方法配準結果的比較Table 1 Registration errors of smaller motion parameter with different methods

表2 中等的運動參數下，不同方法配準結果的比較Table 2 Registration errors of medium motion parameter with different methods

表3 較大的運動參數下，不同方法配準結果的比較Table 3 Registration errors of larger motion parameter with different methods

對一組仿真得到的4幅低分辨率序列進行超分辨率重建，待配準圖像與參考圖像之間的實際運動參數如表4所示，本研究放大的因子為2倍.首先，用估計的參數計算出每幅低分辨率圖像對應的高分辨率網格上的坐標;然后，用雙三次插值的方法，估計出未知點像素的值.將各種超分辨率重建方法的結果與原始圖像進行對比，結果如圖4所示.同時，表5給出了不同超分辨率重建時的峰值信噪比(peak signal-to-noise ratio，PSNR)數據.結果表明，本配準方法的超分辨率重建效果最好.

表4 實際運動參數Table 4 Actual motion parameters

圖4 原始高分辨率圖像以及使用不同方法進行超分辨率重建的圖像Fig.4 Originalhigh-resolution image and superresolution images with different registration methods

表5 不同配準方法超分辨率重建的PSNR值Table 5 PSNR values of super-resolution with different registration methods dB

3.2 真實圖像實驗

將各種方法應用到真實圖像序列的配準和重建中尤為重要.圖5為同一相機拍攝的4幅低分辨率序列，對參考圖像(見圖5(a))進行2倍率的雙線性插值，結果如圖6(a)所示.使用Keren改進方法，Vandewalle方法和本方法對4幅低分辨率序列進行配準，并以2倍率的放大因子重建出一幅高分辨率的圖像，配準結果如表6所示，其中Δx，Δy，θ分別表示水平方向平移量、垂直方向平移量和旋轉角度，重建圖像如圖6(b)～圖6(d)所示.從實驗結果可以看出，對單幅圖像進行插值不能使圖像的分辨率得到提高，本配準方法重建出的超分辨率圖像最為清晰.

圖5 真實的低分辨率圖像序列Fig.5 Real low-resolution image sequences

3.3 計算效率比較

配準方法復雜度的比較可以根據所需的配準時間來衡量，使用Keren改進方法、Vandewalle方法和本方法對圖5的4幅低分辨率序列進行配準，并以2倍率因子進行超分辨率重建，計算各自所需的配準時間，結果如表7所示.雖然本方法的配準時間較Keren改進方法和Vandewalle方法長，但配準精度和超分辨率重建效果均優于后兩種方法，且隨著硬件條件的改善，本方法在配準時間上的差距也可以逐漸地縮小.

圖6 2倍放大的重建圖像Fig.6 Reconstructed images with a scale of 2

4 結束語

表6 真實圖像序列的不同方法配準結果Table 6 Registration results of real images with different methods

針對不同低分辨率序列的圖像配準，空域Keren改進方法對較小旋轉角度配準的精度相對較高，而頻域Vandewalle方法在較大旋轉角度的情況下配準的效果較好.本研究結合了小波金字塔多級分解、空域Keren改進方法以及頻域Vandewalle方法各自的優點，提出了一種新的圖像亞像素配準方法.本研究應用頻域Vandewalle方法進行初步配準，接著根據所得到的角度和平移量，將待配準圖像進行反向旋轉和反向平移，最后應用Keren改進方法進一步提高配準精度.每一級的圖像均先用高斯低通濾波器進行濾波，從而有效地減小了Keren改進方法與一階泰勒級數近似引起的誤差，提高了對平移參數的配準精度.實驗結果表明，即使在較大的平移量和旋轉角度的情況下，相比只有Keren改進方法和只有Vandewalle方法，本方法的配準精度得到了顯著的提高，同時圖像的超分辨率重建也獲得了更好的視覺效果和更高的PSNR.

表7 不同配準方法的配準時間Table 7 Elapsed time of different registration methods s

［1］ LUCCHESEL，CORTELAZZOG M.A noise-robust frequency domain technique for estimating planar rototranslations［J］. IEEE Transactions on Signal Processing，2000，48(6)：1769-1786.

［2］ FOROOSHH，ZERUBIAJ B，BERTHODM.Extension of phase correlation to subpixel registration［J］.IEEE Transactions on Image Processing，2002，11(3)：188-200.

［3］ VANDEWALLEP，SüSSTRUNKS E，VETTERLIM.Superresolution images reconstructed from aliased images［C］∥Proceedings of the SPIE：Conference on Visual Communications and Image Processing.2003：1398-1405.

［4］ CAPELD，ZISSERMANA.Computer vision applied to super-resolution［J］.IEEE Signal Processing Magazine， 2003，20(3)：75-86.

［5］ FARSIUS，ROBINSOND，ELADM.Fast and robust multi-frame super-resolution［J］.IEEE Transactions on Image Processing，2004，13(10)：1327-1344.

［6］ SHENH F，ZHANGL P，HUANGB，et al.A MAP approach for joint motion estimation，segmentation，and super resolution［J］.IEEE Transactions on Image Processing，2007，16(2)：479-490.

［7］ ROBINSOND，FARSIUS，MILANFARP.Optimal registration of aliased images using variable projection with applications to super-resolution［J］.Comput J，2009，52(1)：31-42.

［8］ GLUCKMAN J.Gradientfield distributionsforthe registration of images［C］∥Proceedings of International Conference on Image Processing.2003：691-694.

［9］ KEREND，PELEGS，BRADAR.Image sequence enhancement using sub-pixel displacements［C］∥ The Computer Society Conference on Computer Vision and Pattern Recognition.1988：742-746.

［10］ FANIM，YAZDIM.Novel image registration method using gradient based algorithm along with multi-resolution wavelet transform［C］∥ Proceedings of International Conference on Electrical and Computer Engineering.2010：1-5.

［11］ FANC，GONGJ Y，ZHUJ J.An improvement approach based on Keren sub-pixel registration method［C］∥Proceedings of 8th International Conference on Signal Processing.2006：1-4.

［12］ VANDEWALLEP，S?USSTRUNKS，VETTERLIM.A frequency domain approach to registration of aliased imageswith application to super-resolution ［J］.EURASIP Journal on Applied Signal Processing，2006，2006(10)：1-14.