基于視頻流體模型的圖像超分辨率重建

畢國堂，唐權華，陳立偉

(1．西南科技大學計算機科學與技術學院，四川綿陽621010;2．江西師范大學軟件學院，南昌330022)

1 概述

由于存儲空間與采集硬件的限制，視頻監控中所存儲的通常都是分辨率較小的視頻，且包含噪聲，無法滿足對監控內容的識別等追蹤需求。對視頻進行去噪，合成高分辨率的圖像，可為醫學診斷提供更有力的依據，減少誤診率，為警方提供識別和追蹤罪犯的有效證據，并為科研活動提供更詳細直觀的數據，其他如工業、農業、商業等各行業也都對高分辨率監控圖像有迫切的需要。

為了從監控視頻中獲取高清晰度的圖像，進行視頻處理是一個必不可少的環節。利用視頻連續性的特點，超分辨率重建的思想在20世紀80年代被提出，使用頻域逼近的方法從視頻獲得超分辨率圖像。此后，基于視頻的超分辨率重建(Video Based Super-resolution Reconstruction，VSR)方法迅速獲得人們重視，并成為圖像超分辨率重建的主要分支之一，目前仍然是圖像重建的研究熱點。VSR中關鍵問題在于幀間的匹配，文獻［1］提出使用最大后驗概率(Maximum A Posteriori，MAP)進行快速匹配，在此基礎上，文獻［2］基于圖像統計模型建立了目標方程，提高了VSR的收斂速度，文獻［3］提出一種結構保持的VSR方法，改善了重建的效果，另一些研究則是將殘差［4］、稀疏矩陣［5］等技術應用于 VSR，從而改善或避開幀間匹配。其他研究主要針對圖像的特殊噪聲［6］、特殊應用場景［7］、運動信息［8］做特殊處理，或應用聚類等技術提高重建速度［9］。從已知成果來看，現有超分辨率重建方法都是將視頻作為隨機信號處理，從概率的角度確定像素的最可能正確值，并未考慮視頻的幾何特征。雖然一些方法在時域上進行了區域匹配［10］，但匹配結果僅被用于提取統計特征，未能充分發掘像素在時域和空域上的三維相關特性，限制了超分辨率重建的效果。視頻流體模型(Video Fluid Model，VFM)［11］綜合描述視頻對象的時域和空域信息，為解決上述問題，本文提出一種新的圖像超分辨率重建方法，將視頻流體模型引入到基于視頻的圖像重建方法中。

2 視頻流體模型

視頻是對客觀世界運動和變化的連續取樣，從時間軸上看，當采樣頻率足夠高時，視頻總是連續變化的，物體的運動軌跡為連續光滑曲線。對于視頻中的一個區域時間序列A(t)(0＜t＜∞)，如果它的中心數列CA(t)連續，并且對于時間t，可以找到一個映射f(x，y，t)，f:A(t)(A(t+1)，使得對任意區域 A(t)中的點 (x，y)都有 I(x，y，t)=I(x+fx(x，y，t)，y+fy(x，y，t)，t+1)，并且 f在區域中關于(x，y)連續。那么稱F(t)={{A(t)}，f，CA}為一個視頻流體。其中，f稱為流體的流紋;數列CA(t)稱為視頻流線。所謂視頻流體模型則是將視頻用一組流體表達的結果。

由于視頻采集是一個三維到二維的映射，存在信息的丟失，視頻流體在各幀間并不能完全對應，這個過程可以由以下公式表示:

其中，Mi在平移線 Li與(x，y)的連線方向上;Tj在旋轉中心(centerx，centery)與(x，y)的連線方向上。

視頻流體模型可以簡化為:

視頻流體模型不僅記錄了視頻對象的整體區域，且記錄了區域內各像素的時域對應關系，是視頻時空關系的綜合體現。在視頻流體模型的數據中，對于空域關系僅記錄某一幀的數據，而其他幀均參考此數據，流紋數據也只記錄其中變化部分，因此，模型的記錄較少。使用流體模型時可以很直接地得到視頻對象、對象運動與變化相關的數據，因此，流體模型可以很方便地應用于視頻去噪、視頻內容分析等視頻處理過程中。

3 圖像超分辨率重建與視頻流體

圖像的超分辨率重建，主要是希望從模糊的圖像中獲得清晰的結果。傳統超分辨率重建主要通過運動估計和自適應濾波消除模糊混疊、模糊和噪聲，從而達到提高分辨率的目的。傳統方法要取得成功有2個方面的要求:(1)能完成高精度的運動估計;(2)正確完成攝像機的配準。從理論上說，如果匹配2個區域的像素完全在整數位置對應，則可以利用這種對應關系進行濾波，達到去噪的目的;如果區域像素在分數位置對應，則可以增加像素數目，達到分辨率擴展的目的。

傳統的超分辨率重建方法也存在一些困難，使得超分辨率重建應用難以普及，僅能用于一些特殊行業，如交通監控的視頻處理，理論研究也很難突破。傳統的運動估計都是基于矩陣塊完成的，無論是16×16像素的塊還是8×8像素的塊，都可能有部分像素運動跟塊的運動并不一致，這就從根本上限制了運動估計的精確度，從而也對超分辨率圖像重建構成了不利影響。另外，傳統運動估計僅進行簡單的特征匹配，而無視旋轉和變形等因素，使得估計結果僅僅是塊的相似，而不能做到像素的對應，利用塊匹配進行濾波還可能帶來圖像質量的惡化。

視頻流體是同一表面連續拍攝的結果，因此，在理論上也可以利用流體區域在不同時刻的像素值進行濾波和拼接，達到去噪、擴展分辨率的目的。流紋在本質上是同一像素的運動軌跡，可以用同一流紋上的像素值濾波進行去噪，也可以利用流紋在時域上的光滑性和空域上的平滑性提高視頻區域的質量。當一條流紋中斷，而它周圍的流紋延續時，可以認為該流紋是流向了分數位置，同樣，在2條流紋間補入的新流紋也可以認為原來就存在于分數位置，通過分數位置的處理，則可以達到擴展圖像分辨率的目的。當對象區域旋轉、變形時，流體區域相應變化，流紋會隨像素移動方向轉向，可見，基于流體模型不僅可以完成超分辨率圖像重建，而且可以解決傳統超分辨率重建的難題。

4 基于流體模型的圖像重建方法

視頻流體是同一對象在不同時刻采集到的像素集，忽略光線的變化，可知同一流紋上的像素值理論上相等，即 I(x，y，t)=I(f(x，y)，t+1)，因此，可以使用流紋進行時域去噪。同一物體表面的實際元素不改變，當流紋間連續出現新的像素時，可以認為這是原來數字化采樣丟失的像素，因此，可以使用補入線增加圖像的分辨率。由此可以得到基于流體模型的圖像超分辨率重建方法，即首先利用流紋進行去噪，然后利用補入線擴展圖像分辨率，其總體流程如圖1所示。

圖1 基于流體模型圖像重建總體流程

如圖1所示，重建過程首先建立視頻流體模型并進行去噪，然后選擇起始幀作為參考圖像，并依次在各幀中選擇補入線流紋，再根據補入流紋相鄰流紋計算補入流紋在初始幀的位置，如果所得位置非整數，先對參考圖像插值拉伸，最后使用補入流紋上的值替換對應位置的插值。

4．1 基于等色線的流體模型估計

視頻流體是同一對象產生的像素集，但分割視頻對象本身是一個難題，本文使用流紋的運動來反推流體，即先計算流紋，再根據流紋運動一致性來判定流體的區域。根據定義，流紋上的像素相等，但由于噪聲的影響與采樣分辨率的不足，很難通過像素值的相等來計算流紋。幸運的是，脈沖噪聲通常是分散的，隨機噪聲污染后的值總是在真實值附近隨機波動，另外，可以認為相似像素值的運動不可分辨，再結合同一對象相鄰質點運動方向一致的特點，本文利用等色線構建視頻流體模型。

基于等色線的流體模型建立方法如下:

Step1令每幀總像素數N，當前幀數k=0，流體數 c=1，流紋函數 f(x，y，0)=(x，y)，即假設初始為靜態。

Step2對當前幀frame(k)計算各像素的顏色中值Med。

Step3以frame(k-1)各流體及其流紋函數、流紋變化估計frame(k)對應區域，若對應像素值均相等，則令k=k+1，轉Step1;否則以Med計算等色線重新劃分frame(k)，frame(k-1)。

Step4尋找每條等色線的前后對應關系，并在對應等色線間以角點對應、最小距離的方式查找匹配點連線，作為等色線上的流紋。

Step5若等色線包圍的區域內顏色相等，則將區域內像素均勻對應作為流紋，否則以區域內顏色中值計算等色線重新劃分區域，轉Step3。

Step6計算各流紋的變化，并以流紋變化一致區域作為流體區域。令k=k+1，轉Step2。

通過上述方法的運算，不僅可以得到視頻流體的區域劃分，而且能準確得到流紋及流紋變化等信息。

4．2 基于中值濾波的自適應時域去噪

根據定義，流紋上的像素值相同，然而由于噪聲的存在，流紋上的像素值也可能不完全相等。去除噪聲的方法較多，通常是假設噪聲或未污染像素服從某種概率分布，如高斯分布、白噪聲、極值分布等，從而得到如高斯濾波、粒子濾波、均值濾波、中值濾波等去噪方法。對流紋上的像素而言，正常像素與噪聲的最大區別是正常像素值保持不變，呈現一致性，而噪聲則是隨機的，因此，噪聲的影響總是小于正常像素，污染后的像素值總是在正常像素值附近波動。由此可以得到2種去噪方法的選擇，一是均值濾波，二是中值濾波。均值濾波的前提是噪聲為白噪聲，且容易受噪聲的極端分布所影響，而中值濾波僅需要像素值有向真實值集中的趨勢即可，因此，本文選擇使用中值濾波方法去噪。具體方法為使用流紋上的中值替代觀測值:

其中，f為流紋函數。

此處的流紋指經過等色線估計得到的近似像素時域對應關系，其中，90%左右的像素值相等或近似相等，可以不處理，同時，采用了文獻［12］的快速中值計算方法，雖然使用了中值濾波這一非線性方法，但并不影響整個方法的執行效率。

4．3 基于流紋延伸的像素擴展

由于分辨率不足，視頻像素是實際像素的采樣，相對相機靜止的物體采樣位置也固定，長期統計可以得到相應位置的真實值。而相對相機運動的物體則可能得到不同位置的采樣，產生流紋的中斷與新增，這是補入線與切出線的重要來源，因此，可以用補入線補充之前未采集到的像素值，而用切出線可以預測之后丟失的像素值。由此可得到基于流紋延伸的像素擴展方法如下:

(1)以去噪后的視頻第一幀作為擴展基礎，即按比例將 I(x，y，0)擴展為目標圖像的 P(xs，ys)，其中，s為擴展比例，為方便計算，規定s為整數。

(2)依次計算各幀的流紋f(x，y，t)，并遞歸計算第 t幀 ～ 第1 幀的映射 g(x，y，t)。若 f(x，y，t)為切出線，則用亞像素位置對它進行延伸，令:

(3)對P中各像素進行補充賦值，若存在g(x，y，t)=(xs，ys)，則令 P(xs，ys)=(x，y，t)，否則對(xs，ys)進行雙線性插值。

5 性能分析

通過以上重建過程可以看出，基于視頻流體模型的超分辨率圖像重建方法可以使用于連續拍攝的一般場景，甚至也可以用于移動攝像機所拍攝的場景，具有精度高、抗干擾的適應性強等優勢。

由于本文方法基于流紋進行重建，流紋為像素在時域上的延伸，因此重建操作本身是像素級的。與以往基于塊的圖像重建方法相比，新方法可以對每個像素進行單獨修復和預測，而避免了塊操作產生的模糊等不良影響，因此新方法具有更高的重建精度。

當噪聲存在，基于流體模型的去噪方法不僅可以從空域上對圖像去噪，而且可以同時考慮像素的時域連續性，客觀上增加了重建的抗噪聲性能。并且，當出現攝像機抖動、光線閃耀等異常情況時，流體模型能根據流紋的時域、空域的連續性、光滑性進行校正，也保證了重建方法的抗干擾能力。

與一般重建方法只能處理固定攝像機的情況不同，本文方法并不區分場景的前景、背景等，而是將場景中的各元素視為連續運動的整體，因此，在進行圖像重建時并不存在運動背景與靜止背景的區分，可以自然地適應攝像機運動的情況。

當然，由于對視頻進行像素級處理，流體模型的建模過程有一定的時間開銷，但由于圖像重建過程一般都是非適時的，沒有適時要求，并且建模過程只是一個有限的時間開銷，圖像重建的對象都是重要數據，一般數量有限，因此基于流體模型的方法能夠適應一般圖像重建的時間需求。

6 實驗結果與分析

分別以文獻［3］提出的配置與最大后驗插值方法(M＆EM)、文獻［4］提出的梯度投影(Gradient Projection，GP)方法、文獻［5］提出的最大后驗估計與投影 (Maximum A Posteriori＆Projection，MAPP)方法及本文方法對同一段視頻(共50幀)進行重建處理，部分結果如圖2所示。通過對比觀察可以看出本文方法重建結果最為清晰。

圖2 監控視頻重建結果

對于普通的測試視頻，超分辨率重建后沒有可參考和對比的圖像，恢復結果僅能用肉眼觀察和人工判斷。為了客觀地評價和對比重建結果，對標準測試視頻進行降質處理。測試視頻的原始幀大小為704×576像素，首先對視頻各幀做幾何變換，縮小到352×288像素大小;然后使用高斯濾波對各幀進行模糊處理;最后在各幀中隨機加入椒鹽噪聲與高斯白噪聲。采用上述各方法對不同污染程度的視頻進行處理，然后對比處理后得到重建圖像與參考幀的峰值信噪比(Peak Signal to Noise Ratio，PSNR)，對mobile視頻處理結果(共90幀，參考幀為第45幀)如表1所示，其中，未處理列指幾何變換后與加噪后對應視頻第45幀的PSNR對比;其余各列則指分別使用M＆EM等方法處理后得到的重建圖像與原視頻中第45幀的PSNR對比。

表1 重建圖像與參考幀的PSNR對比 dB

由表1可知，4種重建方法都可以起到擴展圖像分辨率、提高圖像質量的作用，而本文方法的重建效果在不同的污染情況下均超過其他3種方法。

7 結束語

基于視頻流體模型，本文提出一種新的圖像序列高分辨率重建方法。應用視頻流紋的變化進行圖像質量的提高、分辨率的擴展。實驗結果表明，與傳統基于運動估計的圖像超分辨率重建方法相比，該方法可獲得更好的圖像重建效果。今后將研究如何提高方法的計算速度，并將流體模型應用于其他視頻處理方面。

［1］ 肖創柏，禹 晶，薛 毅．一種基于MAP的超分辨率圖像重建的快速算法［J］．計算機研究與發展，2009，46(5):872-880．

［2］ 樊 超，孫寧寧，夏 旭．基于序列圖像的超分辨率重建［J］．紅外技術，2010，32(5):279-282．

［3］ 郭 琳，陳慶虎．結構保持的圖像序列自適應超分辨率重建［J］．武漢大學學報:信息科學版，2011，36(5):548-551．

［4］ 陳華華，姜寶林，劉 超，等．基于殘差的圖像超分辨率重建［J］．中國圖象圖形學報，2013，18(1):42-48．

［5］ 李 民，程 建，樂 翔，等．基于聯合稀疏近似的彩色圖像超分辨率重建［J］．光電子·激光，2011，22(8):1241-1245．

［6］ 聶篤憲，陳一梅，陳鶴峰．去混合噪聲的超分辨率圖像重建算法［J］．紅外技術，2010，32(10):604-606．

［7］ Lu Xiaobo，Zeng Weili．Super-resolution Reconstruction for License Plate Images of Moving Vehicles［J］．Journal of Southeast University，2010，26(3):457-460．

［8］ Seelamantula C S，Mulleti S．Super-resolution Reconstruction in Frequency-domain Optical-coherence Tomography Using the Finite-Rate-of-Innovation Principle［J］．IEEE Transactions on Signal Processing，2014，62(19):5020-5029．

［9］ 李娟娟，李小紅．基于聚類的單幀圖像超分辨率重建方法［J］．計算機工程，2013，39(7):284-287．

［10］ 朱 偉，孫久運，劉凱凱．基于最小二乘影像匹配的超分辨率重建［J］．地理與地理信息科學，2014，30(2):116-119．

［11］ 唐權華．視頻時空聯合模型與去噪研究［D］．成都:西南交通大學，2010．

［12］ 唐權華，雷金娥，周 艷，等．基于多級空間壓縮測度積分的中值計算方法［J］．中國圖象圖形學報，2009，14(4):642-646．