基于視頻流體模型的圖像超分辨率重建

畢國堂，唐權(quán)華，陳立偉

(1．西南科技大學(xué)計算機科學(xué)與技術(shù)學(xué)院，四川綿陽621010;2．江西師范大學(xué)軟件學(xué)院，南昌330022)

1 概述

由于存儲空間與采集硬件的限制，視頻監(jiān)控中所存儲的通常都是分辨率較小的視頻，且包含噪聲，無法滿足對監(jiān)控內(nèi)容的識別等追蹤需求。對視頻進行去噪，合成高分辨率的圖像，可為醫(yī)學(xué)診斷提供更有力的依據(jù)，減少誤診率，為警方提供識別和追蹤罪犯的有效證據(jù)，并為科研活動提供更詳細直觀的數(shù)據(jù)，其他如工業(yè)、農(nóng)業(yè)、商業(yè)等各行業(yè)也都對高分辨率監(jiān)控圖像有迫切的需要。

為了從監(jiān)控視頻中獲取高清晰度的圖像，進行視頻處理是一個必不可少的環(huán)節(jié)。利用視頻連續(xù)性的特點，超分辨率重建的思想在20世紀(jì)80年代被提出，使用頻域逼近的方法從視頻獲得超分辨率圖像。此后，基于視頻的超分辨率重建(Video Based Super-resolution Reconstruction，VSR)方法迅速獲得人們重視，并成為圖像超分辨率重建的主要分支之一，目前仍然是圖像重建的研究熱點。VSR中關(guān)鍵問題在于幀間的匹配，文獻［1］提出使用最大后驗概率(Maximum A Posteriori，MAP)進行快速匹配，在此基礎(chǔ)上，文獻［2］基于圖像統(tǒng)計模型建立了目標(biāo)方程，提高了VSR的收斂速度，文獻［3］提出一種結(jié)構(gòu)保持的VSR方法，改善了重建的效果，另一些研究則是將殘差［4］、稀疏矩陣［5］等技術(shù)應(yīng)用于 VSR，從而改善或避開幀間匹配。其他研究主要針對圖像的特殊噪聲［6］、特殊應(yīng)用場景［7］、運動信息［8］做特殊處理，或應(yīng)用聚類等技術(shù)提高重建速度［9］。從已知成果來看，現(xiàn)有超分辨率重建方法都是將視頻作為隨機信號處理，從概率的角度確定像素的最可能正確值，并未考慮視頻的幾何特征。雖然一些方法在時域上進行了區(qū)域匹配［10］，但匹配結(jié)果僅被用于提取統(tǒng)計特征，未能充分發(fā)掘像素在時域和空域上的三維相關(guān)特性，限制了超分辨率重建的效果。視頻流體模型(Video Fluid Model，VFM)［11］綜合描述視頻對象的時域和空域信息，為解決上述問題，本文提出一種新的圖像超分辨率重建方法，將視頻流體模型引入到基于視頻的圖像重建方法中。

2 視頻流體模型

視頻是對客觀世界運動和變化的連續(xù)取樣，從時間軸上看，當(dāng)采樣頻率足夠高時，視頻總是連續(xù)變化的，物體的運動軌跡為連續(xù)光滑曲線。對于視頻中的一個區(qū)域時間序列A(t)(0＜t＜∞)，如果它的中心數(shù)列CA(t)連續(xù)，并且對于時間t，可以找到一個映射f(x，y，t)，f:A(t)(A(t+1)，使得對任意區(qū)域 A(t)中的點 (x，y)都有 I(x，y，t)=I(x+fx(x，y，t)，y+fy(x，y，t)，t+1)，并且 f在區(qū)域中關(guān)于(x，y)連續(xù)。那么稱F(t)={{A(t)}，f，CA}為一個視頻流體。其中，f稱為流體的流紋;數(shù)列CA(t)稱為視頻流線。所謂視頻流體模型則是將視頻用一組流體表達的結(jié)果。

由于視頻采集是一個三維到二維的映射，存在信息的丟失，視頻流體在各幀間并不能完全對應(yīng)，這個過程可以由以下公式表示:

其中，Mi在平移線 Li與(x，y)的連線方向上;Tj在旋轉(zhuǎn)中心(centerx，centery)與(x，y)的連線方向上。

視頻流體模型可以簡化為:

視頻流體模型不僅記錄了視頻對象的整體區(qū)域，且記錄了區(qū)域內(nèi)各像素的時域?qū)?yīng)關(guān)系，是視頻時空關(guān)系的綜合體現(xiàn)。在視頻流體模型的數(shù)據(jù)中，對于空域關(guān)系僅記錄某一幀的數(shù)據(jù)，而其他幀均參考此數(shù)據(jù)，流紋數(shù)據(jù)也只記錄其中變化部分，因此，模型的記錄較少。使用流體模型時可以很直接地得到視頻對象、對象運動與變化相關(guān)的數(shù)據(jù)，因此，流體模型可以很方便地應(yīng)用于視頻去噪、視頻內(nèi)容分析等視頻處理過程中。

3 圖像超分辨率重建與視頻流體

圖像的超分辨率重建，主要是希望從模糊的圖像中獲得清晰的結(jié)果。傳統(tǒng)超分辨率重建主要通過運動估計和自適應(yīng)濾波消除模糊混疊、模糊和噪聲，從而達到提高分辨率的目的。傳統(tǒng)方法要取得成功有2個方面的要求:(1)能完成高精度的運動估計;(2)正確完成攝像機的配準(zhǔn)。從理論上說，如果匹配2個區(qū)域的像素完全在整數(shù)位置對應(yīng)，則可以利用這種對應(yīng)關(guān)系進行濾波，達到去噪的目的;如果區(qū)域像素在分數(shù)位置對應(yīng)，則可以增加像素數(shù)目，達到分辨率擴展的目的。

傳統(tǒng)的超分辨率重建方法也存在一些困難，使得超分辨率重建應(yīng)用難以普及，僅能用于一些特殊行業(yè)，如交通監(jiān)控的視頻處理，理論研究也很難突破。傳統(tǒng)的運動估計都是基于矩陣塊完成的，無論是16×16像素的塊還是8×8像素的塊，都可能有部分像素運動跟塊的運動并不一致，這就從根本上限制了運動估計的精確度，從而也對超分辨率圖像重建構(gòu)成了不利影響。另外，傳統(tǒng)運動估計僅進行簡單的特征匹配，而無視旋轉(zhuǎn)和變形等因素，使得估計結(jié)果僅僅是塊的相似，而不能做到像素的對應(yīng)，利用塊匹配進行濾波還可能帶來圖像質(zhì)量的惡化。

視頻流體是同一表面連續(xù)拍攝的結(jié)果，因此，在理論上也可以利用流體區(qū)域在不同時刻的像素值進行濾波和拼接，達到去噪、擴展分辨率的目的。流紋在本質(zhì)上是同一像素的運動軌跡，可以用同一流紋上的像素值濾波進行去噪，也可以利用流紋在時域上的光滑性和空域上的平滑性提高視頻區(qū)域的質(zhì)量。當(dāng)一條流紋中斷，而它周圍的流紋延續(xù)時，可以認為該流紋是流向了分數(shù)位置，同樣，在2條流紋間補入的新流紋也可以認為原來就存在于分數(shù)位置，通過分數(shù)位置的處理，則可以達到擴展圖像分辨率的目的。當(dāng)對象區(qū)域旋轉(zhuǎn)、變形時，流體區(qū)域相應(yīng)變化，流紋會隨像素移動方向轉(zhuǎn)向，可見，基于流體模型不僅可以完成超分辨率圖像重建，而且可以解決傳統(tǒng)超分辨率重建的難題。

4 基于流體模型的圖像重建方法

視頻流體是同一對象在不同時刻采集到的像素集，忽略光線的變化，可知同一流紋上的像素值理論上相等，即 I(x，y，t)=I(f(x，y)，t+1)，因此，可以使用流紋進行時域去噪。同一物體表面的實際元素不改變，當(dāng)流紋間連續(xù)出現(xiàn)新的像素時，可以認為這是原來數(shù)字化采樣丟失的像素，因此，可以使用補入線增加圖像的分辨率。由此可以得到基于流體模型的圖像超分辨率重建方法，即首先利用流紋進行去噪，然后利用補入線擴展圖像分辨率，其總體流程如圖1所示。

圖1 基于流體模型圖像重建總體流程

如圖1所示，重建過程首先建立視頻流體模型并進行去噪，然后選擇起始幀作為參考圖像，并依次在各幀中選擇補入線流紋，再根據(jù)補入流紋相鄰流紋計算補入流紋在初始幀的位置，如果所得位置非整數(shù)，先對參考圖像插值拉伸，最后使用補入流紋上的值替換對應(yīng)位置的插值。

4．1 基于等色線的流體模型估計

視頻流體是同一對象產(chǎn)生的像素集，但分割視頻對象本身是一個難題，本文使用流紋的運動來反推流體，即先計算流紋，再根據(jù)流紋運動一致性來判定流體的區(qū)域。根據(jù)定義，流紋上的像素相等，但由于噪聲的影響與采樣分辨率的不足，很難通過像素值的相等來計算流紋。幸運的是，脈沖噪聲通常是分散的，隨機噪聲污染后的值總是在真實值附近隨機波動，另外，可以認為相似像素值的運動不可分辨，再結(jié)合同一對象相鄰質(zhì)點運動方向一致的特點，本文利用等色線構(gòu)建視頻流體模型。

基于等色線的流體模型建立方法如下:

Step1令每幀總像素數(shù)N，當(dāng)前幀數(shù)k=0，流體數(shù) c=1，流紋函數(shù) f(x，y，0)=(x，y)，即假設(shè)初始為靜態(tài)。

Step2對當(dāng)前幀frame(k)計算各像素的顏色中值Med。

Step3以frame(k-1)各流體及其流紋函數(shù)、流紋變化估計frame(k)對應(yīng)區(qū)域，若對應(yīng)像素值均相等，則令k=k+1，轉(zhuǎn)Step1;否則以Med計算等色線重新劃分frame(k)，frame(k-1)。

Step4尋找每條等色線的前后對應(yīng)關(guān)系，并在對應(yīng)等色線間以角點對應(yīng)、最小距離的方式查找匹配點連線，作為等色線上的流紋。

Step5若等色線包圍的區(qū)域內(nèi)顏色相等，則將區(qū)域內(nèi)像素均勻?qū)?yīng)作為流紋，否則以區(qū)域內(nèi)顏色中值計算等色線重新劃分區(qū)域，轉(zhuǎn)Step3。

Step6計算各流紋的變化，并以流紋變化一致區(qū)域作為流體區(qū)域。令k=k+1，轉(zhuǎn)Step2。

通過上述方法的運算，不僅可以得到視頻流體的區(qū)域劃分，而且能準(zhǔn)確得到流紋及流紋變化等信息。

4．2 基于中值濾波的自適應(yīng)時域去噪

根據(jù)定義，流紋上的像素值相同，然而由于噪聲的存在，流紋上的像素值也可能不完全相等。去除噪聲的方法較多，通常是假設(shè)噪聲或未污染像素服從某種概率分布，如高斯分布、白噪聲、極值分布等，從而得到如高斯濾波、粒子濾波、均值濾波、中值濾波等去噪方法。對流紋上的像素而言，正常像素與噪聲的最大區(qū)別是正常像素值保持不變，呈現(xiàn)一致性，而噪聲則是隨機的，因此，噪聲的影響總是小于正常像素，污染后的像素值總是在正常像素值附近波動。由此可以得到2種去噪方法的選擇，一是均值濾波，二是中值濾波。均值濾波的前提是噪聲為白噪聲，且容易受噪聲的極端分布所影響，而中值濾波僅需要像素值有向真實值集中的趨勢即可，因此，本文選擇使用中值濾波方法去噪。具體方法為使用流紋上的中值替代觀測值:

其中，f為流紋函數(shù)。

此處的流紋指經(jīng)過等色線估計得到的近似像素時域?qū)?yīng)關(guān)系，其中，90%左右的像素值相等或近似相等，可以不處理，同時，采用了文獻［12］的快速中值計算方法，雖然使用了中值濾波這一非線性方法，但并不影響整個方法的執(zhí)行效率。

4．3 基于流紋延伸的像素擴展

由于分辨率不足，視頻像素是實際像素的采樣，相對相機靜止的物體采樣位置也固定，長期統(tǒng)計可以得到相應(yīng)位置的真實值。而相對相機運動的物體則可能得到不同位置的采樣，產(chǎn)生流紋的中斷與新增，這是補入線與切出線的重要來源，因此，可以用補入線補充之前未采集到的像素值，而用切出線可以預(yù)測之后丟失的像素值。由此可得到基于流紋延伸的像素擴展方法如下:

(1)以去噪后的視頻第一幀作為擴展基礎(chǔ)，即按比例將 I(x，y，0)擴展為目標(biāo)圖像的 P(xs，ys)，其中，s為擴展比例，為方便計算，規(guī)定s為整數(shù)。

(2)依次計算各幀的流紋f(x，y，t)，并遞歸計算第 t幀 ～ 第1 幀的映射 g(x，y，t)。若 f(x，y，t)為切出線，則用亞像素位置對它進行延伸，令:

(3)對P中各像素進行補充賦值，若存在g(x，y，t)=(xs，ys)，則令 P(xs，ys)=(x，y，t)，否則對(xs，ys)進行雙線性插值。

5 性能分析

通過以上重建過程可以看出，基于視頻流體模型的超分辨率圖像重建方法可以使用于連續(xù)拍攝的一般場景，甚至也可以用于移動攝像機所拍攝的場景，具有精度高、抗干擾的適應(yīng)性強等優(yōu)勢。

由于本文方法基于流紋進行重建，流紋為像素在時域上的延伸，因此重建操作本身是像素級的。與以往基于塊的圖像重建方法相比，新方法可以對每個像素進行單獨修復(fù)和預(yù)測，而避免了塊操作產(chǎn)生的模糊等不良影響，因此新方法具有更高的重建精度。

當(dāng)噪聲存在，基于流體模型的去噪方法不僅可以從空域上對圖像去噪，而且可以同時考慮像素的時域連續(xù)性，客觀上增加了重建的抗噪聲性能。并且，當(dāng)出現(xiàn)攝像機抖動、光線閃耀等異常情況時，流體模型能根據(jù)流紋的時域、空域的連續(xù)性、光滑性進行校正，也保證了重建方法的抗干擾能力。

與一般重建方法只能處理固定攝像機的情況不同，本文方法并不區(qū)分場景的前景、背景等，而是將場景中的各元素視為連續(xù)運動的整體，因此，在進行圖像重建時并不存在運動背景與靜止背景的區(qū)分，可以自然地適應(yīng)攝像機運動的情況。

當(dāng)然，由于對視頻進行像素級處理，流體模型的建模過程有一定的時間開銷，但由于圖像重建過程一般都是非適時的，沒有適時要求，并且建模過程只是一個有限的時間開銷，圖像重建的對象都是重要數(shù)據(jù)，一般數(shù)量有限，因此基于流體模型的方法能夠適應(yīng)一般圖像重建的時間需求。

6 實驗結(jié)果與分析

分別以文獻［3］提出的配置與最大后驗插值方法(M＆EM)、文獻［4］提出的梯度投影(Gradient Projection，GP)方法、文獻［5］提出的最大后驗估計與投影 (Maximum A Posteriori＆Projection，MAPP)方法及本文方法對同一段視頻(共50幀)進行重建處理，部分結(jié)果如圖2所示。通過對比觀察可以看出本文方法重建結(jié)果最為清晰。

圖2 監(jiān)控視頻重建結(jié)果

對于普通的測試視頻，超分辨率重建后沒有可參考和對比的圖像，恢復(fù)結(jié)果僅能用肉眼觀察和人工判斷。為了客觀地評價和對比重建結(jié)果，對標(biāo)準(zhǔn)測試視頻進行降質(zhì)處理。測試視頻的原始幀大小為704×576像素，首先對視頻各幀做幾何變換，縮小到352×288像素大小;然后使用高斯濾波對各幀進行模糊處理;最后在各幀中隨機加入椒鹽噪聲與高斯白噪聲。采用上述各方法對不同污染程度的視頻進行處理，然后對比處理后得到重建圖像與參考幀的峰值信噪比(Peak Signal to Noise Ratio，PSNR)，對mobile視頻處理結(jié)果(共90幀，參考幀為第45幀)如表1所示，其中，未處理列指幾何變換后與加噪后對應(yīng)視頻第45幀的PSNR對比;其余各列則指分別使用M＆EM等方法處理后得到的重建圖像與原視頻中第45幀的PSNR對比。

表1 重建圖像與參考幀的PSNR對比 dB

由表1可知，4種重建方法都可以起到擴展圖像分辨率、提高圖像質(zhì)量的作用，而本文方法的重建效果在不同的污染情況下均超過其他3種方法。

7 結(jié)束語

基于視頻流體模型，本文提出一種新的圖像序列高分辨率重建方法。應(yīng)用視頻流紋的變化進行圖像質(zhì)量的提高、分辨率的擴展。實驗結(jié)果表明，與傳統(tǒng)基于運動估計的圖像超分辨率重建方法相比，該方法可獲得更好的圖像重建效果。今后將研究如何提高方法的計算速度，并將流體模型應(yīng)用于其他視頻處理方面。

［1］ 肖創(chuàng)柏，禹 晶，薛 毅．一種基于MAP的超分辨率圖像重建的快速算法［J］．計算機研究與發(fā)展，2009，46(5):872-880．

［2］ 樊 超，孫寧寧，夏 旭．基于序列圖像的超分辨率重建［J］．紅外技術(shù)，2010，32(5):279-282．

［3］ 郭 琳，陳慶虎．結(jié)構(gòu)保持的圖像序列自適應(yīng)超分辨率重建［J］．武漢大學(xué)學(xué)報:信息科學(xué)版，2011，36(5):548-551．

［4］ 陳華華，姜寶林，劉 超，等．基于殘差的圖像超分辨率重建［J］．中國圖象圖形學(xué)報，2013，18(1):42-48．

［5］ 李 民，程 建，樂 翔，等．基于聯(lián)合稀疏近似的彩色圖像超分辨率重建［J］．光電子·激光，2011，22(8):1241-1245．

［6］ 聶篤憲，陳一梅，陳鶴峰．去混合噪聲的超分辨率圖像重建算法［J］．紅外技術(shù)，2010，32(10):604-606．

［7］ Lu Xiaobo，Zeng Weili．Super-resolution Reconstruction for License Plate Images of Moving Vehicles［J］．Journal of Southeast University，2010，26(3):457-460．

［8］ Seelamantula C S，Mulleti S．Super-resolution Reconstruction in Frequency-domain Optical-coherence Tomography Using the Finite-Rate-of-Innovation Principle［J］．IEEE Transactions on Signal Processing，2014，62(19):5020-5029．

［9］ 李娟娟，李小紅．基于聚類的單幀圖像超分辨率重建方法［J］．計算機工程，2013，39(7):284-287．

［10］ 朱 偉，孫久運，劉凱凱．基于最小二乘影像匹配的超分辨率重建［J］．地理與地理信息科學(xué)，2014，30(2):116-119．

［11］ 唐權(quán)華．視頻時空聯(lián)合模型與去噪研究［D］．成都:西南交通大學(xué)，2010．

［12］ 唐權(quán)華，雷金娥，周 艷，等．基于多級空間壓縮測度積分的中值計算方法［J］．中國圖象圖形學(xué)報，2009，14(4):642-646．