多視點視頻的超分辨率重建技術設計

趙喆

遼寧錦州渤海大學工學院

多視點視頻的超分辨率重建技術設計

趙喆

遼寧錦州渤海大學工學院

超分辨率重建技術是將圖像中時空間信息提取出來，信息提取的過程中應用了信息處理的相關技術，通過超分辨率重建技術最終實現單幅高分辨圖像的重建。本文引入了貝葉斯估計的相關理論，運用了最大后驗概率超分辨率視頻重建的算法。

視頻超分辨率 最大后驗概率 貝葉斯估計

1 超分辨率圖像重建的問題描述

針對目前融合多幅圖像中的退化因素的存在，必須要引入相關的技術，其中需要進行處理的部分主要包括了去除圖像視頻中的模糊以及噪聲，并且估計幀間圖像的對應運動，在重建超分辨率的時候，常常所獲得的圖像不是清晰的，而且圖像中存在著病態的模糊算子，這是造成不可以充分獲取圖像觀察信息的因素。因此在具體的應用中想得到高分辨率的圖像常常不是很容易的。實際上，關于超分辨率重建算法是基于正則化理論，然而問題的解決出發點就是正則化理論。重建圖像超分辨率的前提是確定合理的信息模型，通過該模型從而使得在降質圖像以及退化圖像中可以描述地更加準確，所以要想關聯實際和理想中的圖像序列就必須要設計一種觀測模型。

2 序列圖像超分辨率算法

超分辨率圖像重建的模型如下所示。

解決超分辨率主要是估計HR圖像，估計中需要用到B(k) (Sk)、n(k)和x的先驗知識。有一個問題是無法避免的就是相互的作用始終在序列圖像中存在。同時序列信息本身固定存在的冗余性和互補性特性，在一定程度上揭示了相關性和豐富性是信息的固有屬性。序列圖像的超分辨方法指的就是根據信息的多樣性，以及物體中固有的先驗信息進行計算和估算，最終從低分辨率的圖像序列中里面提取出單幅高分辨率的圖像。根據統計的結果從而得出空域和頻域方法應用很廣泛。

2.1 空域法

重建圖像超分辨率的方法時候，應用價值比較高的方法是空域法。空域法可以應用在光學模糊、采樣不理想場合中，空域法采取的模型是線性空間域模型。重建空間域圖像超分辨率的方法通常有概率論方法、自適應濾波方法以及非均勻的間隔采樣內插反向投影迭代等。

2.1.1 非均勻間隔采樣內插

通過運動補償配準，低分辨率序列會形成單一的合成圖像，這個圖像需要通過非均勻間隔采樣，采樣選擇的方法是重采樣采樣點和內插采樣點，從而最終能夠重建出一幅超分辨率圖像。

2.1.2 反向投影迭代

反向投影迭代的原理是：找出可以投影到高分辨率的圖像中的一個模擬誤差，緊接著按照事先估計的值估計新的值，循環操作這個步驟以后，會獲得低分辨模擬圖像的值，然后根據已經觀測到的圖像值對前后二者進行差值的運算，從而結果值即模擬誤差。但是差值指的是在初試估計觀測圖像中獲得的。

2.1.3 自適應濾波方法

自適應濾波方法指的是在重建超分辨率的時候運用到了反向濾波器，但是因為自適應濾波方法不能夠隨便地將先驗約束加入到算法中，因此導致了許多的問題產生，與此同時因為反射濾波器的幅值和頻率響應之間的關系是成正比，從而自適應濾波方法對調頻噪聲很敏感。即使自適應濾波方法有許多的缺點，但是在應用的相關技術而言，對于應用層析成像領域中有著重大的應用價值。

3 視頻信號編碼框架

現今關于視頻編碼在國際標準中存在著很多的方法。其中的方法主要包括了DCT變換以及運動補償。不同的情況下所對應的方法標準也存在著不同點，所以圖像的質量也會不同。然而不管是什么標準都會劃塊原始的圖像。接著針對不同的塊對圖像進行編碼的處理。其中的方法一主要實施該塊的線性變換，接著再完成量化編碼解碼，從而在解碼段中最終得出經過壓縮與解壓的估計結果。方法二指的是在解碼段中存儲經過空間偏移處理的編碼圖像塊，接著將計算后的結果預測值線性變換，最后進行修改。視頻混合編碼框架圖如圖1所示。

圖1 視頻混合編碼框架圖

4 貝葉斯超分辨率

4.1 并行化設計

因為標準的MAP超分辨率算法的最大缺點就是運算過大，求解目標函數的時候，需要進行大規模的迭代求解。運算求解的過程中如果選擇的是單線程的方式，那么這就會造成CPU硬件資源的浪費，特別是在這個信息技術飛速發展的科技時代，應用多核多線程CPU的領域遍布很廣。因此實現算法的時候，要將并行化的設計考慮在內，CPU單位時間的計算吞量需要提高。設計并行化以前，應該要多次討論超分辨率的降質模型。該降質模型表明了圖像的降質過程指的就是把最初的高分辨率圖像的像素塊通過映射，在LR圖像中產生對應的像素。而且從Markov隨機場的概念中知道，圖像像素的相鄰的像素值對圖像像素的取值有直接的影響。

因此當圖像先驗模型建立后，重建超分辨率可以獲得高分辨率的圖像，而且超分辨率中的所有部分都和超分辨率的低分辨率圖像中像素的取值是有著直接的聯系，但是和其他部分中對應的像素值是沒有關系的。因此，重建各個圖像塊彼此之間是互不影響的，所以，當條件得到滿足以后，實施并行化設計，從而在一定程度上縮減了重建圖像時間，并且也使得算法的實時性能得到了提高。單線程運算求解如圖2所示。

圖2 單線程運算求解圖示

在重建圖像的時候，對圖像實施分塊。根據梯度下降的最優化，本文分割圖像成多個大小固定的像素塊，接著再按照具體的算法流程實現迭代求解。算法的實現過程總結為：1）圖像分割成一系列等大像素塊；2）在每個工作線程中實現像素塊口的投遞操作，同時單一重建Thread中的對像素塊口。3）當重建完全部的像素塊以后，就進行合并的相關操作，輸出結果，最后進入下一幀。

5 仿真實驗

5.1 算法有效性驗證

該部分通過仿真實驗實現了算法的有效性驗證，在仿真實驗中，選擇標準測試圖像序列壓縮視頻。具體的驗證實驗步驟總結如下：1）降質圖像序列進行降質處理；2）通過MPEG-4編碼器壓縮低分辨率圖像；3）通過標準的MAP算法超分辨率的恢復重建所獲得的低分辨率壓縮視頻，同時分析該算法的性能，從主觀質量以及PSNR的角度上進行分析。本文主要是以針對測試算法對不同壓縮率在壓縮視頻時的性能，本文分別以低、中、高碼率進行算法測試的結果分析。由于篇幅的原因，故不贅述。

5.2 實驗分析

5.2.1 重建圖像的質量分析

各個圖像在不同低、中、高碼率下的測試結果如表1所示。

表1 測試結果

為了進一步對本文的算法的有效性進行評價，隨機抽取了實驗樣本中的視頻，隨機選擇50名同學評價該樣本，試驗數據結果如圖3所示。

圖3 主觀評價數據

結語：目前成像設備自身分辨率受到很多因素的約束，其中的因素主要包括了錯誤傳輸、帶寬的制約以及壓縮算法等。在日常生活中人們對視頻的清晰度提出了更高的要求，但是目前視頻分辨率的技術不可能達到人們所期望的結果。針對這個問題的處理引入了超分辨率重建技術。

[1]楊永玲.基于超分辨率重建的視頻圖像壓縮方法的研究[D]，大連海事大學,2008

[2]羅國中.面向低質量視頻的目標對象的超分辨率重建技術研究[D].國防科學技術大學,2013

[3]宋銳.視頻和圖像序列的超分辨率重建技術研究[D].西安電子科技大學,2009

[4]張巖,李建增,李德良,等.無人機偵察視頻超分辨率重建方法[J].中國圖象圖形學報,2016,21(7)