基于VPM6467的紅外視頻超分辨率重構設計

葉宗民，周亞凡，李永新

(中國人民解放軍91404部隊，河北秦皇島066000)

基于VPM6467的紅外視頻超分辨率重構設計

葉宗民，周亞凡，李永新

(中國人民解放軍91404部隊，河北秦皇島066000)

摘要:本文設計以VPM6467開發板為硬件平臺，Visual Studio 2008為軟件平臺，圖像濾波、積分圖計算、運動補償估計與圖像修正等預處理算法在FPGA上進行，超分辨重構核心算法計算在DSP上完成，最終在計算機上實現紅外視頻的重構與輸出。利用串口通信技術將各種不同功能的部件集成為一個重構系統，實現對艦船目標低分辨率紅外視頻的超分辨率重構。在探測器獲取的紅外視頻分辨率達不到要求的情況下，為紅外視景仿真研究提供高分辨率紅外視頻，為光學目標特性研究提供高質量的圖像。

關鍵詞:紅外視頻;超分辨率;重構; DSP

Design of super-resolution reconstruction for infrared video of ship based on VPM6467

YE Zong-min，ZHOU Ya-fan，LI Yong-xin
(No．91404 Unit of PLA，Qinhuangdao 066000，China)

Abstract:In this paper，we design development board VPM6467 as the hardware platform，and design Visual Studio 2008 as the software platform．The preconditioning such as image filtering，integral image calculation，motion compensated estimation，image correction and so on is done on FPGA．The key algorithm is done on DSP．The infrared video is reconstructed and outputted on computer finally．The low resolution of infrared video is reconstructed with super-resolution，by using serial port communication technology for constituting different function parts as a reconstruction system．The system can provide high resolution of infrared video for the research of infrared visual simulation，and provide high-quality image for the research of optical characteristics of target，when the resolution of infrared video is under to the requirements．

Key words:infrared video; super-resolution; reconstruction;DSP

0　引言

隨著目標特性研究的深入和視景仿真領域的快速發展，人們對紅外視頻圖像的分辨率要求越來越高。雖然現代制造工藝的發展使得傳感器的像素分辨率有了很大的提高，且光學元件能有效限制傳感器陣列上的圖像頻帶寬度，使獲取的圖像有可能避免變形效應的發生。但是，國內紅外傳感器制造工藝與國外還有很大的差距，很多應用方面視頻圖像分辨率遠遠達不到研究需要。因此，在獲取水面背景下艦船目標的紅外輻射特性，研究水面目標紅外可探測性、艦船紅外建模仿真對抗等技術時，對紅外視頻進行超分辨率重構以獲取更高質量的視頻圖像，就顯得更加迫切。艦船紅光視頻超分辨率重構是數字圖像處理領域中的一個重要應用方向，能夠在不改變紅外探測器物理性能下有效提高紅外圖像分辨率。隨著超分辨率理論和技術的日趨成熟，超分辨率重構技術已廣泛應用于視景生成、三維建模、仿真對抗、圖像恢復、人臉識別和目標特性研究等領域。

1　基本原理

20世紀60年代，首先由Harris和Goodman提出了超分辨率重構技術，隨后學者們對其進行深入

研究，并提出了很多具體的理論方法。本文采用的超分辨率重構技術是利用圖像信號處理的方法，根據紅外視頻中相互之間只有微小位移的每幀紅外圖像，把各幀圖像對于需要重建的一幅圖像的信息融合在一起，也就是把相鄰幀的圖像上由于亞像素位移而存在的互補信息融合到同一幅圖像中，并通過多種方法去除模糊和噪聲等影響圖像質量的各種因素，以獲得每幀圖像的細節信息，進而提高重構后紅外視頻的分辨率。其原理可以通過圖1簡單表示，箭頭左邊是4幅具有亞像素位移的分辨率為3×3圖像，把第1幅圖像看作是參考幀的圖像，假設為等間隔采樣模式，則相鄰之間各幀的相對位移量分別表示為(0，0)，(0，0.5)，(0.5，0)和(0.5，0.5)。由于各幀圖像之間的位移差正好以半個像素為間距，所以可直接把這4幅圖像融合到一幅圖像中，這樣就重構出箭頭右邊的一幅分辨率為6×6的圖像。

圖1　超分辨率重構原理示意圖Fig.1　Schematic diagram of super resolution reconstruction principle

當然，這只是簡化的一個超分辨率重構示例，在很多實際情況下，視頻的每幀圖像之間的位移量并不是固定的以半個像素為間距，而且運動也并不一定為整體平移，可能會出現跳躍、縮放、旋轉和扭曲等運動形式。但無論何種運動形式的視頻圖像，只要各幀圖像之間存在亞像素的位移，而且位移量為已知或通過運動估計方法可以近似求得，那么就能通過一定預處理方法最終實現視頻圖像的超分辨率重構。

紅外視頻超分辨率重構按實現的技術途徑主要可分為頻域法和空域法。頻域法是指在頻域內采用消除每幀圖像的頻譜混疊的圖像處理技術來提高圖像的分辨率;空域法是指在空間域內采用對每幀圖像的像素點加入約束條件或對像素點進行變換的圖像處理技術來提高圖像的分辨率。通過查閱相關資料可看出:頻域法原理簡單，運算不復雜，但局限于線性空間不變降質模型和全局平移運動;空域法具有很強的空域先驗約束能力，且適用范圍廣泛，便于應用到工程實際中，主要包括凸集投影法(POCS)、迭代反投影方法(IBP)、自適應濾波方法以及人工神經網絡法等。本文通過采用運動估計的可信度檢驗、基于DSP的圖像亞像素配準和邊緣Gibbs現象的抑制等技術改進了POCS算法，并成功應用于工程實際。

2　硬件實現

本文設計的硬件系統包括計算機與紅外視頻處理模塊，視頻處理模塊是以VPM6467為開發板，該板卡集成的TMS320DM6467是TI推出的先進的媒體處理器，可以應用于高清視頻文件的快速處理。TMS320DM6467處理器主要由DM6467芯片、DDR2的存貯器、NANDFLASH存貯器組成。DM6467芯片具備2個獨立的視頻編碼協處理單元，很大程度上提高了其處理高清圖像或視頻的效率。本文處理的原始紅外視頻圖像的分辨率為320×240，其輸出頻幀范圍是1～60 Hz。如果按每個像素點16 bit計算，則通過計算輸入帶寬為: 320×240×60 Hz×16 bit =70.3 Mb/s =8.8 MB/s。這樣的輸入帶寬在工程實際中，DM6467芯片的處理速度是不能滿足要求的，所以視頻處理模塊不能僅采用DSP來完成超分辨率紅外視頻實時重構的所有計算任務，因此設計在FPGA上實現圖像濾波，積分圖計算和運動補償估計與圖像修正等預處理的計算任務。

本文設計的紅外視頻處理模塊的接口關系如圖2所示，紅外視頻的輸入與輸出單元采用FPGA實現各類接口的切換，FPGA與DM6467主要通過VPIF接口進行數據傳輸，DM6467的2個VP口經過FPGA后，通過模式選擇寄存器可靈活與各類輸入與輸出模式相連，完成各類不同視頻模式的兼容。

圖2　VPM6467的接口關系圖Fig.2 VPM6467 interface diagram

圖3　數據流通路示意圖Fig.3　Schematic diagram of data flow path

如圖3所示，本文設計的數據處理流程如下:

1)采用客戶端和服務器形式，在計算機上采用Qt提供的QTcpsocket進行網絡通信程序的編寫。需要處理的紅外視頻通過TCP/IP協議的網絡從計算機傳輸給DM6467開發板，TCP/IP協議具體實現流程如圖4所示;

2)將紅外視頻數據通過DM6467的VPIF口傳輸給FPGA進行預處理;

3)FPGA接受紅外視頻數據，進行圖像濾波，積分圖計算和運動補償估計與圖像修正等預處理的計算，并將計算結果送回DM6467;

4)DM6467接收到FPGA處理后的數據進行圖像重構計算，重構后的視頻數據再通過TCP/IP協議的網絡傳輸給計算機。

圖4　TCP/IP協議實現流程Fig.4 TCP/IP protocol implementation proces

VPM6467為滿足各種不同的應用需求，提供了16 bit的可分視頻輸入端口和16 bit的可分視頻輸出端口，2個端口都可以分成2個8 bit接口進行使用，接入高清視頻時只能作為16 bit的端口使用。

2.1視頻輸入接口

如圖5所示，VPM6467提供兩路標準的8 bit視頻輸入接口，用于接收兩路標準的標清輸入信號，兩路8 bit視頻輸入接口合成一個16 bit的高清輸入接口，就可以用于接收高清視頻輸入信號。VPM6467可以接入1路TVP5150標清視頻輸入，1 路TVP7002高清分量輸入，1路HDMI高清視頻輸入，1路SDI高清/標清視頻輸入，1路Camera Link輸入。1片SII9125用于解碼HDMI信號，1片TVB7002用于用于解碼YCbCr信號，1片GS2970用于解碼SDI信號，1路CameraLink輸入通過SN65LVDS94將LVDS信號轉成并行信號后進入FPGA。

圖5　視頻輸入接口Fig.5　Video input interface

2.2視頻輸出接口

如圖6所示，VPM6467提供兩路標準的8 bit視頻輸出接口，用于輸出兩路標準的標清視頻信號，兩路8 bit的端口合成為一個16 bit的高清輸出端口，就可以用于發送高清視頻輸出信號。ADV7343編碼器能夠產生S視頻、復合視頻、分量視頻輸出。DM6467的視頻輸出經過FPGA后，再通過CBT選擇開關連接到ADV7343。1路GS2972編碼器提供SDI視頻輸出，1路SII9134編碼器提供HDMI視頻輸出。

圖6　視頻輸出接口Fig.6　Video output interface

3　算法實現

3.1視頻格式處理

本文中使用FFMPEG這個開源的軟件對紅外視頻格式的文件進行處理，對數據進行有效幀的提取。FFMPEG是一個開源的免費的跨平臺的音頻和視頻流方案，采用GPL或LGPL許可證，提供了音視頻的錄制，轉換及流化的完整解決方案。在對紅外視頻進行處理時，直接根據格式的協議提取出需要的圖像數據。視頻格式的處理代碼如下:

通過上述代碼可以利用FFMPEG，從紅外視頻中解碼出有效的圖像數據，對有效幀的圖像處理完成后，再轉化成紅外視頻文件輸出。

3.2算法步驟

利用上文的原理和方法，基于改進的POCS超分辨率重構算法的實現主要有如下幾個步驟:

1)選擇紅外視頻中的一幀低分辨率的圖像作為參考幀圖像0;

2)將參考幀圖像ψ0由行列數(M1，M2)插值放大到和待估計高分辨率圖像同樣尺寸(N1，N2)的高分辨率圖像ζ0，并將其作為迭代的初始值;

3)對其他幀圖像ψi(i∈1，…，M－1)進行運動估計，以參考幀圖像ψ0為基準圖像;

4)將低分辨率圖像利用數字圖像處理技術投影到高分辨率網格上，并計算其點擴散函數(PSF) ;

5)根據PSF模擬第k次高分辨率估計圖像ζk的圖像退化過程，得到低分辨率圖像序列的模擬估計值ψ'i，(i∈0，…，M－1)，用εi(i∈0，…，M－1)表示估計值與實際值之間的殘差;

6)結合空域先驗約束條件，利用殘差εi對第k次高分辨率估計圖像ζk進行修正，最終得到第k + 1次高分辨率估計圖像ζk+1;

7)判斷迭代次數是否滿足需要，若滿足則輸出ζk+1，否則重復步驟5和步驟6。

圖7　POCS重構算法流程圖Fig.7 Flow chart of improved POCS reconstruction algorithm

3.3 DSP端的算法移植

超分辨率重構算法程序編譯完成后，可以通過VPM6467開發板自帶的軟件開發包進行算法移植，具體步驟如圖8所示。

圖8　DPS算法移植流程圖Fig.8　DPS algorithm flow chart

4　仿真結果及結論

本文設計的系統由主控計算機與紅外視頻處理模塊2部分組成，如圖9所示，紅外視頻處理模塊設計采用典型的DSP + FPGA架構，系統的軟件開發基于VS2008 + QT4.7的環境。本文采用POCS改進算法結合邊緣Gibbs現象的抑制技術的超分辨率算法，對具有復雜背景的、低信噪的低分辨率艦船紅外視頻進行了超分辨率重構，運行結果如圖10所示。通過工程實踐證明系統可以穩定的對紅外視頻進行超分辨率重構。

圖9　系統組成框圖Fig.9　System block diagram

圖10　系統運行結果Fig.10　Result of system

本文設計的超分辨率重構系統不需要對現有的紅外視頻采集設備做任何改造，就可以對采集的紅外視頻數據進行超分辨率重構獲取，可操作性強，建設周期短，經濟實用。通過實際運行，得到了提高一倍的高分辨率紅外視頻，可以滿足紅外視頻圖像研究對高分辨率視頻圖像的需要，提供了更高質量的紅外仿真建模素材，解決了現有紅外成像設備分辨率低、紅外成像細節信息受限的問題，具有重要的經濟價值。

參考文獻:

［1］鄧建青．機載光電成像超分辨率圖像重建技術研究［D］．長春:中國科學院研究生院，2011．

［2］沈煥鋒，李平湘，張良培，等．圖像超分辨率重建技術與方法綜述［J］．光學技術，2009，35(2) :194－199．

［3］陳錚，沙江，童一峻，等．基于DSP陣列的水面目標紅外圖像實時仿真系統研究［J］．光學與光電技術，2012，10 (5) :54－57．

［4］安博文，潘勝達．基于FPGA + DSP的超分辨率成像系統設計［J］．紅外技術，2010，32(9) :523－526．

［5］謝偉，陳皓，秦前清．基于多幀視頻序列的盲超分辨率影像重建［J］．數據采集與處理，2011，26(1) :1－7．

［6］李展，張慶豐，孟小華，等．多分辨率圖像序列的超分辨率重建［J］．自動化學報，2012，38(11) :1804－1814．

［7］Texas Instruments Incorporated．T MS320C64x DSP Two-Level Internal Memory Reference Guide，2004．

［8］任麗香，馬淑芬，李芳慧．TMS320C6000系列DSPs的原理與應用．第一版．北京:電子工業出版社，2000．

［9］李偉．基于高速DSP器件TMS320C6711的超分辨率圖像處理系統［D］．西安:西安電子科技大學，2006．

作者簡介:葉宗民(1982－)，男，碩士研究生，工程師，主要研究方向為目標特性研究。

收稿日期:2015－03－20;修回日期: 2015－04－30

文章編號:1672－7649(2015) 07－0083－05doi:10.3404/j.issn.1672－7649.2015.07.019

中圖分類號:TP391．41

文獻標識碼:A