基于SDRAM緩存的實時視頻圖像幾何校正系統

陳文藝，李龍龍，劉禹韜，馮　晨

(西安郵電大學 a.通信與信息工程學院；b.電子工程學院， 陜西 西安 710061)

?

基于SDRAM緩存的實時視頻圖像幾何校正系統

陳文藝a，李龍龍b，劉禹韜a，馮晨b

(西安郵電大學 a.通信與信息工程學院；b.電子工程學院， 陜西 西安 710061)

摘要:采用基于后向映射查找表結構的幾何校正算法，結合雙線性插值算法和SDRAM的時序特性，利用FPGA內部存儲資源設計了一個特殊的Cache來緩存圖像數據，等效實現了對SDRAM緩存圖像四鄰域像素的快速隨機讀取。該方法處理延時小、實時性強、成本低，可實現高分辨率視頻圖像的實時幾何校正，對不同畸變視頻圖像校正，只需修改映射查找表。

關鍵詞:FPGA；SDRAM；實時幾何校正；視頻圖像

在現實生活和實際應用中，經常會遇到將視頻圖像投影到非平面屏幕上的情況，而所有的視頻圖像在設計時都是針對平面屏幕的，投射的圖像也是標準的矩形，當將標準的視頻圖像投射到柱面或球面的非平面屏幕上時，視頻圖像畫面就會出現幾何變形失真，因此需對投影前的視頻圖像進行幾何校正，以抵消非平面屏幕幾何形狀造成的畸變[1]。對高分辨率的視頻圖像進行校正時，需要處理龐大的數據量，這就要求設計的硬件系統具有很高的實時性，而基于FPGA的視頻圖像實時幾何校正，可以滿足實時性要求高的場合[2]。

在視頻圖像幾何校正處理過程中，通常采用灰度級插值算法來確定輸出圖像像素點的灰度值[3]，需要對緩存圖像進行高速的隨機讀取，因此一般的視頻圖像實時幾何校正系統都采用SRAM作為圖像緩存，成本較高。本文提出了一種高效的圖像數據緩沖架構，利用FPGA內部豐富的RAM資源，設計一個特殊的Cache緩存圖像數據，在插值運算時系統直接高效訪問Cache獲取所需圖像數據，從而等效實現了對SDRAM緩存圖像數據的快速隨機讀取。

1系統組成及工作原理

圖1示出了幾何校正系統的組成框圖，其中FPGA是整個系統的核心，后向映射表中的數據是壓縮預畸變系數，片外存儲器SDRAM用來存儲圖像數據和預畸變系數，這兩大塊數據分開存儲，起始地址分別為0和524 288，本系統對后向映射表中的數據進行壓縮是為了縮短數據寫入SDRAM的時間，并降低讀出這部分數據的SDRAM帶寬占有率。

圖1　幾何校正系統的組成框圖

系統開始時先通過FPGA的控制把后向映射表中的數據寫入Flash中，再次上電后把Flash中的數據讀至片外存儲器SDRAM中。視頻輸入模塊負責輸入1 280×1 024@60 Hz的單色數字視頻圖像，然后通過FPGA的控制將并行的數字視頻信號轉換成Avalon—ST視頻信號流[4]，并且按照塊及四鄰域像素的格式緩存至片外存儲器SDRAM。順序讀出SDRAM中的預畸變系數，實時無損地解壓得到原始的預畸變系數即后向映射坐標。根據映射坐標計算出訪問SDRAM的讀地址，讀取圖像數據，然后結合插值權值完成雙線性插值運算，得到預畸變圖像的像素值，同時按照VGA的顯示時序同步產生控制信號。視頻輸出模塊將插值后的數字視頻信號經過D/A轉換后送給顯示器進行正常的顯示。

2系統實現原理

本系統綜合考慮價格、存儲容量、體積等因素選取SDRAM作為圖像存儲器和預畸變系數存儲器。雖然SDRAM控制時序比較復雜，無法滿足快速隨機的讀取數據，但是可以通過其他方式來提高讀取效率，從而滿足系統的實時性。

2.1預畸變系數的存取

本文采用后向映射方法得到預畸變圖像中各像素點的預畸變系數，即后向映射坐標[5-6]，通過MATLAB完成算法仿真生成后向映射表，具體算法實現見文獻[5]。如表1所示，后向映射坐標由x，dx，y，dy四部分組成，其中x，y分別為像素點的列坐標和行坐標，dx，dy分別為量化后的列坐標和行坐標的雙線性插值權值。如圖2所示，坐標N(x+dx，y+dy)表示當前輸出的預畸變圖像像素點M映射回原輸入圖像空間中的像素坐標[7]。

由于后向映射查找表中有1 280×1 024×32 bit=40 Mbit的數據，數據量太大，導致讀出SDRAM時的總帶寬占有率高，無法滿足系統實時性，因此本系統對預畸變系數進行了壓縮，壓縮后的數據量只有原始數據量的1/4，壓縮算法通過MATLAB實現。在系統需要查表時，先從SDRAM讀出預畸變系數，實時無損地解壓得到原始的后向映射坐標，然后再根據映射關系讀取圖像數據，解壓算法在FPGA實現中。由于篇幅有限本文就不予詳細介紹壓縮和解壓原理。

表1　后向映射坐標數據格式

圖2　輸出預畸變圖像到輸入標準矩形圖像的坐標映射圖

2.2圖像數據的存取

本系統在進行雙線性插值[8]運算時需要四鄰域像素，如圖2所示，計算M點的像素值時需要N點周圍的四個像素值(P1.1，P1.2，P2.1，P2.2)，這四個像素分布在原始圖像的相鄰兩行和兩列，然而SDRAM讀取一個圖像數據，需要經過行選通到列選通的延時tRCD、CAS潛伏期tCL的延時數據才能讀出來，而且當需要讀取的下一個數據不在當前選中的行時，需先發送預充電命令關閉激活的行，然后才能進行讀取操作，因此讀取效率低，肯定無法滿足本系統實時性要求。

2.2.1圖像數據分塊思想

將1 280×1 024@60 Hz的單色數字視頻圖像分成4×8的塊，SDRAM按照4×8塊的形式來存取圖像數據，從而提高讀寫效率，滿足系統實時性。

圖3為圖像數據分塊存儲方式映射圖，其中左圖為標準圖像數據格式，Px，y表示第x行，第y列的像素值，如P0，0表示第0行，第0列的像素值；右圖為分塊后的數據格式，Ku，v表示第u行，第v列的塊數據，如：K0，0表示第0行，第0列的塊數據，總共可以分成160×256個塊。

圖3　圖像數據分塊存儲方式映射圖

同時將圖像數據按四鄰域像素格式進行拼接并存儲，如表2所示，把四鄰域像素存儲在一個SDRAM單元中，方便之后的讀取和緩存操作。

表2　四鄰域像素存儲格式

從SDRAM讀取一個圖像數據需要6個時鐘周期，其效率為1/6=16.7%；采用4×4分塊存儲，每次可以讀取16個圖像數據，其效率為：16/(16+6)=72.3%；采用4×8分塊存儲，每次可以讀取32個圖像數據，其效率為：32/(32+6)=84.2%。對比可知，按4×8塊批量突發讀取數據，極大地提高了SDRAM讀取圖像數據的效率。

2.2.2數據緩存思想

為了滿足系統的實時性，快速隨機地從SDRAM讀取四鄰域像素，本文借鑒Cache的工作原理[9-10]，提出了分塊按順序突發讀取圖像數據的思想，利用FPGA內部的存儲單元設計一個特殊的Cache，提前把雙線性插值所需的圖像數據存入Cache，以便在插值運算時可以直接訪問Cache獲取圖像數據，避免直接訪問SDRAM造成讀取圖像數據的延時。如圖4所示，描述了分塊讀取圖像數據算法的實現思路。

圖4　分塊存取圖像數據算法原理圖

該算法的具體實現過程如下：

第一，將1 280×1 024的數字視頻圖像按照4×8分塊及四鄰域的形式緩存，并寫入片外SDRAM。

第二，讀取SDRAM中的預畸變系數并逐行逐像素地進行解壓，得到原始的后向映射坐標，然后計算像素的塊地址，根據塊地址先判斷數據是否命中Cache，如果沒有命中，從SDRAM中讀取塊數據存入Cache中；如果命中，無需操作，繼續下一個后向映射坐標的判斷。同時將后向映射坐標緩存至FIFO中。

第三，從緩存器FIFO[11]讀出后向映射坐標，生成訪問Cache的映射地址，一次從Cache中讀出雙線性插值算所需的四鄰域像素數據。緩存器FIFO深度要足夠大，確保在進行插值運算時四鄰域像素能夠百分百命中Cache。

第四，根據緩存器Cache讀出的4個相鄰像素值和后向映射坐標中的權值，完成雙線性插值，得到該像素點的灰度值。

2.3系統硬件算法的實現

本系統要解決的核心問題是Cache和SDRAM的數據訪問，在插值運算時，FPGA無需直接訪問SDRAM獲取圖像數據，只需要和Cache進行數據通信獲取圖像數據，這就要求每次訪問Cache時，必須保證所需圖像數據能夠百分之百命中Cache。

結合視頻圖像幾何校正系統的特點，Cache以4×8塊的方式來更新圖像數據，構成幀緩存器，根據后向映射坐標生成訪問SDRAM的讀地址，讀取圖像數據塊到Cache中。在緩存SDRAM中圖像數據時，根據圖像的幾何畸變程度，來選擇需要緩存多少個圖像數據塊，本文實現的幾何校正系統，采用3行塊，即160×3=480塊作為圖像緩存處理，就能夠滿足系統的要求。

本文首先采用FIFO的設計思想來實現硬件算法，實現過程如下：如圖5所示，可以采用160個FIFO來等效模擬Cache進行仿真。FIFO存儲器的主要功能是實現480個塊的緩存，以便FPGA能夠快速隨機的讀取視頻圖像數據進行插值運算，灰色部分為等效的160個FIFO存儲器，循環自上而下刷新遍歷整幅圖像，構成一個大的環形BUFFER，來完成畸變圖像的像素值緩存，最終實現一幀圖像的快速讀取。

012157158159012……253254255圖5 FIFO實現硬件算法流程圖

3畸變校正FPGA實現方案

結合上述硬件算法原理的實現結果，確定緩存器設計的相關參數，提出本系統的FPGA實現方案，如圖6所示，為實時視頻圖像幾何校正系統的FPGA實現框圖。

圖6　幾何校正系統的FPGA實現框圖

FPGA 硬件系統分為兩部分，一部分是利用SOPC技術配置的NIOS II 系統，另一部分是幾何預畸變電路。其中NIOS II 系統主要負責系統的調度以及讀入和寫入壓縮預畸變系數的工作。幾何預畸變電路則是整個視頻圖像幾何校正系統的核心處理單元，如圖7所示，是幾何校正電路的實現框圖，主要完成單色數字視頻圖像的接收、按塊和四鄰域像素格式緩存圖像數據、解壓預畸變系數、Cache和SDRAM之間的數據交換、Cache中塊數據的替換策略[9-10]，寫Cache和讀Cache的地址映射、插值運算以及VGA[12]輸出顯示控制等工作，各模塊功能如下：

圖7　幾何校正電路詳細實現框圖

BUFFER_4X8模塊：按塊及四鄰域像素格式準備圖像數據。

DECOMPRES模塊：預取一定數量的畸變系數并實時解壓，至少提前解壓一行的后向映射坐標，保證雙線性插值的連續性。

CACHE_WR模塊：由塊地址判斷數據是否命中Cache；生成訪問SDRAM的讀地址以及Cache的寫地址。

FIFO_CDATA模塊：緩存解壓后的后向映射坐標，緩存一行后輸出。

CACHE_RD模塊：生成訪問Cache的讀地址，一次性讀取四鄰域像素。

IMFIFO_CTL模塊：SDRAM讀寫預畸變系數和圖像數據控制電路。

CACHE模塊：在FPGA內部開辟4個獨立的雙端口RAM作為高速緩存器Cache來緩存視頻圖像，等效于硬件算法原理中的160個FIFO存儲器，4個獨立的雙口RAM分別用來存儲偶行偶列、偶行奇列、奇行偶列、奇行奇列像素，深度為3 840 byte，寬度為8 bit。

BLINERA_I模塊：雙線性插值電路。

VGA_CTL模塊：VGA顯示控制電路。

4實驗結果及分析

本系統是在ALTERA公司的DE2-70實驗平臺上進行驗證，主芯片為EP2C70F896C6[13]，SDRAM是ISSI公司的IS42S16160B，用2片IS42S16160B構成本系統所需的位寬為32 bit的SDRAM，系統的預畸變電路使用Verilog[14]語言編寫，并通過QuartusII 9.1和Modelsim6.2b對設計進行綜合仿真調試，設計按照視頻數據流的走向分模塊進行仿真驗證，這樣不僅可以提高效率，而且還能確保設計的正確性和可行性。

將系統校正后的數字視頻信號轉換成VGA信號，輸出到顯示器觀察結果，校正結果如圖8所示。圖8a中的黑色區域是由特殊的灰度值0所定義的像素值，這些像素點的坐標映射到輸入的標準矩形圖像時落在了界外，而圖8b中曲邊四邊形的形狀即是投影儀所需的預畸變圖像的形狀。通過數字投影儀，將圖8b圖像投影至對應形狀的非平面屏幕，即可將其顯示成如圖8a所示的無畸變的投影圖像。

圖8　輸入標準矩形圖像和輸出預畸變圖像

5結論

本文結合雙線性插值算法的特殊性和SDRAM的時序特性，借鑒Cache的工作原理，提出了圖像數據的四鄰域像素存儲機制和分塊按順序突發讀取圖像數據的思想，利用FPGA內至的RAM資源，設計一個特殊的Cache，用來緩存SDRAM中的圖像數據，從而能夠快速隨機獲取插值運算所需圖像數據。本系統的工作時鐘為108 MHz，處理的視頻圖像為1 280×1 024@60 Hz，校正效果良好，而且處理延時小、實時性強，傳統的校正系統需要多片SDRAM緩存圖像數據和校正參數，本系統只需一片SDRAM就能實現，因此成本低。如果要實現不同畸變率的視頻圖像的幾何校正，只需修改后向映射查找表和Cache的容量即可，因此本系統具有很高的工程應用價值。

參考文獻：

[1]王健，陳文藝.投影圖像畸變的一種校正方法[J]. 西安郵電學院學報，2011，16(1)：65-69.

[2]鄭永瑞，李潔.基于FPGA的視頻圖像實時幾何畸變校正[J]. 電光與控制，2013，20(6)：75-78.

[3]黃思敏. 視頻圖像幾何校正卡的設計與實現[D]. 成都：電子科技大學，2005.

[4]鄧超，付揚.基于Avalon-ST接口幀讀取IP核的設計和應用[J].電子技術應用，2010，36(9)：24-27.

[5]劉亞強，陳文藝.桶形畸變圖像的一種校正方法[J].西安郵電學院學報，2012，17(2)：27-30.

[6]周秉鋒.一個基于線性變換的數字圖像自由拉伸算法[J].北京大學學報(自然科學版)，1997，33(6)：770-775.

[7]陳文藝，田科.基于FPGA的實時視頻圖像幾何校正系統設計[J].電視技術，2014，38(3)：66-69.

[8]徐雨明，文雙春.數字圖像插值算法的分析與實現[J].福建電腦，2007(1)：91-94.

[9]張喆. 處理器cache擴展數據集在FPGA的實現[D]. 北京：北京郵電大學，2008.

[10]黃河.計算機組成與體系結構[M].北京：機械工業出版社，2006.

[11]向厚振，張志杰. 基于FPGA視頻和圖像處理系統的FIFO緩存技術[J].電視技術，2012，36(9)：41-43.

[12]謝磊.基于FPGA的VGA圖像控制器的設計與實現[J].新鄉學院學報，2009，26(6)：51-53.

[13]ALTERA. Cyclone II device family datasheet[EB/OL].[2015-09-22].http://www.altera.com/literature/hb/cyc2/cyc2_cii51001.pdf.

[14]夏雨聞. Verilog數字系統設計教程[M]. 北京：北京航空航天大學出版社，2003.

陳文藝(1964— )，教授，主要從事通信集成電路設計、視頻圖像實時處理及傳輸的研究；

李龍龍(1988— )，碩士研究生，主研視頻圖像處理；

劉禹韜(1989— )，碩士研究生，主研信息處理技術及應用；

馮晨(1990— )，碩士研究生，主研視頻圖像處理。

責任編輯：閆雯雯

Real-time video image geometric correction system based on SDRAM cache

CHEN Wenyia，LI Longlongb，LIU Yutaoa，FENG Chenb

(a.DepartmentofCommunicationandInformationEngineering；b.DepartmentofElectronicsEngineering，Xi’anUniversityofPostsandTelecommunications，Xi′an710061，China)

Abstract:This design uses an algorithm of mapping lookup table architecture for geometric correction，combining with the bilinear interpolation algorithm and the timing characteristics of SDRAM，a special Cache is designed to cache the image data using the RAM resource in FPGA.It is equivalent to achieve a fast random access to the four neighborhood pixels of the SDRAM cache image.This method has the advantages of small processing time delay， strong real-time and low-cost，it can achieve real-time geometric correction of high resolution video images，it only needs to modify the mapping table for the correction of different distorted video images.

Key words:FPGA； SDRAM； geometric correction；video image

中圖分類號：TN911.73

文獻標志碼：A

DOI：10.16280/j.videoe.2016.05.023

作者簡介：

收稿日期：2015-09-22

文獻引用格式：陳文藝，李龍龍，劉禹韜，等. 基于SDRAM緩存的實時視頻圖像幾何校正系統[J].電視技術，2016，40(5)：105-109.

CHEN W Y，LI L L，LIU Y T，et al. Real-time video image geometric correction system based on SDRAM cache [J].Video engineering，2016，40(5)：105-109.