基于FPGA和DSP的高速圖像處理系統

摘要：為了提高圖像處理系統的高性能和低功耗，提出了一種基于FPGA和DSP協同作業的高速圖像處理嵌入式系統，其中DSP為主處理器，負責圖像處理，而FPGA為協處理器，負責系統的所有數字邏輯。整個系統中FPGA和DSP的工作之間形成流水，同時借助于單片雙口RAM（CY7C025AV15AI）完成兩者的通信，比使用單片DSP建立的處理系統性能提高25%左右。該系統具有可重構性，方便其他的算法于該系統上實現。

關鍵詞：圖像處理； FPGA； DSP； 雙口RAM

中圖分類號：TN91934； TP274+.2文獻標識碼：A文章編號：1004373X(2012)04014203

Design of highspeed image processing system based on FPGA and DSP

SHU Zhimeng1， CHEN Suhua2

(1. Xuji Metering Limited Company， Xuchang 461000， China;

2. College of Electrical Information Engineering， Xuchang University， Xuchang 461000， China)

Abstract： In order to improve the performance of image processing embedded system and reduce its power consumption， a highefficient image processing embedded system which is based on the field programmable gate array and highspeed digital signal processor (DSP) is presented in this paper. DSP as a main processor is used to control the module of image process， and FPGA chip as a coprocessor is used to control the data logic. In the whole system， a novel data transmission structure with a dualport RAM (CY7C025AV15AI) is applied to the highspeed realtime image data by pingpong technique. Because all operation in the system is divided between the FPGA and DSP in the form of the pipelined， the performance of the system is 25% higher than that of the processing system based on the single DSP. The system is easy to transplant other algorithms into it due to its reconfigurability.

Keywords： image processing; FPGA; DSP; dualport RAM

收稿日期：201108150引言

現階段用于數字圖像處理的系統有很多種，而從成本、性能、開發難易程度等多方面的考慮，基于FPGA和DSP的靈活性高、實用性強、可靠性高的圖像壓縮系統脫穎而出。在該種結構的圖像處理系統當中，FPGA和DSP之間數據的通信方式和速度，將直接影響著整個圖像處理系統的效率［12］。

本文試圖借助于ALTERA公司的低功耗FPGA（EP1C12Q240）、TI公司的DSP（TMS320VC5502）和一片CYPRESS公司雙口RAM（CY7C025），設計出一種功耗低、設計靈活、能夠實現復雜處理算法且高效、穩定的圖像處理系統。

1系統總體設計

系統主要模塊分為電源管理模塊、圖像采集模塊、速度采集模塊、主控源模塊及輔助控制模塊。整個高速圖像處理系統主要由CMOS圖像傳感器（MT9M011）、FPGA(EP1C12Q240C8)、雙口RAM(CY7C025)、DSP(TM320VC5502)、視頻D/A(ADV7123)和一些存儲器等組成［34］，如圖1所示。首先，在圖像采集模塊控制COMS圖像傳感器下，圖像數據則以25 f/s的速率向FPGA輸送。然后，通過FPGA的控制使其緩存在片外的SDRAM中，之后實時顯示模塊控制ADV7123做到了對圖像的實時顯示。如果用戶通過外部控制，選擇了壓縮模式，則原始的圖像數據將由幀存模塊移至高速緩沖模塊中，DSP通過EMIF接口外擴存儲器的方式，高效的讀取雙口RAM中的圖像數據。最后，圖像數據在DSP內部做好JPEG壓縮后，以相同的方式通過高速緩沖模塊，把數據傳給FPGA的存儲控制模塊，做到壓縮圖像數據的存儲。

2系統硬件電路設計

2.1圖像采集模塊

本系統圖像采集模塊采用的攝像頭為CMOS圖像傳感器，型號為MT9M011。CMOS圖像傳感器與CCD傳感器相比，雖然采集出來的圖像效果弱差一點，但是CMOS的成本遠遠低于CCD產品，而且CMOS傳感器的功耗較低。圖像采集模塊具體設計如圖2所示。

圖1高速圖像處理系統硬件結構圖2圖像采集模塊電路設計2.2圖像顯示模塊

圖像顯示模塊主要作用是將FPGA采集到的數字圖像，實時地轉換成模擬圖像數據，并輸出到帶VGA接口的顯示器上。圖像顯示接口電路包括圖像編碼電路和VGA接口電路，其電路如圖3所示。本電路中選用的圖像編碼芯片為AD（Analog Devices）公司的高速視頻數模轉換芯片，其具體型號為ADV7123KST140。該芯片具有3組獨立的十位寬RGB數字輸入接口和3個相對的RGB模擬輸出接口，5 V或3.3 V供電都行，速度為140 MHz，低功耗。

2.3DSP外部存儲器接口電路設計

本系統中選用TI公司的超低功耗DSP（TMS320VC5502），主要是來完成圖像處理算法的實現。在對外部存儲器接口設計上，該DSP采用外部存儲器接口（EMIF）來進行對外部存儲器的擴展，具體擴展如圖3所示。

圖3DSP電路設計結構圖TMS320VC5502的EMIF可以訪問的存儲空間大小為16 MB，該系統中通過配置把空間平分為4部分， EMIF的片選信號線CE3～CE0分別對應著這4個空間的選通控制。另外EMIF的組成還包括數據線D ［31: 0］、地址線A［21:2］、字節使能線BE［3:0］及各類存儲器的讀/寫控制信號線等。

3系統軟件設計

該系統的設計根據硬件結構的總體劃分，也可以分為2大部分來描述。FPGA方面的軟件設計主要是各功能模塊的編寫，如攝像頭I2C配置模塊、SDRAM控制器、圖像圖像預處理器、VGA控制器、SD卡控制器、高速緩沖器等；DSP方面的設計主要包括2方面，一方面是外部存儲器驅動的編寫，如SDRAM、雙口RAM、FLASH等；另一方面為在DSP內部實現高效的圖像壓縮算法，如本文采用的JPEG壓縮算法的實現。

整個系統的程序運行如圖4所示，從高速壓縮系統軟件流程圖中可以清楚的看到，FPGA和DSP各自的程序運行遵循著自己的一套規則，但是它們之間的之間又實時的完成著數據的交互。FPGA向DSP方向的指令，是通過FPGA方面設置了一個中斷信號，當DSP接受到該信號的時候，就開始從雙口RAM中按照規則進行原始數據的讀取；DSP如果要完成向FPGA方面進行數據傳輸時，遵循的一個類似的執行規則，DSP會提供一個能夠進行辨別的信號，讓其從雙口RAM中把壓縮后的圖像數據讀進來。

4測試結果

將FPGA上的程序下載EPCS中和將DSP開發程序燒寫進FLASH（默認自舉方式），對實時圖像處理系統進行軟硬件聯合調試。設置采集和處理圖像分辨率為640×480，視頻YUV下采樣率選4∶1∶1，DSP中壓縮一幀圖像所用的時間在23 ms左右，壓縮比基本上在10∶1~20∶1的范圍內，且SNR值基本上保證在30 dB以上。23 ms的DSP壓縮時間，再加上每幀采集、傳輸和JPEG文件存儲所用的時間，大約在31 ms左右，因此系統整體效率上能保證對采集來的圖像做實時處理。測試結果表明系統的開發已經達到預定的設計要求。

圖4系統軟件流程圖5結論

本文基于FPGA和DSP，設計了一種結構簡單、成本低、性能高、功耗低的高速圖像處理系統。在總結現有的FPGA與DSP高速通訊方式的基礎上，提出了一種利用單片雙口RAM做通信媒質完成FPGA與DSP之間數據高速通訊的結構，為實現更好的嵌入式圖像處理系統提供了一個良好的解決方案。

參考文獻

［1］AMARA A， AMIEL F， EA T. FPGA vs ASIC for low power application \\[J\\]. Microelectronics Journal， 2006， 37: 669677.

［2］ 章奇.基于DSP+FPGA架構視頻處理系統設計及實現［D］.西安:中國科學院西安光學精密機械研究所，2006.

［3］盛磊，徐科軍.基于DSP和FPGA的實時視頻處理平臺的設計與實現［J］.中國科學技術大學學報，2006，36(3):304309.

［4］李立，金華標，陳智君，等.基于FPGA和DSP的高分辨率圖像采集系統［J］.圖像采集與處理，2007，23(1):117122.

［5］高迎慧，候忠霞，馬艷南.基于DSP+FPGA的數字視頻信號處理系統［J］.沈陽航空工業學院學報，2007，24(3):6971.

［6］AU K M， LAW N F， SIU W C. Unifiled feature analysis in JPEG and JPEG2000compressed domains \\[J\\]. Pattern Recognition， 2007， 40: 20492062.