基于Altera SoC FPGA的圖像采集系統設計

聶永軍，徐光輝，鄭國建

(1.解放軍理工大學 通信工程學院，南京 210007；2.深圳電器公司)

?

基于Altera SoC FPGA的圖像采集系統設計

聶永軍1，2，徐光輝1，鄭國建1

(1.解放軍理工大學 通信工程學院，南京 210007；2.深圳電器公司)

該設計利用Altera公司的DE1-SoC開發板和友晶科技的D5M模塊實現了基于SoC FPGA的圖像采集系統。詳細介紹了基于Altera SoC FPGA的嵌入式系統設計方法，包括基于Qsys的系統硬件設計和基于 SoC EDS開發套件的ARM硬核處理器軟件設計。該設計在Altera公司提供的可以正常運行Linux操作系統的參考設計的基礎上，添加了所需要的硬件模塊和應用軟件，最后通過板級驗證實現了系統功能。

嵌入式設計；圖像采集；SoC FPGA；硬核處理器；操作系統

引　言

伴隨著EDA技術[2]的發展，各種新型的超大規模集成電路芯片不斷地涌向市場。新的集成電路芯片不僅功能強大，而且體積越來越小。為了適應市場發展，2013年Altera公司推出了其新一代的SoC FPGA芯片，該系列芯片在原有技術的基礎上內嵌了功能強大的ARM Cortex-A9處理器[3]，不僅可以在單片FPGA芯片上實現傳統的HDL邏輯設計，還可以實現基于ARM處理器的嵌入式系統軟件開發，具有良好的應用前景。

1　系統總體設計

1.1開發環境

本設計采用Altera公司的集成開發環境Quartus II和嵌入式設計套件Altera SoC EDS完成了圖像采集系統的硬件和軟件設計。在Quartus II軟件開發平臺下，設計者可以完成設計輸入、分析映射、綜合優化、時序分析、布局布線、器件引腳分配、FPGA芯片功耗分析、邏輯功能仿真驗證和目標程序下載所有功能。Quartus II內嵌了Qsys嵌入式硬件系統開發工具，可實現基于Nios II軟核處理器[4]或ARM硬核處理器的嵌入式系統開發。Altera SoC嵌入式設計套件(EDS)包含了開發(debug)工具、實用工具程序、運行軟件和應用實例等，用戶可以使用Altera SoC EDS進行基于Altera SoC硬件平臺的應用軟件開發。

1.2系統總體設計方案

基于Altera公司的SoC PFGA的圖像采集系統的總體設計方案如圖1所示。整個系統由圖像傳感器(CMOS Sensor)、Altera公司的SoC FPGA芯片、SDRAM存儲器、按鍵和硬件處理器系統(HPS)以及處理器工作所需的外部存儲器(包括DDR3 SDRAM和SD卡)組成。

SoC FPGA芯片是整個系統的控制核心，完成的主要功能是：內部的硬核ARM處理器根據外部按鍵輸入通過LW_AXI總線和F2H_AXI控制Qsys硬件系統工作，Qsys硬件系統內部的CMOS IP核收到處理器相關指令后控制FPGA內部的HDL邏輯代碼工作，包括圖像捕捉與停止、圖像格式的轉換(RAW2RGB)、圖像的存儲與讀取。整個采集系統的設計包括FPGA邏輯代碼設計、Qsys硬件系統設計和硬件處理器系統(HPS)的軟件設計。

圖1　系統總體設計方案

2　系統FPGA實現

2.1硬件平臺簡介

建立適合產業發展的市場運行機制。和一些傳統行業比較，生物質能要想變成一個穩定的行業，就必須依靠市場，市場才是外在驅動力。因為現在生物質能產品一些原材料的研發資金投入不夠，產品不成熟，技術水平不高，這些問題導致生物質能產品在市場上沒有較強的競爭優勢。

圖2　Qsys系統總體硬件配置

本設計采用的硬件平臺是Altera公司的基于SoC FPGA進行嵌入式系統開發的DE1-SoC開發板。DE1-SoC開發板上的目標FPGA芯片使用了Altera公司開發的Cyclone V SoC FPGA芯片。 該FPGA芯片在一個基于ARM用戶可定制的片上系統(SoC)[5]中集成了硬核處理器、FPGA和數字信號處理(DSP)[6]功能。HPS是基于ARM Cortex-A9的雙核處理器,具有豐富的外設和存儲器接口(DDR2/3)等。雖然HPS和FPGA能夠獨立工作，但是它們通過高性能的AXI總線[7]橋接(bridge)實現高速寬帶的數據通信，該總線是雙向的，HPS總線能夠通過HPS至FPGA橋接訪問FPGA架構中的總線及其外設,并且所有橋接兼容AXI-3/4，支持同時讀寫操作。同樣，FPGA架構中的總線也能夠通過FPGA至HPS橋接訪問HPS總線及其外設。所以設計者可在該平臺上實現具有更佳性能和靈活性的FPGA系統設計。

友晶科技的D5M模塊具有500萬像素的圖像傳感器，該圖像傳感器具有2 592行×1944列的有效像素,支持RGB格式[8]的圖像數據輸出,其有效圖像幀速率高達70 fps,支持圖像抓拍模式,并且可通過I2C接口完成其內部寄存器的參數配置，操作簡單易用。

2.2硬件設計

基于Altera公司SoC FPGA的嵌入式系統硬件設計，首先要基于Qsys規劃系統需要的外設，包括HPS與FPGA各自的接口。HPS外設只需要根據 DE1-SoC開發板硬件進行設定即可，FPGA外設首先是通過IP模塊的方式添加，然后建立各個模塊間的連接(包括時鐘、復位和總線)，最后產生硬件與軟件開發各自所需的定制文件。硬件開發和以往傳統的基于Nios II軟核處理器的FPGA設計流程相同，首先需要使用Quartus II加入Qsys以及用戶邏輯，然后設定 FPGA引腳分配，最后綜合編譯產生xx.sof/xx.pof 編程文件。

基于SoC FPGA的圖像采集系統的硬件設計流程如下：

① 在Quartus II軟件下啟動Qsys設計工具并添加系統需要的硬件外設，包括ARM硬核處理器、鎖相環、On-chip memory、JTAG調試串口、定時器、為D5M模塊圖像傳感器定制的控制接口IP核、通用I/O和系統ID IP核。

② 建立系統各模塊之間的連接，包括時鐘、復位、CPU數據總線和指令總線與其他外設模塊之間的連接。Qsys下的總體硬件配置如圖2所示。

③ 點擊Qsys工具下方的Finish按鈕，產生Qsys硬件配置系統。

④ 將產生的系統配置文件與其他HDL邏輯模塊一起加入系統設計工程中，最后在Quartus II軟件中通過分析綜合、布局布線、引腳分配產生FPGA編程文件，至此基于SoC FPGA開發的圖像采集系統硬件設計結束。

2.3軟件設計

嵌入式系統軟件設計包括兩個部分:一是基于傳統HDL語言的FPGA邏輯軟件設計，二是基于C語言的SoC EDS軟件設計。基于傳統的HDL語言的邏輯軟件設計方法參考資料較多，讀者可參考相關資料。基于EDS軟件的開發則需通過Altera的SoC EDS開發工具,將Qsys所生成的HPS硬件設定轉換成產生Preloader、uboot和Device Tree所需的輸入文件。這些文件可以協助HPS在DE1-SoC上運行嵌入式Linux操作系統。Linux內核解析需要掛載硬件外設并完成boot，然后開發的基于Linux操作系統的應用程序在DE1-SoC開發板上運行。應用程序可以實現HPS和FPGA協同工作，完成定制化設計。

2.3.1邏輯軟件設計

基于SoC FPGA的圖像采集系統邏輯軟件設計包括：圖像捕捉(CMOS_Capture)模塊設計、 RAW2RGB模塊設計、4端口SDRAM模塊設計、圖像傳感器配置模塊設計和圖像傳感器控制接口IP核的設計。

圖像捕捉模塊的功能是接收CPU軟件啟動和停止控制指令，然后產生RAW格式的圖像幀。RAW2RGB模塊的主要功能是實現圖像格式轉換，實現RAW格式[10]到RGB格式之間的轉換。4端口SDRAM模塊實現圖像RGB數據的存儲，包括2個讀端口和2個寫端口。圖像傳感器配置模塊實現的功能是通過圖像傳感器的I2C接口完成對內部寄存器的參數配置。圖像傳感器控制接口IP核完成的功能是提供ARM硬核處理器程序與系統硬件圖像傳感器之間通信的接口，通過該接口完成CPU軟件對硬件圖像傳感器的控制。圖像傳感器控制接口的HDL代碼完成后,需要在Qsys下通過新建Component的方式生成Qsys可以調用的IP核，IP核在配置過程中需要遵循Avalon-MM接口協議[9]。

邏輯軟件整體實現的功能是系統完成上電復位后，圖像傳感器配置模塊完成對D5M模塊的圖像傳感器參數配置，圖像捕捉模塊接收CPU控制指令，開始或停止圖像的捕捉，捕捉的RAW格式的圖像經過 RAW2RGB模塊轉換成RGB格式的圖像，然后將圖像數據存放在SDRAM中，供CPU讀取。

2.3.2EDS軟件設計

Altera SoC EDS的軟件開發流程如圖3所示。首先需要編寫設計源文件(.c/.h文件)，然后編寫Makefile文件，用于制定Altera Embedded Command Shell編譯工具所需的一系列編譯規則，通過編譯生成可執行文件。軟件設計完成后，將存放有可啟動Linux的SD卡插入開發板，再將開發板的調試串口、網口通過連接線連接到安裝有串口調試軟件的個人電腦，然后給開發板上電，啟動Linux操作系統，系統啟動完成后通過串口調試軟件輸入相關的命令，將編譯好的可執行文件通過網口(須配置 IP地址)下載到開發板，在Linux系統下，通過串口調試軟件執行目標程序，最后觀察程序運行結果。

圖3　Altera SoC EDS的軟件開發流程

圖像采集系統的EDS軟件用于控制圖像傳感器的圖像捕捉與停止、圖像數據的讀取和存儲。該設計中，通過開發板上連接外部I/O引腳的兩個按鍵來控制圖像傳感器的動作，一個按鍵的功能是啟動圖像傳感器捕捉圖像，另一個按鍵的功能是停止圖像傳感器捕捉動作。當CPU軟件檢測到啟動捕捉的按鍵按下后，軟件開始從與FPGA連接的外部SDRAM中讀取圖像數據，并將數據保存在與ARM硬核處理器連接的SD卡中。當CPU軟件檢測到停止捕捉的按鍵按下后，通過控制FPGA中的圖像捕捉模塊，使圖像傳感器停止圖像的捕捉。程序流程圖如圖4所示。

圖4　程序流程圖

3　結果驗證與分析

完成系統的硬件和軟件設計后，對系統進行板級測試。首先給DE1-SoC開發板上電，利用Quartus II編程工具將編譯好的整個硬件系統的目標程序(xx.pof)文件燒入FPGA的配置芯片EEPROM(EPCQ256)中，然后斷開開發板電源，將友晶科技的D5M模塊插入DE1-SoC開發板的40引腳的 GPIO插槽，將存放有可啟動 Linux操作系統的SD卡插入開發板，開發板的調試串口和網口通過串口連接線和交叉網線連接到調試電腦，然后給開發板加電啟動Linux操作系統。系統啟動完成后，打開調試電腦中的串口調試軟件，在串口調試軟件中輸入命令，將預先編譯好的ARM硬核處理器可執行程序通過網口下載到開發板執行，軟件執行后，通過控制開發板按鍵，完成圖像的捕捉和停止功能。系統程序運行結束后，用個人電腦通過讀卡器打開SD卡，查看圖像傳感器捕捉到的圖像。經驗證，SD卡中保存的示例圖片如圖5所示，可見該系統實現了圖像的捕捉功能。

圖5　捕捉的示例圖片

結　語

利用Altera公司的SoC FPGA芯片，通過HDL邏輯設計、Qsys硬件系統設計和ARM硬核處理器軟件設計，使用友晶的D5M模塊在Altera公司的 DE1-SoC開發板上實現了基于Linux操作的嵌入式系統設計。該設計采用單片SoC FPGA芯片實現了系統整體功能，與傳統的采用1片專用CPU和1片FPGA芯片進行嵌入式系統設計的方式相比，該設計方法減小了PCB面積、降低了硬件設計難度、節約了開發成本，具有非常重要的參考價值。

[1] 熊平.CCD與CMOS圖像傳感器特點比較[J].半導體光電,2004(1):1-4.

[2] 譚會生.EDA技術及應用[M].西安:西安電子科技大學出版社,2011.

[3] 陳新澤,楊斌.ARM Cortex-A9的NEON技術研究及應用[J].單片機與嵌入式系統應用,2013,13(10):46-49.

[4] 龔向東,劉春平,黃虹賓,等.一種基于Nios II軟核的嵌入式圖像采集處理系統設計[J].電子測量技術,2010(2):75-78.

[5] 肖昊,張華娟.ZedBoard開發板在片上系統(SoC)設計課程中的應用[J].中國新通信,2015(6):72-73.

[6] 沈戈,高德遠,樊曉椏.數字信號處理器(DSP)結構設計及發展趨勢[J].計算機工程與應用,2003,39(7):4-6.

[7] 楊定定,施慧彬.基于AXI總線的MicroBlaze雙核SoPC系統設計[J].電子產品世界,2012,19(1):76-77.

[8] 李恭,楊學友,王卓.基于RGB三基色原理的手持式色度儀的設計[J].電子技術應用,2006,32(6):92-94.

[9] 李曉晗,張航,倪光華.基于Avalon-MM突發傳輸的PCI從接口設計[J].無線電工程,2015(6):38-40.

[10] 李峰,印蔚蔚.基于Raw格式圖像的自動白平衡方法[J].計算機工程,2011,37(17):211-213.

聶永軍(工程師)，主要研究方向為基于FPGA的嵌入式系統設計；徐光輝(副教授)，主要研究方向為SoC與嵌入式系統設計；鄭國建(碩士研究生)，主要研究方向為多媒體信息處理。

5　運行測試

編譯后的Web服務器軟件占用Flash為9.09 KB，RAM為8.99 KB，比起軟件協議棧，它的代碼效率更高，適合在一些資源匱乏的單片機上運行。實際運行過程中，W5500能夠在3 s內自動從路由器獲得IP地址，網頁打開速度很快、無卡頓。圖4為火狐瀏覽器中打開的W5500網絡配置網頁，瀏覽器發送GET請求獲得界面布局信息，通過AJAX對象請求服務器回傳當前的IP地址信息。此外，該網頁還能修改IP地址并提交服務器。

圖6　Web服務器運行界面

結　語

本文搭建的Web服務器簡單精煉，網頁的三要素得到了很好的解析與響應。與PC相比雖然不夠靈活，但是對于物聯網的節點來說，服務器性能完善，能完成多樣化的通信。與常用的兩種服務器框架相比，成本低、功耗小，更符合嵌入式Web服務器的發展趨勢。

編者注：本文為期刊縮略版，全文見本刊網站www.mesnet.com.cn。

參考文獻

[1] WIZnet.W5500 Datasheet [EB/OL].(2015-01)[2015-11].http://wizwiki.net.

[2] IETF.RFC2131 [EB/OL].(2015-01)[2015-11].http://www.ietf.org/rfc/rfc2131.txt.

[3] IETF.RFC2616 [EB/OL].(2015-01)[2015-11].http://www.ietf.org/rfc/rfc2616.txt.

[4] 弗里曼, 羅布森.深入淺出JavaScript編程[M].南京：東南大學出版社, 2014.

茅勝榮、肖家文(研究生)，主要研究方向為嵌入式系統設計、信號處理；喬東海(教授)，主要研究方向為信號處理、MEMS器件設計。

(責任編輯：楊迪娜收稿日期：2015-11-15)

Image Acquisition System Based on Altera SoC FPGA

Nie Yongjun1,2,Xu Guanghui1,Zheng Guojian1

(1.School of Information and Communication Engineering,PLA University of Science and Technology,Nanjing 210007,China;2.Shenzhen Electrical Appliance Company)

In the paper,an image acquisition system based on SoC FPGA is achieved,which using Altera’s DE1-SoC development board and Terasic’s D5M module.The embedded system design method based on Altera’s SoC FPGA is introduced,including the system hardware design of Qsys and ARM hard-core processor software design based on SoC EDS development suite.The required hardware modules and application software are added on the basis of the Linux reference design.The system’s function is realized finally through the board level validation.

embedded design;image acquisition;SoC FPGA;hard-core processor;operating system

TP391.4

A

(責任編輯：薛士然2015-11-17)