基于ARM+FPGA的影像交互與顯示系統設計

吳 迪，李丙玉，王曉東

（中國科學院長春光學精密機械與物理研究所，吉林長春130033）

基于ARM+FPGA的影像交互與顯示系統設計

吳 迪?，李丙玉，王曉東

（中國科學院長春光學精密機械與物理研究所，吉林長春130033）

為促進航空測繪信息獲取的數字化、一體化、實時化，本文利用FPGA（Field-Programmable Gate Array，即現場可編程門陣列）并行處理的優勢結合ARM處理器低功耗高性能的特點，基于ARM+FPGA的雙核硬件架構實現了影像的交互與顯示.該系統以Linux操作系統為軟件開發平臺，以ARM11嵌入式處理器為硬件核心、FPGA作為協處理器，采用FPGA片內FIFO（First Input First Output，即先進先出存儲器）作為ARM處理器與FPGA之間的高速通信橋梁，針對Linux 2.6.36內核完成了對FPGA設備的驅動設計，并基于Qt圖形用戶界面實現了影像的實時顯示.測試結果表明，ARM處理器與FPGA之間能夠實現VGA（640×480）圖像的高速交互，幀率可達26幀/s，最大傳輸帶寬為182 Mbps.該系統不僅體積小、功耗低、成本低，而且穩定性好、功能強，能夠滿足航空遙感攝影系統的實時性要求.

ARM；嵌入式Linux；FPGA；設備驅動；影像顯示

1　引 言

目前，隨著嵌入式技術與數字技術的高速發展，ARM+FPGA雙核硬件架構倍受青睞，該架構不僅功能分明而且結構緊湊.結合ARMLinux和FPGA各自特點的系統在數字系統設計中得到了廣泛應用.

FPGA能夠實現復雜的高速邏輯.它克服了定制電路的不足，可以在不更改外圍電路的情況下，通過對FPGA的軟件編程實現特定的系統功能.但FPGA在分析控制及驅動等方面較為薄弱. ARM處理器彌補了FPGA的上述不足，它是目前嵌入式領域使用最廣泛的處理器，具有專用性強、功耗低等優勢，且嵌入式Linux操作系統具有開放源代碼、穩定性強、可裁剪等優點，能夠完成對大規模復雜程序的分配調度和協調控制.

該架構中FPGA主要負責高速數據處理，ARM處理器負責實現人機交互、界面顯示及外部通信功能［1］.傳統的I2C、SPI等串行總線通信僅能實現ARM與FPGA之間的低速通信，本系統采用FPGA片內FIFO實現二者之間的高速數據通信，且Linux 2.6.36版本內核在內存管理和設備驅動方面表現得十分出色.本文基于ARMLinux軟硬件架構完成了與FPGA數據通信的接口設計與驅動設計，并采用Qt GUI設計了人機交互圖形界面，最終實現高速影像信息的實時顯示.

2　系統硬件架構

2.1ARM+FPGA雙核架構

系統以ARM11處理器S3C6410為硬件核心，負責影像的交互與顯示.采用DDR RAM和NAND Flash作為系統存儲器、SD卡存儲圖像文件，1.2 V外部電源供電，最大主頻667 MHz，且內置圖像加速器并擴展了SIDI功能，能夠滿足較高圖像處理性能的要求，4.3 in LCD液晶屏用以顯示實時影像，并配備了方便人機交互的觸摸屏.

FPGA采用Altera公司的Cyclone IV系列的EP4CE40F23C8芯片.它采用FBGA封裝，具有484個引腳、39 600個LEs（Logic Elements，邏輯單元）、126個18×18乘法器、總RAM位數1 161 216 bits、329個用戶I/O，是一款高性能、低功耗、低成本的現場可編程門陣列，能夠滿足本系統對影像處理的要求［2］.

嵌入式ARM處理器接收FPGA從Camera Link接口獲取并處理的影像，并將該影像實時顯示在LCD液晶屏上.系統硬件架構如圖1所示.

圖1　系統硬件架構圖Fig.1　Structure diagram of the system hardware

2.2ARM與FPGA接口設計

ARM處理器與FPGA之間的數據通信主要采用串行傳輸和并行傳輸兩種方式.采用I2C接口或者SPI接口的串行通信方式傳輸速度較慢；而并行方式通過總線連接，在ARM端口配置地址總線、數據總線和控制總線，并和FPGA相應的信號相連，這種傳輸方式具有速度快且傳輸穩定的優勢.本系統采用總線方式連接EP4CE40F23C8和S3C6410，二者的硬件連接圖如圖2所示.

圖2　ARM與FPGA硬件連接圖Fig.2　Diagram of ARM and FPGA hardware connection

在圖2中，EP4CE40F23C8作為外部存儲器掛載在S3C6410的存儲器總線上.將S3C6410的數據總線LDATA［7∶0］連接到FPGA片內FIFO，FIFO常用作數據緩存，和RAM不同的是，FIFO不需要關心讀寫地址，從而簡化操作.此外，還需將S3C6410的地址總線、片選信號線、讀/寫使能信號線及時鐘信號線分別與EP4CE40F23C8的相應引腳相連.

3　Linux系統下的FPGA驅動設計

由于Linux內核中并沒有FPGA片內FIFO的設備驅動，因此，為實現ARM處理器與FPGA之間的數據通信，須在Linux系統下完成對FPGA片內FIFO的驅動開發.

Linux設備驅動程序是連接底層設備和上層應用程序的紐帶.Linux系統將設備以設備文件的形式掛載在根文件系統的/dev目錄下，系統對設備的操作可簡化成對設備文件的操作，如打開open（）、關閉close（）、讀read（）和寫write（）等［3］.驅動設計的層次結構圖如圖3所示.

圖3　驅動設計的層次結構圖Fig.3　Diagram of the driver hierarchy

Linux系統具有以下3種設備:包括字符設備、塊設備及網絡設備［4］.Linux把FPGA的片內FIFO視為特殊的字符型設備，即雜項設備.由于硬件連接上將FPGA掛載在S3C6410的存儲器總線上，用戶空間通過內存映射方式實現對FPGA的訪問.因此，上層應用程序可以直接訪問設備內存，從而大大提高數據傳輸速度.

本文在Linux系統下實現了FPGA的設備驅動，總結得到以下步驟:

（1）編寫設備驅動程序，并添加到內核源碼目錄；

（2）在Kconfig文件中添加上述設備驅動程序所對應的編譯配置選項；

（3）通過內核配置工具menuconfig，將該硬件配置編譯為模塊；

（4）把內核配置選項和真正的硬件驅動聯系起來，在Makefile文件中添加相應的編譯條目；

（5）執行#make modules編譯生成動態加載模塊；

（6）將編譯好的驅動模塊下載到目標機，執行命令#insmod mini6410_fpga.ko動態加載驅動模塊；

（7）交叉編譯測試程序，驗證驅動設計是否成功.

3.1文件操作接口

Linux系統開機啟動后FPGA設備驅動的加載流程如圖4所示.

圖4　FPGA驅動加載流程圖Fig.4　Flowchart of FPGA driver loading

首先，定義file_operations類型的結構體變量fpga_fops用于存儲內核驅動模塊對設備操作的函數指針，包括open、release、read、write以及ioctl，分別對應用戶空間的接口函數［5］.

然后，定義雜項設備（即主設備號為10的特殊字符型設備）結構體變量fpga_misc，

其中主要包括3個域:分別是次設備號、設備名稱與file_operations類型結構體變量的引用，為增加程序的可讀性和可移植性，這里將設備名定義為宏:#define DEVICE_NAME“fpga”.

3.2設備驅動的初始化

設備驅動的初始化包括三部分:S3C6410外部存儲器硬件寄存器的初始化、將設備由物理空間映射到Linux內核虛擬空間及向內核注冊雜項設備.

3.2.1硬件寄存器初始化

由于EP4CE40F23C8芯片被當作外部存儲器連接在S3C6410的存儲器總線上，對硬件寄存器的初始化可以通過對SROM_BW總線寬度等待控制寄存器進行配置實現.Linux系統必須先調用ioremap（）函數將物理地址映射到虛擬地址空間，該函數原型為:void?ioremap（unsigned long phys_addr，unsigned long size）［6］；

其中，phys_addr為要映射的外設I/O起始物理地址；size表示要映射的空間大小，其返回值為對應的內核虛擬地址.這里調用如下代碼實現地址映射:memcfg_addr_vir=ioremap（0x7000000 0，0x20）；其中，0x70000000是SROM_BW總線寬度等待控制寄存器的物理地址，返回值memcfg_ addr_vir是它在Linux內核空間對應的虛擬地址.

將SROM_BW的8～11位（對應BANK2）設置為0101，表示不使用BU/LB，WAIT信號使能，并將BANK2的數據總線寬度設置為16位［7］. 3.2.2 將設備由物理空間映射到內核虛擬空間

由于ARM處理器并沒有為已知外設I/O內存資源的物理地址預定義虛擬地址，因此，驅動程序并不能直接通過物理地址訪問I/O內存資源，而必須將它們映射到內核虛擬空間.

FPGA的I/O內存資源的物理地址由硬件決定.本架構選擇S3C6410的nCS2（即BANK2），起始地址為0x20000000.這里將FPGA映射到linux內核的虛擬地址定義為fpga_addr_vir，然后調用ioremap（）將SROMC BANK2的地址映射到Linux內核，映射空間大小為128M，代碼如下:fpga_addr_vir=ioremap（0x20000000，0x07FFFFFF）；

3.2.3向內核注冊雜項設備

在模塊加載函數module_init（）中通過調用misc_resigter（）實現向Linux內核注冊該雜項設備.

因此，在使用insmod模塊加載命令時，即可自動地調用該函數，完成該設備向內核的注冊.

3.3設備的讀寫

在設備讀/寫函數中，通過系統內核函數copy_to_user（）和copy_from_user（）分別實現從內核空間到用戶空間和從用戶空間到內核空間的數據拷貝功能.

3.3.1從FPGA FIFO中讀取數據

在讀函數fpga_read（struct file?filp，char_ user?buf，size_t size，loff_t?ppos）中，首先調用ioread16（）函數將數據從FPGA中讀出，代碼如下:

其中fpga_addr_vir為FPGA的虛擬地址，fpga_buf為unsigned int指針類型，將其轉換成char類型指針后，調用copy_to_user（）將從FPGA中讀取的數據從內核空間拷貝到用戶空間，主要代碼如下:

3.3.2向FPGA FIFO中寫數據

在fpga_write（struct file?filp，const char__ user?buf，size_t size，loff_t?ppos）函數中，首先，調用copy_from_user（）函數將數據從用戶空間拷貝到內核空間中，這里char類型指針變量temp指向內核空間；然后，將該緩沖區中的數據復制到fpga_buf緩沖區，并調用iowrite16（）將其寫入到FPGA的FIFO中，主要代碼如下:

3.3.3讀寫進程互斥功能的實現

多個進程同時對FPGA進行讀寫操作時，會造成FPGA FIFO中數據的不確定性.因此，在驅動程序的FPGA讀寫函數中，采用信號量實現讀/寫進程的互斥，從而保證同一時間內只有一個進程對FPGA FIFO進行讀或寫操作［8］.

首先，在驅動程序中定義一個信號量struct semaphore sem；然后，在設備驅動初始化函數中調用sema_init（&sem，1）將該信號量初始化為1；在執行讀/寫功能前要先獲取信號量，再調用函數down_interruptible（&sem）；最后，讀/寫操作完成，調用up（&sem）釋放信號量，告知Linux操作系統的其他進程使用FPGA的FIFO.

3.4驅動配置與移植

首先，將編寫好的驅動程序復制到內核源碼/ home/linux-2.6.36/drivers/char/目錄下，并修改Kconfig文件，添加FPGA驅動的編譯配置選項:

其次，進入圖形化的內核配置界面，在Device Drivers→Character devices頁面下選中Kconfig文件所添加的模塊.FPGA驅動配置如圖5所示.

圖5　FPGA驅動配置圖Fig.5　Diagram of FPGA driver configuration

再次，在Makefile中添加如下語句，把內核配置選項和真正的FPGA驅動源代碼聯系起來: obj-$（CONFIG_MINI6410_FPGA）+=mini6410_fpga.o，并執行#make modules命令編譯得到mini6410_fpga.ko動態加載模塊.

最后，將編譯好的動態模塊復制到ARM板根文件系統/lib/modules/2.6.36目錄下，并執行#insmod mini6410_fpga.ko命令完成模塊的動態加載，在/dev目錄下可以看到該設備文件的掛載點，如圖6所示.

圖6　FPGA設備掛載點Fig.6　Diagram of FPGA device node

3.5驅動測試

執行#modinfo命令查看kernel模塊信息，包括模塊開發者、許可證及內核版本信息，如圖7所示.

圖7　FPGA設備驅動信息圖Fig.7　Diagram of FPGA device driver information

圖8　設備驅動測試圖Fig.8　Diagram of device driver testing

向內核加載FPGA設備驅動模塊成功后，執行設備驅動測試程序，圖8（a）實現了ARM處理器向FPGA FIFO中連續寫入從鍵盤輸入的數據，圖8（b）實現了ARM處理器從FPGA FIFO中讀取寫入數據的操作.結果表明，S3C6410能夠實現對FPGA FIFO的正確讀寫，保證了數據交互的正確性與穩定性.

4　Qt GUI圖形界面設計

系統將處理后的圖像數據寫入FPFA片內FIFO，然后ARM處理器讀取該圖像數據，并基于Qt GUI設計了人機交互界面，實現影像數據在LCD液晶屏上的實時顯示.

Qt GUI圖形界面的設計步驟如圖9所示.

圖9　圖形界面的設計步驟Fig.9　Design steps of the graphical interface

本設計的人機交互界面包括終端登錄界面和影像顯示界面兩部分，主要使用了Qt API的QLabel類、QPixmap類以及QPushButton類，并為終端添加了開機啟動界面.程序設計完成后，將編譯好的Qt程序下載到ARM板，并將執行該程序的SHELL命令寫入開機啟動腳本中，從而實現終端的開機自啟動功能，登錄界面如圖10所示.

圖10　終端登錄界面Fig.10　Terminal login interface

終端登錄界面類被定義為Log.在該界面的設計中，將圖10中“Welcome Log in”對應的按鈕QPushButton?logbut的SIGNAL（clicked（））信號與槽函數SLOT（test（））相關聯，并在槽函數test（）中執行當前對象的隱藏函數hide（）和影像顯示界面的顯示函數show（），即實現了從登陸界面到影像顯示界面的切換，主要代碼如下:

影像顯示界面類被定義為Img.為實現系統實時獲取測繪信息的后續查看功能，ARM處理器將接收的影像保存為適合QLabel類加載的.bmp格式文件，將該文件重命名為當前系統時間，并保存在SD Card中.因而后續查看時不僅可以獲得圖像信息還可以獲取記錄該影像的時間信息.在該界面的設計中，ARM處理器將從FPGA接收到的影像數據加載在QLabel上，并采用定時器事件不斷刷新加載到QLabel上的影像數據，從而實現基于Qt GUI的影像顯示.由于人眼視覺暫留特性，當連續的圖像以大于25幀/s的速率顯示時，即可達到人眼對平滑流暢視覺效果的要求［9］.影像顯示界面的實現流程如圖11所示.

該界面實現的具體步驟如下:

首先，在頭文件中定義影像顯示界面類Img成員變量，如下:

QPushButton?recvbutton；//接收按鈕

QPush Button?stopbutton；//停止顯示按鈕

QLabel?label；//用于加載實時影像

QPixmap pm；

然后，在影像顯示子界面類Img實現源文件中將接收按鈕recvbutton的SIGNAL（clicked（））信號和槽函數SLOT（mytimer（））相關聯，代碼

圖11　影像顯示界面的實現流程圖Fig.11　Flowchart of image display interface

如下:

在槽函數mytimer（）中調用start Timer（）函數來開啟定時器，并設定定時器定時間隔為30 ms.start Timer（）函數將返回一個int類型的定時器ID，即全局變量int my TimerId，代碼如下:

當定時時間達到30 ms時，全局變量my Timer Id和QTimer Event?event-＞timer Id（）相等，即觸發定時器事件的發生.在Img類的timer Event（）槽函數中，首先調用QPixmap-＞load（）加載圖像，然后調用QLabel-＞setPixmap（）選擇一個QPixmap類對象顯示，實現代碼如下:

在stopbutton停止顯示按鈕的槽函數stop Event（）中調用kill Timer（）函數停止定時器，并將全局變量my TimerId設置為0，因此定時器事件將不再被觸發，此后停止刷新加載在label上的影像，將控制權交給Qt.影像顯示界面如圖12所示.

圖12　影像顯示界面Fig.12　Image display interface

5　結 論

為實現航空測繪信息獲取的數字化、實時化，本文結合嵌入式處理器S3C6410與FPGA的各自優勢，提出了一種基于ARM+FPGA雙核硬件架構的高速影像交互與顯示系統的解決方案［10］.該系統采用并行總線方式實現ARM與FPGA之間的高速數據通信，利用Linux 2.6.36內核完成了對FPGA設備的驅動設計，實現了高速影像數據交互；并在ARM-Linux平臺上設計了基于Qt的人機交互界面，用以實現高速影像的實時顯示.測試結果表明，該系統實現了VGA（640×480）格式的高速影像交互，幀率最大可達26幀/s，傳輸帶寬最大為182 Mbps.該系統不僅體積小、功耗低、成本低，而且結構緊湊、專用性強、穩定性好、性能佳，能夠滿足測繪信息獲取的實時性要求.

［1］ 徐正平，許永森.S3C2440A在步進電機控制器人機交互中的應用［J］.液晶與顯示，2015，30（1）:70-76.

Xu Z P，Xu Y S.Application of S3C2440A in human-computer interaction of stepping motor controller［J］.Chinese Journal of Liquid Crystals and Display，2015，30（1）:70-76.（in Chinese）

［2］ 宋亞軍，許廷發，倪國強，等.基于Virtex-4 FPGA的低功耗圖像融合系統［J］.光學精密工程，2007，15（6）:935-940.

Song Y J，Xu T F，Ni G Q，et al.Low power image fusion system based on Virtex-4 FPGA［J］.Opt.Precision Eng.，2007，15（6）:935-940.（in Chinese）

［3］ 宋寶華.Linux設備驅動開發詳解［M］.北京:人民郵電出版社，2008.

Song B H.Details for Embedded Linux Device Drivers Development［M］.Beijing:The People's Posts and Telecommunications Press，2008.（in Chinese）

［4］ 王亞庭.基于ARM與FPGA的高速數據采集技術研究［D］.北京:北京交通大學，2007.

Wang Y T.Research on High speed data acquisition technology based on ARM&FPGA［D］.Beijing:Beijing Jiaotong University，2007.（in Chinese）

［5］ 趙同樣.嵌入式Linux系統驅動研究與開發［D］.哈爾濱:中國地震局工程力學研究所，2012.

Zhao T X.Study and development of embedded Linux system driver［D］.Harbin:Institute of Engineering Mechanics，China Earthquake Administration.2012.（in Chinese）

［6］ Mitchell M，Oldham J，Samuel A.Advanced Linux Programming［M］.America:New Riders Publishing，2001.

［7］ Samsung Electronics.User's Manual S3C6410X RISC Microprocessor［R］.Korea:Samsung Electronics，Inc.，2008.

［8］ 汪益立，胡旭東，黃斌.Linux內核中雙口RAM驅動開發及在大圓機控制系統中的應用［J］.現代紡織技術，2014（4）:13-17.

Wang Y L，Hu X D，Huang B.Development of dual-port RAM driver in Linux kernel and application in control system of circular machine［J］.Advanced Textile Technology，2014（4）:13-17.（in Chinese）

［9］ 華清遠見嵌入式培訓中心.嵌入式Linux應用程序開發標準教程［M］.北京:人民郵電出版社，2009.

Huaqing Vision Embedded Training Center.Details for Embedded Linux Application Program Development［M］. Beijing:The People's Posts and Telecommunications Press，2009.（in Chinese）

［10］ 盧振華，郭永飛，李云飛，等.利用CCD拼接實現推掃式遙感相機的自動調焦［J］.光學精密工程，2012，20（7）: 1559-1565.

Lu Z H，Guo Y F，Li Y F，et al.Realization of auto-focus on APRC using CCD stitching［J］.Opt.Precision Eng.，2012，20（7）:1559-1565.（in Chinese）

Design of image interaction and display system based on ARM+FPGA

WU Di?，LI Bing-yu，WANG Xiao-dong

（Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China）

To promote the integration of mapping information obtained，image interaction and display are realized based on the dual-core ARM+FPGA hardware architecture in this paper by taking full advantage of the parallel processor FPGA（Field-Programmable Gate Array）and the high-performance ARM processor.The real-time image display is realized based on Qt graphical interface and the driven design of FPGA FIFO（First Input First Output）is completed in the Linux 2.6.36 kernel which uses Linux operating system as the software platform，ARM11 as the core of embedded hardware processor and FPGA as the coprocessor.The test results show that it could achieve high speed VGA（640×480）format image interaction between ARM and FPGA with the maximum frame rate of 26 fps and the maximum transmission bandwidth of 182 Mbps.This system not only has the advantages of small volume，low power consumption，low cost，but also has good performance of stability and functionality.Moreover，it could meet the real-time requirements for the aerial remote sensing system. Key words:ARM；embedded Linux；FPGA；device driver；image display

TP368

A doi:10.3788/YJYXS20153006.0979

1007-2780（2015）06-0979-08

吳迪（1988-），女，吉林長春人，碩士，研究實習員，主要從嵌入式系統設計及信息處理方面的研究. E-mail:wudihope@163.com

李丙玉（1980-），男，河北滄州人，碩士，助理研究員，主要從事空間圖像傳感器成像控制與信息處理技術研究.E-mail:liby0125@126.com

2015-03-23；

2015-04-22.

國家重大科學儀器設備開發專項（No.2012YQ160185）

Supported by National Key Scientific Instrument and Equipment Development Projects of China（No. 2012YQ160185）

?通信聯系人，E-mail:wudihope@163.com

王曉東（1970-），男，吉林長春人，博士，研究員，博士生導師，主要從事光電探測與檢測及信息處理方面的研究.E-mail:wangxd@ciomp.ac.com