基于FPGA的實時圖像采集和去噪系統設計

白書華（南昌理工學院，南昌 330044）

?

基于FPGA的實時圖像采集和去噪系統設計

白書華
（南昌理工學院，南昌 330044）

摘要：對采集或傳輸過程中受到的噪聲干擾信號進行預處理，并保持圖像傳輸的實時性，是圖像處理系統需要解決的問題。對于實時性要求高的圖像處理系統而言，用軟件來實現噪聲的預處理相對來說是比較耗時的，因此必須尋求其他解決方式。文章設計基于FPGA的新型模塊化集成電路來實現圖像采集和去噪，并通過試驗和仿真測試驗證了設計的實時效果。

關鍵詞：FPGA；圖像采集系統；圖像去噪

http://www.bisee.ac.cnE-mail: htqhjgc@126.comTel:(010)68116407, 68116408, 68116544

0　引言

在當今航空航天工程技術應用與研究中，傳統的圖像采集及處理系統有硬件架構和軟件架構2種?；赑C機的軟件架構圖像處理系統，運算靈活，成本較低，但因PC機是馮·諾依曼結構，無法實現并行處理，速度較慢，不能滿足圖像處理的實時性要求；硬件架構的圖像采集及處理系統一般采用專用的集成電路（ASIC）器件實現，而ASIC常采用具有并行處理能力的哈佛結構，比軟件架構的系統速度更快，可以較好地滿足實時性要求[1]。ASIC中最為常用的數字信號處理芯片DSP具有強大的數據處理能力和高速運行的特點，并且體積小、功耗低、可靠性強，非常適合應用于圖像處理領域。但是，因其電路設計復雜、開發成本高和無法進行二次開發的缺陷，給設計人員帶來了諸多不便。

圖像的采集及傳輸過程中，容易受到空間和外界噪聲源的干擾，使得圖像的質量變差或是丟失重要信息[2]。隨著對圖像效果及質量要求的提高，人們迫切尋求一種新的系統架構。目前，實時的圖像采集處理系統的設計，已經從ARM、DSP平臺向FPGA平臺轉移。尤其是在近些年，隨著微電子技術的不斷發展，現場可編程門陣列FPGA的使用成本大幅降低，性能明顯提升。利用FPGA，用戶不僅可以方便地設計出所需的硬件邏輯功能，而且可以實現系統的重復編程，實際的系統設計過程就像是用軟件進行設計一樣方便快捷，從而大大降低了開發難度，縮短了研發周期。同時，FPGA系統能夠實現硬件的流水線和并行化，可有效提升系統的運行速度；隨著數字集成技術的發展，許多FPGA中已集成了諸如硬件乘法累加器、鎖相環、RAM、DSP核等硬件資源，更有助于其在實時圖像采集及處理方面的應用。FPGA已經成為了一個介于軟件和硬件架構之間的新的開發平臺。

本設計的主要工作是用FPGA設計了專用的集成電路，用于實現能滿足航天應用要求的圖像實時采集及圖像去噪聲處理。

1　圖像采集中的頻域濾波[3]

圖像增強的方法分為空域法和頻域法：空域法主要是對圖像中的各像素點進行操作；頻域法是將圖像進行變換（指經過傅里葉變換）之后，在變換域中對圖像的變換系數進行處理（濾波）后再進行逆變換，獲得濾波后的圖像。采用頻域濾波來研究圖像采集較為合適。

傅里葉變換的實質就是把圖像從空域變換到頻域。從頻率的角度分析，一幅圖像的細節、紋理信息對應的是高頻部分；圖像的輪廓信息一般為低頻信號。如果對一幅精細的圖像使用低通濾波器，濾波后會發現保留下來的圖像只有輪廓。使用頻域濾波法對圖像進行降噪處理，需要合理分析圖像中噪聲信號的頻譜，如果干擾圖像的噪聲恰好位于某個特定的頻率范圍內，則可根據噪聲的頻譜范圍去構建相應的低頻濾波器、高頻濾波器或帶阻濾波器等，從而恢復出原來的圖像[4]。顯然，當噪聲信號的頻譜和圖像信號的頻譜有重疊時，濾除噪聲的同時也會丟失相應的圖像信息。

2　圖像數據中的系統存儲模塊

由于采集到的圖像數據的一幀為752×480像素，每個像素點對應的數據是10bit，需要440.6kByte的存儲單元來存儲。這么多的存儲單元如果都用FPGA內部的RAM來實現，將嚴重制約FPGA配置為其他功能電路，因此有必要在FPGA外圍寬展存儲芯片。另外，由于圖像傳感器輸出的數據格式問題，還需要設計一個圖像變換模塊，在結合行、場同步信號的情況下，對得到的數字圖像數據進行變換，進而得到標準的RGB格式圖像數據，以便于后續的VGA顯示。同時可以解決傳感器MT9V032的像素采集速度和VGA的顯示速度不匹配的問題。

系統采用DDR SDRAM作為圖像數據的存儲和處理器件。DDR SDRAM及其電路具有接線簡單、穩定可靠等特點[5]，多為Bank結構。采用Bank結構的原因是，當其中一個Bank在進行預充電的同時，另一個Bank可以馬上實現讀取，也就是說，進行一次讀寫操作后，無須等待，又可以接著對下一個Bank直接進行讀寫操作，從而使存儲器的訪問速度大大提高。

3　圖像處理中MT9V032初始化模塊的設計

MT9V032的初始化主要是通過I2C總線對其內部寄存器的設置來實現的，而實現數據輸出控制的是主控芯片FPGA，換句話說主要是建立一個I2C接口。

3.1I2C總線簡介

I2C總線由數據線SDA和時鐘SCL構成，最高傳送速率100kbit/s。在數據傳輸過程中通常有START（開始）、STOP（結束）、ACK三種類型信號。當SCL為高電平時，SDA由高電平向低電平跳變，為START信號，表示數據傳輸的開始；而SDA由低向高的跳變，表示數據傳輸結束。當發送完一幀數據后，需要接收來自數據接收方發回的應答信號ACK[6]。

實際工作時，由FPGA控制產生串行時鐘，從而控制數據的傳輸方向，并產生起止條件，控制數據的發送和停止。只有SCL為低電平時，SDA線上的數據狀態才能進行修改；SCL為高電平時，SDA狀態可以用來表示開始或結束。I2C總線的數據傳輸時序如圖1所示。

圖1　I2C總線的數據傳輸時序Fig. 1　The data transmission sequence of I2C bus

3.2I2C接口的設計

由于MT9V032內部寄存器的值可以通過芯片上提供的 I2C串行控制總線來讀寫，所以，通過對FPGA的I2C接口的設計，可以實現目標圖像傳感器的寄存器初始配置[7]。

I2C接口模塊分為I2C控制模塊和ROM模塊。其中I2C控制模塊實現數據及命令的轉換，同時負責I2C讀寫時序的產生；ROM模塊負責存儲事先準備好的MT9V032配置數據——當I2C總線開始對MT9V032進行配置時，可以直接從ROM中讀取預配的內容。

I2C協議中規定，在傳輸總線數據時遵循7位的傳輸格式。在對MT9V032進行訪問時，首先由I2C接口發出地址信息，MT9V032的7位地址是1011100B，在上述數據的最后面應加上表示“讀”或“寫”的數據位0（寫）或1（讀），從而構成8位的地址數據0XB8（寫）和0XB9（讀）。

在進行“寫”操作時，首先由FPGA發送一個開始信號，再發送8位的設備地址，并等待從機的應答信號；然后FPGA發出要訪問的目標寄存器的地址，從機同樣回復一個應答信號；之后主機FPGA發出待寫入的數據，并接收來自從機的應答信號；最后以停止位表示數據傳輸結束。圖2是向寄存器0X09寫入0X82的時序圖。

圖2　I2C“寫”時序圖Fig. 2　I2C “write” sequence diagram

在進行“讀”操作時，也是由FPGA先發送一個開始信號，再發送設備地址，并等待應答；然后發出要訪問的目標寄存器地址，并等待應答；之后自從機讀取8位數據，一個字節應答一次；最后以停止位提示數據傳輸結束?？梢姟白x”操作比“寫”操作在時序上要稍復雜些[8]。

4　系統FPGA功能實現及仿真

FPGA系統設計一般有原理圖輸入方式、波形輸入方式和硬件描述語言輸入方式3種。原理圖輸入方式大多用于對系統各部分電路熟悉的情況下或對系統的時序要求較嚴格的場合，不適合復雜系統的設計。波形輸入方式通常用于建立和編輯波形設計文件或輸入仿真向量，在使用上有一定的局限性。硬件描述語言的輸入方式通常是指行為描述語言VHDL或Verilog等，其語言的公開性和通用性使其更為適合于大規模系統的設計實現。結合專門的EDA工具，更可以實現對系統各模塊的仿真及測試。FPGA系統設計的流程一般包括10個步驟，如圖3所示。

圖3　FPGA系統設計流程Fig. 3　FPGA system design process

概括起來包含以下5個部分：

4.1方案設計、系統規劃

方案設計、系統規劃是系統設計的第一步，尤其是在采用自頂向下的設計方法時，用于進行系統功能的劃分和結構設計。

4.2設計輸入

設計輸入包括VHDL、Verilog等硬件描述語言和原理圖的輸入，用于對系統進行描述。本系統采用Verilog語言進行設計輸入。

4.3功能仿真及綜合[9]

在編譯器驗證了設計輸入的正確性后，通過邏輯綜合及優化工具，生成門級電路網表，進行模塊化的功能驗證，為硬件電路的轉化做準備。

4.4時序仿真

結合具體型號的FPGA芯片，進行具體的仿真，檢查邏輯綜合結果是否符合設計要求。

4.5適配及文件下載

通過適配，將編程數據下載到FPGA芯片中，使系統轉為具體的物理實現。

上述的每一個步驟都是息息相關的，任何一步出錯，都需要進行認真的檢查或是查看前一步出現的不足。本系統采用了ALAERA公司開發的Quartus II作為仿真的軟件測試平臺。

5　模擬濾波算法的FPGA實現

航天應用中的圖像生成和傳輸過程中常受到各種各樣噪聲的影響或干擾，使采集到的圖像細節遭到破壞，圖像質量下降。通過平滑、濾波操作可以對圖像進行降噪，改善圖像質量。圖像在各尺度下經過小波變換后，信號和噪聲所對應的小波系數的傳播性會存在明顯差異。信號的小波系數在各尺度間具有較強的關聯性，在同一尺度上也具有較好的局部性質[10]；而噪聲的小波系數在各尺度間的相關性不明顯，大尺度情況下相關性幾乎消失，其能量只集中在小尺度上。因此，可以通過這種相關性差異來區分噪聲和有效信號，以濾除噪聲。如果將相鄰尺度的小波系數直接相加，將使得信號的相關性更加明顯突出，而噪聲會變得更小?；谶@個特點，提出相關性的小波去噪方法，通過相鄰尺度小波系數進行相關計算，在抑制噪聲的同時使信號的主要邊緣更加銳化，從而更好地刻畫模擬出有效信號。

目前大部分基于FPGA實現的圖像降噪算法都只是應用空間域，而在變換域上實現圖像去噪的較少。本研究基于小波變換的圖像去噪算法，并進行一定的改進，采用FPGA來完成和實現圖像采集處理，整個控制系統由系統接口模塊、控制器模塊2部分組成。而CMD（彩色顯示器）可以是由前級的圖像傳感器控制模塊根據3個同步時鐘確定產生，或由后級的圖像處理控制模塊產生。

5.1系統接口模塊

系統接口模塊主要負責系統的初始化和預處理功能。系統上電后，先進行SDRAM的初始化配置工作，完成對所有Bank的預充，然后完成相應的指令模式配置；之后才可接收并分析系統的讀寫信號和地址信息，并產生對應的CMD命令和ADDR地址信息給命令解析模塊。

5.2控制器模塊

控制器模塊由CMD命令解析模塊和命令響應模塊組成。整個控制器主要實現對前級采樣控制模塊輸出命令和主機控制信號的識別和譯碼，同時負責對SDRAM內部控制寄存器的加載，即，將用戶命令轉化為控制DDR SDRAM設備的總線命令。

6　結束語

在航空航天技術應用中，隨著FPGA技術的發展，內嵌ARM或DSP內核的FPGA芯片已經出現。本文設計了基于FPGA的圖像采集處理系統，使用CMOS圖像傳感器MT9V032，通過內部的A/D轉換器，直接輸出數字化的圖像。MT9V032傳感器的初始化及控制模塊電路采用FPGA來實現，并采用DDR SDRAM作為圖像數據的緩存器，大大提高了數據的存儲速度，達到了實時采集的效果。

參考文獻（References）

[1]陳世明. 融合位置集結與速度同步的群集行為研究[C]// 2008中國控制與決策學術年會論文集. 煙臺, 2008: 43-45

[2] Tian Yuping, Liu Chenglin. Robust consensus of multi-agent systems with diverse input delays and asymmetric interconnection perturbations[J]. Automatic, 2009, 45(5): 1347-1353

[3]朱猛. PLD的設計過程和方法淺析[J]. 光盤技術, 2006(5): 42-44 Zhu Meng. Exploratory analysis of design process and method of PLD[J]. CD Technology, 2006(5): 42-44

[4]楊楓. 加速傳感器在手機中的應用及其攝像頭替代技術研究[D]. 上海: 上海交通大學, 2013: 12-15

[5]褚振勇, 翁木云. FPGA設計及應用[M]. 西安: 西安電子科技大學出版社, 2003: 13-17

[6]楊自恒, 王強, 李博, 等. 基于混沌加密的小波域數字圖像水印算法[J]. 電子測量技術, 2009, 32(2): 131-134 Yang Ziheng, Wang Qiang, Li Bo, et al. Digital watermarking algorithm based on chaos encryption and wavelet domain[J]. Electronic Measurement Technology, 2009, 32(2): 131-134

[7]單家凌. 一種基于目標域的車牌圖像混合壓縮方法[J].微型機與應用, 2010, 29(24): 49-52 Shan Jialing. A kind of the license plate image mix compression method based on target domain[J]. Microcomputer & Its Applications, 2010, 29(24): 49-52

[8]金革. 可編程邏輯陣列FPGA與EPLD[M]. 合肥: 中國科學技術大學出版社, 2002: 117-119

[9]吳繼華, 王誠. Altera FPGACPLD 設計（基礎篇）[M].北京: 人民郵電出版社, 2014: 5-8

[10]林東. 基于FIFO 幀存儲的任意視頻圖像信號發生器[J].福州大學學報: 自然科學版, 2003, 31(1): 23-27 Lin Dong. Arbitrary video signal generator based on FIFO frame memories[J]. Journal of Fuzhou University: Natural Science Edition, 2003, 31(1): 23-27

（編輯：閆德葵）

Design of real-time image acquisition and denoising based on FPGA

Bai Shuhua

(Nanchang Institute of Technology, Nanchang 330044, China)

Abstract:In the image acquisition process in space applications, the image signal may undergo all kinds of noise signal interferences to greatly impair the visual effect of the image. For a data processing system with a high requirement of real time operation, it is time–consuming to realize pre-denoising with software. In this paper, a specified novel modelized IC based on FPGA is designed to realize the image acquisition and denoising. Experimenal and simulation tests show that the desirable results can be achieved.

Key words:FPGA; image acquisition system; image denoising

作者簡介：白書華（1982—），男，碩士學位，主要研究方向為電子與信息科學和信號與信息處理。E-mail: 270239343@qq.com。

基金項目：江西省2014年度省教育廳科學技術研究基金項目（編號：GJJ14768）

收稿日期：2015-06-24；修回日期：2016-03-16

DOI:10.3969/j.issn.1673-1379.2016.02.009

中圖分類號：TN919.23

文獻標志碼：B

文章編號：1673-1379(2016)02-0163-04