基于FPGA的低功耗微型圖像采集系統的設計

劉雅莉，張海龍，朱　波

?

基于FPGA的低功耗微型圖像采集系統的設計

劉雅莉，張海龍，朱波

摘 要：為了滿足項目應用的需求，設計了一個基于FPGA的低功耗微型圖像采集系統。結合CMOS圖像探測器的特點，選用Microsemi公司的FPGA作為硬件設計平臺，使用Verilog-HDL硬件描述語言進行描述，并采用自上而下的模塊化設計思想對整個系統進行設計。實驗結果表明，所設計的圖像采集系統在1280*1024分辨率、20f/s的情況下可以實時穩定的實現圖像的顯示與存儲，圖像質量良好。

關鍵詞：CMOS圖像探測器；FPGA；Verilog-HDL；自上而下

0　引言

隨著社會的發展和進步，以及生產自動化程度的不斷提高，數字成像系統已經廣泛應用于公共安全、工業生產、科學研究等領域[1][2]。并且，由于集成電路設計技術的進步以及制造工藝的不斷改進，人們對數字成像系統提出了越來越高的要求，例如：體積小，重量輕，能耗低等[3]。但是，基于目前國內數字成像系統的研究現狀，其重量和功耗普遍偏大，不適合特定場合的應用。

本文正是在這樣的背景下，結合實際工程項目，設計了一個以低功耗FPGA為核心控制單元，結合CMOS圖像探測器的圖像采集系統[4]，該系統不論是從系統功耗、重量還是圖像質量等方面都取得了較好的效果。

1　圖像采集系統總體設計

圖像采集系統一般由光學鏡頭、焦平面（圖像探測器）、控制與接口單元（FPGA）3部分組成[5]。為了降低重量、減少功耗就要使用較小的圖像探測器和控制系統。本文圖像采集系統的設計原理如圖1所示：

圖1　本文圖像采集系統原理框圖

圖像探測器使用了ONSEMI公司4.8um像元的CMOS圖像探測器—VITA1300，圖像分辨率1280*1024，外形尺寸14mm*14mm，并行輸出模式下的最大功耗為290mW。探測器的供電由三組電源組成，分別為 Vdd_18、Vdd_33和Vdd_pix，并嚴格按照規定的順序進行上電。FPGA使用的是Microsemi公司的APA300，和其它公司的FPGA相比，其功耗優勢非常明顯。而且該FPGA自帶片內FLASH，省去了外掛程序存儲器的重量和功耗。APA300正常工作只需兩組電源，內核VDD為2.5V，IO電壓VDDP可以根據需要接3.3V或2.5V。

本系統的工作過程為：當FPGA上電穩定后，控制LDO的使能端，按照探測器要求的上電順序和時間間隔為其提供電源。然后再通過FPGA對CMOS圖像探測器的80個寄存器進行配置，使其按照指定狀態工作并輸出圖像。整個系統通過 RS422與外界進行通訊，改變圖像采集系統的工作狀態并反饋該系統的工作參數，通過LVDS向外界輸出圖像數據。

2　CMOS圖像采集關鍵技術設計

本文介紹的圖像采集系統設計方案重點體現在 4個方面，分別是基于Verilog-HDL硬件描述語言的CMOS圖像探測器加斷電順序控制設計、CMOS圖像探測器時序驅動設計、圖像數據整形設計和圖像信息添加設計。

2.1 CMOS加斷電順序控制設計

由于設計工藝原因，VITA1300對加、斷電順序和間隔有著嚴格的要求，硬件設計顯然保證不了這一點，因此，本設計使用了具備片外使能功能的 LDO—MSK5101，三片LDO分別為探測器提供不同的電源，使能端由FPGA進行控制。當系統加電穩定后，FPGA產生延時邏輯，分別驅動Vdd_18 、Vdd_33和 Vdd_pix為探測器供電。除了供電順序要求嚴苛，復位reset_n、輸入時鐘clock_in和加、斷電之間的邏輯順序也是保證探測器正常工作必須考慮的，如圖2所示：

（a）加電順序　（b）斷電順序圖2　圖像探測器加斷電順序要求

因此，系統上電后首先要保證這些邏輯信號的產生。但是，上電可以用FPGA來延時保證，掉電時，整個系統一起斷電，FPGA也不例外，這時，就要采用外部指令的方式，本設計通過 RS422實現，當要圖像采集系統停止工作時，就向該系統發送一條斷電指令，這時，FPGA就會按照圖2（b）的順序進行斷電，從而保護探測器不因斷電不合適而損壞。加電邏輯的Modelsim仿真波形如圖2（a）所示，可以看出，本設計完全滿足探測器的工作需要。

2.2 CMOS時序驅動設計

VITA1300圖像探測器是ONSEMI公司一款性能優良的CMOS光電轉換器件，1.3M像元，支持全局快門和卷簾快門，內置10bit AD，并行模式下最高讀出速率37fps，采用SPI接口進行寄存器配置，重量小，功耗低，適應溫度范圍寬。應用涉及機器視覺、安防和二維碼掃描等成像領域[6]。

探測器啟動并正常工作需要6個過程，分別為：power up、low power、standby1、standby2、idle和running。積分時間、幀頻和開窗等比較常用的參數在正常工作時就可以設置，本幀設置，次幀有效，借助改變寄存器來設置參數，所以，要對VITA1300進行時序設計，也就是要合理的配置寄存器。

VITA1300通過SPI(Serial Peripheral Interface)接口對寄存器配置，一共有 4個信號：串行時鐘（sck），片選信號（ss_n），串行輸入數據（mosi），串行輸出數據（miso）。對于SPI接口而言，數據輸入同步串行時鐘。而配置單個寄存器則需要3部分：1位讀寫標識、9位地址、16位數據。故，我們需要用26個串行時鐘才能成功寫入一個寄存器。鑒于VITA1300寄存器個數很多，所以，我們要改變它的工作狀態就要采用連續配置，即一組26位數據，不間斷輸入，如圖3所示：

圖3　圖像探測器上電及配置寄存器時序仿真波形

圖3（a）所示即為應用連續配置模式配置80個寄存器的時序仿真波形[7]。但是，連續配置時兩個寄存器之間的間隔至少為2個SPI時鐘，否則，配置會失效。SPI各信號的相位關系也有較嚴格的要求，sck的上升沿打在mosi的數據中心，這樣，從FPGA到探測器雖然會有延遲，但是仍能滿足建立保持時間的要求，具體相位關系如圖3（b）所示。

VITA1300圖像探測器雖然寄存器很多，但是大部分都是在成像前配置，為了防止外界對探測器寄存器的影響，本設計還增加了復位功能，如果發現圖像探測器輸出的圖像數據因為寄存器改變而出現問題，就可以通過 RS422接口向系統發送復位命令，FPGA就按照寄存器加載的逆序將探測器狀態恢復成系統剛加電的初始狀態，然后再重新配置寄存器，從而實現恢復成像。

2.3 圖像數據整形設計

VITA1300的圖像格式特殊，不是順序輸出，因此，需要在FPGA內對圖像數據進行整形，方便后續顯示和存儲。VITA1300工作時，在并行模式下輸出圖像，圖像是按照塊的形式輸出，8個像素組成一個塊，奇偶塊內的像素順序不同，如圖4所示：

圖4　VITA1300圖像輸出格式

由圖4我們可以看出，直接從探測器輸出的圖像數據其列像元是亂的，表現在圖像上就是整幀圖像都是豎線，非常不直觀。因此，必需對圖像數據進行整形。分析圖4數據可知，奇數塊的像素順序都一樣，偶數塊的像素順序也都一樣。這樣，我們只要分別對奇偶圖像塊進行數據整形即可完成圖像的順序輸出。

本系統的數據整形在FPGA內進行，考慮到圖像采集系統的適應性，采用反熔絲[8]FPGA，雖然其內部沒有RAM資源，但采集到的一個圖像塊僅8個像元，奇偶塊一共才16個，用FPGA的寄存器設計完全可以。鑒于以上分析，本設計在FPGA內部定義了16個位寬為10的寄存器reg_even1 到reg_even8、reg_odd1到reg_odd8，用于存入像素，讀出時依據圖4逆序。具體過程：將探測器獲取的像素依據圖4輸入FPGA。利用reg_even1到 reg_even8寄存器存入第0個圖像塊，reg_odd1到reg_odd8寄存器存儲第1個圖像塊，同時，啟用reg_even的讀邏輯，對存儲在reg_even中第0個圖像塊依據圖4偶數圖像塊的逆序讀出，即reg_even1、reg_even5、reg_even2、reg_even6、reg_even3、reg_even7、reg_even4、reg_even8，此時，就順序輸出了第0個圖像塊的數據。就像素而言，奇偶圖像塊是相同的，因此，當reg_even中第0個圖像塊數據讀完的時候，reg_odd也剛好寫完第1個圖像塊的數據，此時，我們將圖像塊2的數據再存入reg_even，同時對reg_odd中塊1的數據進行類似圖像塊0的整形操作。如此反復，就完成了圖像探測器數據格式的順序輸出。按照以上思路進行的布局布線后仿真波形如圖5所示：

圖5　整形時序仿真波形

datain是探測器輸入FPGA的像元，dataout是本文設計整形后的圖像輸出，可以看出，dataout的順序是將 datain的數據按照圖4的順序進行了整形，證明了該設計的可行性與正確性。

2.4 圖像信息添加設計

采集到的圖像經過數據整形后，就可以實時的顯示和存儲了。但是，為了后續研究的需求，我們通常還要將圖像的一些拍攝條件信息，比如：圖像的曝光時間、增益等寫入在圖像里，本設計是附加在每一幀圖像的第一行前30個像元，簡稱幀頭。這里我們定義了 3個寄存器用于對圖像進行緩存，當發現圖像第一個行有效信號的上升沿到來時，將需要添加的幀頭信息逐一從相關寄存器中取出打在圖像里，同時生成新的行有效信號，當30個幀頭數據添加完畢后，再將圖像數據緊跟在幀頭信息的后面，完成圖像幀頭數據的添加。

3　系統測試

本文設計的成像系統采用VITA1300作為圖像探測器，FPGA采用APA300，自帶片內FALSH，如圖6所示：

圖6　系統實物及室內成像效果

因此，重量僅有200g，功耗為1.35W，如圖6（a）所示。拍攝效果如圖 6（b）所示，采集到的圖像清晰，邊緣銳利。實驗結果表明，系統在 1280*1024分辨率、20f/s情況下能夠實現圖像實時顯示與存儲，圖像質量良好，證明了系統設計的正確性和優越性。

4　總結

本文設計并實現了以FPGA為核心器件、結合CMOS圖像探測器的圖像采集系統，系統在為探測器提供時序的同時，增加了片內圖像數據整形功能和圖像幀頭信息添加功能，由于本文圖像采集系統采用了重量和功耗更小的CMOS圖像探測器和控制FPGA，因此，整個成像系統不論是重量還是功耗都較其它圖像采集系統具有明顯的優勢；其次，一般CMOS的溫度在0-60℃，本系統中采用VITA1300溫度可以達到-40℃-85℃，溫度適應范圍更寬；再次，采用APA300自帶片內FLASH，系統的可擴展性強。后面可根據項目的實際需求，封裝成反熔絲FPGA，可靠性更高。

參考文獻

[1] 岳濤,張宏偉,黃長寧等．“嫦娥二號”衛星CMOS相機技術及應用[J]．航天返回及遙感,2011,32(2)：12-17.

[2] 樊博,王延杰,孫宏海等．FPGA實現高速實時多端口圖像處理系統的研究[J].液晶與顯示，2013，28(4)：620-625.

[3] 孫春鳳,袁峰,丁振良.基于FPGA的多通道高速COMS圖像采集系統[J].計算機工程與應用,2008,44(21):46-48. [4] 于帥,孫德新.基于 CMOS圖像傳感器的高速小型化成像系統設計[J].紅外,2014,35(3):7-11.

[5] 石美紅,房超.張衛軍等.基于 FPGA 的線陣 CCD 圖像采集控制的實現[J].微計算機信息,2009, 25(5):177-178.

[6] VITA Datasheet[R].ON Semiconductor,2013.

[7] 李華.基于 FPGA+CMOS的小型彩色數字相機系統設計[J].商洛學院學報,2014,8.

[8] 曾青林,李錦明,馬游春.反熔絲 FPGA在多路數據采集存儲系統中的應用[J].計算機測量與控制,2011，19(11):2874-2876.

中圖分類號：TP311

文獻標志碼：A

文章編號：1007-757X(2016)07-0015-04

收稿日期：（2016.05.06）

基金項目：陜西省教育廳科研項目（15JK1231）；商洛市科技局科研項目（SK2014-01-21）

作者簡介：劉雅莉（1979-），女，咸陽人，商洛學院，講師，碩士，研究方向：數據庫技術應用，數字圖像處理，商洛，226000張海龍（1982-），男，長安人，商洛學院，講師，碩士，研究方向：GIS制圖，數字圖像處理，商洛，226000朱 波（1980-），男，臨潼人，中國科學院西安光學精密機械研究所，博士，研究方向：FPGA嵌入式開發，數字圖像處理，西安，710119

Design of Low-power Miniature Image Acquisition System Based on FPGA

Liu Yali1, Zhang Hailong1, Zhu Bo2
(1. Shangluo University, Shangluo 726000, China; 2. XI’AN Institute of Optics and Precision Mechanics of CAS, Xi’An 710119, China)

Abstract:In order to meet the needs of project application, this paper designs a low power miniature image acquisition system based on FPGA. The system combines the characteristics of CMOS image detectors, and Field Programmable Gate Array (FPGA) of Microsemi is chosen as the hardware design platform, with Verilog-HDL to perform the modularization design from top to bottom. Experimental results show that real-time 1280*1024 resolution high quality image display and storage could be achieved at speed 20f/s.

Key words:CMOS Image Sensor; FPGA; Verilog-HDL; from Top to Bottom