高速圖像采集系統(tǒng)的研制

張彥鐸，陳 馳，于寶成，王春梅

（1.武漢工程大學計算機科學與工程學院，湖北 武漢 430074；2.智能機器人湖北省重點實驗室，湖北 武漢 430074）

0 引 言

在圖像采集系統(tǒng)中，處理的實時性是系統(tǒng)的核心所在.在傳統(tǒng)的圖像采集系統(tǒng)中，通常采用“攝像機－圖像卡－計算機”的系統(tǒng)設計方式，在圖像算法方面通過計算機軟件實現，這在低速、單傳感器的圖像采集時能滿足實際應用.然而在高速圖像采集系統(tǒng)中，高速攝像機幀頻通常能達到100～200幀／秒（Frame Per Second，以下簡稱：fps），基于多傳感器的視覺測試系統(tǒng)中，受到傳感器串行工作方式、輸入輸出端口（Input／Output，以下簡稱：I／O）傳輸速度以及全部算法僅能由軟件實現等諸多方面的限制，使得系統(tǒng)實時性很難得到保證［1］.因此，需要研制一種既能實時采集高速的圖像數據，又能實時將采集得到的數據傳遞給計算機進行處理的專用的圖像采集系統(tǒng).

在本系統(tǒng)中，使用面向儀器系統(tǒng)的外設部件互連標準（Peripheral Component Interconnect，以下簡稱：PCI）擴展平臺（PCI Extensions For Instrumentation，以下簡稱：PXI）將采集得到的低電壓差分信號（Low－Voltage Differential Signaling，以下簡稱：LVDS）交給在LabVIEW編譯環(huán)境實現的上位機進行處理.LVDS是為了克服傳統(tǒng)電平方式傳輸帶寬高、碼率數據功耗大、抗電磁干擾能力弱而研制出的一種數字視頻信號傳輸方式.采用LVDS輸出接口的視頻信號在差分印制電路板 （Printed Circuit Board，以下簡稱：PCB）線纜或平衡電纜上可以以幾百兆位／秒（Million Bits Per Second，以下簡稱：Mbps）的速率傳輸.LVDS是采用極低的電壓擺幅高速差動傳輸數據，它使得信號能在差分PCB線纜或平衡電纜上以幾百Mbps的速率傳輸，可實現點對點與點對多點的連接，具有低功耗、低誤碼率、低串擾和低輻射等特點.LVDS在對信號完整性、低抖動即共模特性要求較高的系統(tǒng)中得到越來越廣泛的應用［2］.LabVIEW是一種使用圖像化編程方式的虛擬儀器軟件開發(fā)環(huán)境.它采用數據流編程方式，以圖表表示函數，以連線表示數據流，測試測量是LabVIEW最核心的應用領域，也是LabVIEW相比于其他編程語言的優(yōu)勢所在.LabVIEW廣泛的被工業(yè)界、學術界和研究實驗室所采用，視為一種標準的數據采集和儀器控制軟件［3］.

1 系統(tǒng)總體設計

系統(tǒng)總體設計結構如圖1所示，該測試系統(tǒng)以工控機為控制平臺，內嵌有測試軟件，通過測試軟件控制整個系統(tǒng)的工作.被測產品通過直流穩(wěn)壓電源供電工作，數模（Analog／Digital，以下簡稱：A／D）采集模塊用來采集被測產品工作時的電流值和電壓值，并通過PXI總線將采集值上傳到工控機的測試軟件中，同時被測產品會發(fā)送帶有特定協議的多路并行的LVDS信號，圖像調理模塊用來將采集得到的LVDS信號按照協議標準調理成為單路串行LVDS信號.圖像采集模塊采集調理LVDS信號，并通過PXI總線將采集的信號上傳給工控機，供測試軟件分析和處理.

圖1 系統(tǒng)總體設計圖Fig.1 Overall design of the system

2 硬件接口設計

2.1 硬件接口總體設計

在對標準化儀器或通用規(guī)范進行硬件接口設計時，通常采用的是購買市場上通用的標準設備，購買標準設備有穩(wěn)定性好、精度高、擴展性強、節(jié)約開發(fā)周期和成本等諸多優(yōu)點.在對非標準儀器進行接口設計時，則需根據設備自身接口定義自行開發(fā)研制.

工控機采用的是凌華（ADLINK）的PXI－2508的機箱搭配PXI－3950的主控器，采用這種配置的工控機具有性能強、體積小、重量輕且方便攜帶等諸多優(yōu)點，是一種專門為工業(yè)數據采集和自動化應用而量身定制的工控機配置.

A／D采集模塊選用的是ADLINK PXI－2020采集卡，該采集卡提供8通道模擬輸入通道，分辨率為16位，可以滿足對被測產品電流電壓實時監(jiān)控的需求.

圖像采集模塊采用的NI PXI－1428圖像采集卡進行圖像信號采集，PXI－1428可通過LVDS接口接收數碼攝像機或其它兼容圖像采集設備的數據，可以捕捉高速、高分辨率的大型數字圖像.該設備可以在40MHz采樣時鐘下以16位數據寬度采集數據，總采集速率高達80兆字節(jié)每秒（Million Byte Per Second，以下簡稱：MB／s）.16兆字節(jié)（Million Byte，以下稱簡：MB）的板載內存為板卡上的圖像提供了緩存，便于采集大型圖像并持續(xù)進行實時采集.PXI－1428卡的緩存支持80 MB／s的數據輸入和133MB／s的PXI總線吞吐率，因此圖像采集、存儲都能滿足系統(tǒng)要求.

本系統(tǒng)中，被測產品的圖像數據采用的是并行多通道輸出，每一路通道上的數據都采用標準的LVDS信號格式進行傳輸，因此根據實際情況研制圖像調理模塊將多路圖像信號調理成為可以供圖像采集卡采集的單路圖像信號.系統(tǒng)硬件總體設計如圖2所示.

圖2 系統(tǒng)硬件總體設計Fig.2 Overall design of the system hardware

2.2 圖像調理模塊設計

在多通道高速數據采集過程中，由于采集的數據量大、速度快，若采用在上位機對各個信號進行處理會增加軟件工作負擔，而導致系統(tǒng)實時性無法保證，因此需要研制專用硬件電路將多路信號實時轉換成單路信號供上位機使用.現場可編程門陣列（Field－Programmable Gate Array，以下簡稱：FPGA），全部的控制邏輯都由硬件實現，因此能有效地應用在多通道高速圖像數據采集處理中［4－5］，圖像調理卡的總體設計如圖3所示.

圖3 圖像調理卡總體設計（虛線內）Fig.3 Overall design of image processing card（dashed line）

同步動態(tài)隨機存儲器（Synchronous Dynamic Random Access Memory，以下簡稱：SDRAM）采用的是HYNIX公司的HYM72V64636BT8，該芯片容量為32M×8bit×4bank.FPGA采用的是由Xilinx公司生產的Spartan－6，該芯片采用低功耗的45nm制作工藝，含有150000個邏輯單元.電源采用的是 MP1482，50MHz的晶振，FPGA邏輯圖如圖4所示.

圖4 FPGA邏輯圖Fig.4 Logic diagram of FPGA

FPGA硬件資源進行如下分配：

①地址編譯：完成地址的編碼和譯碼；

②數據緩沖：完成輸入數據到SDRAM得數據緩沖；

③鎖相環(huán)（Phase Locked Loop，PLL）：用于完成時鐘管理；

④調理電路：通過硬件編程語言實現的邏輯電路，用于將多路信號合并成單路信號；

⑤刷新／仲裁：SDRAM 工作時鐘為100 MHz，需要在64ms內刷新8192行數據，刷新電路用于刷新計時，完成計時后向仲裁電路發(fā)送請求用于向SDRAM發(fā)送刷新命令.

本系統(tǒng)中共有三路傳感器信號，其中DA信號用作幀同步信號，DB信號用作圖像信號，DC信號用作字同步信號，CLK1為50MHz時鐘，CLK2是倍頻后的時鐘，為100MHz，EN為數據有效信號.在本系統(tǒng)中，幀同步信號DA每幀出現一次，使用上升沿觸發(fā)；DC每個字出現一次，也使用上升沿觸發(fā).當EN信號有效時，FPGA對數據進行接收和處理，將DA、DB、DC三路信號調理成為一路信號，并將該信號寫入到SDRAM緩存中.接收信號的時序圖如圖5所示.

圖5 信號時序圖Fig.5 Timing diagram of signal

3 軟件設計

3.1 軟件總體設計

采集系統(tǒng)軟件總體設計如圖6所示.系統(tǒng)軟件由兩部分組成，第一部分用于實現圖像的實時采集、處理和存儲功能，采集圖像數據，并經過一系列處理提供給用戶觀察，同時將采集得到的數據進行保存；第二部分用于實現事后回放功能，提供用戶詳細觀察采集數據的功能.

3.2 實時采集、處理和存儲

圖6 系統(tǒng)軟件總體設計圖Fig.6 Overall design of the system software

圖像經過PXI總線送到計算機內存中，經過一系列處理后將數據導到顯示器上提供給客戶實時觀察，并將該數據轉移到硬盤中進行存儲，在這個過程中，共涉及到了三個線程.因此采用“生產者／消費者”結構，“生產者／消費者”結構是多線程編程中一種最常見的設計模式.從軟件的角度看，生產者是數據的提供方，消費者是數據的消費方，生產者和消費者之間存在一個數據緩存區(qū)，大小一般固定，當生產過剩而消費不足時，緩存區(qū)的空間將被耗盡，此時生產者必須停止生產直到緩存區(qū)出現剩余空間.同理，當消費能力大于生產能力時，緩存區(qū)內的數據會逐漸減少，直到緩存區(qū)內再無數據可用，此時，消費者處于等待狀態(tài)［6－7］.在此圖像采集線程作為生產者，而圖像處理線程和圖像存儲線程作為消費者.

3.2.1 數據采集 圖像采集卡將采集得到的圖像數據放入先入先出（First Input First Output，FIFO）緩存區(qū)中，然后驅動程序通過PXI總線將圖像卡緩存中的數據送到計算機內存中.使用LabVIEW進行采集的步驟如下所示：

①調用IMAQ Init.vi完成圖像采集卡的初始化工作；

②調用IMAQ Grab Setup.vi初始化連續(xù)采集過程；

③調用IMAQ Create.vi創(chuàng)建圖像數據緩沖區(qū)；

④調用IMAQ Grab Acquire.vi快速采集圖像數據；

⑤調用IMAQ Close.vi關閉占用的圖像采集板卡；

⑥調用IMAQ Dispose.vi釋放占用的圖像數據緩沖區(qū).

采集程序的程序流程圖如圖7所示.

圖7 采集程序流程圖Fig.7 Flow char of acquisition program

當圖像采集速度非常高時，可以適當的將一個大的緩存區(qū)劃分成若干個小的緩存區(qū)，采集得到的數據分步式寫入緩存區(qū)或從緩存區(qū)中讀出，如圖8所示，這樣就可以有效地預防緩沖區(qū)中的圖像數據還沒有被處理干凈的情況下就被新的圖像數據覆蓋.

圖8 分步緩存寫入／讀出Fig.8 Cache read／write step by step

3.2.2 數據處理 應用程序建立兩個線程分別來實現數據從圖像卡到內存的操作和數據由內存到顯示器顯示的操作.兩個線程以低耦合的方式運作，最大限度地調動了中央處理器（Central Processing Unit，CPU）和內存的執(zhí)行效率，實現了實時的采集、處理功能.LabVIEW以其特有的自動多線程的編程特點，可以合理的分配兩個線程之間的時間片，實現兩個線程并發(fā)進行.采集線程用來接收圖像采集卡采集得到的數據，采用乒乓讀寫方式［8］，將該數據送到處理進程和存儲進程中去，在此線程中設置兩個數據緩沖區(qū)（Buffer，以下簡稱：BUF）BUF1和BUF2，當一個緩沖區(qū)緩沖從圖像采集卡接受的數據時，另一個緩沖區(qū)將采集得到的圖像數據輸出到處理和存儲線程中，如圖9所示.

圖9 乒乓讀寫Fig.9 Table tennis to read and write

數據采集時，在幀同步信號為高時，將采集得到的數據寫入緩存BUF1中，與此同時，將緩存BUF2中的數據讀出，并將該數據流處理和存儲線程.在幀同步信號為低時，將采集得到的數據寫入緩存BUF2中，與此同時，將緩存BUF1中的數據讀出，并將該數據流處理和存儲線程.通過這種乒乓讀寫方式實現數據流的無縫緩存.

處理線程用于將采集得到的圖像數據進行分析和顯示，考慮到計算機運行的效率以及人類視覺的滯留時間，需要選擇適當幀數用于顯示和觀察，通常設置為25～30Hz.

3.2.3 數據存儲 數據存儲線程用來實現數據由內存到硬盤存儲的操作，考慮到硬盤的讀寫速度和每次寫操作完成的時間，在此線程中開辟一個能存儲100幀圖像的緩存區(qū)，讓每次寫操作完成100幀數據的存儲.

3.3 數據回放

沒有經過任何處理的圖像數據通常特別巨大，而提供給應用程序的內存的容量卻是有限的，因此需要合理分配內存資源.

應用程序在此建立兩個線程分別完成數據的顯示和加載，顯示線程將所需數據從內存中取出后并加以分析和顯示.加載線程主要實現內存的管理，該線程將下一時刻內存中所需數據從硬盤中取出，并將使用過的數據從內存中清空，在此采用塊加載，每次加載100幀數據，這樣可以有效地提高程序的運行效率.

4 系統(tǒng)實現

該系統(tǒng)中使用的高速攝像機的幀頻為100 fps，圖像分辨率為128×128×16位，圖像的采集、存儲速度約為26Mbps，連續(xù)存儲時間不低于2h，工控機為酷睿雙核T7500，1024吉字節(jié)（Gigabyte，GB）硬盤，2GB內存，圖像采集卡為 NI PXI－1428.操作系統(tǒng)為微軟XP SP3，采集時的頻率不能低于100fps，回放時能夠以100fps的頻率連續(xù)播放存儲兩小時以上的圖像數據.

經過實驗證明，在2個小時的采集存儲中，采集得到的圖像清晰穩(wěn)定，沒有出現丟幀現象，采集的幀頻穩(wěn)定在100fps.在此采集過程中CPU的占用率穩(wěn)定在40%以下，內存使用率低于35%，基于LabVIEW的LVDS高速圖像采集系統(tǒng)完全可以滿足速度為26Mbps的圖像采集要求，并且還為更加高速的圖像采集提供了可能.

5 結 語

本文在對LabVIEW編譯環(huán)境下的基于PXI平臺的圖像采集系統(tǒng)的基本工作原理做了一個基本的介紹，并講述了如何使用LabVIEW編程語言實現高速圖像數據的采集和處理.經過實際的反復測試，證明采用LabVIEW的編程環(huán)境，不僅使得編程效率大幅提升，而且實現了穩(wěn)定的高速圖像采集和處理功能，使得該系統(tǒng)不僅實現了預期的效果，并且還有進一步挖掘其潛力的空間.

［1］黃立勝，劉月花.遙感數據的高速實時記錄器［J］.遙感學報，2003，7（1）：19－25.HUANG Li－sheng，LIU Yue－h(huán)ua.A High－Speed Real－Time Digital Recorder Based on Personal Computer［J］.Journal of Remote Sensing，2003，7（1）：19－25.（in Chinese）

［2］王勝，王新宇.LVDS技術及其在高速系統(tǒng)中的應用［J］.遙測遙控，2005，26（4）：41－46.Wang Sheng，Wang Xinyu.LVDS and It＇s Application in High Speed System ［J］.Telemetry ＆Telecontrol，2005，26（4）：41－46.（in Chinese）

［3］陳煜.一種專用光機組件測控系統(tǒng)的設計與開發(fā)［D］.武漢：武漢工程大學，2011.CHEN Yu.The Design and Development of a Special Ray Machine Components Control System［D］.Wuhan：Wuhan Institute of Technology，2011.（in Chinese）

［4］侯朝勇，胡學浩，庒童.基于FPGA的多路同步實時數據采集系統(tǒng)［J］.電子技術應用，2009，35（10）：103－105，108.HOU Chao Yong，HU Xue Hao，ZHUANG Tong.Multi－channel synchronal real－time data acquisition system based on FPGA［J］.Application of Electronic Technique，2009，35（10）：103－105，108.（in Chinese）

［5］胡宏平，胡兵.基于FPGA的雙口RAM在信號采集中的應用［J］.微計算機信息，2007，23（7－2）：223－224，229.HU HONGPING，HU BING.Application of Dualport RAM Based on FPGA in the Signal Acquisition［J］.Microcomputer Information，2007，23（7－2）：223－224，229.（in Chinese）

［6］雷晏瑤，李智.基于生產者／消費者的數據采集系統(tǒng)設計［J］.機械，2011，38（9）：39－43.LEI Yan－yao，LI Zhi.Design of data acquisition system based on producer／consumer［J］.Machinery，2011，38（9）：39－43.（in Chinese）

［7］張秀娟.生產者－消費者采集建模與行為分析方法研究［J］.微電子學與計算機，2004，21（5）：97－100.Zhang Xiu－juan.Modeling and Behavior Analysis for Producer－Consumer System［J］.Microelectronics ＆Computer，2004，21（5）：97－100.（in Chinese）

［8］Hennessy J L，Patterson D A.Computer Architecture： A Quantitative Approach ［M］.San Francisco：Morgan Kaufmann Publishers，1996.