一種多路圖像實(shí)時(shí)采集存儲(chǔ)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

喬鐵英+李云龍

摘要：針對(duì)當(dāng)前一些大型測(cè)量設(shè)備要求多傳感器集成在一起，為兼顧設(shè)備存儲(chǔ)能力的實(shí)時(shí)性及可靠性，本文設(shè)計(jì)了一種多路圖像實(shí)時(shí)采集存儲(chǔ)系統(tǒng)，給出了系統(tǒng)組成、功能指標(biāo)、系統(tǒng)軟硬件設(shè)計(jì)，詳細(xì)介紹了該系統(tǒng)采用的關(guān)鍵技術(shù)及功能優(yōu)勢(shì)，采用FPGA編寫接口時(shí)序和網(wǎng)口及串口控制方式等技術(shù)，減少了系統(tǒng)設(shè)計(jì)的復(fù)雜度，保證了系統(tǒng)的可行性和可靠性。

關(guān)鍵詞：圖像采集；存儲(chǔ)；FPGA

中圖分類號(hào)：TN911 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2017）01-0155-03

1 概述

在一些大型測(cè)量設(shè)備中，多傳感器集成在一起，對(duì)設(shè)備實(shí)時(shí)存儲(chǔ)能力提出了新要求，既要保證實(shí)時(shí)性又要保證可靠性和圖像質(zhì)量，本文設(shè)計(jì)了一種多路實(shí)時(shí)存儲(chǔ)系統(tǒng)，該存儲(chǔ)系統(tǒng)由四套圖像實(shí)時(shí)采集存儲(chǔ)系統(tǒng)組成，系統(tǒng)采用嵌入式存儲(chǔ)構(gòu)架，利用嵌入式實(shí)時(shí)操作系統(tǒng)作為軟件平臺(tái)，磁盤為存儲(chǔ)介質(zhì)，完成視頻圖像的存儲(chǔ)過程。系統(tǒng)工作過程中，系統(tǒng)接收到主控計(jì)算機(jī)控制命令后開始圖像存儲(chǔ)記錄，通過串口控制模塊實(shí)時(shí)接收時(shí)間、編碼器等信息，并將時(shí)間、編碼器信息與當(dāng)前幀的圖像一同記錄到存儲(chǔ)硬盤中。

2 系統(tǒng)組成及功能

2.1 總體組成

存儲(chǔ)系統(tǒng)組成如圖1.1所示，系統(tǒng)主要由四個(gè)獨(dú)立的實(shí)時(shí)圖像存儲(chǔ)系統(tǒng)組成（其中包括1個(gè)SDI輸入圖像存儲(chǔ)系統(tǒng)，3個(gè)CameraLink輸入圖像存儲(chǔ)系統(tǒng)）、一個(gè)數(shù)據(jù)交換機(jī)、一套上位機(jī)軟件組成，四根串口線以及5根千兆網(wǎng)線組成。上位機(jī)軟件具有控制、實(shí)時(shí)顯示、回放，以及導(dǎo)出存儲(chǔ)視頻文件的功能；數(shù)據(jù)交換機(jī)與千兆網(wǎng)線配合使用將上位機(jī)與四套實(shí)時(shí)圖像存儲(chǔ)系統(tǒng)進(jìn)行集群式連接；存儲(chǔ)系統(tǒng)用于保存視頻文件；串口線可用于存儲(chǔ)系統(tǒng)實(shí)時(shí)接收疊加信息進(jìn)行存儲(chǔ)操作。圖像數(shù)據(jù)在采集系統(tǒng)的控制下完成圖像數(shù)據(jù)采集，同時(shí)存儲(chǔ)控制器接收綜合控制器發(fā)來的數(shù)據(jù)信息，將該信息按每幀與圖像對(duì)應(yīng)幀組成圖像與數(shù)據(jù)的整合幀，并將整合后的數(shù)據(jù)在存儲(chǔ)系統(tǒng)的控制下寫入SSD固態(tài)硬盤中，完成逐幀的數(shù)據(jù)記錄。

2.2 系統(tǒng)功能

（1）實(shí)時(shí)無損大容量存儲(chǔ)數(shù)字圖像；

（2）接收主控計(jì)算機(jī)系統(tǒng)的控制命令，回送存儲(chǔ)狀態(tài)信息；

（3）記錄數(shù)字圖像及相關(guān)信息，在存儲(chǔ)圖像中疊加與圖像對(duì)應(yīng)時(shí)刻的時(shí)間碼、編碼器等信息；

（4）能通過計(jì)算機(jī)控制存儲(chǔ)系統(tǒng)開始記錄、停止和下載視頻圖像數(shù)據(jù)；

（5）下載的圖像可復(fù)原回放，顯示時(shí)疊加與圖像對(duì)應(yīng)的時(shí)間碼、方位角、高低角信息，可連續(xù)回放、單幀回放；

（6）圖像格式轉(zhuǎn)換，把圖像數(shù)據(jù)及文件數(shù)據(jù)轉(zhuǎn)換成含有時(shí)間信息、方位角及高低角信息的標(biāo)準(zhǔn)BMP圖像；

（7）具有自檢功能和故障診斷能力，故障診斷到線路板。

3 系統(tǒng)設(shè)計(jì)

3.1 設(shè)備硬件設(shè)計(jì)

圖像高速存儲(chǔ)系統(tǒng)以Xilinx公司最新的K7系列FPGA作為系統(tǒng)的核心處理器，實(shí)現(xiàn)數(shù)據(jù)的采集和解碼，并在FPGA中實(shí)現(xiàn)完整的SATA3協(xié)議，通過SATA3協(xié)議，將數(shù)據(jù)以RAID0或RAID1的形式存儲(chǔ)于后端所連接的SATA3固態(tài)硬盤中，該架構(gòu)的存儲(chǔ)速率可以完全滿足Camlink Full工作模式，或HD-SDI工作模式。如果需要，可以進(jìn)行更多塊SSD的堆疊，在提高容量的同時(shí)，線性提高讀寫帶寬。

系統(tǒng)組成框圖如圖2.1所示。

3.2 軟件設(shè)計(jì)

系統(tǒng)采用FPGA編程的方式進(jìn)行控制，F(xiàn)PGA軟件主要負(fù)責(zé)系統(tǒng)的相機(jī)解碼、串口收發(fā)、圖像存儲(chǔ)、圖像實(shí)時(shí)顯示和事后回顯導(dǎo)出等。軟件流程如圖2.2所示。

4 關(guān)鍵技術(shù)

4.1 支持多路同時(shí)采集、存儲(chǔ)

該存儲(chǔ)系統(tǒng)是一套圖像實(shí)時(shí)采集存儲(chǔ)系統(tǒng)，支持四路相機(jī)同時(shí)采集數(shù)據(jù)，并對(duì)采集數(shù)據(jù)進(jìn)行回放、導(dǎo)出、刪除等操作；支持通過千兆網(wǎng)實(shí)時(shí)顯示圖像、導(dǎo)出采集數(shù)據(jù)；支持串口通信方式、千兆網(wǎng)通信方式；支持串口、千兆網(wǎng)口控制存儲(chǔ)設(shè)備；支持系統(tǒng)自檢及誤碼計(jì)算功能。系統(tǒng)采用嵌入式存儲(chǔ)構(gòu)架，利用嵌入式實(shí)時(shí)操作系統(tǒng)作為軟件平臺(tái)，磁盤為存儲(chǔ)介質(zhì)，完成視頻圖像的存儲(chǔ)過程。

4.2 靈活的網(wǎng)口及串口控制方式

系統(tǒng)工作過程中，系統(tǒng)接收到主控計(jì)算機(jī)控制命令后開始圖像存儲(chǔ)記錄，通過串口控制模塊實(shí)時(shí)接收時(shí)間、編碼器等信息，并將時(shí)間、編碼器信息與當(dāng)前幀的圖像一同記錄到存儲(chǔ)硬盤中。記錄完成后，利用主控計(jì)算機(jī)通過網(wǎng)絡(luò)連接可以將存儲(chǔ)系統(tǒng)的圖像進(jìn)行下載、圖像回放。下載圖像數(shù)據(jù)經(jīng)格式轉(zhuǎn)換后生成規(guī)定格式圖像用于判讀。同時(shí)存儲(chǔ)系統(tǒng)設(shè)計(jì)成具有上電復(fù)位自檢功能，一方面檢查系統(tǒng)工作是否正常，另一方面檢查信道是否正常。一旦檢測(cè)到系統(tǒng)工作狀態(tài)不正常時(shí)，輸出故障標(biāo)志，故障診斷到線路板級(jí)。

4.3 圖像與當(dāng)幀時(shí)間碼及相關(guān)信息的嚴(yán)格對(duì)齊

圖像與當(dāng)幀時(shí)刻的時(shí)間嚴(yán)格對(duì)齊、對(duì)程序的時(shí)序和中斷處理等提出了較高的要求。圖像數(shù)據(jù)是在FPGA控制下進(jìn)行采集，F(xiàn)PGA實(shí)時(shí)檢測(cè)圖像數(shù)據(jù)的幀同步信息，而系統(tǒng)通過異步串口傳來的通訊數(shù)據(jù)也連接到FPGA上，F(xiàn)PGA負(fù)責(zé)解析異步通訊數(shù)據(jù)的起始時(shí)間位置，并記錄其檢測(cè)的圖像數(shù)據(jù)幀同步的特征時(shí)刻。通過軟件分析，如果串口通訊數(shù)據(jù)落在兩幀場(chǎng)同步之間，則認(rèn)為此時(shí)接收到的當(dāng)幀信息與當(dāng)幀圖像為同幀畫幅，并將數(shù)據(jù)與信息一同送入SDRAM的指定區(qū)域中，在接收到嵌入式處理器寫入命令時(shí)將該同幀畫幅送到SSD硬盤的DMA中。如果兩者時(shí)間超過規(guī)定域值，可以追溯問題產(chǎn)生的原因。

4.4 同幀畫幅的自恢復(fù)

在系統(tǒng)正常工作時(shí)，如果存在干擾（如場(chǎng)同步干擾、同步信息干擾），而系統(tǒng)僅完成圖像與信息的排序一一對(duì)應(yīng)，會(huì)造成信息與圖像的錯(cuò)誤，而且無法恢復(fù)，系統(tǒng)中采用多個(gè)自由計(jì)數(shù)器完成圖像同步與信息的起始時(shí)間的準(zhǔn)確記錄。系統(tǒng)中設(shè)置了場(chǎng)同步時(shí)刻計(jì)數(shù)器、嵌入式處理器相應(yīng)時(shí)刻計(jì)數(shù)器、同步信息起始位時(shí)刻等，每個(gè)計(jì)數(shù)器均為32位，計(jì)數(shù)器分辨率為1 s，可以保證一次記錄時(shí)間不會(huì)溢出。

在寫入圖像數(shù)據(jù)的同時(shí)，將對(duì)應(yīng)該幀的每個(gè)計(jì)數(shù)器的值一同追加到信息中，當(dāng)下載的數(shù)據(jù)或圖像存在問題時(shí)，可以通過這些計(jì)數(shù)器恢復(fù)同幀畫幅，也可以判定圖像受到干擾還是通訊受到干擾。

4.5 抗干擾與容錯(cuò)設(shè)計(jì)

待存儲(chǔ)的數(shù)據(jù)可以看成是有一定物理順序的數(shù)據(jù)流，由于數(shù)據(jù)傳輸過程中可能出現(xiàn)干擾等因素的影響而使得某幀圖像數(shù)據(jù)量改變，從而會(huì)導(dǎo)致后續(xù)的數(shù)據(jù)流物理順序的改變，會(huì)給圖像恢復(fù)造成很大影響。為了避免這種情況的發(fā)生，針對(duì)待采集的圖像幀格式，使得采集到的每一幀圖像都有固定的行列數(shù)，而不受干擾的影響。具體實(shí)現(xiàn)的方法是通過狀態(tài)機(jī)在橫縱兩個(gè)方向上對(duì)二維圖像進(jìn)行嚴(yán)格的采集控制。

4.6 斷電保護(hù)

為防止圖像存儲(chǔ)過程中意外斷電導(dǎo)致已存儲(chǔ)任務(wù)丟失，每次存儲(chǔ)啟動(dòng)后，系統(tǒng)預(yù)先為存儲(chǔ)任務(wù)分配安全區(qū)域（大小可預(yù)先設(shè)定），并記錄該區(qū)域起始結(jié)束扇區(qū)等參數(shù)。當(dāng)存儲(chǔ)進(jìn)行過程中意外斷電后，重新上電系統(tǒng)可通過已記錄的安全存儲(chǔ)區(qū)域參數(shù)保證已存儲(chǔ)數(shù)據(jù)不丟失。

5 可行性分析

在硬件設(shè)計(jì)方面，核心技術(shù)采用FPGA編寫SSD接口時(shí)序，直接讀寫SSD，效率、可靠性都要比操作系統(tǒng)對(duì)SSD操作要高得多。而且相機(jī)采集的接口時(shí)序和串口等通訊功能，都由FPGA直接完成減少了系統(tǒng)的復(fù)雜度，降低了過多使用芯片帶來的不可靠性。

軟件方面，本存儲(chǔ)系統(tǒng)上位機(jī)軟件采用MFC、OpenCV實(shí)現(xiàn)， MFC是一個(gè)微軟公司提供的類庫，以C++類的形式封裝了Windows API，并且包含一個(gè)應(yīng)用程序框架，以減少應(yīng)用程序開發(fā)人員的工作量。其中包含的類包含大量Windows句柄封裝類和很多Windows的內(nèi)建控件和組件的封裝類。OpenCV是一個(gè)基于（開源）發(fā)行的跨平臺(tái)計(jì)算機(jī)視覺庫，可以運(yùn)行在Linux、Windows和Mac OS操作系統(tǒng)上。它輕量級(jí)而且高效——由一系列C函數(shù)和少量C++類構(gòu)成，同時(shí)提供了Python、Ruby、MATLAB等語言的接口，實(shí)現(xiàn)了圖像處理和計(jì)算機(jī)視覺方面的很多通用算法。OpenCV用C++語言編寫，它的主要接口也是C++語言，但是依然保留了大量的C語言接口。該庫也有大量的Python， Java and MATLAB/OCTAVE （版本2.5）的接口。這些語言的API接口函數(shù)可以通過在線文檔獲得。

6 結(jié)語

本存儲(chǔ)系統(tǒng)采用嵌入式存儲(chǔ)構(gòu)架，利用FPGA做為核心處理器，磁盤為存儲(chǔ)介質(zhì)，完成視頻圖像的采集、存儲(chǔ)過程。系統(tǒng)工作過程中，系統(tǒng)可接收到主控計(jì)算機(jī)控制命令后開始圖像存儲(chǔ)記錄，通過串口控制模塊實(shí)時(shí)接收時(shí)間、編碼器等信息，并將時(shí)間、編碼器信息與當(dāng)前幀的圖像一同記錄到存儲(chǔ)硬盤中。系統(tǒng)支持多路相機(jī)同時(shí)采集數(shù)據(jù)，并對(duì)采集數(shù)據(jù)進(jìn)行回放、導(dǎo)出、刪除等操作；支持通過千兆網(wǎng)實(shí)時(shí)顯示圖像、導(dǎo)出采集數(shù)據(jù)；支持串口通信方式、千兆網(wǎng)通信方式；支持串口、千兆網(wǎng)口控制存儲(chǔ)設(shè)備；支持系統(tǒng)自檢及誤碼計(jì)算功能。設(shè)備的軟硬件設(shè)計(jì)合理，所需的關(guān)鍵技術(shù)均已突破并應(yīng)用到系統(tǒng)中。通過論證本系統(tǒng)的設(shè)計(jì)開發(fā)方案無論是在理論上還是在實(shí)現(xiàn)上都是可行的。經(jīng)過驗(yàn)證，項(xiàng)目在可靠性、維修性、保障性、測(cè)試性、安全性以及環(huán)境適應(yīng)性方面均滿足要求。

參考文獻(xiàn)

[1]馬利剛，馬鐵華.基于 FPGA 的實(shí)時(shí)圖像采集系統(tǒng)設(shè)計(jì)[J].計(jì)量與測(cè)試技術(shù)，2009，36（4）：51-56.

[2]韓茜，羅豐，吳順君.高速大容量固態(tài)存儲(chǔ)系統(tǒng)的設(shè)計(jì)[J].雷達(dá)科學(xué)與技術(shù)，2005，3（2）：37-39.

[3]李曉娟，劉學(xué)斌，胡炳，等.基于FPGA的CCD相機(jī)高速數(shù)據(jù)記錄系統(tǒng)[J].科學(xué)技術(shù)與工程，2007，（19）：65-68.

[4]吳繼華，王誠. Altera FPGA/CPLD 設(shè)計(jì)（基礎(chǔ)篇）[M].北京：人民郵電出版社，2005.