基于FPGA的Cameralink高通量數(shù)據(jù)交互研究

桂 丹,韓 鏑

(1.武漢軟件工程職業(yè)學(xué)院電子工程學(xué)院,湖北 武漢 430205；2.華中科技大學(xué) 武漢光電國家研究中心,湖北 武漢 430074；3.中國信息通信研究院泰爾實(shí)驗(yàn)室,北京 100191)

1 引 言

近年來,伴隨著探測器工藝及技術(shù)不斷進(jìn)步,數(shù)字工業(yè)相機(jī)從電子倍增電荷耦合元件EMCCD(Electron Multiplying Charge-coupled Device)發(fā)展到了科學(xué)級互補(bǔ)金屬氧化物半導(dǎo)體sCMOS(scientific Complementary Metal-oxide Semiconductor)。伴隨著視場變大、分辨率變高、幀頻變快等技術(shù)特征,數(shù)據(jù)通量得到極大提升,從26 MB/s增加到840 MB/s,輸出接口也由傳統(tǒng)USB發(fā)展到了Cameralink,通過配置不同的模式對應(yīng)不同的相機(jī)傳輸帶寬[1]。傳統(tǒng)圖像處理系統(tǒng)一般由相機(jī)與計算機(jī)通過采集卡作為物理相連,并由相機(jī)公司開發(fā)的配套軟件控制相機(jī)與計算機(jī)之間的數(shù)據(jù)交互。對于低通量數(shù)據(jù)圖像數(shù)據(jù)處理系統(tǒng),搭配高效運(yùn)算,基本可滿足圖像實(shí)時采集與處理要求。但是,隨著數(shù)據(jù)流的增大,高通量圖像數(shù)據(jù)大概率不能被計算機(jī)實(shí)時處理完畢,尤其是一些功能要求比較復(fù)雜的情況,這就需要配備昂貴的存儲系統(tǒng)以解決數(shù)據(jù)堆積和溢出等問題,而傳統(tǒng)圖像處理架構(gòu)中相機(jī)與計算機(jī)采集卡的直接連接對系統(tǒng)的靈活性有一定的限制,通用程度的不夠抑制了當(dāng)前圖像處理系統(tǒng)的大規(guī)模發(fā)展[2]。

對高通量圖像處理系統(tǒng),人們一般采取配置更高運(yùn)算能力的計算機(jī)和更大存儲單元來滿足圖像處理的要求。但是,這樣對計算機(jī)性能就有很大依賴,而且高容量存儲設(shè)備價格昂貴,且讀寫速度遠(yuǎn)不及現(xiàn)代相機(jī)的圖像采集速度,一旦計算機(jī)的運(yùn)算能力不足,數(shù)據(jù)處理速度跟不上圖像采集速度,就會有大量數(shù)據(jù)來不及緩存,造成系統(tǒng)數(shù)據(jù)處理結(jié)果的錯誤。因此,研究高通量輸出的數(shù)據(jù)靈活控制方案具有極大應(yīng)用價值。我們嘗試配備合適的硬件處理平臺,有效緩解計算機(jī)運(yùn)算壓力的同時,有效提高系統(tǒng)的靈活性。尤其,中高端FPGA芯片因其內(nèi)部結(jié)構(gòu)對大數(shù)據(jù)流的控制有極大優(yōu)勢,利用這一特性,本文嘗試以FPGA(Filed Programming Gate Array)為核心控制器的數(shù)據(jù)處理方法,針對Cameralink接口傳輸協(xié)議,以Cameralink協(xié)議最大數(shù)據(jù)通量情況,即最大85 MHz采樣,Deca模式10 tap/8 bit格式為研究對象,設(shè)計并驗(yàn)證高通量圖像采集與FPGA數(shù)據(jù)流交互控制的硬件連接方案和軟件控制方法的準(zhǔn)確性和可行性,解決相機(jī)必須由采集卡到計算機(jī)再進(jìn)行運(yùn)算功能操作的局限[3]。

基于FPGA的高通量數(shù)據(jù)處理方法,具備良好靈活性,不只是針對Cameralink這種高速接口,相關(guān)技術(shù)可以進(jìn)一步推廣到更多領(lǐng)域提供解決方案。例如,最近填補(bǔ)了多項(xiàng)國內(nèi)外技術(shù)空白的“高分四號”衛(wèi)星,其搭載的紅外相機(jī)第一次完成了大面陣紅外探測器成像,實(shí)現(xiàn)過程就涉及到FPGA電路設(shè)計、時鐘管理及高速串行數(shù)據(jù)傳輸?shù)认嚓P(guān)[4]。利用FPGA對數(shù)據(jù)流高速度處理特性,可應(yīng)用到對實(shí)時性要求很高的紅外圖像處理關(guān)鍵技術(shù)中,包括大噪聲、模糊對象、背景復(fù)雜等紅外圖像處理過程,為紅外焦平面陣列圖像實(shí)時處理系統(tǒng)提供了良好解決方案[5]。還有,其在全譜段多光譜遙感器的星上信息處理系統(tǒng)中,利用多路串行低壓差分輸出,為時序、同步、信號產(chǎn)生及控制等效果也很明顯[6],而且,以上應(yīng)用數(shù)據(jù)通量還有提升空間。可見,基于FPGA的高通量數(shù)據(jù)處理方法可以在紅外探測、高幀頻激光面陣成像、多光譜等領(lǐng)域更廣泛應(yīng)用。

2 Cameralink與FPGA交互設(shè)計

2.1 Cameralink接口原理與設(shè)計

Cameralink的起源,為機(jī)器視覺的高端應(yīng)用而設(shè)計,是適用于視覺應(yīng)用數(shù)字相機(jī)與圖像采集卡間的通信接口,用于解決相機(jī)數(shù)據(jù)信號高速傳輸?shù)膯栴}。其基礎(chǔ)是美國National Semiconductor公司驅(qū)動平板顯示器的Channellink技術(shù)。2000年,幾家專做圖像卡和攝像機(jī)的公司聯(lián)合發(fā)布,對接線、數(shù)據(jù)格式、觸發(fā)、相機(jī)控制、高分辨率和幀頻等作了考慮,數(shù)據(jù)的傳輸率非常高,可達(dá)1 Gbps,輸出的是數(shù)字格式,提供高分辨率、高數(shù)字化率和各種幀頻,低信噪比等。根據(jù)應(yīng)用的要求不同,提供了基本(Base)、中檔(Medium)、全部(Full)等支持格式,可根據(jù)分辨率、速度等自由選擇。相機(jī)與圖像采集卡之間的通信采用低壓差分信號LVDS(Low Voltage Differential Signaling),具備低功耗、低誤碼率、低串?dāng)_和低輻射等特點(diǎn)[7]。這里,需要注意通信距離,一般相機(jī)與計算機(jī)之間連接線的物理距離不超過10 m。普遍為標(biāo)準(zhǔn)3 m MDR/SDR的柔性電纜,雙屏蔽耐彎曲,傳輸性能好。

Cameralink在Channellink基礎(chǔ)上,具體增加了一些傳輸控制信號,定義了一些相關(guān)傳輸標(biāo)準(zhǔn)。一個Channellink接口包含一個發(fā)送端和一個接收端,發(fā)送端以7∶1的比率把28 bit的并行數(shù)據(jù)和1路時鐘數(shù)據(jù)轉(zhuǎn)換成串行數(shù)據(jù),通過5路低壓差分信號線串行發(fā)送出去。接收端再按照1∶7的比率將串行數(shù)據(jù)還原成28 bit的并行數(shù)據(jù)[8-9]。因此,Cameralink接口的硬件設(shè)計一般配備一對并串和串并轉(zhuǎn)換芯片,用來完成數(shù)據(jù)交互的物理連接。

2.1.1 Cameralink接口模式

Cameralink的接口有五種配置模式,分別是Lite、Base、Medium、Full和Deca。為相機(jī)不同速度、分辨率等需求提供適合的配置和連接方式,較為常用的是Base、Medium、Full三種配置[10]。Lite模式為較低的傳輸通量,可用其他傳輸媒介替換,可降低成本且容易控制,對于Cameralink這種處理高速傳輸?shù)慕涌谟悬c(diǎn)大材小用,因此不太常用。而Deca模式具備更高的數(shù)據(jù)通量,在實(shí)際數(shù)據(jù)傳輸過程中,相對難以控制,但其能最大限度傳輸有效數(shù)據(jù),增大單位時間內(nèi)數(shù)據(jù)傳輸通量,是本文的研究重點(diǎn)。

Base模式:占用3個端口,一個Channellink芯片包含3個端口、1個Channellink芯片,24 bit視頻數(shù)據(jù)。一個Base使用一個連接口。如果使用2個一樣的Base接口,就成為雙Base接口。最大傳輸速度為2.0 Gbps@85 MHz。

Medium模式:占用一個Base和1個Channellink基本單元。最大傳輸速度為4.08 Gbps@85 MHz。

Full模式:占用一個Base和2個Channellink基本單元。最大傳輸速度為5.44 Gbps@85 MHz。

Deca模式有兩種數(shù)據(jù)配備方式,一種是10 tap/8 bit模式,就是10個端口,每個端口傳輸8 bit數(shù)據(jù)。另一種是8 tap/10 bit模式,在10 bit像素模式下帶寬最大只能達(dá)到3.4 Gbps,其實(shí)用性就大打折扣。所以這里采用最大數(shù)據(jù)通量傳輸?shù)? tap/10 bit格式,最大帶寬可達(dá)6.8 Gbps。Cameralink接口的五種配置特性所需要的芯片數(shù)目、接口數(shù)量即有效數(shù)據(jù)帶寬做一個總結(jié)歸納。參見表1。

表1 Cameralink接口的五種配置特性

2.1.2 Cameralink硬件設(shè)計

針對生命科學(xué)、航空、天文等領(lǐng)域,圖像采集存在原始圖像本身存在視場大、分辨率高、幀頻快等需求,根據(jù)前面的分析,Deca模式可傳輸最大數(shù)據(jù)通量有效數(shù)據(jù)。但存在難以控制的疑難。這里,以Deca模式為研究對象,硬件上采用擅長數(shù)據(jù)流控制的FPGA芯片為核心處理單元,實(shí)現(xiàn)相機(jī)與計算機(jī)之間的靈活控制。相機(jī)采集的圖像,經(jīng)Cameralink接口傳輸?shù)紽PGA之前,需先進(jìn)行低壓差分信號(LVDS)轉(zhuǎn)晶體管晶體管邏輯電路(TTL)的操作。輸入輸出一對接口之間不完全獨(dú)立傳輸,還需串口互相通信,保證信號同步。相機(jī)輸出的一對Cameralink接口與FPGA之間的硬件連接如圖1所示。

圖1 Cameralink接口的FPGA硬件連接框圖

數(shù)據(jù)上,相機(jī)輸出的Cameralink接口采用MDR/SDR接頭,為26芯管腳。一對MDR/SDR接頭經(jīng)串并轉(zhuǎn)換后,對應(yīng)28×3=84根信號線,其中80 bit為有效數(shù)據(jù),4 bit為控制位,包括幀有效位(FVAL)、行有效位(LVAL)、數(shù)據(jù)有效位(DVAL)和保留信號SP一起4個數(shù)據(jù)同步控制信號[11]。最后以TTL與FPGA芯片進(jìn)行連接。

2.2 FPGA控制邏輯設(shè)計

FPGA邏輯設(shè)計需嚴(yán)格遵循Cameralink標(biāo)準(zhǔn)協(xié)議的時序和數(shù)據(jù)結(jié)構(gòu),以最大數(shù)據(jù)通量為設(shè)計基礎(chǔ),向下兼容Base、Medium、Full等多種通量模式。數(shù)據(jù)特點(diǎn)可按照不同模式協(xié)議結(jié)構(gòu)展開,方法包括硬件的撥碼開關(guān)或軟件的多路選擇器均可。

2.2.1 數(shù)據(jù)轉(zhuǎn)換模塊設(shè)計

以Hamamatsu公司C11440-22CU相機(jī)為例,其最大圖像采集支持2048×2048,100fps@85MHz。

其Deca模式數(shù)據(jù)分配如圖2所示。端口有A,B,C,D,E,F,G,H,I,J。數(shù)據(jù)從D0_0～D0_15,D1_0～D1_15,D2_0～D2_15,D3_0～D3_15,D4_0～D4_15。共16 bit×5=80 bit。再加上FVAL(行有效)、LVAL(有效像素)、DVAL(數(shù)據(jù)有效)、Spare(預(yù)留)4 bit,共計84 bit。對應(yīng)28×3=84 bit的串并轉(zhuǎn)換芯片的輸出[11]。

圖2 Deca模式10 tap/8 it數(shù)據(jù)分配圖

2.2.2 時鐘匹配模塊設(shè)計

相機(jī)以最大85 MHz為采樣頻率,圖像的采集方式與平常所見的幀頭到幀尾順序依次采集不同,此相機(jī)是從中線開始將相機(jī)分為top和bottom兩部分。對應(yīng)上半部分做加計數(shù),另下半部分做減計數(shù),但相加的結(jié)果恒為2047。相機(jī)的時鐘及數(shù)據(jù)時序參見圖3。

圖3 相機(jī)的時鐘及數(shù)據(jù)時序分配圖

相機(jī)采樣以85 MHz為最高頻率,但是采集到的數(shù)據(jù),需做其他功能應(yīng)用,對應(yīng)的數(shù)據(jù)位數(shù)和頻率會有差別,比如存儲到ddr單元,ddr一次可存儲64位數(shù)據(jù),頻率因FPGA有ddr硬核導(dǎo)致頻率會出現(xiàn)固定情況,以K7XC325T為demo,FPGA的ddr3硬核參考時鐘為800 MHz,而數(shù)據(jù)傳輸時鐘為200 MHz,那么,做數(shù)據(jù)存儲的時候也要注意這個問題,才能將整幅圖像重構(gòu),否則讀出的將是亂碼。除時鐘以外,80 bit到64 bit數(shù)據(jù)的轉(zhuǎn)換,也存在非倍數(shù)關(guān)系,所以采用多次轉(zhuǎn)換,這里做一個80-160-32-512-64的多次數(shù)據(jù)轉(zhuǎn)換,需用到FIFO做數(shù)據(jù)緩存。時鐘方面,雖然可以將采樣時鐘倍頻至150 m。但是即使DDR3的參考時鐘分頻至200 M,依舊無法應(yīng)對80 bit@85 MHz的數(shù)據(jù)流。所以,此時對FPGA的設(shè)計里,不可只考慮一個方向,我們注意到鎖相環(huán)可以做一個3分頻的處理,這樣就有800 MHz/2=266 MHz的時鐘。這樣就可以應(yīng)對Cameralink接口傳來的85M×80/32=212.5 M數(shù)據(jù)。所以,FPGA設(shè)計過程中,需充分考慮時鐘、數(shù)據(jù)及功能的匹配問題,設(shè)計過程中需針對不同的功能需求做對應(yīng)調(diào)整[12-13]。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 仿真驗(yàn)證

程序設(shè)計以Xilinx公司Vivado軟件為邏輯實(shí)現(xiàn)軟件,第三方仿真軟件Modelsim對Cameralink接口的時鐘及數(shù)據(jù)模塊進(jìn)行仿真,驗(yàn)證接口時鐘及數(shù)據(jù)是否按Cameralink的Deca模式在準(zhǔn)確讀寫。仿真結(jié)果如如圖4所示。幀有效且行有效情況下,開始讀數(shù)據(jù),讀完為止,注意其中4個空閑時鐘標(biāo)志位。均滿足Cameralink協(xié)議時序及數(shù)據(jù)要求[14]。

圖4 FPGA的Cameralink接口時鐘數(shù)據(jù)仿真圖

3.2 實(shí)驗(yàn)測試

為測試以FPGA為核心的數(shù)據(jù)流控制器能準(zhǔn)確實(shí)現(xiàn)高通量數(shù)據(jù)交互,且不以某些特殊數(shù)據(jù)采集為案例,這里選用黑白間隔隨機(jī)圖卡進(jìn)行實(shí)物測試以保證系統(tǒng)的通用效果,如圖5所示,經(jīng)過FPGA數(shù)據(jù)流控制并傳輸?shù)接嬎銠C(jī)后成像的顯示圖如圖6,以MATLAB軟件將兩者進(jìn)行數(shù)據(jù)對比,零誤差,效果如圖7。

圖5 黑白間隔隨機(jī)測試卡

圖6 計算機(jī)顯示圖

圖7 Matlab測試結(jié)果

測試結(jié)果表明,基于FPGA的Cameralink最高通量Deca模式數(shù)據(jù)交互準(zhǔn)確。

4 結(jié) 論

本文以中高端FPGA芯片kintex 325 t和高速科研sCMOS相機(jī)C11440-22C為案例,設(shè)計并實(shí)現(xiàn)了高通量圖像采集交互系統(tǒng),采用xilinx獨(dú)立demo板為基礎(chǔ),具備良好的系統(tǒng)通用性。解決相機(jī)Cameralink接口輸出數(shù)據(jù)依賴廠商提供的采集卡及軟件來實(shí)現(xiàn)圖像采集的應(yīng)用局限性。針對Cameralink接口LVDS信號低功耗、低誤碼率、低串?dāng)_和低輻射等優(yōu)勢以一對串并、并串及串口實(shí)現(xiàn)其與TTL信號的轉(zhuǎn)換,FPGA嚴(yán)格依據(jù)Cameralink接口協(xié)議讀寫TTL信號,以數(shù)據(jù)傳輸最大通量Deca模式10 tap/8 bit為例,保證時序和數(shù)據(jù)的準(zhǔn)確交互。仿真驗(yàn)證及實(shí)驗(yàn)測試表明,本方案可實(shí)現(xiàn)該科研相機(jī)最大數(shù)據(jù)通量2048×2048@100 fps的準(zhǔn)確數(shù)據(jù)采集及傳輸,可直接從相機(jī)采集到數(shù)據(jù)無需經(jīng)過采集卡連接到計算機(jī)再從其存儲單元讀取數(shù)據(jù),有效緩解大數(shù)據(jù)流的傳輸及對昂貴存儲設(shè)備的需求,提高了通信接口的靈活性,具備良好的實(shí)用性及應(yīng)用價值,尤其已有部分應(yīng)用的高幀頻激光面陣成像、多光譜、大面陣紅外探測器等領(lǐng)域。本方案良好的通用性設(shè)計可推廣到數(shù)據(jù)通量更大情況。