高速攝像技術在火箭橇頭罩分離試驗中的應用

孫海波，王曉斌，吳瑞斌，肖 健

?

高速攝像技術在火箭橇頭罩分離試驗中的應用

孫海波，王曉斌，吳瑞斌，肖 健

（北京強度環境研究所，北京 100076）

火箭橇頭罩分離試驗中，需要采集頭罩分離前后的高速圖像。由于火工品爆炸時間短，振動與沖擊環境惡劣，普通攝像設備難以滿足要求。文章介紹了一種小型化、低功耗、能夠適應強振動與沖擊環境的高速攝像系統，該系統由具有Camera Link接口的工業相機、圖像采編單元和數據存儲單元組成，圖像采編單元對工業相機圖像數據進行編碼，并通過LVDS接口傳輸至數據存儲單元；數據存儲單元使用FPGA控制SATA接口固態硬盤實現無損圖像數據的實時存儲。通過減振和自動調光設計，此系統能夠適應強振動與沖擊環境，并能自動快速適應各種光照環境，已成功應用在某火箭橇頭罩分離試驗中，實現了分辨率為800×600、幀率為

120幀/s的連續圖像存儲，存儲時間不低于30min，存儲的圖像數據完整可靠。

高速攝像；圖像采集；圖像存儲；Camera Link接口

0 引言

高速攝像相對于傳統試驗測量手段，可以更直觀地觀察試驗的全過程。在某火箭橇頭罩分離試驗中，需要對頭罩附近圖像進行高速、長時間的采集與存儲，同時要求攝像系統小型化、低功耗，并能夠適應強振動與沖擊環境。K. Mochiki等人在中子透射光譜成像試驗中采用大容量緩存和固態硬盤實現了105幀/s的超高速圖像存儲，但是該系統基于PC機，體積很大[1]。美國Vision Research公司和德國Optronis公司均推出了高分辨率、高幀率的小型化圖像采集存儲產品，但是價格昂貴。國內對小型化的高速圖像采集存儲技術有一定的研究，但是目前還沒有形成成熟的產品。中國科學院長春光學精密機械與物理研究所通過FPGA控制2塊IDE 固態硬盤實現了Camera Link相機的640×480、100幀/s 的圖像存儲[2]。王仕明博士采用PowerPC+FPGA+SSD架構，實現了100MByte/s的實時數據存儲，并采用JPEG2000編碼技術實現圖像壓縮，可達到1000MByte/s的圖像數據帶寬，但是有損壓縮會使圖像部分細節丟失[3]。

本文研制了一種高速無損壓縮的圖像實時采編攝像系統，即采用基于FPGA的LVDS（Low- Voltage Differential Signaling）接口來控制具有Camera Link接口的工業相機的圖像數據采集，對采集的圖像數據進行編碼，并通過LVDS接口發送至數據存儲單元。數據存儲單元采用基于SATA接口的固態硬盤，最高存儲速度可以達到90MByte/s[5]。該單元還增加了相機參數設置功能，以實現分辨率、幀率、曝光時間等參數的設置，而且可以兼容任何廠家的Camera Link接口相機；增加了時統信號輸入接口，以方便后期數據處理時辨識開始采集時刻；進行了減振和自動調光設計，使得系統能夠適應較強的振動與沖擊，以及低照度和強光照的環境。與國內外其他系統相比，本系統可對高速圖像進行無損壓縮、實時、長時間采編與存儲，且體積小、功耗低。

1 系統組成

高速攝像系統的組成如圖1所示，由Camera Link接口工業相機、圖像采編單元和數據存儲單元組成。Camera Link是一種標準接口，多數高速相機均采用該接口方式[6]。圖像采編單元通過RS422接口接收來自數據存儲單元轉發的相機參數指令，通過Camera Link接口實現相機的參數設置和圖像的采集、編碼功能，最后利用LVDS接口將數據發送至數據存儲單元。數據存儲單元采用基于SATA固態硬盤的高速數據存儲模塊[5]接收、解碼LVDS數據，將數據存儲至SATA接口固態硬盤中，并將來自上位機的相機參數指令轉發至圖像采編單元。數據存儲單元通過千兆以太網接口完成相機參數傳輸、存儲、控制和數據上傳等功能。

圖1 高速攝像系統的組成

2 圖像采編單元

2.1 圖像采編單元組成

圖像采編單元由Camera Link接口、圖像編碼和LVDS數據發送3個模塊組成，如圖2所示。

圖2 圖像采編單元組成

Camera Link接口模塊實現Camera Link接口的LVDS串行數據轉換為并行數據。利用FPGA內部豐富的解串器（ISERDES）、鎖相環（phase locked loop, PLL）和延時（IODELAY）資源，可實現2∶1～16∶1的數據解串[7]。通過RS422接口接收數據存儲單元轉發的相機參數指令經Camera Link接口發送至相機，可設置相機的分辨率、幀率、曝光時間等參數。

圖像編碼模塊完成圖像數據的采集和圖像幀、數據幀的編碼功能。時統信號用于和其他測量系統保持時間同步。

LVDS數據發送模塊將編碼后的數據幀通過LVDS接口發送至數據存儲單元。

下面僅介紹圖像編碼模塊，其他部分見文獻[4]。

2.2 圖像編碼模塊

圖像編碼模塊負責圖像數據（圖像幀和數據幀）采集與編碼。圖像幀編碼用來標記每一幀圖像，以便后期圖像數據的恢復和丟失檢驗；數據幀編碼用于和數據存儲單元的數據格式相匹配，方便數據存儲單元的數據判讀、接收以及丟失檢驗。

圖像編碼模塊的組成如圖3所示。虛線左側為Camera Link接口模塊的LVDS_clk時鐘域，實現圖像采集和圖像幀編碼功能；虛線右側為LVDS數據發送模塊的tx_clk時鐘域，執行數據幀編碼和數據發送功能。兩時鐘域之間采用FIFO傳遞數據。

其中，LVDS_clk速率為80MHz，tx_clk速率為75MHz，由于FIFO的寫入速度大于讀取速度，需要設計足夠容量的FIFO保證數據不丟失。以120幀/s、分辨率為800×600的圖像為例，使用LVDS_clk傳輸1幀圖像需要6ms，在該時間內，FIFO的寫入數據量為80MByte/s×6ms=480kByte，讀取數據量為75MByte/s×6ms=450kByte，二者相差30kByte，為留有一定的余量，選擇深度為65535的FIFO。

圖3 圖像編碼模塊組成

Camera Link接口模塊輸出的圖像信號時序如圖4所示。FVAL信號上升沿，表示1幀圖像數據有效；當DVAL信號有效時，在每個LVDS_clk的上升沿，輸出1次有效的圖像數據。

圖4 圖像信號時序

圖像編碼模塊從Camera Link接口模塊采集1幀完整的圖像數據后，再添加幀頭、幀計數、幀長等內容，組成1圖像幀（見表1），并將圖像幀數據發送至FIFO緩存。當時統信號到來時，圖像幀計數清零，用于標識關鍵時刻。當FIFO的深度達到4096（數據存儲單元要求的數據幀的長度）時，讀取FIFO中的數據，并添加幀頭、幀計數、幀長、幀尾等內容，組成1數據幀（見表2）。最后將數據發送至LVDS數據發送模塊。在圖像幀格式中，以分辨率為800×600的圖像為例，1幀圖像的數據量為240000字，用1字表示幀長，這里采用總數據量除以16，即0x3A98。圖像幀的幀計數為16位累加數據，當時統信號有效時，幀計數清零，以方便后期數據處理時區分時統有效時刻。后期將存儲的數據上傳至計算機，通過幀頭、幀長和幀尾等信息完成數據的解析，最終還原成BMP格式的圖像。即使圖像數據中含有0xEB90、0xEB91等數據，但是通過結合幀長、幀尾等信息，可以保證上位機軟件不會造成誤判。

表1 圖像幀格式

3 數據存儲單元

對于分辨率為800×600，幀率為120幀/s的無壓縮圖像，數據存儲量為55MByte，普通的存儲方法難以滿足要求。這里采用基于SATA接口的固態硬盤作為數據存儲單元[5]，其組成如圖5所示。

圖5 基于SATA接口固態硬盤的數據存儲單元組成

數據存儲單元的工作原理為：存儲數據時，FPGA內部的LVDS接收模塊接收LVDS數據流并轉換為并行數據，數據通過大容量FIFO1和FIFO2交替輸入IDE接口模塊，最后通過JMH330S芯片控制固態硬盤進行高速存儲。讀取數據時，IDE接口模塊將讀出的硬盤數據存入CPU_FIFO中，MicroBlaze軟核通過DMA方式再將數據讀入DDR3內存，并通過千兆以太網發送至上位機。用戶可通過千兆以太網設置相機參數，并經過RS422接口將參數轉發至圖像采編單元。在LVDS接收模塊和IDE接口模塊之間的2個大容量FIFO，深度均為2M，利用DDR3 SDRAM使2個FIFO交替向IDE接口模塊寫數據，能實現數據緩沖，提高數據存儲效率。

FPGA通過Ultra DMA5（uDMA5）方式讀寫硬盤。下面以該方式為例，描述寫硬盤的過程，其流程見圖6。根據ATA-6協議[8]，初始化時，FPGA通過命令將IDE傳輸方式設置為uDMA5。每次Ultra DMA進行寫操作時，首先設置48位起始邏輯地址和將要寫入的扇區數，然后通過向狀態控制寄存器的寫命令0x35啟動1次Write DMA操作。硬盤接收到該控制命令后，會向FPGA發送DMA 請求（DMARQ）信號，FPGA收到DMARQ 有效信號后，使能DMACK#進行應答并撤銷STOP信號，在硬盤的DMA就緒信號（DMARDY#）有效后，FPGA開始讀取FIFO中數據并驅動數據同步信號HSTROBE以及16位并行數據。寫完數據后，進入空閑狀態，繼續等待上層的指令。

圖6 uDMA5方式寫硬盤流程圖

經測試，數據存儲單元的最高連續存儲速度為90MByte/s，無丟包或誤碼現象。

4 減振設計

火箭橇頭罩分離瞬間產生的振動和沖擊較大，電路板上的元器件和工業像機的光學組件耐振動與沖擊能力較差，需要進行加固和減振設計：采用數據采編存儲器和相機模塊分離的結構，在數據采編存儲器內部使用硅膠灌封；在工業相機和殼體之間使用橡膠隔離（如使用硅膠，則液體可能會進入工業相機的光學鏡頭內部影響相機使用）。圖像采編存儲器和相機模塊之間使用專用的Camera Link線纜連接。加固后的圖像采編存儲器和工業相機實物見圖7。

圖7 加固后的圖像采編存儲器（左）和工業

相機（右）實物圖Fig. 7 The image acquisition and coding unit(left) and industry camera(right) after being reinforced5 自動調光

火箭橇頭罩分離前后光照度的變化范圍很大：頭罩分離之前，火箭內光線非常暗；而頭罩打開后，相機會暴露在外界較強光照下，這就需要圖像亮度的自動調節功能。通常用調節光圈或曝光時間[9-10]

來調節圖像亮度。調節光圈需要使用電機，而電機調節速度較慢，并且振動和沖擊的環境適應性較差。

本文采用動態步長曝光時間調整技術[9]，原理如下：設置圖像的目標亮度值0（本文取150），根據當前圖像的平均亮度與目標亮度之間的差Δ來確定曝光時間的調整步長Δ。具體調整方式如式(1)所示：

計算圖像的平均亮度時，先使用32位寄存器緩存1幀圖像的亮度和，再使用除法器計算平均值。式(1)中，Δ的符號和Δ的符號相反，即Δ＞0時，表示當前圖像過亮，Δ為負數，即應減小曝光時間。在Δ較大時，說明曝光時間遠不能達到目標亮度要求，因此Δ也應加大，以便提高算法收斂速度。

實際測試中，在非常暗的光線下，即使將曝光時間調整至最大值，也難以看清圖像。故本文增加了LED補光燈，當光照度低于10lx時，自動開啟補光燈。通過自動曝光技術和LED補光相結合的方法，可以適應大多數光照環境。

6 試驗結果和分析

本文的高速攝像系統采用Baumer公司HXC40高速工業相機，分辨率設置為800×600，幀率設置為120幀/s。高速攝像系統通過高低溫試驗、三軸隨機振動試驗、峰值為100持續時間為11ms的半正弦三軸沖擊試驗、過載試驗（3個方向，35）以及低氣壓試驗（1Pa）等地面環境試驗充分驗證了其環境適應性。

在某次火箭橇頭罩分離試驗中，該高速攝像系統成功拍攝到整個頭罩分離過程。頭罩分離瞬間的連續圖像如圖8所示，其中第2、3、4幅圖像能夠看到火工品爆炸，從第4幅開始，頭罩已經開始分離。由于幀率為120幀/s，兩幀圖像間隔8.3ms，由此估計火工品爆炸時間約為30ms，和實際吻合。經過其他數據采集設備測量，頭罩分離時產生的沖擊為186，并具有持續的高量級振動和過載，普通的攝像設備難以經受如此嚴酷的環境。經過時統信號分析，沖擊峰值時刻和圖像拍攝的爆炸時刻吻合。按照要求，本高速攝像系統主要作為后期故障分析手段，本次試驗共拍攝了試驗前后30min的圖像，拍攝到的圖像完整可靠。試驗結果充分驗證了本文設計的高速攝像系統的可靠性。

(a) 第1幅（分離前）

(b) 第2幅（火工品爆炸瞬間）

(c) 第3幅

(d) 第4幅

(e) 第5幅（開始分離）

(f) 第6幅

圖8 火箭橇頭罩分離的圖像

Fig. 8 Image of rocket shell separation7 結論與展望

本文的高速攝像系統首次在火箭內部成功拍攝了火箭橇頭罩分離的全過程，獲取了以往試驗無法獲取的信息，對豐富試驗手段、提升試驗能力具有重要意義，尤其對試驗事故后的故障診斷具有很大幫助。該系統可以實現高速、長時間、高可靠性的無損圖像采集與存儲，并且結構簡單、體積小、功耗低、高振動與沖擊環境適應性強，能夠自動快速適應各種光照環境，在航空、航天等高速圖像采集記錄和圖像分析領域具有廣闊的應用前景。

該系統最高存儲速度為90MByte/s，最高可實現幀率為196幀/s、分辨率為800×600的圖像采集。為了進一步觀察頭罩分離的細節，需要提高圖像的幀率，下一次試驗擬將圖像幀率提升至190幀/s。

（References）

[1] Mochiki K, Ishizuka K, Morikawa K, etal. Development of a new high-frame-rate camera for pulsed neutron transmission spectroscopic radiography[C]//Proceedings of the 10thWorld Conference on Neutron Radiography, 2015(69): 143-151

[2] 呂耀文, 王建立, 曹景太. Base型Camera Link 脫機存儲系統設計[J]. 光電子技術, 2012, 32(4): 242-245

Lü Yaowen, Wang Jianli, Cao Jingtai. Design of base camera link video storage system independent of computer[J]. Optoelectronic Technology, 2012, 32(4): 242-245

[3] 王仕明. 基于PowerPC的高速圖像存儲系統技術研究[D].

成都: 中國科學院光電技術研究所, 2015

[4] 孫海波, 吳瑞斌, 王曉斌, 等. 一種高速圖像實時采編存儲系統設計[J]. 遙測遙控, 2015, 36(3): 41-45

Sun Haibo, Wu Ruibin, Wang Xiaobin, et al. Design of high-speed real-time image acquisition-coding and storage system[J]. Journal of Telemetry, Tracking and Command, 2015, 36(3): 41-45

[5] 孫海波, 王曉斌, 李雅梅. 基于SATA接口固態硬盤的高速存儲系統設計[J]. 遙測遙控, 2014, 35(2): 48-52

Sun Haibo, Wang Xiaobin, Li Yamei. Design of high-speed storage system based on sata interface solid state hard disk[J]. Journal of Telemetry, Tracking and Command, 2014, 35(2): 48-52

[6] Specifications of the camera link interface standard for digital cameras and frame grabbers: V2.0[G/OL], 2012. [2016-05-24]. http://www.docin.com/p-819308579.html

[7] Sawyer N. Source-synchronous serialization and deserialization[R]. Xilinx Corporation: Application Note XAPP1064 (v1.1), 2010

[8] T13/1410 Dr2a. American national standard for information technology atattachment with packet interface-6(ATA/ATAPI-6)[S], 2002

[9] 周榮政. 數碼相機處理器設計及系統集成研究[D]. 上海: 復旦大學, 2004: 48-53

[10] 陳參寧, 鄧華秋, 王健華. 基于光圈控制的自動曝光算法研究[J]. 傳感器與微系統, 2011, 30(11): 46-48

Chen Canning, Deng Huaqiu, Wang Jianhua. Research on auto-exposure algorithm based on iris control[J]. Transducer and Microsystem Technologies, 2011, 30(11): 46-48

（編輯：馮 妍）

Application of high-speed image acquisition technology in rocket sledge head cover separation experiment

Sun Haibo, Wang Xiaobin, Wu Ruibin, Xiao Jian

(Beijing Institute of Structure and Environment Engineering, Beijing 100076, China)

High-speed images near separation are required in the rocket sledge head cover separation experiment. Due to the short time of explosion, the harsh environment of vibration and shock, common cameras cannot work properly. A small and low power high-speed image acquisition system is proposed, which is applicable in the vibration and shock environment. This system consists of a Camera Link interfaced camera, an image acquisition coding unit, and a data storage unit. The image acquisition and coding unit acquires images from the Camera Link interfaced camera and codes the image, and transmits the image to the data storage unit by the LVDS interface. A SATA interface solid-state hard disk is used in the data storage unit. By vibration absorption design and automatic light compensation, the system can work properly in a high shock environment, and can adapt to any light environment. The high-speed image acquisition system has been applied successfully in the rocket sledge head cover separation experiment. The resolution of 800×600, with 120 frame/s mono chrome camera is achieved. The saving time is no less than 30 minutes, and the image data is integral and reliable.

high-speed video; image acquisition; image storage; Camera Link interface

TN919

A

1673-1379(2016)03-0327-06

10.3969/j.issn.1673-1379.2016.03.017

孫海波（1987—），男，碩士學位，主要研究方向為計算機測量與控制。E-mail: haibo2806@163.com。

2015-10-12；

2016-05-24

http://www.bisee.ac.cn E-mail: htqhjgc@126.com Tel: (010)68116407, 68116408, 68116544