大面陣高清高幀CMOS槍瞄系統(tǒng)關鍵技術

陶聲祥，王書宇，吳海兵

(陸軍軍官學院 高過載彈藥制導控制與信息感知實驗室，合肥 230031)

【裝備理論與裝備技術】

大面陣高清高幀CMOS槍瞄系統(tǒng)關鍵技術

陶聲祥，王書宇，吳海兵

(陸軍軍官學院 高過載彈藥制導控制與信息感知實驗室，合肥 230031)

為了使射手能快速觀察并瞄準戰(zhàn)場目標，設計并實現了一種基于大面陣高清高幀頻CMOS圖像傳感器的數字槍瞄系統(tǒng)；重點解決了系統(tǒng)中的幾個關鍵技術：硬件電路設計、基于FPGA的CMOS驅動、圖像格式轉換和瞄準分劃的動態(tài)生成與位置調整；實驗結果表明：該系統(tǒng)可在采集分辨率為2 560×2 048，顯示分辨率為1 280×1 024，幀速為75 fps，數據傳輸速率為2G bps方式下穩(wěn)定地工作。

槍瞄系統(tǒng)；大面陣CMOS圖像傳感器；FPGA；顏色插值

數字槍瞄系統(tǒng)是為了幫助射手進行觀察瞄準的光電設備。現代車載或機載機槍平臺上，很多采用數字化頭盔式觀察瞄準器，即利用外部的圖像傳感器獲取目標場景，再通過幾米長的線纜傳送到頭盔中的顯示屏上，供射手觀察瞄準。由于射擊時攝像鏡頭快速擺動，圖像容易出現拖尾現象[1]，同時射手能觀察到的視野是越寬越好，這些因素都對圖像的分辨率和刷新率提出了很高的要求。另外，傳統(tǒng)槍瞄器的瞄準分化線刻在玻璃板上，無法動態(tài)調整。

近年來，隨著大面陣CMOS的快速發(fā)展，如何利用它進行圖像的采集、處理、傳輸與顯示，國內做了一些相關研究，比如：文獻[2]對如何利用大面陣CMOS成像進行了研究。文獻[3]設計了利用CameraLink接口傳輸數據的相機圖像實時顯示系統(tǒng)。文獻[4]采用USB2.0 作為高速數據接口傳輸圖像數據，在液晶顯示屏上進行圖像同步顯示。文獻[5]利用FPGA+DSP，實現了1280×720，25幀/秒高清視頻圖像系統(tǒng)。文獻[6-7]將CCD成像技術應用到槍瞄裝備上。

本文利用NOIV1SN5000A圖像傳感器[8]、0.6英寸的OLED頭盔顯示屏和FPGA設計實現了一套數字槍瞄系統(tǒng)，該系統(tǒng)的圖像采集分辨率為2 560×2 048，顯示分辨率為1 280×1 024，實時刷新幀頻高達75 fps，采用抗干擾能力強的FPD-Link III協議進行圖像數據傳輸，瞄準鏡和頭盔之間只需2根同軸線纜，支持圖像放大(2倍)，動態(tài)生成瞄準分化線，疊加顯示在OLED屏上，支持動態(tài)調整顯示位置。其中CMOS成像傳感器驅動、圖像格式轉換、時序控制和外圍電路控制等均由FPGA完成。整個系統(tǒng)結構簡單、體積小、支持低溫下工作。

1 系統(tǒng)工作原理

系統(tǒng)工作原理如圖1所示，首先通過大面陣CMOS采集目標區(qū)圖像，通過顏色插值算法轉換圖像格式，同時根據用戶輸入動態(tài)的生成電子瞄準分化線，將其疊加在圖像上，再通過數據高速傳輸模塊送往頭盔顯示單元中驅動OLED進行顯示。

為實現圖像放大功能，在正常模式下需要將圖像進行降采樣處理，將2 560×2 048的原始圖像采樣成1 280×1 024，即將4個像素點合成1個像素點進行顯示，目的是實現對大視場范圍內的目標進行觀察，滿足全局觀察的需要；在放大模式下，取圖像中心點的1 280×1 024進行顯示，滿足對目標局部細節(jié)的瞄準需求。

圖1 系統(tǒng)工作原理

2 硬件電路設計

系統(tǒng)硬件電路主要由CMOS圖像傳感器、FPGA、單片機、圖像傳輸接口、加熱模塊、按鍵模塊、OLED顯示屏和時鐘等組成，其組成框圖如圖2。

圖2 系統(tǒng)硬件電路組成框圖

2.1 PCB電路板設計

PCB電路板實物如圖3所示，CMOS傳感器及外圍電路為一塊電路板，考慮FPGA、DS90UB925Q和單片機之間需要傳輸時鐘信號和數據，它們之間的連線很多，故設計在一塊電路板上，系統(tǒng)電源和加熱模塊則設計在另外一塊板上。電路板上模擬地和數字地分別覆銅，之間用零電阻或電感連接，劃為數字和模擬區(qū)域，提高電路板的抗干擾能力。

2.2 供電模式設計

考慮系統(tǒng)要在車載或機載等復雜環(huán)境下工作，自身供電應盡量保持獨立，所以設計了外部供電和內部供電兩種模式。外部供電時，電壓是24 V，使用WRB2405LT-3WR芯片將24 V轉換成5 V作為系統(tǒng)供電基礎，各器件所需電源均由5 V電源轉換得到。內部供電時，使用自帶的蓄電池，在無外接電源的情況下，可獨立工作12 h。外接電源時可自動充電。

2.3 主要器件配置

1) CMOS圖像傳感器與FPGA接口電路：FPGA通過SPI接口采用從模式對CMOS芯片的寄存器進行參數設置和讀取，CMOS圖像傳感器在時鐘和同步信號作用下以8位模式輸出數據。

2) 單片機與FPGA接口電路：單片機主要用來設置FPGA內部邏輯的工作參數，比如設置圖像顯示窗口的起始坐標、顯示菜單、按鍵信息和相關參數。

圖3 PCB電路板實物

3) DS90UB925Q與FPGA接口電路：通過I2C通信，傳輸的信號包括有24位圖像信號、像素時鐘、同步信號等。

4) DS90UB925Q與DS90UB926Q接口電路：由于輸出數據頻率在GHz以上，故使用帶屏蔽線的雙絞線進行傳輸，同時DOUT+、DOUT-通道上串聯LC元件，使傳輸線達到阻抗匹配以便正常傳輸數據。

5) 加熱模塊：主要由溫度傳感器和加熱器組成，通過單片機進行控制。由于該型號CMOS芯片的工作溫度范圍為0～70℃，所以當系統(tǒng)在低溫環(huán)境下啟動時，必須通過加熱模塊升高溫度，確保CMOS芯片正常工作。

3 基于FPGA的驅動與圖像處理

利用FPGA驅動CMOS圖像處理器，同時對圖像數據進行相應的轉換和處理。

3.1 驅動CMOS圖像傳感器

CMOS圖像傳感器的行輸出時序如圖4所示，在每一行圖像數據輸出時，同步信號通道會給出行開始標志(Line Start，LS)和行結束標志(Line End，LE)，而第一行會冠以幀開始的標志(Frame Start，FS)，最后一行則冠以幀結束標志(Frame End，FE)。在同步信號中，還有黑色像素標志(Black pixel data，BL)，用于對同行信號進行補償；有效像素標志(Valid pixel data，IMG)和CRC校驗碼等。FPGA根據來自同步信息和8個通道的圖像LVDS信號，解析出幀同步信號、行同步信號、圖像數據和時鐘等信息。

圖4 CMOS傳感器行輸出時序

FPGA輸出給CMOS圖像傳感器的工作時鐘有兩個：37.5 MHz和31 MHz，分別用做圖像放大和正常輸出時的CMOS輸入參考時鐘，主要根據外部按鍵命令進行選擇。CMOS圖像傳感器工作模式是8-bit mode with PLL，在內部進行了5倍頻，因此在正常模式下CMOS內部工作時鐘頻率是155 MHz，放大模式下為187.5 MHz。此外，FPAG給CMOS進行SPI參數配置的工作時鐘是3.125 MHz

4 圖像格式轉換

由于該型號CMOS圖像傳感器采用Bayer彩色模式輸出RAW格式數據，因此，為了和顯示接口的數據格式相匹配，必須要進行圖像格式轉換。最普通的方式采用雙線性插值(Bilinear)算法。效果比較好的算法有：Admas和Hamilton[8]提出的自適應插值算法;Lukac和Plataniotis[9]提出的正規(guī)化顏色比插值算法;Lu和Tan[10]提出的探索鄰域像素空間和光譜相關性的復原算法；BU F等[11]提出的一種基于邊緣和色差插值的復原算法。

由于該系統(tǒng)對復原圖像的品質和速度都有一定的要求，考慮到品質與速度的均衡性，本文設計了一種利用色差空間的高效圖像復原算法：首先，利用5×5模板內的像素估計插值的方向并用最優(yōu)的權重系數插值G分量，其次利用基于有理函數的二維插值算子在色差空間中插值R(B)處缺少的B(R)分量,最后再次利用色差插值G處缺少的R和B分量。具體的算法步驟如下：

1) 通過邊緣檢測對綠色分量G進行插值。在Bayer模板中，綠色分量所占的分量最重，所以先對G分量進行插值。考慮到邊緣像素的問題，對G分量采用基于邊緣檢測的插值算法。首先定義5×5模板的水平梯度ΔHg和垂直梯度ΔVg，用來估計模板內是否存在水平方向和垂直方向的邊緣。如果某一方向的梯度值大，就意味著在該方向存在著邊緣。

水平梯度和垂直梯度的定義如下：

ΔHg=abs(G(i-2,j-1)+G(i+2,j-1)- 2G(i,j-1))+abs(G(i-2,j+1)+G(i+2,j+1)-2G(i,j+1))+abs(G(i-1,j)-G(i+1,j))

(1)

ΔVg=abs(G(i-1,j-2)+G(i-1,j+2)- 2G(i-1,j))+abs(G(i+1,j-2)+G(i+1,j+2)-2G(i+1,j))+abs(G(i,j-1)-G(i,j+1))

(2)

判斷方向以后對G分量進行插值，以插值紅色像素處缺少的綠色像素為例：

當ΔHg>ΔVg時：

(3)

當ΔHg=ΔVg時：

(4)

當ΔHg<ΔVg時：

(5)

(6)

2) 采用同樣算法來插值B分量處缺少的綠色分量G。

3) 利用二維有理函數插值算子插值B分量處缺少的R分量。

由于采用相同的插值系數很難獲取到品質好的圖像,所以本文采用二維有理函數插值算子對色度分量(R和B)在色差空間進行插值。

二維圖像的插值模式如圖5所示，P像素的灰度值要通過Pa1，Pa2，Pa3，Pa4等4個像素的灰度值插值得到。假設像素的灰度為ai，二維有理函數插值算子表示為

P=RF2D(x1,x2,x3,x4)=

(7)

式(7)中，ωx,y=1/8+k(ay-ax)2，x,y=1,2,3,4,k是非線性系數，當k=0時，等價于雙線性插值。

Pa1Pa2PPa3Pa4

圖5 二維圖像插值模式

以插值所有藍色像素B處的紅色像素R為例，用圖5的二維插值模式，其中，P位置為藍色像素，Pai(i=1，2，3，4)位置為紅色像素。在進行插值時，需要計算像素P上的顏色差KR(P)：

RF2D(KR(PR1)，KR(PR2)，KR(PR3)，KR(PR4))

(8)

其中KR(PRi)=Gi-Ri(i=1,2,3,4)，從而可以得到藍色像素上缺少的紅色像素為：

Ri, j=Gi, j-KR(P)

(9)

4) 采用同樣算法恢復紅色像素處缺少的藍色分量。

5) 恢復綠色分量G處缺少的R和B分量

將邊界檢測原理應用到G分量處色度信號的恢復中，利用亮度的二階導數作修正，在色差空間進行插值。以插值紅色分量R為例，當綠色分量G的上下位置有兩個R值是已知時，計算公式如下：

Gi, j=[Ri, j-1+Ri, j+1]/2+[2Gi, j-Gi, j-1-Gi, j+1]/2

(10)

當綠色分量G的左右位置有兩個R已知時，計算公式如下：

Gi, j=[Ri-1, j+Ri+1, j]/2+[2Gi, j-Gi-1, j-Gi+1, j]/2

(11)

6) 同樣的方法可以插值出綠色像素處缺少的藍色像素值。

7) 通過色差插值更新G分量的值在插值得到的RIB分量的基礎上，對G分量使用色差插值的方法進行更新。更新R分量處的G分量的值，公式如下：

Gi, j=(Gi-1, j+Gi+1, j+Gi, j-1+Gi, j+1)+

[4Ri, j-(Ri-1, j+Ri+1, j+Ri, j-1+Ri, j+1)]

(12)

根據對稱性，可以更新B分量處的G分量。

執(zhí)行完上述過程后，可以在所有像素上得到紅綠藍3種顏色的分量，最終實現從RAW到RGB的轉換。

5 瞄準分劃的動態(tài)生成與疊加顯示

瞄準分化是由帶刻度的垂直軸、橫軸和橢圓組成，為瞄準射擊提供參考?？紤]人眼的瞄準精度和舒適度，中心點4個像素，分劃線寬2個像素。

需要調整瞄準分化時，由單片機掃描按鍵硬件信號，讀取用戶的輸入。比如用戶可通過按鍵預設目標距離和自身運動速度，單片機通過內置的射表進行相應計算，得到射擊提前量，進而確定瞄準分化上軸線的長度、橢圓的半徑、刻線間隔等數值，再將這些數值發(fā)送給FPGA，由FPGA動態(tài)生成分劃圖案，疊加在圖像數據上。

瞄準分化的瞄準點默認設定為顯示屏的中心位置，操作時用戶能夠通過按鍵模塊中的上下左右按鍵來調整瞄準點的位置坐標，使其對準目標。

考慮到有些機載設備上安裝有激光測距機和速度傳感器等，所以單片機中還單獨設計了一個外部接口，可以直接接收外部設備傳送過來的目標距離和自身運動速度等數據，直接進行計算，進而確定瞄準分化的顯示參數。

另外，在進行光軸標定時也是通過按鍵實時調整瞄準分化中心原點的坐標，調整后的位置能夠自動存儲，掉電后不會丟失。

6 試驗結果

根據以上軟硬件設計，制作了原理樣機，并開展了相關試驗。試驗采用頻率為50 MHz的主時鐘，同軸線纜傳輸長度為1.2 m，采集并顯示的幀速達到75 fps，鏡頭以72RPM快速轉動時，顯示圖像無拖尾。獲取的偵察瞄準圖像如圖6：(a)為正常模式下的圖像；(b)為放大模式下的圖像(放大倍率：2)；(c)為調整瞄準點時的圖像；(d)為黃昏時的圖像。

圖6 偵察瞄準圖像

7 結論

本文首次將大面陣CMOS圖像傳感器應用到槍瞄系統(tǒng)中，實現了偵瞄圖像的高清高幀顯示，從硬件和軟件層面上進行了設計。試驗表明：該系統(tǒng)在鏡頭快速轉動時，顯示的高清圖像沒有出現拖尾現象，而且在光強較弱的情況下也有很好的表現。相比現有的機載槍瞄系統(tǒng)，該系統(tǒng)具有結構簡單、成像清晰、抗干擾能力強和瞄準分化可調等優(yōu)點。

[1] 王慶有.圖像傳感器應用技術[M].北京:電子工業(yè)出版社,2003.

[2] 劉新明，劉文，劉朝暉.大面陣CMOS APS相機系統(tǒng)的設計[J].光子學報，2009,38(12):3235-3238.

[3] 王明富，楊世洪，吳欽章.大面陣CCD圖像實時顯示系統(tǒng)的設計[J].光學精密工程，2010,18(9):2053-2059.

[4] 大面陣高幀頻可配置CMOS 數字視頻系統(tǒng)研究與實現[J].微計算機信息，2006，22(11):173-175.

[5] 高楊，劉榮科，胡偉.基于FPGA+DSP的高清視頻圖像系統(tǒng)設計與實現[J].電子測量技術，2011，34(1):69-73.

[6] 高有堂，常本康，田思.CCD技術的微光槍瞄檢測系統(tǒng)[J].火力與指揮控制，2008，33(10)：67-70.

[7] 高有堂，常本康，邱亞峰.多環(huán)境試驗條件下微光槍瞄檢測系統(tǒng)設計[J].微計算機信息，2007，23(8):94-96.

[8] HAMILTON J,ADAMS J.Adaptive Color plane interpolation in signal sensor color electronic camera:USA,5629734[P].1996-03-17.

[9] LUKAC R,PLATANIOTIS K N.Digital camera zooming based on unified CFA image processing steps[J].IEEE Trans Consum Electron,2004,50(1):737-745.

[10]LU W,TAN Y P.Color filter array demosaicking:new method and performance measures [J].IEEE Trans Image Process,2003,12(10):1194-1210.

[11]BU F,WEIDONG Q,YUEHONG Q.A novel weighted edge-directed and weighted-color-difference interpolation for demosaicking Bayer-pattern color images [J].Journal of Information & Computational Science，2012,9(7):1781-1794.

(責任編輯周江川)

Key Technology Research in Riflescope System Based on High Definition and Huge Frame and Large Area Array CMOS

TAO Sheng-Xiang, WANG Shu-Yu, WU Hai-Bing

(Laboratory of Guidance Control and Information Perception Technology of High Overload Projectiles, Army Officer Academy of PLA, Hefei 230031, China)

In order to enable the shooter to observe and target the battlefield，the paper designed and realized a digital riflescope system based on high definition and huge frame and large area array CMOS. In this paper, the key technologies for realizing the system were solved. It includes hardware circuit design, CMOS driver based on FPGA, image format conversion and dynamic generation and position adjustment of targeting differentiation line. The experiment results indicate that the system can stably work at the resolution of 2 560×2 048, the display resolution of 1 280×1 024, the frame rate of 75 fps and the data transmission rate of 2G bps.

riflescope system; large plane CMOS image sensor; FPGA; color interpolation.

2016-08-01；

2016-09-10

國家自然科學基金項目(11172331)

陶聲祥(1967—)，男，博士，教授，主要從事目標探測、成像技術研究。

10.11809/scbgxb2017.01.003

陶聲祥，王書宇，吳海兵.大面陣高清高幀CMOS槍瞄系統(tǒng)關鍵技術[J].兵器裝備工程學報，2017(1):12-16.

format:TAO Sheng-Xiang, WANG Shu-Yu, WU Hai-Bing.Key Technology Research in Riflescope System Based on High Definition and Huge Frame and Large Area Array CMOS[J].Journal of Ordnance Equipment Engineering,2017(1):12-16.

TP212

A