高動態科學級CMOS相機系統的設計

何舒文，王延杰，孫宏海，張雷，2，吳培，2

高動態科學級CMOS相機系統的設計

何舒文1，2*，王延杰1，孫宏海1，張雷1，2，吳培1，2

(1．中國科學院長春光學精密機械與物理研究所，吉林長春130033; 2．中國科學院大學，北京100049)

為了滿足全局曝光模式下對高動態范圍CMOS相機需求，基于CIS-2521 sCMOS器件設計出一個相機系統，通過研究CIS-2521芯片像素讀出結構特點和全局曝光模式下驅動時序特點，選用FPGA搭載DDR3作為處理架構，在FPGA內部完成了成像參數控制，sCMOS驅動時序，圖像數據采集，圖像預處理等SOPC片上一體化設計，并對各個模塊功能進行了介紹。設計的相機系統進行成像測試，實現了連續輸出50幀/s，2 560×2 160像素，14 bit有效深度的高清晰度高動態范圍圖像，基本滿足科學級成像條件的需求。

科學級CMOS;高動態;全局曝光;圖像處理

1 引言

相比于科學級CCD器件，科學級CMOS圖像傳感器具有低功耗，低成本，高集成度，可控開窗，大面陣高幀頻等優點，有利于實現小體積低能耗的相機系統［1-2］。目前市面上科學級CMOS相機一般采用卷簾曝光模式，通過相關雙采樣技術對噪聲進行抑制，一般輸出圖像數據有效深度達到12 bit以上，在獲取較高的圖像質量同時還擁有較高的幀頻［3-4］。但是在一些科學觀測中(如高速運動物體觀測)，仍然需要相機工作在傳統的全局曝光模式，此時由于相關雙采樣的失效，采集圖像中將出現明顯列向噪聲［5］，成像質量和相機動態范圍受到極大影響，難以達到科學級相機的要求。為了獲取全局曝光模式下高質量圖像，本設計中選用了CIS-2521科學級CMOS芯片，在分析其像素讀出特點的基礎上設計了其硬件驅動電路，通過在FPGA內完成數字域相關雙采樣和圖像預處理等算法，實現了全局曝光模式下高動態范圍圖像數據的獲取。

2 相機系統總體設計

CIS-2521是美國仙童公司開發的sCMOS圖像傳感器芯片，具有高靈敏度和低噪聲等特點，適用于在極弱光條件下獲取高品質的圖像。該芯片由一種5T結構像元陣列組成，像素面陣分上下兩個區域，每個區域均有2 560(H)×1 080(V)像素。CIS-2521芯片內具有豐富可編程控制功能，上下區域可獨立工作，內部各有48個32 bit的寄存器，可通過JTAG接口分別設置寄存器的值，控制圖像積分時間，幀頻，增益，開窗讀出，曝光模式等。CIS-2521包含列級雙通道可調節增益放大器和ADC轉換器，可通過設置輸出不同增益下的圖像數據。CIS-2521的一些基本性能參數如下:

(1)像素尺寸6．50 μm×6．50 μm，像素數2 560(H)×2 160(V)。

(2)全畫幅幀頻:卷簾模式(100 fps)，全局模式(50 fps)。

(3)滿阱電荷＞30 000e，最小讀出噪聲＜2e，動態范圍大于83．50 dB。

(4)峰值量子效率大于0．55，20℃時暗電流＜35e/pixel/s

(5)列級可選增益放大器與雙11 bit列級ADC。

(6)可編程開窗大小讀出。

基于CIS-2521設計的高動態科學級CMOS相機系統結構圖如圖1所示，相機系統采用單電源12 V供電，在板上轉換為各個模塊所需電壓，選用FPGA搭載DDR3作為處理架構，其中FPGA主控芯片采用XILINX公司KINTEX7系列的XC7K325T，具有豐富的邏輯資源，可根據不同需求現場可編程［6-7］，產生系統其余部件所需驅動控制時序，DDR3采用4片MT41K128M16并聯而成，能夠滿足高速數據緩存的需求。系統工作流程為:FPGA上電加載配置程序，接收控制計算機的控制指令，通過SPI接口設置偏置電壓值，通過JTAG接口設置sCMOS工作模式，sCMOS接收外觸發信號后輸出圖像數據，FPGA采集高速圖像數據緩存并進行圖像預處理，轉換為標準Camera link接口數據輸出［8］，控制計算機通過采集軟件采集圖像數據并顯示。

圖1 相機系統結構框圖Fig．1Structure of the camera

3 FPGA內部功能單元模塊設計

所設計的相機由于采用SOPC的設計方案，大部分功能都在FPGA內設計完成［8］，FPGA內功能框圖如圖2所示，主要由sCMOS控制模塊，通信控制模塊，圖像采集模塊，圖像處理模塊，高速緩存控制模塊組成，以下對各個模塊設計進行介紹。

3．1通信控制模塊

圖2 FPGA內部功能單元模塊組成Fig．2All function modules in FPGA

sCMOS相機系統與控制計算機的通信通過FPGA內通信控制模塊完成。通信控制模塊接收控制計算機異步串口發出的所有控制信息和圖像處理命令信息并反饋各個模塊運行狀態信息，這些信息包括相機寄存器初始值，相機積分時間，觸發曝光模式和曝光時間，輸出數據格式，幀相減，數據合成規則控制和濾波規則控制等。異步串口通信采用1位起始位，8位數據位，1位停止位的格式，波特率為115 200 bps，每一條命令由14字節組成，其中包括命令起始標志，命令類型，控制信息和命令結束標志。每一條控制命令通過FPGA片上通信解碼后寫入相應模塊的命令緩存FIFO，再由各個模塊讀出命令信息進行相應的寄存器設置或者時序控制。

3．2sCMOS驅動控制模塊

sCMOS的驅動控制模塊包括4個部分功能實現:偏置電壓設置，相機工作模式設置，觸發和積分時序產生，讀出數據時序控制。要使CIS-2521芯片正常上電工作，上電需滿足一定順序。正確的控制步驟為:(1)數字核電壓1．8 V供電。(2)通過JTAG配置相機內各個寄存器的值。(3)模擬電源與數字3．3 V上電。(4)接收外觸發信號并產生相應控制和讀出數據信號。設計中通過FPGA留出專門引腳控制其模擬電源部分不同電壓上電時刻。CIS-2521對模擬電壓精度和電流大小需求同樣較高，以模擬復位電壓為例，需求精確控制到2．739 V，該電壓10 mV的差異將導致從ADC讀出數據相差300(DN)，設計中采用數字可編程控制電壓芯片LT1660，配合具有高輸出電流運放芯片LMH6672為模擬復位電壓供電，在參考電壓為3．3 V時，將模擬復位電壓控制在最小0．000 03 V數字可調。

相機工作模式的設置主要在對CIS-2521內部寄存器設置上，在相機數字上電后初始化過程中，通過JTAG接口可對相機內部48個32 bit寄存器進行相應的讀寫操作，CIS-2521芯片內有相應符合JTAG標準狀態機?？稍O置的內容包括相機的工作模式(卷簾曝光，全局曝光)的選擇，觸發模式(脈沖觸發，電平觸發)，開窗大小，數據讀出順序，帶寬配置和ADC工作模式設置等。通過JTAG接口設置相機寄存器的狀態時序如下圖所示，48個寄存器由6 bit尋址表示，在選擇對應寄存器后將32 bit信息寫入。

圖3 sCMOS相機寄存器寫時序Fig．3Writing timing of sCMOS camera

sCMOS控制模塊正確配置偏置電壓和工作模式將處于等待觸發狀態，卷簾快門工作模式下芯片可工作在FREE_RUN模式，直接輸出的數據即為兼容Camera link接口信號，可通過簡單處理直接輸出至控制計算機采集。本文設計內容主要針對全局快門工作模式下的時序控制，CIS-2521像素結構與觸發控制時序如圖4所示，TX2為高電平時直接將光電二極管復位到參考電平，為低電平時光電二極管開始積累電荷，TX1為高時電荷轉移到節電容Cfd被讀出。而為了消除Cfd上受M3復位信號引入的復位噪聲，在有效電荷轉移到Cfd之前，應對Cfd上存在的噪聲電荷進行讀出。表現為在讀出有效信號幀之前事先讀出一幀僅包含噪聲的復位幀。當READ信號翻轉時，根據DATA_DSEL的值決定讀出是復位幀還是數據幀。為了有效清空光電二極管殘余電荷并且不影響復位幀信號讀出，TX2在讀出信號空閑期間提供，即在CHARGE_TRANS低電平期間，以脈沖的形式復位光電二極管，TX2最后一個脈沖的下降沿開始時光電二極管開始積分，TX1脈沖上升沿到來時信號被轉移到節電容等待讀出。經過正確時序控制的sCMOS器件將輸出幀有效FVAL，行有效LVAL控制信號以及對應數據。

圖4 sCMOS像素結構與觸發控制時序Fig．4Control timing and the pixel structure of sCMOS

3．3圖像數據采集模塊

圖像數據采集模塊用于將來自sCMOS的輸出數據緩存轉換成易于操作的數據模式，并根據所采集幀類型進行下一步的數據分配，數據采集模塊數據流程圖如圖5所示。sCMOS感器分為兩個區域分別輸出時鐘頻率為287 MHz的22 bit格雷碼數據，峰值速率達到1．54 GB/s，高速數據進入FPGA內后先經過碼制轉換模塊將ADC輸出格雷碼數據轉換成易于操作的二進制碼數據，并將高位補0～32 bit，通過FPGA內部高速FIFO進行行緩存，將287 MHz時鐘下32 bit數據輸出轉換為100 MHz時鐘下256 bit數據輸出，sCMOS兩個區域進入FIFO1，FIFO2的寫使能信號由各自區域輸出的LVAL得到，由于硬件電路的差異兩者可能有幾個像素時鐘延遲，為了同步處理兩個區域數據，兩個FIFO的讀使能由片上控制模塊產生，滿足異步時鐘讀寫控制轉換。FIFO3的目的是為緩存一行已做同步處理數據，通過判斷當前幀是復位幀還是信號幀，將數據讀出發送給高速緩存控制模塊或者圖像處理模塊。

圖5 數據采集模塊數據流程圖Fig．5Diagram of data stream for data capturing module

3．4高速緩存控制模塊

sCMOS一幀圖像數據量為2 560×2 160×22 bit，約14．5 MB，直接在FPGA內部緩存整幀處理將不能實現，設計中采用4片DDR3顆粒作為外部存儲器，4片DDR3顆粒容量達1 GB，帶寬最高可達12．8 GB/s，本設計運行時鐘為600 MHz，實際帶寬為9．6 GB/s，可以滿足對來自sCMOS的高速數據進行高速緩存。對DDR3底層操作采用XILINX提供的IP核控制，對DDR3的操作涉及多次讀寫，包括讀寫復位幀數據，讀寫處理后的數據幀數據，為保證讀寫效率，本文設計中以行為單位，每次操作將讀或者寫一行數據。高速緩存控制模塊如圖6所示，其中命令解釋模塊用于將多個讀或寫請求信號按照設定的優先級做并串轉換，避免同時到來的請求沖突，按照串行命令選擇對應需要存取的地址一同寫入命令地址FIFO，DDR3 IP核將逐一讀取FIFO中命令和地址交由IP核執行直到命令地址FIFO為空為止，同時根據相應命令將需要寫入的數據從WR_FIFO讀出或者將讀出的數據寫入RD_FIFO，讀寫的時刻和同步信號由需要讀寫的模塊提前產生，保證后續對數據處理時的及時供應。

圖6 存儲模塊控制器結構Fig．6Structure of controller for store module

3．5圖像處理模塊

圖像處理模塊是整個系統驅動程序中的核心模塊，主要完成以下4個功能:(1)數字域相關雙采樣。(2)高動態數據的合成。(3)圖像的預處理。(4)圖像輸出處理。圖像處理模塊結構如圖7所示，為了保證圖像數據處理過程中可靠性，整個處理模塊工作在100 MHz的時鐘下，最終數據以80 MHz，64 bit格式經Camera link接口輸出。

圖7 圖像處理模塊結構圖Fig．7Diagram of image processing module

數字域相關雙采樣模塊產生讀取FIFO3和高速緩存控制模塊的請求，將FIFO3中實時到來的信號幀行數據與對應存儲在DDR3中復位幀行數據讀出處理，為了保證兩行數據操作時的嚴格對齊，雙采樣模塊提前信號幀行數據一行時間將復位幀整行讀取緩存在高速緩存控制模塊的RD_FIFO中，當信號幀有效行到來時，將WR_FIFO與FIFO3同步讀出的512 bit數據進行處理。數字域相關雙采樣實際操作為兩幀數據做減法，FPGA內部實現時還應該考慮信號接近飽和和信號較小時，信號幀Isig直接與復位幀Irst相減會造成后續采集圖像失真的情況，在本設計中采用分3段處理的方式合成數字雙采樣后數據幀Idata。

數字相關雙采樣結果如圖8所示，從左往右依次為復位幀，信號幀，數據幀(為顯示高動態范圍圖像文中圖像均做線性拉伸變換)。由數據幀可發現信號幀中的列向噪聲已經基本去除，圖像質量有較大改善，該區域內圖像性噪比提高2．53 dB。

圖8 數字域相關雙采樣結果Fig．8Results of correlated double sampling in digital domain

經過數字相關雙采樣模塊處理后的512 bit數據由16個32 bit像素組成，其中32 bit數據中包含來自高低增益通道各11 bit有效數據，高增益通道輸出的數據具有更高的數據精度，低增益通道的輸出的數據可表示更大的動態范圍。系統通過串口控制設置了3種讀出模式，模式一是原始高低通道數據選擇輸出，不做任何處理。模式二采用相機手冊中建議的方式設定閾值，在高增益通道數據IH小于某個值IT時，選擇高增益通道數據IH輸出，而在大于IT時選擇低增益通道數據IL輸出。模式三設計了一種曲線擬合雙通道數據，將高低增益通道數據合成為16 bit數據輸出。模式一輸出的優點在于便于后續對原始數據的研究處理，模式二具有簡單高效，可直觀觀察到高動態范圍數據，但是由于采用閾值的方式，在閾值周圍的灰度值會出現跳躍的現象［5］。模式三的輸出減小了灰度跳躍的影響，輸出圖像可視性較強，考慮到易于FPGA內部實現，模式三的合成曲線規則設計為3段的形式，由公式(2)表述，［Ia，Ib］為數據銜接區間，其中k為高低通道增益之比，用于將高低增益通道數據量綱統一，考慮到由于各放大器差異k并非常數，實際操作中取均值計算，當選擇高通道增益為10倍。低通道增益為1倍時，實測k均值約為9．54。輸出合成16 bit數據IHDR中實際有效數據位寬為14 bit。

經模式三中方法合成的圖像如圖9所示。

由圖9可見原始的雙通道輸出圖像存在過暗或者過亮區域，經過合成高動態范圍圖像數據，圖像整體可視性有較大提高，11階漸變條紋能夠清晰展示出來。

圖9 高動態范圍圖像數據合成結果Fig．9Combining result of high dynamic range images

通過觀察采集的圖像，經過數字域相關雙采樣處理和雙增益合成的圖像還存在較多隨機分布的亮點或者暗點，以及少數壞點。圖像預處理模塊提供一些常用的濾波處理規則用于對圖像數據進行處理，可通過通信控制模塊設置選擇中值濾波，均值濾波，或不做處理直接輸出的功能。經過觀察采集圖像中包含大都為椒鹽噪聲類型，通過簡單的一維1×3的中值濾波就能達到很好的輸出效果。經過圖像預處理的數據流再次存入高速緩存區域供后續整幀讀出。

圖像輸出處理模塊主要功能是將在高速緩存區域的整幀數據逐行讀出，轉換成所需的輸出圖像數據格式輸出供控制計算機采集或者顯示用。本設計中將依據通信控制命令可裁剪輸出圖像大小，在80 MHz像素時鐘下以標準Camera_link Full模式信號輸出至控制計算機。

4 成像結果

圖10 sCMOS相機實物圖Fig．10sCMOS camera

設計的相機系統如圖10所示，系統上電從配置芯片加載程序后，通過控制計算機端編寫的相機系統操作軟件如圖11所示，通過控制軟件發送控制指令，接收通過Camera link接口獲取圖像數據進行顯示，系統在全畫幅模式(2 560×2 160)下對實際場景進行了實時拍攝，幀頻為50 fps，輸出像素深度16 bit，通過操作界面可選擇不同增益通道信號幀，數據幀或者復位幀輸出，控制高動態數據融合規則和圖像添加濾波效果。采集的測試圖像清晰，灰度層次分明，分辨率高，相機系統具有較高動態范圍。

圖11 sCMOS相機系統成像結果Fig．11Imaging result of sCMOS camera

5 結論

在分析了CIS-2521圖像傳感器的像素結構特點的基礎上，依照信號完整性和電磁兼容的要求，采用高性能FPGA和高速DDR3圖像緩存器件，設計實現了適合sCMOS在全局曝光模式下的高動態sCMOS成像硬件系統，通過分析sCMOS時序設計了高幀頻全局電子快門成像驅動控制程序，經過實際成像測試表明所設計的高動態相機系統工作穩定，可操作性強，輸出50幀/s，2 560× 2 160位寬16 bit圖像數據，有效數據深度為14 bit，基本滿足全局曝光模式下高清高速高動態范圍的CMOS相機需求，為下一步系統成像性能測試和性能改善奠定了硬件基礎。

［1］劉新明，劉文，劉朝暉．大面陣CMOS APS相機系統的設計［J］．光子學報，2009，38(12):3235-3239．

Liu X M，Liu W，Liu Z H．Design of a large area arrqy CMOS APS camera system［J］．Acta Photonica Sinica，2009，38 (12):3235-3239．(in Chinese)

［2］羅通頂，李斌康，郭明安，等．科學級CCD遠程圖像采集系統［J］．光學精密工程，2013，21(2):496-502．

LuoT D，Li B K，Guo M A，et al．Remote image acquisition system with scientific grade CCD［J］．Opt．Precision Eng．，2013，21(2):496-502．(in Chinese)

［3］張超，李洪文，賈建祿，等．高幀頻多通道圖像采集與顯示［J］．液晶與顯示，2013，28(4):593-597．

Zhang C，Li H W，Jia J L，et al．High frame rate and multiple channels digital image acquisition and display［J］．ChineseJournal of Liquid Crystals and Displays，2013，28(4):593-597．(in Chinese)

［4］楊東來，胡曉東，李俊娜．基于CMOS圖像傳感器的多斜率積分模式［J］．紅外與激光工程，2012，41(6):1499-1502．

Yang D L，Hu X D，Li J N，et al．Multiple slope integration based on CMOS image sensor［J］．Infrared and Laser Engineering，2012，41(6):1499-1502．(in Chinese)

［5］Sungho S，Shinya I，Satoshi A，et al．Column-parallel correlated multiple sampling circuits for CMOS image sensors and their noise reduction effects［J］．Sensors，2010，10(12):9139-9154．

［6］李曉晨，姚素英，黃碧珍，等．一種應用于高動態范圍CMOS圖像傳感器的曝光控制技術［J］．傳感技術學報，2013，26(3):328-332．

Li X C，Yao S Y，Huang B Z，et al．A novel high dynamic range exposure control for CMOS image sensor［J］．Chinese Journal of Sensors and Actuators．2013，26(3):328-332．(in Chinese)

［7］韓紅霞，孫航，曹立華．基于FPGA的紅外相機時序構造設計［J］．液晶與顯示，2014，29(3):370-376．

Han H X，Sun H，Cao L H．IR camera sequence construction design based on FPGA［J］．Chinese Journal of Liquid Crystals and Displays，2014，29(3):370-376．(in Chinese)

［8］孫宏海，李澤學，紀華，等．半導體制冷型高幀頻CMOS數字攝像機及其成像噪聲分析［J］．光學精密工程，2008，16 (10):2038-2044．

Sun H H，Li Z X，Ji H，et al．High frame rate CMOS digital camera by semiconductor refrigeration and its imaging noise analysis［J］．Opt．Precision Eng．，2008，16(10):2038-2044．(in Chinese)

Design of high dynamic scientific CMOS camera system

HE Shu-wen1，2*，WANG Yan-jie1，SUN Hong-hai1，ZHANG Lei1，2，WU Pei1，2
(1．Changchun Institute of Optics，Fine Mechanics and Physics，Chinese Academy of Sciences，Changchun 130033，China; 2．University of Chinese Academy of Sciences，Beijing 100049，China)

In order to meet the demands of high dynamic range for CMOS camera under the mode of global shutter，a camera system is designed based on CIS-2521 sCMOS image sensor device．By analyzing the readout structure characteristics of pixel of CIS-2521 chip and the driving timing under the mode of global shutter，we choose FPGA with DDR3 as the processing structure and complete the design of SOPC including the control of imaging parameters，driving timing of sCMOS，capturing the image data，image preprocessing and so on，and introduces the function of every module．The designed camera realizes the imaging output of 50 frames of 2 560 ×2 160 pixel and 14 bit depth with high sensitivity，high dynamic range per second by the imaging test，and it meets the requirement of scientific imaging．

scientific CMOS;high dynamics;global shutter;image processing

TP212

A

10．3788/YJYXS20153004．0729

何舒文(1988－)，男，湖南郴州人，博士生，主要從事圖像處理、高速相機設計等方面的研究。E-mail: 250071113@qq．com

1007-2780(2015)04-0729-07

2014-09-26;

2014-10-20．

國家863計劃(No．2013AA7031010B)

*通信聯系人，E-mail:250071113@qq．com