基于AM41V4傳感器的高清高速CMOS相機系統設計

李方寧，王延杰，張 濤，孫宏海

（1.中國科學院 長春光學精密機械與物理研究所，吉林 長春 130033；2.中國科學院大學，北京 100049）

1 引 言

隨著固態圖像傳感器技術的飛速發展，CMOS（互補金屬氧化物半導體Complementary Metal－Oxide Semiconductor）高清高速相機成為可能。攝像機也由當初的硅靶型真空管攝像機，FPS（聚 焦 投 影 和 掃 描 Focus Projection and Scanning）攝像機，CCD（電荷耦合元件Chargecoupled Device）攝像機發展到當前的CMOS攝像機，相機拍攝幀頻也由數十幀升高為數千幀。采用CMOS圖像傳感器的高分辨率高幀頻攝像設備也廣泛用于國防、科研和工業等領域：國防軍事中，CMOS相機可用于快速捕捉高速飛行目標的運動軌跡，滿足對其測試監控的需求；科學研究中，CMOS相機將各種高速實驗過程記錄下來，更好的為科研提供有用的實驗數據；工業研發中，CMOS相機適用于各種行業的工藝研究，產品創新及測試環節，推動了生產力發展［1］。與傳統CCD圖像傳感器相比，CMOS圖像傳感器具有工藝簡單、集成度高、成本低、功耗低、捕捉速度高和開發周期短等顯著優勢，通過綜合對比，CMOS圖像傳感器更適合應用于高分辨率高幀頻相機系統［2］。

目前生產高清高速相機的大都是美國、加拿大、德國、瑞士等西方發達國家，他們對CMOS高清高速相機系統的開發具有豐富的經驗和大量成功的先例。國外的高清高速相機通常幀頻都達到1000fps以上，分辨率高達百萬像素以上。和國外相比，國內自主研發的高清高速相機在產品種類和產品質量兩方面都亟待提升，對高分辨率高幀頻的CMOS成像系統的開發也不容忽視，現在我國的高分辨率高幀頻攝像設備多通過進口引入國內［3－7］。為打破這一格局，國內急需展開含自主知識產權的高分辨率高幀頻相機的研究，掌握包含傳輸、控制、存儲和處理在內的核心技術，積累相機開發經驗，這對滿足將來我國在高清高速拍攝領域的需求具有積極推動意義。

本文對高速CMOS圖像傳感器AM41V4進行了簡要介紹，并基于該傳感器設計了高分辨率高幀頻相機系統。

2 CMOS圖像傳感器

2.1 AM41V4的基本性能

AM41V4是美國ALEXIMA公司開發的一款針對高速機器視覺和運動分析應用的高分辨率高幀頻CMOS傳感器芯片。該芯片擁有2 368×1 728像素，有效像素為2 336×1 728，像元尺寸為7μm×7μm，滿幅分辨率下幀頻為500fps。同時AM41V4還具有ROI（感興趣區域讀取Region of Interesting）功能，在進行開窗操作時，可以通過AM41V4的控制接口進行設置，使其可以輸出我們指定窗口內的圖像數據。采用ROI方式可以有效減小圖像數據大小，提高圖像輸出幀頻。

AM41V4的主要特征參數見表1。

表1 AM41V4圖像傳感器參數說明Tab.1 Performance specifications of AM41V4image sensors

2.2 AM41V4的內部結構

AM41V4像素內采用了5T晶體管結構（如圖1所示），具有全局快門模式。全局快門保證陣列中所有像素都能同時啟動和終止光積分，避免了拍攝高速運動所產生的果凍效應。

圖1 快門像素簡圖Fig.1 Simplified diagram of the shutter pixel

圖1中PD是光電探測器，FD為像素內存，RST為CMOS晶體管。在AB門上加載‘PD＿n’信號，當‘PD＿n’低置時，允許相機進行曝光，當其高時，光電探測器PD復位；在TX門上加載‘TX＿n’信號，當‘TX＿n’低置時使電荷從光電探測器PD轉移到像素內存FD；CMOS管RST上加置‘PRST＿n’信號，‘PRST＿n’低置時重置像素內存FD，‘PRST＿n’與‘TX＿n’配合使用時可以重置像素內存。所以，如果需要清除整個像素，如長時間的停頓后，將‘PD＿n’高置，‘TX＿n’和‘PRST＿n’低置，則能清除之前所積存下來的暗電流電荷像素。

AM41V4圖像傳感器的內部框圖如圖2所示，主要由像素陣列，兩個列讀出模塊，一個四象限讀出控制體系及一些內部產生的偏置電壓構成。

AM41V4圖像傳感器的可讀像素為2 368×1 728，由2 336列有效像素陣列和32列暗陣列組成。AM41V4有16個端口，每個10位，共有160位數據輸出管腳。AM41V4的兩個列讀出塊分別位于芯片的頂部和底部，其中包括每列的采樣電路，放大電路，和帶有可讀SAR（逐次逼近寄存器Successive Approximation）的 ADCs（數字模擬轉換器 Analog to Digital Converter）寄存器，讀出的ADC數據暫時存儲在其中。將寄存器的讀出及傳感器控制驅動作為一個四象限讀出控制體系，這種四象限結構使其能越過SAR ADCs寄存器進行局部控制和局部數據的讀出，對于高速運行的傳感器是來說是至關重要的。

圖2 AM41V4傳感器框圖Fig.2 AM41V4sensor block diagram

3 相機系統的總體方案設計

3.1 相機系統的性能指標

相機系統承擔著試驗過程中場景到電信號的轉換，是整個高清高速攝影系統中至關重要的組成部分，它的性能指標直接影響到整個相機系統的應用場合定位。

通過綜合分析國內外相關產品參數，并結合AM41V4的性能參數，我們提出了本設計的性能指標：

（1）相機分辨率為1 920×1 080像素；

（2）在1 920×1 080像素拍攝時幀頻為1 000幀；

（3）可由上位機軟件配置傳感器各項參數，選定圖像尺寸；

（4）可依具體的拍攝需求靈活改變工作模式。

3.2 相機系統架構

基于圖像傳感器AM41V4的高清高速相機由相機采集模塊、相機控制存儲模塊以及相機接口模塊3部分組成，如圖3所示。

相機采集模塊主要有相機鏡頭和CMOS圖像傳感器構成，CMOS傳感器收集通過鏡頭射入的光信號并將其轉換成數字信號供后續電路使用。控制模塊采用FPGA（現場可編程門陣列Field Programmable Gate Arrays）作為系統核心控制，FPGA承擔為其他系統芯片提供驅動時序和控制信號的工作，從而使相機系統正常運轉。加入高速大容量DDR3動態存儲器作為成像暫存器，配合HDMI高清接口可提供幀頻顯示功能。選擇光纖接口構建相機接口模塊，可滿足相機高速實時傳輸的需求。

圖3 AM41V4相機結構框圖Fig.3 Structure block diagram of AM41V4 CMOS camera

3.3 相機采集模塊

鏡頭和CMOS圖像傳感器構成采集模塊，CMOS傳感器通過接受拍攝現場的光信息，利用光電效應將光信號轉化成電信號，再通過CMOS內部集成的A／D轉換器直接將拍攝所得的信息以數字信號形式傳送給控制模塊的FPGA［9］。

驅動時序是CMOS成像單元設計的重要一環。CMOS圖像傳感器AM41V4的滿幅像素陣列為2 368V×1 728H，根據這一特點，驅動時序分為行時序與幀時序。行時序控制每行2 368個像素數據的輸出。

圖4 高幀頻AM41V4行時序圖Fig.4 Row timing of high frame rate AM41V4 sensor

由于AM41V4具有ROI功能，選取像素為2 336V×1 080H的感興趣區域圖像進行驗證，系統行時序中（見圖4），“st＿read＿n”和實際“data”輸出之間有4個時鐘周期的延遲。圖像每行有2 336個有效像素和32個暗像素，傳感器在每個時鐘周期輸出一組（16個）像素的數據，完成一行數據輸出需要2 368÷16＝148個時鐘周期，一個完整的行時序實際占用了148＋4＝152個時鐘周期，此時完成了一行數據的輸出，行時序結束。數據共有1 080行，因此1 080個行時序正好把一幀的圖像數據輸出完畢，構成一個完整的幀時序。由行時序占用的時間與幀時序的構成，可以算出完成一幀圖像所占用的時鐘周期數為N＝1 080行×152＝164 160個時鐘周期。在時鐘主頻170 MHz的時候一個完成的幀時序占用時間為t＝164 160÷170 000 000＝0.000 966s，即占用時間約為1ms。由此可以算出時鐘主頻為170MHz時傳感器的的分辨率為2 336V×1 080H，幀頻約為1 000fps，通過FPGA處理剪裁掉416列，得到標準高清像素1 920V×1 080H，此時幀頻仍為1 000fps，滿足高清高速標準。使用行時序構成幀時序的設計方法借鑒了CMOS圖像傳感器的特點，有利于進行設計，在實際電路中也有利于進行仿真與調試。

圖5 高幀頻AM41V4幀時序圖Fig.5 Frame timing of high frame rate AM41V4 sensor

在FPGA驅動下AM41V4傳感器使用一個二進制編碼進行外部行尋址（row0－row10），地址對應的有效像素為0～1 079。從像素中讀出信號時傳感器控制模塊產生一個內部脈沖序列操作，這些操作包括讀出存儲在FD節點的信號，使用PRST＿n和TX＿n控制信號重置像素，使讀出的信號對應重置的像素。為了讀取選定行像素和進行像素信號AD轉換，需要發送一個Start Row控制信號（“st＿row＿n”）。讀出一個像素行并將其數字化需要使用一定數量的時鐘。這個時鐘數量與將移芯片中所有數字數據輸出所需的時鐘數是相匹配的。所以，在第一行的像素信號數字化完成后，可以發送Start Read控制信號（“st＿read＿n”）來讀出數字數據。同時，可以運用Start Row脈沖到下一個選定行。

AM41V4供電要求比較復雜，偏置電壓較多，電壓說明見表2。

表2 AM41V4圖像傳感器電壓說明Tab.2 Power specifications of AM41V4image sensors

由于需要的偏置電壓較多，在系統電路設計中應綜合考慮元器件管腳數量及位置分布情況，使得電源和地到相應的管腳距離最短。

3.4 相機控制模塊

相機系統采用FPGA作為邏輯主控器件，FPGA采用 XILINX公司的 Kintex－7系列XC7K325T芯片，依據不同的需求進行現場可編程，充分利用電路板空間，使相機系統小型化。FPGA是系統的“指揮中心”，用來調節整個相機系統的工作，FPGA需要為系統每個狀態提供邏輯控制，為狀態間的跳轉提供必要的控制信號，保證整個圖像數據流的完整通暢［8］。FPGA在邏輯上所要實現的功能有：各芯片及邏輯的時序控制、CMOS工作參數的配置、高速圖像數據的接收與緩存、DDR3的讀寫控制，HDMI顯示控制及相機接口的控制。FPGA的功能框圖見圖6。

圖6 FPGA功能框圖Fig.6 Frame timing of high frame rate AM41V4 sensor

前已述及，高幀頻CMOS成像系統最高工作幀頻為1 000fps，通過FPGA處理后的圖像大小為1 920V×1 080H 像素，數據速率約為20 Gbit／s，系統通過引入高速大容量DDR3動態存儲器作為成像暫存器，配合HDMI接口進行幀頻顯示，從而進行實時的監測。

為滿足需求，DDR3芯片的選型主要基于兩點：內部容量和工作頻率。考慮到AM41V4的輸出數據率很高，為確保完整的接收和儲存高速的數據流，在選擇DDR3芯片時須注意頻率和帶寬參數。本設計最終選擇 Micron公司的MT8JTF12864HZ，其單片存儲容量為1GB，位寬64bit，數據傳輸速率最高為1 600Mb／s，可滿足系統幀頻實時監控需求。

3.5 相機接口模塊

相機接口用來完成系統圖像數據的傳輸任務。由于相機圖像采集數據量很大，因此對相機接口的傳輸速度有很高的要求。工業攝像常用的接口類型如表3所示。

表3 工業相機接口比較Tab.3 Comparison of camera interfaces in industry

續表

通過相機接口特點的對比和本系統性能指標的要求，系統選用光纖通道（Fiber channel）作為相機接口，使用SFP＋ （小型化可插拔光模塊Small form factor Pluggable）光模塊進行光電轉換，變成光信號進行傳輸。SFP＋模塊具有高密度、低功耗、更低系統構造成本等顯著優點，它遵循ANSI T11協議，可以滿足光纖通道的8.5 Gb的應用［9］。本文相機系統實時傳輸圖像數據時理論帶寬值約20Gbps，由于光纖通道最大理論帶寬值為8.5Gbps，我們選用3個SFP＋光模塊來進行數據轉換，再通過光纖進行數據傳輸［10］，滿足相機實時傳輸高清高速圖像數據的要求。

4 系統測試及分析

系統在進行測試試驗中，選用轉動的風扇作為高速運動的目標，3個風扇葉上分別標注進行數字1、2、3標注，圖7為相機實驗環境。

圖7 相機系統測試環境Fig.7 Testing environment of camera system

系統測試過程中，相機系統可通過DDR3動態存儲器對前端CMOS拍攝的圖像進行暫存，通過HDMI接口連接顯示設備，進行拍攝過程中的實時監控，同時，相機系統通過光纖通道實時傳輸獲取到的圖像數據，從而對高速運動目標進行實時追蹤拍攝。圖8（a）、（b）為相機系統在不同時鐘主頻不同分辨率下實時拍攝高速運動風扇的圖像取樣。

圖8 不同條件下相機系統拍攝的圖像Fig.8 Images taken with the camera system under different conditions

圖8（a）為時鐘主頻140MHz，圖像分辨率2 336V×1 728H時拍攝的圖像取樣，此時的幀頻約500fps；圖8（b）為時鐘主頻170MHz，圖像分辨率1 920V×1 080H時拍攝的圖像取樣，此時的幀頻約1 000fps。

5 結 論

本設計將ALEXIMA公司的AM41V4型號CMOS圖像傳感器運用在高速數字相機系統中，與國內其他相機相比在分辨率、傳輸速度及高速實時顯示方面都有很大的提升：基于AM41V4傳感器芯片構建的相機系統采用FPGA作為系統控制核心，光纖通道作為相機接口，在分辨率為1 920V×1 080時實時傳輸速度可達1 000幀／s，滿足高清高速相機標準；在高速相機內部引入了高速大容量DDR3動態存儲器作為成像暫存器，配合HDMI高清顯示接口可以實現幀頻實時監控功能。本系統可以根據用戶需求在不改變系統硬件的前提下進行擴展，使系統更加靈活，應用范圍更加廣泛。

［1］ 蘇宛新.一種高幀頻CMOS圖像傳感器系統設計［J］.液晶與顯示，2013，28（6）：955－962.Su W X.Design of high frame frequency CMOS image sensor system ［J］.Chinese Journal of Liquid Crystals and Displays，2013，28（6）：955－962.（in Chinese）

［2］ 孫宏海，劉艷瀅.兩種高速CMOS圖像傳感器的應用與測試［J］.中國光學，2011，4（5）：453－460.Sun H H，Liu Y Y.Application and test of two different high－speed digital CMOS image sensor［J］.Chinese Optical，2011，4（5）：453－460.（in Chinese）

［3］ 董巖，張濤，李清軍，等.基于PCI總線的CMOS圖像傳感器OV6620的驅動設計［J］.液晶與顯示，2010，25（3）：460－465.Dong Y，Zhang T，Li Q J，et al.Design of image aquision system based on PCI bus［J］.Chinese Journal of Liquid Crystals and Displays，2010，25（3）：460－465.（in Chinese）

［4］ BlossH S，Ernst J D.High－speed－camera based on a CMOS active sensor［J］.Proc.SPIE，2000，3968：31－38

［5］ HOLST G C.Electro－optical Imaging System Performance［M］.Bellingham：SPIE Optical Engineering Press，2006.

［6］ JANESICK J R.Photon Transfer：DN→λ［M］.Bellingham：SPIE Optical Engineering Press，2007.

［7］ 李豫東，汪波，郭旗，等.CCD 與 CMOS圖像傳感器輻射效應測試系統［J］.光學 精密工程，2013，21（11）：2778－2784.Li Y D，Wang B，Guo Q，et al.Testing system for radiation effects of CCD and CMOS image sensors［J］.Optical and Precision Engineering，2013，21（11）：2778－2784.（in Chinese）

［8］ 彭進業，金浩強，石劍虹，等.高速單像素相機數據采集系統［J］.光學 精密工程，2014，22（4）：837－843.Peng J Y，Jin H Q，Shi J H，et al.Data acquisition system for high speed single－pixel camera［J］.Optical and Precision Engineering，2014，22（4）：837－843.（in Chinese）

［9］ 李進，呂增明，陶宏江，等.適于高速 CCD圖像數據光纖傳輸的糾錯技術［J］.光學 精密工程，2012，20（11）：3548－3558.Li J，Lv Z M，Tao H J，et al.Error correction technology for CCD image using high speed optical fiber transmission［J］.Optical and Precision Engineering，2012，20（11）：3548－3558.（in Chinese）

［10］ 夏巧嬌，汪鼎文，張立國，等.高速多通道遙感相機快視系統的實現［J］.光學 精密工程，2013，21（1）：158－166.Xia Q J，Wang D W，Zhang L G，et al.Realization of fast－view system for high－speed multi－channel remote sensing camera［J］.Optical and Precision Engineering，2013，21（1）：158－166.（in Chinese）