小型CMOS相機系統設計及其硬件實現

徐冬冬,張 宇,聶 婷,張星祥,任建岳

(1.中國科學院長春光學精密機械與物理研究所,吉林長春 130033; 2.中國科學院大學,北京 100049)

小型CMOS相機系統設計及其硬件實現

徐冬冬1,2,張 宇1,聶 婷1,2,張星祥1,任建岳1

(1.中國科學院長春光學精密機械與物理研究所,吉林長春 130033; 2.中國科學院大學,北京 100049)

采用MT9V032型CMOS數字圖像傳感器設計了一款完整的小型化、低功耗相機.基于初級像差理論,設計了焦距為12.95 mm、F數為5的光學系統.該系統體積小、結構緊湊,在空間頻率83線對每毫米處,各視場調制傳遞函數均優于0.5;電子學系統以現場可編程門陣列作為時序控制平臺,控制CMOS輸出數字視頻信號,數字視頻信號通過差分芯片以低壓差分信號格式輸出到圖像采集卡,最后在計算機上成像.實驗結果表明,這種相機像質良好、功耗低、移植性強、可靠性高.當時鐘為26.6 MHz時,幀頻為60幀/秒,并可通過調節內部寄存器的值實現多種模式,特別適用于對相機體積以及成像質量要求較高的場合.

光學設計;CMOS;像差;驅動電路;信噪比

對互補金屬氧化物半導體(Complementary Metal-Oxide-Semiconductor transistor,CMOS)圖像傳感器的研究始于20世紀60年代.起初由于工藝水平的限制,CMOS一直沒有得到市場的重視.隨著CMOS工藝的進步以及設計水平的提升,信噪比、動態范圍、量子效率等問題得以解決,圖像的質量顯著提高.與光電耦合器件(Charge-Coupled Device,CCD)相比,CMOS具有功耗低、成本低、集成度高、抗輻射能力強等明顯的優勢.因此,CMOS已在諸多領域取代了CCD,成為理論研究與工程開發中的熱點話題[1-6].

筆者以CMOS為研究對象,基于現場可編程門陣列(Field Programmable Gata Array,FPGA)設計了一款分辨率為752 H×480 V,電路板大小為3 cm×2.2 cm的雙層小型化、低功耗相機,并重點介紹了相機的光學設計和電子學設計部分.針對光譜范圍為0.49～0.66μm的譜段,實現了折射式光學系統設計,所設計的像元角分辨率為4.6×10-4rad,為小型相機的光學系統設計提供一個可行性方案.電子學設計采用現場可編程門陣列作為主控制器[7-9],嚴格控制信號的時序關系.這種相機工作性能穩定,在光線較暗的情況下可以保證很高的成像質量,同時小型化、低功耗的成像系統非常適合對載荷的體積、重量以及功耗等方面有嚴格要求的場合.

1　MT9V032型CMOS成像系統工作原理

CMOS成像系統主要由光學鏡頭、CMOS圖像傳感器、現場可編程門陣列控制器、驅動電路等部分組成.CMOS成像系統的工作原理為:通過超高速集成電路硬件描述語言(Very High speed integrated circuit hardware Description Language,VHDL)對現場可編程門陣列編程產生CMOS所需的時序信號,經過集成電路總線(Inter-Integrated Circuit,IIC)供給CMOS傳感器.CMOS安裝在光學鏡頭的焦平面上,在時序電路的驅動下,將光信號轉換成電信號,并通過內部集成的模數轉換器(Analog to Digital Converter,ADC)將模擬信號轉換成數字信號,數字信號經現場可編程門陣列緩存后,經過差分驅動芯片輸出到圖像采集卡,最后顯示在成像設備上.

2　相機光學系統設計

CMOS選用鎂光公司生產的MT9V032[10]型圖像傳感器,根據傳感器像面尺寸、像元尺寸等參數以及應用需求,確定光學系統的設計參數(如表1).

表1　光學系統設計參數

圖1　光學系統結構布局

圖2　調制傳遞函數曲線

光學系統結構布局如圖1所示,所有鏡面均為球面.優化后的系統調制傳遞函數如圖2所示.可見,該光學系統易于加工,結構合理,體積小,成像質量良好,滿足設計要求.

3　基于現場可編程門陣列的CMOS時序系統設計

3.1MT9V032結構及時序分析

MT9V032是Aptina公司生產的36萬像素數字圖像傳感器,總像素為782 H×492 V,其中有效感光像元為752 H×480 V,像元尺寸為6.0μm×6.0μm.最高讀出頻率為26.6 MHz,擁有全局快門,支持漸進讀出模式以及隔行讀出模式,最高幀頻可達60幀/秒.同時,可實現自動曝光控制以及自動增益控制,在保持CMOS尺寸、價格以及集成度的前提下,實現了同樣分辨率CCD的成像質量.

在垂直方向,MT9V032上部有8行暗像元,1行啞像元;下部有2行啞像元.在水平方向,左邊有26列暗像元,1列啞像元;右邊有2列啞像元.這些暗像元可以對暗電平進行監控.8行暗像元用來實現自動暗電平調節,還可通過將傳感器設置成原始數據輸出模式來讀出中間的4行暗像元.啞像元用來改善有效區域內圖像的一致性.除此之外,還有1行和1列用來實現傳感器水平和垂直方向的鏡像讀出.

要實現MT9V032的時序電路,主要是通過集成電路總線進行寄存器配置.集成電路總線定義的傳輸碼由開始位、從機地址、應答位、信息位以及結束位組成.發送完開始位后,主機開始發送八位地址位.地址的最后一位為“0”,代表寫命令;最后一位為“1”,代表讀命令.表2為從機地址模式表.從表2中可知,通過兩個輸入管腳S_CTRL_ADR1和S_CTRL_ADR0,MT9V032可實現4種從機地址.如果收到地址信息,則從機會向主機發送應答位;反之,主機則會重新發送地址位直到從機向主機發送應答位.MT9V032內部的寄存器有16位數據,所以需要傳輸2次.傳輸完16位信息,寄存器地址自動增加,接著寫入下一個寄存器的16位地址.寫完所有寄存器信息之后,主機發送結束位,寫入停止.

表2　從機地址模式

3.2寄存器配置

3.2.1操作模式選擇

MT9V032內部共有152個寄存器.由于系統保留的寄存器以及只讀寄存器不需要配置,因此只需配置其中的94個寄存器便可實現成像功能.通過對寄存器配置不同的值,可實現多種操作模式.MT9V032共有3種操作模式,分別為主機模式、快照模式以及從機模式.主機模式有并行和串行兩種操作方法,在并行過程中,曝光和讀出同時發生,使該模式的速度最快.與主機模式不同,快照模式接收外部觸發信號,并由觸發信號進行初始化控制.該模式可采集單獨的一幅或一系列圖像,通過對曝光時間進行更改以實現幀率的變化.傳感器的EXPOSURE,STFRM_OUT以及STLN_OUT管腳控制從機模式的曝光以及讀出.通過該模式,傳感器可讀出垂直消隱行.這3種模式可根據需要通過調節寄存器R0x07的值進行方便切換.

3.2.2信號路徑內容設置

MT9V032的信號路徑由可編程增益、可編程模擬補償以及10位模數轉換器部分組成,下文將對這3個部分所需寄存器如何配置進行詳細說明.

當寄存器R0x80-R0x98的值發生變化時,數字增益將在下一幀圖像中發生變化.然而,模擬增益的變化則依賴于自動增益控制.如果將寄存器R0x AF的第2位設置成邏輯高電平,系統將實現自動增益控制,第n幀的增益變化將在第(n+1)幀體現;如果自動增益控制失效,第n幀的變化將在第(n+2)幀中體現.如果自動增益控制失效,則可通過編程更改增益.模擬增益公式為

其中,a為寄存器R0x35的低7位,步長為0.0625,增益范圍為1倍到4倍.在計算數字增益時,首先要通過寄存器R0x99-R0x A4將圖像分成25塊,然后分別計算每塊的數字增益.數字增益公式為

其中,b為寄存器R0x80-R0x98的低4位,增益范圍為0.25倍到3.75倍.

通過調整寄存器R0x4C,R0x42,R0x46,R0x47,R0x48的值可實現自動暗電平校準,校準結果可用于模擬補償.自動暗電平校準測量2行暗像元像素的平均值,然后利用該值與可接受的最低電平和最高電平進行比較.若低于最小值,補償電壓將通過寄存器R0x4C的最低位的值以一定補償進行自加;若平均值高于最大值,則進行相應的自減.補償電壓計算公式為

其中,c為寄存器R0x48的低7位,d為寄存器R0x48的第8位.模數轉換器的輸入電壓為

其中,e為像素輸出電壓.其余寄存器的值可根據需要調整.

3.3時序仿真

Altera公司CycloneⅣ系列現場可編程門陣列采用經過優化的60 nm低功耗工藝.與前一代產品相比,總功耗降低了30%,同時簡化了電源分配網絡,減少了電路板的設計面積,特別適合體積小、成本低、功耗低的系統.芯片EP4CE15具有高達20個時鐘控制模塊、豐富的邏輯資源以及大量用戶I/O[11],在保證體積和功耗的前提下可實現復雜、嚴格的時序設計,完全滿足CMOS成像系統中時序產生、電路控制以及數據緩存等眾多要求.

系統在QuartusⅡ13.1開發環境下,使用硬件描述語言(VHDL)編寫時序程序,采用自上而下的模塊化編程方法.通過調節內部寄存器的值,可實現多種模式間的切換.仿真采用Modelsim 10.2,圖3和圖4為部分仿真結果.

圖3　仿真開始階段

圖4　仿真結束階段

在時鐘信號保持高電平期間,輸出的數據從高電平變為低電平,此時程序開始.程序開始后,輸入寫地址位,然后等待應答,收到應答后輸入首個寄存器地址,依次將各個寄存器的值寫入,寄存器全部寫完后,在應答后下一個時鐘信號高電平期間,拉高數據電平,程序結束.

4　小型化設計

為了滿足小型化板的設計要求,印刷電路板(Printed Circuit Board,PCB)應滿足小、輕、薄的設計特點[12].本系統采用兩塊大小均為3 cm×2.2 cm的6層印刷電路剛性板,厚度為1.2 mm,兩端通過連接器相連.前端電路板放置傳感器、電源芯片等,后端電路板放置現場可編程門陣列及其配置電路.

同時,對該系統進行了電磁兼容設計[13-14]:為了保證電源穩定、降低電路阻抗以及縮短配線長度,采用內層為電源層的多層電路板;為了避免數字信號與模擬信號之間相互干擾,將數字地與模擬地進行隔離,并通過0Ω電阻進行連接;為了濾除干擾,在所有電源管腳處連接了0.1μF的去耦電容.盡量采用直線連接,以避免T形連接線在連接部位反射.

5　實驗結果

本系統采用自主設計的光學鏡頭進行成像實驗,視頻數據經過圖像采集卡傳輸到上位機進行成像實驗.圖5為相機實物圖,從圖中可以看出系統體積特別小,長、寬、高只有3 cm、2.2 cm和4 cm,具有很強的靈活性以及便攜性.

成像系統不僅體積小,而且功耗低,所占用的資源特別少.系統使用了421個邏輯單元,只占總資源的3%;使用了39個邏輯寄存器,不到總資源的1%;使用了1個鎖相環,占總數量的25%.因此,系統非常適用于對功耗有特殊要求的場合.

圖5　相機實物圖

圖6　MT9V032成像效果圖

為驗證成像系統的成像效果以及工作穩定性,進行了相機室內拍攝實驗.相機連續工作10 min,系統工作正常.當時鐘為26.6 MHz時,幀頻為60幀/秒.圖6為室內拍攝效果圖,成像分辨率為752 H×480 V,由圖可知,相機拍攝清晰,內容豐富,成像系統完全滿足設計要求.

6　總 結

筆者以現場可編程門陣列作為核心控制器件,使用MT9V032型圖像傳感器,設計并實現了一款功能完整的小型相機.采用易于加工、結構合理、體積小的光學系統,設計電路兼顧電磁兼容的同時選用性能高且功耗低的器件.實驗結果表明,該相機的成像質量與同分辨率CCD成像系統的成像質量相媲美,并可實現多種模式切換.

[1]劉術彬,朱樟明,趙揚,等.一種具有延遲校準功能的可編程多相位時鐘電路[J].西安電子科技大學學報,2014,41 (6):67-74. LIU Shubin,ZHU Zhangming,ZHAO Yang,et al.Programmable Multi-phase Clock Circuit with Delay Calibration[J]. Journal of Xidian University,2014,41(6):67-74.

[2]付敏,彭東林,魯進,等.基于時間參考點的差動式線陣CCD位移傳感器[J].光學精密工程,2014,22(4):957-962. FU Min,PENG Donglin,LU Jin,et al.Differential and Linear CCD Displacement Sensors Based on Time Reference Points[J].Optics and Precision Engineering,2014,22(4):957-962.

[3]賀小軍,曲宏松,張貴祥,等.掃描鏡穩定度對TDI CCD測量精度的影響[J].中國光學,2014,7(4):665-671. HE Xiaojun,QU Hongsong,ZHANG Guixiang,et al.Impact of Scan Mirror Stability on TDI CCD System Measure Accuracy[J].Chinese Optics,2014,7(4):665-671.

[4]夏璞,劉學斌,閆鵬.偏振透霧成像系統的設計與實驗分析[J].西安電子科技大學學報,2014,41(2):104-109. XIA Pu,LIU Xuebin,YAN Peng.Design and Experiment of Polarization Dehazing Imaging System[J].Journal of Xidian University,2014,41(2):104-109.

[5]冷雪,張雪菲,李文明,等.全幀CCD相機時間延遲積分模式下的圖像缺損[J].光學精密工程,2014,22(2):467-473. LENG Xue,ZHANG Xuefei,LI Wenming,et al.Image Defect of Full-frame CCD in TDI Mode[J].Optics and Precision Engineering,2014,22(2):467-473.

[6]張健,張玲花,劉立國,等.全景式航空遙感器TDI CCD精密裝調必要性分析及實現方法[J].中國光學,2014,7(6): 996-1002. ZHANG Jian,ZHANG Linghua,LIU Liguo,et al.Necessity and Implement Method of Precise Assembling of TDI CCD in Sweep Aerial Remote Sensor[J].Chinese Optics,2014,7(6):996-1002.

[7]MOSHE B.A Digital Gigapixel Large-format Tile-scan Camera[J].IEEE Computer Graphics and Application,2011,31 (1):49-61.

[8]MOSHE B.High Resolution Large Format Tile-scan Camera:Design,Calibration,and Extended Depth of Field[C]// 2010 IEEE International Conference on Computational Photography.Piscataway:IEEE,2010:5585095.

[9]黃輝,周進.基于現場可編程門陣列的CCD相機自動調光[J].光學精密工程,2014,22(2):426-433. HUANG Hui,ZHOU Jin.Auto-exposure for CCD Camera Based on FPGA[J].Optics and Precision Engineering, 2014,22(2):426-433.

[10]APTINA IMAGING INC.MT9V032 Datasheet[EB/OL].[2015-04-10].http://www.aptina.com.

[11]ALERA.Cyclone IV Device Handbook[EB/OL].[2015-04-15].http://www.altera.com.

[12]于雷.結構狀態監測的通用型小型化系統研制與開發[D].重慶:重慶大學,2008.

[13]徐祥桐.基于AMD CPU的高速電路板設計[D].濟南:山東大學,2013.

[14]孫守紅,郭立紅,葛欣宏.瞬變電磁場輻照下液晶顯示模塊的電磁兼容預測[J].光學精密工程,2014,22(12): 3160-3166. SUN Shouhong,GUO Lihong,GE Xinhong.EMC Prediction of Liquid Crystal Display Module Under Transient Irradiation in Electromagnetic Field[J].Optics and Precision Engineering,2014,22(12):3160-3166.

(編輯:郭 華)

Design and hardware implementation of the small-size CMOS camera system

XU Dongdong1,2,ZHANG Yu1,NIE Ting1,2,ZHANG Xingxiang1,REN Jianyue1
(1.Changchun Institute of Optics,Fine Mechanics and Physics,Chinese Academy of Scienses,Changchun 130033,China;2.University of Chinese Academy of Sciences,Beijing 100049,China)

A camera with a small-size and low-power is designed,using a CMOS MT9V032 as the digital image sensor.Based on the primary aberration theory,the optical system with the small size and compact structure is designed whose focal length is 12.95 mm and whose F number is 5,and the modulation transfer functions(MTF)of all fields are better than 0.5 at the spatial frequency of 83 lp/mm;we use FPGA as the timing control platform for the electronic system and the digital video signal of the CMOS output which is delivered through the differential chip in the low voltage differential signal(LVDS)output format to the image acquisition card.Finally,we can see the image on the computer.Experimental results show that the designed CMOS camera has a good image quality,low power,portability,and high reliability,and that the frame rate is 60 frames/s when the clock is 26.6 MHz,and it could achieve a variety of modes by adjusting the values of the internal registers,which is particularly suitable for the high requirements occasion in the camera volume and high imaging quality.

optical design;complementary metal-oxide-semiconductor transistor;aberrations;driving circuit;signal-to-noise ratio

TN201;TN911.73;TN386.5

A

1001-2400(2016)04-0117-06

10.3969/j.issn.1001-2400.2016.04.021

2015-06-10 網絡出版時間：2015-10-21

國家高技術研究發展計劃資助項目(863-2-5-1-13B)

徐冬冬(1987-),男,中國科學院長春光學精密機械與物理研究所博士研究生,E-mail:1069292478@qq.com.

網絡出版地址：http://www.cnki.net/kcms/detail/61.1076.TN.20151021.1046.042.html