兩通道按列輸出CMOS圖像的非均勻性及校正方法

楊國鵬,周　欣,陳　東,胡昌苗

(1.武漢大學 測繪遙感信息工程國家重點實驗室，湖北 武漢 430079;

2.中國天繪衛星中心，北京 102102;

3.中國人民解放軍95899部隊，北京 100085;

4.中國科學院 遙感與數字地球研究所，北京 100101)

?

兩通道按列輸出CMOS圖像的非均勻性及校正方法

楊國鵬1，3*,周欣2,陳東3,胡昌苗4

(1.武漢大學 測繪遙感信息工程國家重點實驗室，湖北 武漢 430079;

2.中國天繪衛星中心，北京 102102;

3.中國人民解放軍95899部隊，北京 100085;

4.中國科學院 遙感與數字地球研究所，北京 100101)

為確保航空遙感圖像產品相對輻射質量，提出了一種對兩通道按列輸出CMOS(互補金屬氧化物半導體)圖像的非均勻性進行校正的方法。以美國仙童公司CMOS探測器CIS2521F為例，通過實驗室積分球觀測試驗研究了暗電流噪聲、平均灰度、兩通道輸出等因素造成的圖像非均勻性；然后，基于實驗室積分球觀測數據，采用兩點線性法，校正了由按列放大輸出導致的列狀條帶噪聲；接著，通過優化拼接線附近圖像灰度差異統計結果，校正了兩通道響應不一致造成的圖像輻射差異。試驗表明，單通道圖像非均勻校正使積分球觀測圖像的平均非均勻度量值由4.4下降至2.4，兩通道圖像非均勻校正消除了兩通道圖像的目視差異。原始航空遙感圖像經過非均勻性校正后，圖像灰度均勻，能夠滿足遙感圖像判讀要求。

遙感圖像；CMOS；圖像非均勻性；兩通道輸出；輻射校正

*Correspondingauthor,E-mail:imageren@qq.com

1　引　言

航空光學成像系統多采用CCD(Charge Coupled Device)探測器，這是因為CCD探測器的輸出相對穩定、噪聲抑制良好，成像質量較高，但通常其幀頻有限、成本偏高[1]。針對CCD成像質量提升的研究很多，包括暗電流噪聲抑制、像元響應非均勻性校正、絕對輻射定標等[2,3]，經校正后，CCD探測一般能滿足定量遙感應用需求。CMOS(Complementary Metal-Oxide-Semiconductor)探測器具有低功耗、低成本、高集成度、可控開窗、大面陣、高幀頻等優點[4,5]，有利于實現小體積低能耗的相機系統，隨著CMOS工藝技術的發展，其在新型遙感載荷中的應用越來越多[6,7]。例如，美國仙童公司推出了具備低噪聲、高靈敏度、高幀頻等特點的面陣CMOS探測器CIS2521F，其可用于低照度環境下高質量成像[8]。該型CMOS探測器的像元分辨率為2 560(H)×2 160(V)，像元大小為6.5 μm；持具有卷簾、全局兩種快門方式，在低照度環境下卷簾快門的讀出噪聲小于2e-RMS，全局快門的讀出噪聲小于5e-RMS；最大快門達100 frame/s；具有上下兩通道，采用列放大器增強，最終采用11位數據輸出。CMOS探測器通常采用相關雙采樣技術抑制噪聲[9]，但采用全局曝光模式時，相關雙采樣方法失效，圖像中將出現明顯的列向噪聲。何舒文等[5]對硬件驅動電路進行了優化設計，通過在FPGA內完成數字域相關雙采樣和圖像預處理等算法，實現了全局曝光模式下高動態范圍圖像數據的獲取。周彥平等[10]還研究了電子輻射劑量對CMOS圖像傳感器性能的影響。

為保證采用CMOS探測器的航空相機獲取的圖像質量，本文將通過實驗室積分球觀測試驗和航空遙感試驗分析，研究了兩通道按列輸出CMOS探測器的非均勻性特點和圖像輻射校正方法。

2　非均勻性分析

本文采用積分球作為均勻場光源，首先分析了暗電流噪聲對成像的影響，然后分析了非均勻性隨圖像平均灰度值的變化特性，最后分析了兩通道輻射的非均勻性規律。

將CIS2521F安裝在光學系統均勻性良好的相機中，在實驗室內觀測不同輻照度的積分球獲取數字量化(Digital Number，DN)值。積分球觀測圖像的非均勻性用VNU值表示，計算公式為：

(1)

其中：VNU為圖像非均勻性NU值，VAvg為圖像均值，Vij為像素(i,j)處DN值圖，M與N分別為圖像像素長寬。

探測器系統非均勻響應依據多幅圖像的相關性來判斷。圖像間相關性采用相關系數表示，即：

(2)

其中：ρXY為圖像X與Y的相關系數，Cov(X,Y)為圖像X與Y的協方差，D(X)和D(Y)分別為圖像X、圖像Y的方差。

2.1暗電流特性分析

暗電流噪聲是影響成像非均勻性的重要因素，其通常會隨積分時間和CCD增益參數發生變化[11,12]。在實驗室暗場條件下，經過多次觀測取均值，確定每個像元的暗電流。如圖1所示，實驗中設四檔增益(×1, ×2, ×10, ×30)，六檔積分時間(1,100,200,600,1 250,2 400,單位：μs)。由于積分時間較短，暗電流平均DN值隨積分時間變化幅度不大。在不同增益條件下獲取6組平場數據，其相關系數顯示它們的相關性很小，例如圖2為某暗電流平場數據的增強圖，通過圖像可以發現暗電流噪聲呈現明顯的橫向條紋，這種橫向條紋的位置及強弱都是隨機的，無法通過定標消除。

圖1　暗電流平均DN值隨積分時間變化Fig.1　Dark current DN changed with integration time

圖2　暗電流平場數據增強圖Fig.2　Enhanced graph of flat avea data for dark current image

2.2灰度變化分析

實際成像過程中，圖像灰度值與入射能量，相機積分時間、相機增益有關。針對4組不同增益，利用具有相近DN值的多組數據統計平均相關系數，平均相關系數與平均DN值之間的關系如圖3所示。可見當平均DN值為1 500與2 000左右時，各增益情況下均具有較高的相關系數，平均相關系數超過0.9，這表明此時存在規律性的系統噪聲。某積分球狀態下原始圖像局部增強效果如圖4所示，由于探測器采用按列放大輸出方式，導致圖像存在有規律的線狀條紋。

圖3　平均相關系數與平均DN值的關系Fig.3　Average correlation coefficient changed with average DN

圖4　某狀態下積分球觀測數據增強圖Fig.4　Enhanced graph of integrating sphere observation image

2.3兩通道特性分析

當相機觀測積分球漏光時，兩通道圖像存在明顯的輻射差異，如圖5所示。通過分析發現如下規律：①存在光照條件差異時，兩通道輸出灰度會有明顯差異；②兩通道差異在拼接縫處非常均勻，接近某個固定數值；③不同成像條件下，兩通道數據的固定差值也不同。在實際成像中，由于兩通道觀測地表不同，成像幾何存在差異，導致兩通道存在輻射差異，有必要進行校正。由于拼接線處的輻射差異具有均一性，兩通道可以通過某改正值修正。由于地表復雜多樣性，只能通過成像數據來確定兩通道輻射差異值。

(a)實例一　　　　　　　　(b) 實例二(a)Example 1　　　　　　　(b)Example 2

(c) 實例三　　　　　　　　(d) 實例四(a)Example 3　　　　　　　(b)Example 4圖5　兩通道存在輻射差異的積分球觀測圖像Fig.5　Integrating sphere observation image with radiation difference between two channels

3　單通道非均勻性校正

在相同積分球輻照度和相機工作狀態下，重復觀測10組積分球數據，計算其均值圖像作為該狀態下去噪的參考圖像。設積分球輻照度為φ時均值圖像為V(φ)，像元灰度非均勻性校正模型：

VAvg(φ)=Vij(φ)+aij,

(3)

其中：VAvg(φ)為均值圖像V(φ)所有像素的均值，Vij(φ)為像素(i,j)處DN值圖，aij為像素(i,j)處的偏移量。

在獲取每個像元的偏移量aij后，既可對輻照度為φ的圖像進行輻射校正。為擴展像元輻射校正的適用范圍，采用兩點線性法校正[13]。在相同增益、相同積分時間下，如果發現在相鄰的兩個輻射亮度下存在系統噪聲，設相鄰輻照度分別為φ1與φ2，利用積分球在對應輻照度下重復獲取M組數據，計算得到對應的均值圖像V(φ1)與V(φ2)，可以建立以下像元非均勻性校正模型[14]：

VAvg(φ1)=aijVij(φ1)+bij,

(4)

VAvg(φ2)=aijVij(φ2)+bij,

(5)

其中：VAvg(φ1)與VAvg(φ2)為圖像V(φ1)與V(φ2)所有像素的均值，Vij(φ1)與Vij(φ2)為像素(i,j)處的DN值，aij與bij為像素(i,j)的偏移量。

利用式(6)與式(7)可以求出參數aij與bij。將各像元的增益aij與偏移bij組成增益與偏移矩陣，將各像元的實際響應與各自增益相乘，再加上偏移量，實現對光照條件位于φ1與φ2之間的情況下，逐像元的響應非均勻性校正。重復積分球觀測試驗獲取不同成像狀態下增益與偏移查找表，實現對特定相機系統噪聲的去除。

(6)

(7)

例如，增益檔位為×10、平均DN值為1 500左右的8幅平場數據，其相關系數都超過0.9，利用式(3)逐像元進行非均勻校正，校正前后NU值如表1所示，可見，平均NU值由4.4下降到2.4，校正效果明顯。某局部平場數據校正前后的結果如圖6所示，A為校正前局部增強效果，B為校正后圖像增強效果，A與B的像元灰度值三維顯示如C與D所示。由圖6可見，A有明顯的豎向條紋，B中豎向條紋已消除，說明由按列讀出放大器導致的非均勻性已得到校正，僅存在由暗電流導致的橫向條紋。針對增益檔位為×10時，平均DN值為2 000時的實驗結果類似。對于平均像元輸出值位于1 500到2 000的平場數據，則可以利用式(4)與式(5)進行非均勻校正。

表1　積分球觀測試驗觀測數據校正前后NU值比較

圖6　積分球觀測試驗數據像元非均勻性校正效果Fig.6　Pixel nonuniformity correction effect of integrating sphere test data

4　兩通道非均勻校正

依據2.3節的分析可知，假設兩通道接縫處的真實地表覆蓋連續，則成像幾何的光學特性相同，則可將兩通道接縫附近多行像素均值的差作為兩通道輻射校正值。實際成像中，可能存在像元響應非均勻性、相機鏡頭灰塵、地物邊界差異等因素，從而導致上述假設不完全成立，這時拼接縫附近有很多像素灰度值的差異過大。為準確估計兩通道輻射校正值并提升算法的魯棒性，不讓這些差異過大的像素點參與均值統計。確定兩通道輻射校正值后，對某一通道進行校正，即可消除輻射差異；如果拼接縫處存在細微邊界，則可通過羽化處理消除。

設從上至下兩通道拼接縫處的兩行分別為M、N，這里N=M+1，兩通道圖像非均勻性校正算法流程如下：

①統計第M-a行至第M行所有像素灰度值的均值Mean1，統計第N行至第N+a行所有像素灰度值的均值Mean2，初步計算兩通道輻射差異值Delat1=Mean1-Mean2，a的取值根據經驗確定，例如a=5；

②計算第M-a行至第M行每個像素灰度值與在同一列上第N行像素灰度值的差b，如果b>c·Delat1，則將該像素對應行所有像素標記為零；如果b

③統計第M-a行至第M行標記為1的像素灰度值的均值Mean1′，統計第N行至第N+a行所有像素灰度值的均值Mean2′，計算兩通道輻射差異值Delat1′=Mean1′-Mean2′；

④將第N行至最后一行所有像素灰度值增加Delat1′，對第M-d行至第N+d行的圖像進行羽化。d的取值根據經驗確定，例如d=5。

利用安裝有CIS2521F的航空相機進行遙感試驗，采用本文方法對遙感圖像進行批處理。試驗結果分析表明，兩通道圖像非均勻校正方法簡單并且魯棒，兩通道圖像非均勻校正后，整幅圖像灰度均勻，上下通道無差異。其中，某兩幅遙感圖像兩通道校正效果如圖7所示，拼接縫處局部圖像兩通道校正效果如圖8所示。

(a)圖像一校正前　　　　(b)圖像一校正后(a)Image 1 before correction　(b)Image 1 after correction

(c)圖像二校正前　　　　(d)圖像二校正后(c)Image 2 before correction　(d)Image 2 after correction圖7　某兩幅遙感圖像兩通道校正效果Fig.7　Two remote sensing images comparison before and after radiation rectification between two channels

(a)拼接處校正前(a)Mosaic seam image before correction

(b)拼接處校正后(b)Mosaic seam image after correction圖8　拼接縫處局部圖像兩通道校正效果Fig.8　Local image of mosaic seam comparison before and after radiation rectification between two channels

5　結　論

本文以新型面陣CMOS探測器CIS2521F為例，通過實驗室積分球觀測試驗研究了兩通道按列輸出CMOS探測器的均勻性特點，首先分析了暗電流噪聲對成像質量的影響，然后分析了非均勻性隨圖像平均灰度值的變化規律，最后通過統計分析了兩通道輻射非均勻性的規律。

針對某些狀態下單通道圖像存在系統非均勻性的特點，采用基于實驗室積分球觀測數據的兩點校正方法，經積分球觀測數據驗證，校正后由按列放大輸出導致的非均勻性已消除，僅存在由暗電流導致的橫向隨機條紋。依據實驗室積分球觀測數據得到的兩通道非均勻性規律，提出了一種基于真實圖像拼接線附近灰度差異統計的非均勻校正方法，經航空遙感圖像驗證，處理后整幅圖像灰度均勻，兩通道圖像已無灰度差異。

[1]羅通頂, 李斌康, 郭明安, 等．科學級CCD遠程圖像采集系統[J]．光學 精密工程, 2013, 21(2): 496-502.

LUO T D, LI B K, GUO M A,etal.．Remote image acquisition system with scientific grade CCD [J]．Opt.PrecisionEng., 2013, 21(2):496-502. (in Chinese)

[2]JANESICK J R.ScientificCharged-CoupledDevices[M]. SPIE Press，2001，3-8.

[3]HARALABIDIS P E,PILINIS C. Linear color camera model for a skylight colorimeter with emphasis on the imaging pipeline noise performance [J].JournalofElectronImaging，2005，14(4)：043005.

[4]劉新明, 劉文, 劉朝暉．大面陣CMOS APS相機系統的設計[J]．光子學報,2009,38(12):3235-3239．

LIU X M, LIU W, LIU ZH H．Design of a large area array CMOS APS camera system [J]．ActaPhotonicaSinica, 2009, 38(12): 3235-3239. (in Chinese)

[5]何舒文, 王延杰, 孫宏海,等．高動態科學級CMOS相機系統的設計[J]．液晶與顯示, 2015, 30 (4): 729-735.

HE SH W, WANG Y J, SUN H H,etal.. Design of high dynamic scientific CMOS camera system [J].ChineseJournalofLiquidCrystalsandDisplay, 2015, 30 (4): 729-735.(in Chinese)

[6]王征, 何云豐, 曹小濤, 等．基于FPGA的大面陣CMOS相機高速率電子學系統設計[J]．液晶與顯示, 2016, 31(2): 173-178.

WANG ZH, HE Y F, CAO X T,etal.. Design of large area array CMOS of high speed electronics camera system based on FPGA [J].ChineseJournalofLiquidCrystalsandDisplay. 2016, 31(2): 173-178.(in Chinese)

[7]孟慶宇, 董吉洪, 王棟,等. 輕小型立體相機光學系統研制[J]．紅外與激光工程, 2016, 45(4): 418002(1)-418002(8).

MENG Q Y, DONG J H, WANG D,etal.. Minitype optical system development of stereo camera [J].InfraredandLaserEngineering, 2016, 45(4): 418002(1)-418002(8).

[8]FAIRCHILD IMAGING, CIS2521 Megapixel Ultra Low Noise sCMOS Image Sensor, Fairchild Imaging [E]. http://www.fairchildimaging.com/ catalog/focal-plane-arrays/scmos/cis2521.

[9]SUNGHO S, SHINYA I, SATOSHI A,etal.．Column-parallel correlated multiple sampling circuits for CMOS image sensors and their noise reduction effects[J]．Sensors, 2010, 10(12):9139-9154.

[10]周彥平, 謝小龍, 劉洋,等. CMOS圖像傳感器電子輻照實驗的研究[J].紅外與激光工程, 2016,45(5):0520006(0)-0520006(4).

ZHOU Y P, XIE X L, LIU Y,etal.. Electron radiation experiment of CMOS image sensor [J].InfraredandLaserEngineering, 2016,45(5):0520006(0)-0520006(4).

[11]WIDENHORN R,DUNLAP J C,BODEGOM E. Exposure time dependence of dark current in CCD imagers [J].IEEETrans.ElectronDevices. 2010, 57(3): 581-587.

[12]WIDENHORN R,HARTWIG I,DUNLAP J C,etal.. Influence of illumination on dark current in charge-coupled device imagers [J]. 2009, 18(3):033015.

[13]BELLIA L,CESARANO A, MINICHIELLO F,etal.. Calibration procedures of a CCD camera for photometric Measurements[C].IMTC2003InstrumentationandMeasurementTechnologyConference,Vail,Colo., 2002.

[14]顧行發, 田國良, 余濤, 等. 航天光學遙感器輻射定標原理與方法[M]. 北京: 科學出版社. 2013, 128-142.

GU X F, TIAN G L, YU T,etal..TheCalibrationTheoryandMethodsforSpaceOpticalRemoteSensor[M]. Beijing:Science Press, 2013, 128-142 (in Chinese)

楊國鵬(1982-)，男，山東聊城人，博士，高級工程師，2007年、2010年于信息工程大學分別獲得碩士、博士學位，現為武漢大學測繪遙感信息工程國家重點實驗室博士后，主要從事遙感應用、計算機視覺、機器學習方面的研究。E-mail: imageren@qq.com.

周欣(1983-)，女，河南澠池人，博士，高級工程師，2007年、2010年于信息工程大學分別獲得碩士、博士學位，主要從事攝影測量、航天遙感應用等方面的研究。E-mail: hnswallowfly@163.com

(本欄目編輯：李自樂)

(版權所有未經許可不得轉載)

《光學 精密工程》 2016年　征訂單

《光學 精密工程》 2016年　征訂單

《光學 精密工程》 2016年　征訂單

注：此單只作訂單，不做報銷憑證。訂單填好，請一并將匯款寄出，款到即寄出正式發票。

郵局匯款：長春市東南湖大路3888號

《光學 精密工程》編輯部(收)

銀行帳戶：中國科學院長春光學精密機械與物理研究所

帳號：220801471908091001

開戶銀行：中國銀行吉林省分行營業部

聯系電話：(0431)86176855 傳真：(0431)84613409

聯 系 人：吳秀麗

Nonuniformity of CMOS image with double channels and column readout and its correction

YANG Guo-peng1,3*,ZHOU Xin2,CHEN Dong3,HU Chang-miao4

(1.StateKeyLaboratoryofInformationEngineeringinSurveyingMappingandRemoteSensing,WuhanUniversity,Wuhan430079,China; 2.THSatelliteCenterofChina,Beijing102102,China; 3.The95899PLAtroopoftheChinesePeople'sLiberationArmy,Beijing100085,China; 4.InstituteofRemoteSensingandDigitalEarth,ChineseAcademyofSciences,Beijing100101,China)

The CMOS image nonuniformity and its correction methods were researched to improve the relative radiation quality of aerial remote sensing image products. Taking the new CMOS image sensor CIS2521F as an example, the nonuniformity characteristics affected by dark current noise, average gay and double channel readout were researched through the experiments of the integrating sphere observation. Then, the two-point linear correction method based on the observation data was used to remove the column strip noise related to column amplifiers. Finally, a correction method based on the statistical gay difference near the mosaic seam was used to wipe off the mosaic phenomenon related to double channel readout. Experimental results indicate that the nonuniformity of the sphere image has changed from 4.4 into 2.4 after single channel correction, and the manual interpretation difference is disappeared after double channel correction. The remote sensing image after correction is uniformity and satisfies the interpretation requirement.

remote sensing image; Complementary Metal-oxide-semiconductor Tansistor(CMOS); image nonuniformity; double channels; radiation correction

2016-04-27；

2016-06-21.

裝備預研基金項目(No.9140A03031315JB09035)

1004-924X(2016)08-2087-07

TP751

A

10.3788/OPE.20162408.2087