基于最小二乘擬合的科學(xué)級CMOS傳感器非均勻性校正

閆蘇琪 ，楊世洪 ，王明富 ，洪裕珍

（1.中國科學(xué)院光電技術(shù)研究所四川成都610209；2.中國科學(xué)院大學(xué)北京100049）

科學(xué)級互補(bǔ)金屬氧化物半導(dǎo)體（scientific Complementary Metal Oxide Semiconductor，sCMOS）相比于傳統(tǒng)光電傳感器具有靈敏度高、線性度好以及分辨率高等突出優(yōu)點(diǎn)，而被廣泛應(yīng)用到各個領(lǐng)域[1]。由于不同列的列放大器內(nèi)部晶體管閾值電壓和自身偏置電壓不同會產(chǎn)生固定模式噪聲，其圖像中表現(xiàn)為豎直條紋。sCMOS芯片元信號的頂部和底部分別采用獨(dú)立的輸出，輸出后信號被雙列放大（低增益通道、高增益通道），并分別進(jìn)行A/D轉(zhuǎn)換[2]，因此對于高、低增益通道需要分別進(jìn)行非均勻性校正。本文以低增益通道為例進(jìn)行校正，其工作飽和度范圍（0，95%]。

鑒于CMOS圖像傳感器的響應(yīng)特性以及工程上要在硬件上實(shí)現(xiàn)且對實(shí)時性的要求，因此適宜選用計算量小、存儲參數(shù)小的校正方式[3]。其中基于兩點(diǎn)標(biāo)定的兩點(diǎn)法最大的缺點(diǎn)是應(yīng)用的動態(tài)范圍小[4]。而基于最小二乘法兩點(diǎn)法以及二階多項式擬合法充分利用多個輻照度下的數(shù)據(jù)，使校正算法可適應(yīng)的動態(tài)范圍更大，但仍可能存在在某輻照范圍內(nèi)校正效果比較差，甚至校正后圖像的均勻性變差的情況。因此提出通過基于最小二乘的分段線性校正算法，使在整個工作輻照度下都有較好的校正效果。

1 針對光電響應(yīng)線性度良好模型的非均勻性校正

1.1 校正原理

非均勻校正技術(shù)是改善圖像非均勻性的有效方法。非均勻性校正的目的就是通過校正使得圖像傳感器所有光敏單元在相同輻照度下表現(xiàn)出完全相同的光電轉(zhuǎn)換關(guān)系。目前常用的非均勻校正方法主要有基于標(biāo)定的校正方法和基于場景的校正方法[5]，由于sCMOS穩(wěn)定性比較好所以適用于基于標(biāo)定的校正方法，而后者雖然具有無需參考源自適應(yīng)校正的能力，但是其精確算法的硬件實(shí)現(xiàn)相當(dāng)困難，因而工程實(shí)際應(yīng)用中還是使用前者。

基于最小二乘法的曲線擬合，當(dāng)選取的用于曲線擬合的定標(biāo)點(diǎn)個數(shù)大于校正系數(shù)個數(shù)時，就導(dǎo)致在求取系數(shù)時存在非一致方程。非一致方程的最小二乘解有可能不是唯一的，但是不同的最小二乘解得到的Ax和Ax-y是唯一的[6]。非一致方程Ax=y的最小二乘解是非唯一的，存在通解形式為：

然而由于最小二乘解是只有在滿足Moore-Penrose條件時，可以得到Moore-Penrose逆矩陣A+，由性質(zhì)可以，廣義逆矩陣A+是唯一的，所以可得到唯一最小二乘解。

1.2 兩點(diǎn)校正法

兩點(diǎn)法不僅對暗電流做了補(bǔ)償還對增益做了校正，可以對線性度好的傳感器有很好的校正效果[7]。假設(shè)光電傳感器的光電響應(yīng)是線性的，那么每個像元的響應(yīng)可表示為：

式（2）中，x為像元所受輻照度，yij(x)為在輻照度為x的第i行、第j列像元的輸出響應(yīng)，本文用灰度值表示輸出響應(yīng)，lij為此像元的增益系數(shù)，mij為此像元的偏移量，每個像元有獨(dú)立的的增益系數(shù)和偏移量且不隨時間變化是固定的，因此校正公式可表示為：

式（3）中，kij和bij分別為兩點(diǎn)法的校正增益和校正偏移量。

基于兩點(diǎn)定標(biāo)的一般兩點(diǎn)法是取兩個輻照度x1、x2下的響應(yīng)確定一條直線，并假設(shè)該直線與理想光響應(yīng)曲線一致為絕對線性的[8]。得到單個像素單元的響應(yīng)yij(x1)、yij(x2)，所有像元的平均響應(yīng)輸出和。令，得到如式（3）的線性方程組，經(jīng)解方程組得到每個像素單元獨(dú)立的校正系數(shù)kij和bij，再代入式（2）即可對每個像元進(jìn)行校正，可得：

由最小二乘原理出，最可信賴值應(yīng)在使殘余誤差平方和為最小的條件下求得。因此，當(dāng)標(biāo)定點(diǎn)選取N=n，，即滿足殘差平方和最小的條件時，可得基于最小二乘的兩點(diǎn)法校正系數(shù)[9]。要使條件滿足，構(gòu)建函數(shù)如下：

1.3 多項式擬合法

多項式擬合校正算法主要針對光響應(yīng)線性度比較差，不適于線性擬合的情況[10]。相比于兩點(diǎn)法和多點(diǎn)法，該方法需要進(jìn)行更多的乘法運(yùn)算消耗更多的硬件資源。

每個像元的響應(yīng)可表示為：

式（7）表示像元的響應(yīng)可以用n階多項式來表示。

校正公式可表示為：

1.4 分段線性插值算法

兩點(diǎn)校正法基于光電傳感器的光電響應(yīng)曲線是線性模型，具有算法簡單、易于工程上實(shí)時實(shí)現(xiàn)，而隨著非線性的程度加劇，兩點(diǎn)法的校正誤差變大[12]。為了在光電響應(yīng)曲線呈非線性時更好的對其非均勻性進(jìn)行校正，Milton等人提出多點(diǎn)法。多點(diǎn)法又稱為分段線性插值算法。因?yàn)樗邢裨诓煌毓饬繀^(qū)間均有不同的校正參數(shù)，就可以避免在整個曝光區(qū)間統(tǒng)一校正參數(shù)帶來局部誤差偏大的問題，所以校正精度較高[13]。分段區(qū)間選取的越多，校正效果越好，但在劃分分段區(qū)間時并沒有一標(biāo)準(zhǔn)的理論依據(jù)，造成分段區(qū)間的選取只能靠反復(fù)性實(shí)驗(yàn)獲得，效率很低。

因此，本文提出基于最小二乘的分段線性校正算法，以各段擬合曲線的殘差平方和最小為依據(jù)，即可得到最佳擬合效果，從而獲得最佳分段點(diǎn)。針對如何確定擬合直線的條數(shù)，一種方法是根據(jù)具體的工程要求，人工的進(jìn)行設(shè)定；另一種方法是給定一個閾值，當(dāng)連續(xù)x個點(diǎn)擬合得到殘差平方和小于這個閾值，而連續(xù)x+1個點(diǎn)擬合得到的殘差平方和大于這個閾值，那么就可確定這連續(xù)的x個點(diǎn)作為一個分段區(qū)間，剩余點(diǎn)以同樣方法劃分分段區(qū)間[14]。因工程需要，用于存儲校正參數(shù)的空間有限，本文以分兩段為例，當(dāng)滿足下列條件時，得到兩組校正系數(shù)kij1、bij1，kij2、bij2。滿足N1+N2=N，

2 實(shí)驗(yàn)所用sCMOS圖像傳感器

本相機(jī)系統(tǒng)采用長光辰芯光電公司生產(chǎn)的GSENSE2020s型sCMOS圖像傳感器。該sCMOS光電傳感器的分辨率為2048*2048、A/D轉(zhuǎn)換位寬是12 bit，即其灰度值范圍0～4 095，對于整個像素陣列的讀取方式是分4個通道同時逐行進(jìn)行讀取，因此在進(jìn)行非均勻性校正時需要考慮邊界處有沒有明顯的灰度差別，是否需要在各通道連接處進(jìn)行非均勻性校正。

評定經(jīng)均勻性校正處理前后的圖像的非均勻性指標(biāo):NU值大小、灰度直方圖分布，采用NU值來表征圖像傳感器的非均勻性[15]，其定義如下：

式（9）中，sd為輸出圖像信號的標(biāo)準(zhǔn)差，mu為均值。NU值的大小體現(xiàn)了圖像傳感器非均勻性的程度。

3 實(shí)驗(yàn)驗(yàn)證

3.1 光電響應(yīng)實(shí)驗(yàn)

為了確定使用何種方式進(jìn)行非均勻性校正，首先需要了解實(shí)驗(yàn)所用傳感器的光電響應(yīng)特性，因此使用積分球提供均勻光源進(jìn)行性能測試，本實(shí)驗(yàn)在相同曝光條件下，不同輻照度下各抓取20幀圖像并用20幀圖像所有像素平均值繪制光電響應(yīng)曲線。圖像傳感器光敏單元的光響應(yīng)曲線反映了該光敏單元輸出與輻照度之間的關(guān)系，是圖像傳感器的非均勻性的體現(xiàn)。經(jīng)分析仿真得到傳感器整體的光響應(yīng)曲線，由于相機(jī)工作所處的工作模式?jīng)Q定在讀取像元像素值時是分4個通道同時讀出的，因此同時繪制了4個通道的光響應(yīng)特性曲線，如圖1所示。

圖1 sCMOS傳感器光電響應(yīng)曲線

圖1中所示橫軸為傳感器所受輻照度，對于整個傳感器的曲線其縱軸表示整幅圖像的平均灰度值，而各通道曲線所對應(yīng)的縱軸表示各通道像元的平均灰度值。從圖中可以顯然得出以下幾點(diǎn)結(jié)論：實(shí)驗(yàn)所用光電傳感器的光響應(yīng)線性度比較好；在平均灰度值小于2 000的范圍內(nèi)各通道的光響應(yīng)特性幾乎一致，當(dāng)平均灰度值大于2 000時各通道的光響應(yīng)特性略有差異。

3.2 使用最小二乘法擬合光響應(yīng)曲線

從圖1得到的光響應(yīng)線性度很好的結(jié)論中，可以初步判斷可采用兩點(diǎn)法、分段線性插值或低階多項式擬合的方法進(jìn)行非均勻性校正。由于實(shí)驗(yàn)中所使用傳感器低增益通道正常工作輸出響應(yīng)范圍為飽和度0至95%，因此使用最小二乘法擬合這一范圍的光電響應(yīng)曲線。分別進(jìn)行一階線性擬合、分兩段線性擬合和二階多項式擬合，結(jié)果如表2所示。

表2中，根據(jù)殘余誤差平方和可以看出：使用兩點(diǎn)法擬合度明顯不如另外兩種方式；使用分兩段的線性擬合度與二階多項式擬合度差距很小。因此，可知使用兩點(diǎn)法進(jìn)行非均勻校正效果將最差，而是用另外兩種方式，校正效果將差別不大并且采用本文提出的算法校正效果很有可能優(yōu)于二階多項式擬合法。

表2 曲線擬合結(jié)果

3.3 校正效果比較分析

圖2兩幅圖中，橫軸均表示傳感器所受輻照度，其單位為Lx，縱軸均表示圖像非均勻度，單位%。分析兩幅圖可得到結(jié)論：經(jīng)本文提出的基于最小二乘的多點(diǎn)法（分段線性插值算法）相比于兩點(diǎn)標(biāo)定的一般兩點(diǎn)法在整個工作照度范圍下校正效果有明顯的提高；基于最小二乘的兩點(diǎn)法和基于最小二乘的二階多項式法擬合校正法在低照度下校正效果很差、甚至校正后的非均勻性變高，而本文提出的算法就可以改善這一問題，使適應(yīng)性更強(qiáng)；因此所提出的優(yōu)化算法有明顯的優(yōu)勢。

圖3為經(jīng)本文提出的基于最小二乘的分段線性差值算法校正前后的對比圖，左側(cè)為未經(jīng)校正的灰度圖像，右側(cè)為經(jīng)校正后的。不經(jīng)校正前的圖像質(zhì)量明顯存在豎條紋以及一些人為疵點(diǎn)，而經(jīng)校正后的圖像從主觀上就可看出均勻性相當(dāng)好，因此針對非均勻性校正的研究仍然很有必要。所用器件低增益通道校正前的非均勻度為1.41%，表3為幾種校正算法的校正算法匯總情況，可以看出本文提出的算法相比其他幾種算法對平均非均勻性校正明顯更有優(yōu)勢。

圖2 校正前后非均勻度對比

圖3 校正前后的圖像

表3 幾種校正算法在整個工作照度下的平均校正效果

4 結(jié) 論

本文從非均勻性產(chǎn)生的原因出發(fā)，利用積分球產(chǎn)生均勻光源測試了sCMOS的光電響應(yīng)特性。根據(jù)光電響應(yīng)特性曲線，篩選出幾種適當(dāng)?shù)男Ｕ椒òǎ趦牲c(diǎn)標(biāo)定的一般兩點(diǎn)法、基于最小二乘的兩點(diǎn)法基于最小二乘的二階多項式擬合法進(jìn)行校正分析。并總結(jié)了幾種校正算法的原理以及優(yōu)缺點(diǎn)，提出了基于最小二乘法的分段線性插值算法，使在整個工作照度下都可獲得很好的非均勻校正效果。經(jīng)試驗(yàn)驗(yàn)證其算法相比其他幾種經(jīng)典算法，可適應(yīng)均勻性降低更大。同時計算量以及要存儲的參數(shù)很少，適宜于工程實(shí)現(xiàn)[16]，如FPGA實(shí)現(xiàn)。除此外，經(jīng)過調(diào)整對比度，讓看不出幾個通道間有明顯的非均勻性，因此沒有對通道間非均勻性進(jìn)行校正。

參考文獻(xiàn)：

[1]吳勝.SCMOS高速成像系統(tǒng)關(guān)鍵技術(shù)研究[D].重慶：重慶大學(xué)，2015.

[2]孫宏海，何舒文，吳培，等.高動態(tài)科學(xué)級CMOS相機(jī)設(shè)計與成像分析[J].液晶與顯示，2017，32（3）:240-248.

[3]黃萬偉.Xilinx FPGA應(yīng)用進(jìn)階[M].北京：電子工業(yè)出版社，2014.

[4]劉則洵，全先榮，任建偉，等.CCD相機(jī)輸出非均勻性線性校正系數(shù)的定標(biāo)[J].紅外與激光工程，2012，41（8）:2211-2215.

[5]呂雷，張學(xué)峰.基于FPGA的紅外圖像實(shí)時非均勻性校正[J].激光與紅外，2011，41（6）:641-643.

[6]張賢達(dá).矩陣分析與應(yīng)用[M].北京：清華大學(xué)出版社，2013.

[7]何火勝.紅外圖像兩點(diǎn)非均勻性校正算法工程實(shí)現(xiàn)[J].科技與創(chuàng)新，2014（12）:4-5.

[8]郭文豹，魏仲慧，何昕，等.CMOS圖像傳感器非均勻性實(shí)時校正算法研究[J].微電子學(xué)與計算機(jī)，2011，28（2）:171-174.

[9]陳偉杰.最小二乘法原理及其在實(shí)驗(yàn)曲線擬合中的應(yīng)用分析[J].遼寧科技學(xué)院學(xué)報，2014，16（4）:33-34.

[10]程旺，呂群波，趙娜.基于FPGA的科學(xué)級CMOS圖像傳感器非均勻性校正[J].半導(dǎo)體光電，2016（6）:873-875.

[11]黃英東，安建波.基于改進(jìn)多項式擬合的紅外焦平面非均勻性校正方法[J].紅外，2011，32（3）:29-33.

[12]夏玫，顧國華，陳錢，等.IRFPA兩點(diǎn)校正的定標(biāo)溫度選擇方法研究及實(shí)現(xiàn)[J].紅外技術(shù)，2011，33（3）:151-154.

[13]張紅輝，羅海波，余新榮，等.多點(diǎn)標(biāo)定的自適應(yīng)非均勻性校正方法[J].紅外與激光工程，2014，43（11）:3651-3654.

[14]田垅，劉宗田.最小二乘法分段直線擬合[J].計算機(jī)科學(xué)，2012，39（b06）:482-484.

[15]嚴(yán)奕，鄧若漢，陳永平，等.有源像素CMOS圖像傳感器非均勻性研究[J].科學(xué)技術(shù)與工程，2011，11（15）:3449-3455.

[16]梁超，馬天翔.基于黑體標(biāo)定的紅外圖像非均勻性校正系統(tǒng)設(shè)計[J].中國光學(xué)，2016，9（3）:385-393.