數(shù)字域時間延遲積分CMOS 遙感相機動態(tài)傳函建模分析

陶淑蘋 ，馮欽評，陳曉龍,2，鄭亮亮，張紫玉,2，高 倓,2

（1. 中國科學(xué)院長春光學(xué)精密機械與物理研究所, 吉林 長春 130033；2. 中國科學(xué)院大學(xué), 北京 100049）

1 引 言

時間延遲積分（Time Delay and Integration，TDI）技術(shù)，通過對同一列像素信號在掃描運動的同時多次延時累加，可在低照度、快速掃描條件下，獲得高靈敏度、高空間分辨率的圖像，因此被廣泛應(yīng)用于航空、航天遙感相機中。

然而傳統(tǒng)實現(xiàn)TDI 的TDI CCD 器件存在功耗大、成像控制復(fù)雜、級數(shù)不可連續(xù)調(diào)整等固有缺陷。為了解決上述問題，必須從CMOS 傳感器入手，尋求實現(xiàn)TDI 的新方式。因此，MAYE R、ERCAN、XU、NIE 等人分別提出了不同的片上TDI CMOS 設(shè)計方法[1-5]。為了擺脫器件束縛、增強靈活性，學(xué)者們進一步提出了數(shù)字域TDI CMOS[6-11]。

調(diào)制傳遞函數(shù)（Modulation Transfer Function，MTF）是遙感相機成像質(zhì)量的重要評價指標之一，為了深入了解成像系統(tǒng)的傳函特性，多年來研究人員開展了大量研究工作。TDI CCD 在軌飛行成像過程中MTF 下降分析在衛(wèi)星研制領(lǐng)域得到廣泛研究，所采用的理論是通過像移分析TDI CCD推掃成像過程中對MTF 的影響[12-13]，但是TDI CCD 與 CMOS 在像元結(jié)構(gòu)、電荷轉(zhuǎn)移、信號累加方式等各方面都存在巨大差異，TDI CCD 的傳函及像移模型并不適用于TDI CMOS 成像系統(tǒng)。

Fillfactory 公司LEPAGE G 針對提出的TDI CMOS 傳感器設(shè)計架構(gòu)給出了簡單的MTF 討論分析[2]，但該方案不適合多次采樣疊加的數(shù)字域TDI CMOS 成像系統(tǒng)，也沒有考慮成像過程中有關(guān)因素對MTF 的影響。2015 年，韓國空間研究院和天津大學(xué)分別提出通過縮短曝光時間來降低運動模糊引起的TDI CMOS 傳函下降[14-15]，但降低了系統(tǒng)信噪比，且均未涉及降質(zhì)模型研究。天津大學(xué)研究團隊首次基于TDI CMOS 傳感器開展了像移降質(zhì)模型研究[16-18]，但只考慮了過采樣疊加和線性像移失配對MTF 的影響，未考慮傳感器快門、衛(wèi)星姿態(tài)變化、軌道運動、振動等因素的影響。

綜上，目前對于數(shù)字域TDI CMOS 相機像質(zhì)下降的研究十分有限，相關(guān)研究工作主要集中在線性像移失配對MTF 影響分析層面，未系統(tǒng)深入地揭示數(shù)字域TDI 在軌動態(tài)成像過程MTF 下降因素及機理。

本文從數(shù)字域TDI 成像原理出發(fā)，結(jié)合理論建模和仿真分析，研究數(shù)字域TDI CMOS 遙感相機動態(tài)成像過程中像元結(jié)構(gòu)、電子快門、曝光時間、振動對成像質(zhì)量的影響，得出數(shù)字域TDI CMOS 遙感相機像質(zhì)下降模型，最后結(jié)合成像實驗結(jié)果進行討論。

2 數(shù)字域TDI CMOS 成像原理

數(shù)字域TDI 是指將時間延遲積分的操作借助現(xiàn)場可編程門陣列（FPGA）、外部存儲器等在模數(shù)轉(zhuǎn)換后的面陣圖像信號上完成，這是近些年對于多模態(tài)和小型化高光譜遙感成像需求日益急迫的情況下提出的新興成像模式。

數(shù)字域TDI 算法基本原理如圖1 所示，以同列像素逐行累加為例，在推掃成像過程中，目標依次經(jīng)過CMOS 像素陣列的不同像元行。在第一個行周期，利用第3 行像元（1 級像元）對目標成像。在第二個行周期，目標相對傳感器在像面移動一個像元位置，此時CMOS 像素陣列第2 行像元（二級像元）與上一幀圖像的第3 行圖像恰好對應(yīng)同一目標，兩信號累加后進入下一級積分。依次類推，直到第M個行周期，第M級像元信號與前面共M-1級像元對同一目標的信號累加后，輸出積分信號。

圖1 數(shù)字域TDI 算法原理圖Fig. 1 Schematic diagram of TDI algorithm in digital domain

根據(jù)上述描述，數(shù)字域TDI 成像基本原理與TDI CCD 并無區(qū)別，都要求在掃描成像過程中每個行周期目標投影在像面恰好移動一個像元位置的距離。但同時也存在明顯差異，即數(shù)字域TDI 成像M級積分經(jīng)過了CMOS 傳感器M次快門曝光以及M次信號重采樣。

3 數(shù)字域TDI CMOS 系統(tǒng)傳函模型

數(shù)字域TDI CMOS 遙感相機成像過程中MTF將受到多種因素的影響。將干擾因素分解為相對獨立的離散單因子，包括目標、光學(xué)系統(tǒng)、大氣、離焦、像移、CMOS 像元結(jié)構(gòu)、快門、曝光時間、采樣累加方式、級數(shù)、位姿（軌道、姿態(tài)角）變化、振動。最終，數(shù)字圖像的調(diào)制度可近似描述為各環(huán)節(jié)調(diào)制傳遞函數(shù)的乘積。因為目標、大氣、光學(xué)系統(tǒng)、離焦、線性像移失配這些環(huán)節(jié)與TDI CCD 成像系統(tǒng)一致，而且其研究已經(jīng)相對成熟，因此本文選擇異于TDI CCD 遙感相機的其他幾個關(guān)鍵因素進行分析。

3.1 像元結(jié)構(gòu)對MTF 的影響分析

在CMOS 有源像素傳感器(APS)陣列中，每個像元由2 個功能部分組成：一部分為發(fā)生光電效應(yīng)的有效區(qū)域，稱為光敏元；另一部分是用于將收集的電荷讀出的控制電路。顯然，APS 像元的填充因子小于100%。文獻[12-13]等在分析CCD動態(tài)傳函時未考慮孔闌的影響，是因為CCD 的填充因子接近100%，但CMOS APS 與CCD 不同，在分析CMOS 圖像傳感器的動態(tài)傳函時還必須考慮孔闌影響。

如圖2 所示，定義垂軌方向為x軸，沿軌方向為y軸。以L形有效區(qū)域像元結(jié)構(gòu)為例，圖中P代表像元尺寸，ai（i=1,2）代表垂軌方向的像元有效獲取尺寸，Ai（i=1,2）代表沿軌方向的像元有效獲取尺寸，灰色區(qū)域?qū)獠幻舾小?/p>

圖2 “L”形有效區(qū)域像元結(jié)構(gòu)圖Fig. 2 Pixel structure of 'L' shaped effective area

對于輻射強度為I(x,y)的目標場景，經(jīng)過探測器光電感應(yīng)輸出電信號可表示為：

式中，h(x,y)為CMOS 傳感器脈沖響應(yīng)函數(shù)。通常情況下對其進行傅立葉變換即可得到傳感器的MTF。為便于分析，首先計算得到單方向單個矩形的脈沖響應(yīng)傳函：

然后通過將“L”形分解為2 個矩形，得到由于孔闌特性曲線產(chǎn)生的MTF：

式中， α為垂軌方向權(quán)重， β為沿軌方向權(quán)重，ai,am為 垂軌方向的像元有效獲取尺寸，Ai,Am為沿軌方向的像元有效獲取尺寸。

利用式（3）在同一像元尺寸下分別選取0.85、0.65、0.5 三種開口率，得到不同開口率下MTF 曲線如圖3（彩圖見期刊電子版）所示。

圖3 不同開口率下TDI CMOS 的MTF 曲線Fig. 3 MTF curves of TDI CMOS at different opening rates

分析圖3 可知，CMOS 傳感器像元對傳函的影響與像元感光區(qū)域直接相關(guān)，且開口率越小對數(shù)字域TDI 成像影響越大。

3.2 電子快門對MTF 的影響分析

CMOS 傳感器的電子快門分為卷簾和同步快門兩種，同步快門的所有像素同時曝光，一幀曝光結(jié)束后再讀出，卷簾快門一幀圖像的曝光時間均不相同，同步曝光與分時曝光對靜止目標成像不會存在差異，但是對于必然存在像移運動的TDI成像來講，必須要考慮非同時曝光對圖像傳函的影響[19]。CMOS 電子快門對數(shù)字域TDI 成像的影響可通過計算卷簾快門引起的像移傳函得到。

為簡化分析，假設(shè)卷簾快門方向與掃描運動方向相反，且不存在偏流誤差，即目標景物在傳感器像面投影只有沿卷簾快門反方向的速度分量。假設(shè)P為視場內(nèi)目標景物點，在推掃成像過程中，P與S的幾何投影關(guān)系如圖4 所示。

圖4 運動目標點在傳感器投影成像為線Fig. 4 The moving target point is imaged as a line in the projection of the sensor

以Pk(px,py)表示第k幀正常圖像目標點對應(yīng)的成像點位置，其對應(yīng)失真圖像的成像點位置表示為Sk(sx,sy)。根據(jù)卷簾快門工作原理可知，失真圖像的每個掃描行在曝光時間的某一特定時刻采樣，以kT+Sy表 示第k 幀圖像像素點Sk=(sx,sy)的采樣時刻。可以推導(dǎo)出在一個行周期內(nèi)，由卷簾快門產(chǎn)生的幀內(nèi)和幀間像移分別為：

式中，T為行轉(zhuǎn)移周期，Trbt為行空白時間，Npix為每行圖像像元數(shù)，frd為 像元讀出頻率，Tint為行轉(zhuǎn)移周期內(nèi)實際曝光時間，且曝光時間不大于行轉(zhuǎn)移周期，Tfrm,roll為幀同期。

分析上式可得：當(dāng)在[(k-1)T+sy1,kT+sy2]時間間隔內(nèi)，若vy(t)=0，則Sk2 與Sk-11仍位于同一掃描行，此時不存在幀間幾何失真，因此在應(yīng)用中應(yīng)通過合理采樣設(shè)計消除幀間像移。但幀內(nèi)失真不可避免，該像移會引起MTF 下降，M級積分其Nyquist 頻率處的RS 傳函為：

采用某遙感相機在軌標稱成像參數(shù)進行分析。該相機像元尺寸為4.25 μm，在軌標稱行轉(zhuǎn)移時間為128 μm，在8 級和16 級積分級數(shù)下，計算得到不同像素讀出頻率（對應(yīng)于不同卷簾快門速度）下MTF 曲線如圖5（彩圖見期刊電子版）所示。

圖5 不同RS 速度和級數(shù)下的MTF 曲線Fig. 5 MTF curves at different RS speeds and stages

觀察圖5 可知，卷簾快門效應(yīng)引起的像移會對數(shù)字域TDI 算法帶來較大的影響，尤其在卷簾速度較慢或積分級數(shù)較高時影響更為突出。但只要運動速度確定，就可以計算出卷簾快門引起的像移影響，甚至可進一步對失真圖像進行校正。

3.3 曝光時間、振動對MTF 的影響分析

與TDI CCD 不同，數(shù)字域TDI CMOS 成像系統(tǒng)的曝光時間可獨立于行周期進行單獨設(shè)置。而運動對像元模糊和TDI 成像的影響均與曝光時間息息相關(guān)，因此對于數(shù)字域TDI CMOS 成像系統(tǒng)需重新構(gòu)建與運動有關(guān)的像移傳函模型。

將像移分為垂軌橫向像移和沿軌縱向像移兩類。考慮偏流角為引起橫向像移的主要因素，單個積分周期內(nèi)產(chǎn)生的橫向像移失配量 Δd可以根據(jù)曝光時間和偏流角等參數(shù)算出：

式中，vP為沿掃描方向的像移速度，θ 為偏流角。

根據(jù)數(shù)字域TDI 采樣累加原理可以得到橫向像移過程的退化函數(shù)為：

由公式(8)可知，偏流角或積分級數(shù)大，會引起退化函數(shù)擴散，即傳遞性能變差。因此在積分掃描成像，尤其是在高積分級數(shù)情況下，必須保證偏流角補償控制精度。如果偏流補償欠佳，則應(yīng)該盡量采用小級數(shù)成像，避免橫向像移導(dǎo)致的圖像質(zhì)量退化。

暫不考慮卷簾快門產(chǎn)生的像移影響，M級數(shù)字域TDI 積分的縱向像移速度匹配殘余誤差引起的退化函數(shù)為：

式中 ε為縱向像移匹配殘差，其定義如式（10）所示。式中ve為數(shù)字域TDI CMOS 的平均行轉(zhuǎn)移速度。

在成像過程中除了上述整體像移匹配殘差外，平臺或單機振動還會引起遙感相機像移速度矢分布場變化，進而引入信息采樣不規(guī)則性和空間變化的像元運動模糊，影響TDI 成像質(zhì)量。

為了便于分析又不失一般性，采用正弦運動組合來表征形式復(fù)雜的振動，像移與正弦運動關(guān)系如圖6 所示，得到M 級積分的振動像移為：

圖6 像移與正弦運動關(guān)系圖Fig. 6 Relationship between image motion and sinusoidal motion

式中，Al為第l個振動成分的幅值，fl為第l個振動成分的振動頻率， φk,l為第l個振動成分在第k個積分周期的初始相位，Tint為單次曝光時間，T為行轉(zhuǎn)移周期。

根據(jù)運動頻率與行轉(zhuǎn)移時間的相對關(guān)系，可將振動分為低頻和高頻兩種，因為在積分時間內(nèi)低頻運動的幅頻變化幾乎為零，因此可將低頻運動近似視為線性運動。公式（9）的像移失配即可視為頻率為零的一種特殊振動，此時可按照常規(guī)線性像移失配計算其對MTF 的影響。

式中，fC為 特征頻率，fN為乃歸斯特頻率。

假設(shè)歸一化振動幅值為0.2，采用前述遙感相機的成像參數(shù)不變，在16 級積分條件下設(shè)置不同曝光時間和振動頻率，基于像移傳函模型計算得到Nyquist 頻率處MTF 值，其與振動頻率、曝光時間的關(guān)系如圖7（彩圖見期刊電子版）所示。觀察圖7 可以看出，曝光時間越短，傳函越高，尤其在低頻運動下表現(xiàn)越明顯，但曝光時間同樣會影響圖像信噪比。因此，在實際應(yīng)用中應(yīng)結(jié)合兩個指標要求選擇合理的曝光時間。另外，可以看到，低頻運動下不同曝光時間對應(yīng)的MTF 存在較大的不同，即低頻運動對圖像傳函的非規(guī)則性影響較大，但在高頻運動下則規(guī)律一致，此時的MTF是時空移不變的。

圖7 MTF 與振動頻率及曝光時間的關(guān)系圖Fig. 7 Relationship between MTF, vibration frequency and exposure time

4 實驗及結(jié)果分析

為了驗證MTF 理論模型的效果，分別開展數(shù)字域TDI CMOS 仿真及成像實驗。

仿真實驗選取扇形靶標圖像作為樣本，根據(jù)幾何投影關(guān)系、感光原理和數(shù)字域TDI 算法生成不同開口率的積分圖像，如圖8 所示。然后采用刃邊法測試圖像MTF 曲線，得到圖9（彩圖見期刊電子版）結(jié)果。可以看出，傳感器開口率越小（即有效像元區(qū)域越小）獲取圖像的MTF 下降越嚴重，與圖3 理論分析結(jié)論吻合。

圖8 不同開口率下扇形靶標仿真圖像：從左到右的開口率分別為0.8、0.5、0.3Fig. 8 Simulation images of the sector target under different aperture ratios: 0.8, 0.5 and 0.3 (from left to right)

圖9 圖8 中各圖像的MTF 曲線Fig. 9 MTF of images in figure 8

為了驗證卷簾快門效應(yīng)和曝光時間對TDI成像的影響，設(shè)計卷簾數(shù)字TDI CMOS 成像系統(tǒng)，并開展成像實驗。將相機固定于二維調(diào)整架后安裝于水平運動轉(zhuǎn)臺上，整個成像過程保持轉(zhuǎn)臺速度不變。為滿足幀間像移匹配，設(shè)置行周期為200 μs，通過調(diào)整時鐘頻率設(shè)置行讀出時間分別為6 μs、10 μs，即對應(yīng)于不同的卷簾速度。8 級積分圖像如圖10 所示，可以看出，卷簾速度降低后圖像幾何失真加重。刃邊法計算2 幅圖像的奈奎斯特頻率處MTF 分別為0.191、0.177。結(jié)果表明卷簾快門速度越快MTF 下降越小，驗證了圖5理論分析結(jié)果。

圖10 行讀出時間分別為（a）6 μs；（b）10 μs 時不同卷簾速度的TDI 圖像Fig. 10 TDI images with different rolling shutter speeds.(a) 6 μs; (b) 10 μs

保持轉(zhuǎn)臺速度和行周期不變，調(diào)整二維調(diào)整架使相機傾斜一定角度（實驗中選取角度大約為5°），在此條件下對目標水平推掃成像。分別設(shè)置單次曝光時間為100、140 和180 μs，采用16 級積分對同一目標成像，得到不同曝光時間下的數(shù)字域TDI 圖像如圖11 所示。由圖11 可知，在存在偏流角失配情況下，隨著曝光時間減小，圖像邊緣逐漸清晰，但層次感減弱。計算3 幅圖像的MTF 和信噪比，結(jié)果如表1 所示。可以看出縮短曝光時間對圖像MTF 有利，但信噪比卻降低，與圖7 理論分析結(jié)果吻合。

圖11 不同曝光時間的TDI 圖像：曝光時間（從上到下）分別為100、140、180 μsFig. 11 TDI images with different exposure times. 100,140 and 180 μs (from top to bottom)

表1 圖像MTF 和SNR 測試結(jié)果Tab.1 The MTF and SNR test results of images

5 結(jié) 論

論文針對數(shù)字域TDI CMOS 遙感相機動態(tài)MTF 分析需求，介紹了數(shù)字域TDI CMOS 成像原理，開展了像元、電子快門、曝光時間、振動對數(shù)字域TDI CMOS 成像的影響分析，推導(dǎo)了上述各因素下的MTF 數(shù)學(xué)模型，并對其影響進行預(yù)估分析。構(gòu)建的MTF 模型表明：傳感器有效像元區(qū)域分布會影響圖像MTF，且開口率越小影響越大；CMOS傳感器的卷簾快門會導(dǎo)致數(shù)字域TDI 成像MTF下降，卷簾速度越慢影響越嚴重；曝光時間越短則MTF 越高，尤其存在低頻像移失配時更為明顯。為了驗證構(gòu)建的理論模型分別開展了計算機仿真及成像實驗。實驗結(jié)果與理論分析規(guī)律一致，驗證了MTF 模型的正確性。