光學衛星在軌動態場景實時匹配方法及試驗

喬 凱，黃石生，智喜洋，孫 晅，趙 明

(1.北京跟蹤通信技術研究所，北京 100094；2.哈爾濱工業大學 空間光學工程研究中心，黑龍江 哈爾濱 150001；3.大連海事大學 信息科學技術學院，遼寧 大連 116026)

1 引 言

高分辨率遙感衛星能夠迅速、準確地獲取地物信息，在軍民應用領域發揮著重要作用。特別是以KH-12為代表的美國軍用遙感衛星，地面分辨率優于0.1 m，以WorldView-3為代表的商業遙感衛星，可提供分辨率優于0.4 m全色圖像[1-3]。

但現有衛星在軌圖像質量仍不夠理想，主要體現為圖像模糊、有霧狀感、邊緣銳度不強，且存在動態范圍偏窄、有效量化和有效信息不足的問題。立足于光學遙感全鏈路，通過圖像復原的方法可消除相機光學系統、探測器、成像電子學以及衛星平臺環境和大氣路徑等因素引起的圖像模糊、噪聲等像質退化。關于模糊、噪聲處理算法的研究很多[4-7]。然而關于圖像動態范圍展寬方面，多是通過直方圖調整、多曝光圖像融合、多尺度圖像融合等地面處理方式，以增強圖像清晰度和對比度[8-11]。這些方法仍無法從根本上解決圖像有效量化不足的問題，且圖像中暗場景和邊緣區域的處理性能會受到制約。實際上，目前相機動態范圍(灰階)可達到211以上，理論上能夠滿足通常成像條件下場景信息的獲取需求，但國內在軌衛星(高分二號、吉林一號等)數據統計分析結果顯示，有效量化僅達到了6～8位，這主要是由于衛星在軌運行過程中設置的成像參數和實時拍攝場景的動態范圍存在不適配性。

因此，依據衛星在軌成像實時拍攝的動態場景進行相機成像參數的設計與動態調整，對進一步提升暗或亮場景細節信息的分辨能力，具有重要意義和實際工程應用價值。本文從衛星在軌成像動態范圍的影響機理出發，研究衛星在軌動態場景實時匹配方法，同時利用無人機開展飛行試驗驗證。

2 衛星在軌成像場景動態及其影響要素分析

2.1 衛星在軌成像圖像動態范圍分析

圖1 不同衛星圖像直方圖拉伸前后分布對比Fig.1 Distribution comparison of different satellite image histograms before and after stretching

從低動態范圍衛星在軌圖像直方圖(如圖1所示)拉伸前后結果來看，與高動態衛星圖像相比，其衛星圖像灰度層次不夠豐富，灰度分布在相對較窄范圍，而且直方圖經拉伸后出現灰階斷層。這也是導致圖像整體偏暗或高亮度場景區域出現飽和、景物紋理細膩度不夠的主要原因。

2.2 有效動態影響要素分析

光學衛星通常采用線陣推掃式TDICCD相機，通過多級TDI-CCD對地面同一場景進行多次曝光，從而獲取高信噪比、高質量的圖像。為了避免高動態場景區域圖像灰度的過飽和，衛星在軌運行中一般采用固定的積分級數與增益[12-13]。設置增益的作用是使芯片輸出電壓與AD轉換器電壓相適應，從而提高輸出量化位數。假定模數轉換器的最大電壓為2 V，曝光時間固定時，模擬電壓為0.5～1.1 V，通過增益放大2倍可使CCD輸出電壓與AD轉換器電壓相符。

然而衛星在軌運行中，成像場景不斷轉變(可能由陸地變成海洋、森林變成沙漠)，氣候條件復雜多變(包含晴天、陰天)，太陽高度角也在時刻發生改變，因此相機在不同時刻獲取圖像中的場景動態范圍存在差異，采用固定的積分級數和增益參數無法滿足動態場景實時匹配需求。在軌應用中，為了避免高亮度場景發生灰度飽和，通常將積分級數和增益參數控制在相對適中的范圍以內，從而使場景信息集中在低灰度范圍。這是造成圖像整體偏暗、暗場景區域細節信息丟失的根本原因。

為了實現衛星在軌動態場景的實時匹配，需要在軌運行中實時解算成像場景的動態范圍，并以此為依據合理調整相機積分級數和增益參數。而相機入瞳處的輻照度不僅包含場景本身的輻射能量，還包含大氣程輻射，其在圖像中表現為背景輻射，直接影響有效灰階范圍。由圖2可見：大氣程輻射造成的背景輻射已占1/3，圖像整體偏暗、有霧狀感，且多處高亮度場景區域出現灰度飽和。本文結合鉗位技術在模擬域上消除背景輻射的影響，利用該技術可在高端動態保持不變的情況下，增大積分級數或增益，從而使相機的低端動態得到充分利用，有效提高有效灰階。

圖2 含大氣程輻射的實拍圖像(a)及其直方圖分布(b)Fig.2 Actual image with atmospheric radiation(a) and corresponding histogram distribution(b)

此外，當圖像中包含云場景時，由于云具有較高反射率，圖像中表現為高亮度飽和區域[14]，容易被誤判為地面場景的高動態信息，從而影響場景動態范圍的測量。

3 衛星在軌動態場景實時匹配方法

3.1 匹配總體方案

衛星在軌動態場景實時匹配方案如圖3所示。由圖3可知，為了實現相機在軌動態場景與實時拍攝的地面場景動態范圍達到最佳匹配，采用測光-解算-成像的工作方式。首先采用獨立的測光相機在t1時刻對地面場景進行成像，而后根據測光結果，結合大氣程輻射預估和云檢測獲得實時拍攝場景的動態范圍。最后成像相機根據場景動態調整積分級數和增益，并設置鉗位值，在t2時刻對地面場景進行成像。

圖3 衛星在軌動態場景實時匹配方案Fig.3 Real-time matching scheme for satellite dynamic scene

3.2 場景動態范圍測量方法

由3.1節可見：大氣程輻射和云場景對地面場景低亮度和高亮度信息的測量存在干擾，在場景動態范圍測量中需將二者剔除。下面給出大氣程輻射預估和云檢測方法。

圖4 不同鉗位電壓值下的圖像直方圖Fig.4 Image histograms with different clamping voltage values

3.2.1 大氣程輻射預估方法

通過對不同拍攝時間、不同地面場景和含不同程度大氣程輻射效應的100幅圖像進行統計特性分析得知，大氣程輻射對圖像特性的影響體現為直方圖偏離原點。圖4為不同鉗位值時的圖像直方圖。由圖4可見，通過增大鉗位電壓值可使直方圖向左偏移，當鉗位電壓值達到某數值后，再增大鉗位值會使暗場景區域的目標信息丟失(如圖5)，此時直方圖的形狀也將發生改變(如圖4(d))。

圖5 鉗位電壓值為500 mV的成像結果Fig.5 Imaging results when clamp voltage value is 500 mV

圖6 鉗位電壓設置示意圖Fig.6 Demonstration of clamping voltage selection

根據上述特征，本文提出基于直方圖特性確定鉗位電壓值并在模擬域消除大氣程輻射的方法。首先，尋找圖像直方圖的首個上升沿(如圖6(a))所示)。然后，利用二次曲線擬合出上升沿函數，求出上升沿與橫坐標軸的交點，從而確定大氣程輻射對應的灰度值。最后，將該處的電壓值設置為鉗位電壓，保證暗場景細節信息不丟失。為了提高方法的魯棒性，從橫坐標軸與擬合曲線的交點處沿曲線向上搜索，發現圖像中包含暗點時判讀其是否為連續點，若包含連續點則將該點的電壓值設置為鉗位電壓。 圖6(b)中豎線所示位置即為鉗位電壓值處。

3.2.2 云檢測

云檢測的總體思路如圖7所示，主要包括特征分類訓練與源模式判別兩個部分。在特征分類訓練中，本文選取具有代表性的云及其下墊面圖像塊作為訓練樣本。首先，基于云與下墊面地物場景的物理屬性差異，構造并提取其特征參量，將樣本映射為特征空間中的點[14]。然后，根據各參量對云和下墊面樣本的分割程度選擇特征參量，并利用特征壓縮技術[15]進行特征空間壓縮。最后，利用分類學習機[16]對樣本進行分類訓練，得到分類器。在源模式判別中，本文針對待檢測圖像進行特征參量提取與壓縮，并輸入分類器進行模式判別，完成云檢測。

圖7 云檢測總體思路Fig.7 Overall scheme of cloud detection

3.2.3 場景動態范圍解算

剔除大氣程輻射和云對場景動態范圍測量的影響后，即可解算被攝場景的動態范圍，解算方法如圖8所示，首先根據測光相機輻射標定關系和飽和輻亮度預估值，確定測光相機的曝光時間和增益。然后，分別根據測光相機對地面兩次成像結果，統計出地面場景高亮度和低亮度信息，從而實現場景動態范圍的測量。

圖8 場景動態范圍解算方法Fig.8 Scene dynamic range calculation method

3.3 動態場景實時匹配方法

本文采用測光相機對場景動態范圍進行測量。由于測光相機與成像相機使用的傳感器不同，為了使測光相機得到的動態范圍可以被成像相機所用，必須首先對兩臺相機的輻射響應進行精確標定[17]。

(1)

然后根據實際成像的場景動態，并結合測光相機與成像相機標定關系，解算相機的成像參數，根據場景動態和相機動態范圍關系，分為兩種情況進行分析：

(1)當場景動態范圍小于相機動態范圍時，相機成像參數的解算公式為[12]：

(2)

(2)當場景動態范圍大于相機動態范圍時，又分為兩種情況進行解算：

①高亮度匹配：高亮度匹配即是成像相機動態范圍包含場景動態的最高亮度點，舍去部分的低亮度信息，保證高亮度信息的不丟失。匹配方法為令像面照度最大值處像素的輸出信號恰好飽和，此時，參數解算方法與第(1)種情況一致。

②低亮度匹配：低亮度匹配即是相機動態范圍包含場景動態的最低亮度點，舍去部分的高亮度信息，保證低亮度信息的不丟失。相機成像參數的解算公式為：

(3)

在t和gv的匹配優化設置中，考慮到增大gv會引起噪聲放大，因此首先調整積分級數，僅在所需t超出系統允許上限時進行增益調整。

實際在軌應用中，場景動態范圍通常大于相機動態范圍，此時很難通過單次成像實現暗場景和亮場景細節信息的同時獲取。可采用兩次成像方案，分別采用高亮度匹配和低亮度匹配，并采用一種基于亮度參考模型的圖像融合方法[18]對高匹配和低匹配圖像進行融合處理。首先，將圖像轉換為YCbCr空間，對Y分量的圖像進行濾波，得到亮度參考圖像。根據亮度參考圖像設置權重。權重設置原則為：給曝光適當的區域設置較大權重， 對過曝光或欠曝光區域設置較小權重。考慮到正常曝光的像素值在128左右，本文為其設定了較大權重。

4 動態場景實時匹配試驗

4.1 匹配性能評價指標

圖像灰階范圍和信息熵能夠直接反映圖像的有效動態范圍和信息含量的豐富程度，因此本文采用它們對匹配方法的有效性和處理性能進行評價。

本文將圖像的灰階范圍定義為：

Range=graymax-graymin ,

(4)

式中，Range表示灰階范圍，graymax表示去除圖像中最亮10%像素后的最大灰度值，graymin為去除最暗10%像素后的最小灰度值。

圖像信息熵定義[19]為：

(5)

式中，Pi表示圖像中灰度值為i的像素所占的比例。

本文將匹配方法對圖像灰階和熵提升性能的評價指標定義為：

(6)

式中，Rate表示灰階范圍的平均提升值，N表示圖像大小，GRfixed、GRLpath分別表示消除大氣程輻射前、后圖像的灰階范圍。

4.2 無人機外場試驗方案

利用無人機搭載測光相機與成像相機，平臺結構示意圖和整機實物圖如圖9、圖10所示，其中測光相機和成像相機均選用德國ximea高速相機和尼康標準變焦鏡頭，其焦距為24～120 mm，最小光圈值為22，傳感器型號為MC050MG-SY。當飛行高度為100 m時，為了模擬衛星在軌工作狀態，設置測光相機比成像相機預先觀測10 m的目標場景，此時計算測光相機與成像相機的角度為5.7°。為了保持無人機穩定飛行，將其飛行速度設置為1 m/s，因此兩次測光-拍照之間的間隔為10 s。

圖9 無人機平臺結構圖Fig.9 Structure diagram of UAV platform

圖10 無人機整機實物圖Fig.10 Prototype of UAV

在設定無人機飛行軌跡時，設定一個目標點，令無人機按照1 m/s速度飛向目標點，在無人機飛行的過程中，利用其上搭載的測光相機獲取目標場景圖像，根據感興趣區域解算第二次曝光時間，待無人機運行1 s后時開始第二次測光。在測光相機第二次測光時，改變開窗位置對同一目標場景成像。通過兩次測光圖像，測量目標場景的動態范圍并確定成像相機的曝光時間和增益。10 s后成像相機到達測光相機測量的場景區域，在成像相機通過該區域時，利用動態場景實時匹配方法解算的曝光時間和增益采集地面場景圖像。同時，在相同飛行軌跡下，利用成像相機對準待測目標場景，而后改變曝光時間和增益拍攝場景，采集不同曝光時間和增益下同一場景的序列圖像，最后通過統計匹配圖像和序列圖像的灰階范圍與圖像熵，說明匹配方法的有效性和處理性能。

4.3 外場實驗及結果分析

2016年9月20日和2016年10月7日下午14:00(分別為晴天和陰天)，選擇10種不同類型的場景區域進行了無人機飛行試驗。圖11給出了不同曝光時間下場景1的序列圖像。第1次曝光時間設定為0.1 ms，解算第2次曝光時間為2.061 ms。由圖11(a)、11(b)可見，第1次成像盡管出現了暗場景信息丟失問題，但較好地保留了高動態的屋頂場景信息，而第2次成像出現了高動態場景信息丟失問題，但較好地保留了低動態場景信息。利用兩次圖像解算出實時匹配的成像相機曝光時間為0.424 ms。從圖11 (c)和其它曝光時間下成像獲取的序列圖像對比看，利用本文提出的匹配方法可根據實時拍攝的地面景物合理地設置相機參數，實現相機與場景動態范圍的最佳匹配。

圖11 不同曝光時間下相同場景的序列圖像Fig.11 Sequence images of the same scene with different integration times

利用測光相機對場景進行兩次測光，而后成像相機根據匹配結果實時調整參數對同一場景進行成像的結果如圖12所示。表1給出了匹配前后圖像質量的評價結果。從圖12(c)和12(f)和表1可見，動態場景匹配方法能夠根據地面場景實時解算相機參數，匹配后圖像的有效灰階提升優于100%，信息熵提升優于40%。

圖12 兩次測光圖像及動態匹配結果Fig.12 Two photometric images and corresponding dynamic matching results 表1 外場實驗匹配前后的圖像質量評價結果 Tab.1 Image quality evaluation results of field experiment before and after matching

圖像灰階圖像熵固定曝光匹配后提升/%固定曝光匹配后提升/%場景124.2204.3744.23.9456.949076.1場景215.9153.8867.33.4966.688191.3場景333.4217.3550.64.0806.360755.9場景442.9232.7442.44.5717.119155.7場景529.5189.1541.04.4736.988956.2場景638.6209.0441.54.0436.439359.3場景755.2229.8316.35.0827.455846.7場景850.2182.6263.73.7626.011459.8場景961.9226.0265.13.8755.426140.0場景1016.0157.5884.43.6336.904790.1

4.4 仿真實驗及分析

為進一步驗證方法的實際應用能力，本文在Visual Studio2013環境下開發了在軌動態場景實時匹配軟件，如圖13所示。以worldview3衛星成像參數為參考，對提出方法的有效性和實時性進行了仿真實驗驗證，實驗所采用的機器為Windows64位系統，配置I3處理器、8G內存。

圖14給出了幾組仿真實驗中兩次測光圖像及匹配結果。表2中給出了固定曝光和動態匹配曝光成像仿真結果的圖像熵和圖像灰階范圍等圖像質量評價結果及算法運行時間，可看出經過場景動態匹配后，圖像具有較高的動態范圍，圖像灰階范圍平均提升優于200%，圖像熵平均提升40%以上。算法運行時間小于0.3 s，能夠滿足星上實時應用要求。

圖13 軟件界面Fig.13 Simulation software interface

表2 仿真實驗圖像匹配前后的圖像質量評價結果Tab.2 Image quality evaluation results of simulation experiment before and after matching

圖14 模擬測光圖像及動態場景實時匹配結果Fig.14 Simulated photometric images and dynamic scene real-time matching results

5 結 論

為了達到衛星相機在軌動態和成像場景動態實時匹配的目的，研究了衛星在軌動態實時匹配方法。分析得出影響衛星在軌動態范圍的關鍵要素，并考慮到大氣程輻射對圖像有效灰階和場景動態范圍測量的影響，提出基于直方圖特性的大氣程輻射預估方法，并給出結合動態鉗位技術在模擬域對其進行消除的方法；建立了衛星在軌動態場景實時匹配方案，并考慮到測光相機和成像相機的標定關系，結合大氣程輻射預估和云檢測，提出場景動態范圍、相機成像參數解算的方法；提出了衛星在軌動態場景實時匹配方法，利用無人機開展了試驗驗證。結果表明：利用該方法可根據實時拍攝的地面景物，合理設置相機參數，實現相機與場景動態范圍的最佳匹配，有效灰階提升優于100%，信息熵平均提升優于40%。

本文的分析方法以及得出的相關結論可為后續高分辨率光學衛星相機設計、在軌運行參數設置以及星上預處理算法的研究提供依據，具有理論意義和實際工程應用價值。