遙感衛星數據預處理功能擴展模型設計與實現

肖鵬，李景山

(1.中國科學院大學，北京 100094；2.中國科學院空天信息創新研究院，北京 100094)

0 引言

遙感衛星地面接收站接收的遙感衛星下行的遙感原始數據是二進制的碼流數據，這些數據無法直接應用于社會各領域，必須先進行幀同步、解擾、譯碼、去格式、解壓縮、相對輻射校正、系統幾何校正等處理，將所獲取的二進制碼流數據處理生成用于歸檔的0級數據或初級的產品數據，這個階段就是遙感衛星數據預處理過程[1-2]。數據預處理是將遙感原始數據加工生成初步產品的過程，是遙感衛星數據從原始碼流到能實際應用產品的關鍵步驟。遙感衛星技術的快速發展，給社會各領域帶來了巨大的經濟效益，但同時由于在軌運行的衛星遙感器種類的不斷增長，也給遙感衛星地面系統數據預處理功能的集成與擴展帶來了難題。以高分系列衛星為例，從2013年至今就已發射了7顆，這7顆高分衛星所獲取和下傳的遙感原始數據格式和預處理方式各不相同。例如高分一號與高分四號的衛星數據，前者為線陣電荷耦合元件(charge coupled device，CCD)圖像傳感器成像，而后者為面陣CCD圖像傳感器成像，因此二者原始數據中圖像數據和衛星輔助姿態數據的排列格式互不相同；同時高分一號衛星原始數據中的圖像數據在下傳之前經過了壓縮處理，而高分一號衛星的圖像數據則未經過壓縮處理，所以預處理過程中，前者包含解壓縮操作，而后者無需解壓縮操作。由此可見，如何建立一個通用的、多衛星適用的遙感衛星數據預處理框架模型，以實現地面系統預處理功能擴展是遙感衛星地面系統設計的必須解決的一個技術難題。

針對遙感衛星數據預處理難點的研究，國內外已有學者對此提出來一些探討和設計。比較有代表性的比如，陳元偉[3]提出基于面向對象的設計方法以及工廠模式的設計思想，設計實現了通用多衛星地面預處理系統中功能模塊的框架，該框架可以在不改變模塊結構的前提下實現新衛星數據處理功能的添加，以此實現多衛星的功能擴展性。李傳榮等[4]提出了通用遙感數據并行處理框架，該框架集成了遙感數據預處理并行任務調度、消息和數據交換、故障管理等公共功能，并設計實現了簡單易用的插件接口規范，以支持多載荷、多種遙感數據預處理功能的擴展以實現并行處理，具有較好的通用性和功能擴展性。

雖然國內外學者對于遙感衛星數據預處理的研究眾多，但在實現模型的多衛星適用性時，采取的主流設計方法都是基于簡單工廠方法的設計模式。在具體的設計實現中，為每一顆特定的衛星設計一個特定的處理方法，這樣在實際應用過程中，針對特定的衛星型號，調用與之對應的處理方法，以此實現該設計對于多衛星、多載荷的適用性。簡而言之，傳統的實現遙感衛星數據預處理模型可擴展性的方法，其本質只是多個衛星數據處理類方法的疊加。對于一個新的衛星，傳統的模型要實現對這顆衛星數據預處理功能，就需要在算法層面增加新衛星的處理類方法代碼，工作量大且操作復雜。

針對上述中傳統遙感衛星數據預處理模型在實現可擴展性時存在的缺點，本文通過分析不同光學成像遙感衛星數據的格式特點以及數據預處理的基本原理，對數據預處理中的各項業務流程實現模型化，提出了一種適用于多顆光學成像遙感衛星的數據預處理功能擴展模型。通過對主要業務流程模塊化，建立各業務流程模塊的子模型，使得只需在該功能擴展模型中添加新衛星在各個子模型中的配置文件，無需增加新的處理程序代碼，就能實現對該衛星的數據預處理功能。

1 模型的建立

由于我國目前的主流衛星都采用高級在軌系統協議(advanced orbiting systems，AOS)標準作為數傳系統的數據標準組織格式，所以本文提出的數據預處理功能擴展模型適用于遵循AOS格式標準的衛星數據。從數據預處理的具體流程來說，遙感衛星數據預處理主要包括幀同步、解擾、譯碼、去格式、解壓縮等處理生成0級數據進行歸檔，或者再進行相對輻射校正、系統幾何校正等處理生成初級產品數據進行歸檔[5]。后續產品處理基于0級數據或者初級產品數據進行處理。其主要流程如圖1所示。

圖1 遙感衛星數據預處理流程圖

本文提出的數據預處理功能擴展模型旨在利用若干個模塊步驟，將上述流程都包含在各個模塊之中，并對各個模塊實現模型化，以此確立整個遙感衛星數據預處理流程的標準模型。

1.1 模型的整體結構

根據數據預處理所完成的基本功能，結合實際的應用需求，本文提出的功能擴展模型將預處理流程分為通道數據分離、條帶數據形成、分景、相對輻射校正和系統幾何校正5個流程模塊，對每個流程模塊都建立相應的子模型，每個子模型主要包括各自的輸入文件、模塊執行程序、模塊配置文件以及輸出文件。功能擴展模型結構如圖2所示。

圖2 功能擴展模型結構圖

如圖2所示，本文提出的數據預處理功能擴展模型由5個子模型構成，每個子模型都由輸入文件、執行程序、配置文件和輸出文件4個部分組成。圖中的通道數據表示衛星的有效載荷數據，例如高分五號衛星的可見光短波紅外高光譜數據，稱為一組通道數據，它又是由4片并列的面陣CCD探測器所得到的信號數據所組成，文中將一片CCD所探測并下傳的數據稱為一個虛擬信道數據。通道數據分離模塊所完成的工作為將所輸入的原始碼流數據，根據該衛星的AOS幀數據格式，進行相應的幀同步、解交織、解擾等操作。再根據解擾之后的數據中特定的虛擬信道標識位，將屬于同一通道的若干個虛擬信道的有效數據從中提取出來，形成對應的各通道數據。

條帶數據形成模塊則是從通道數據中包含的各虛擬信道數據中將衛星輔助姿態數據以及圖像數據分離出來，根據虛擬信道之間的關系將其圖像數據進行拼接，形成完整的該通道的條帶數據。分景模塊所完成的工作為從條帶數據解析出以景為單位的TIFF影像。相對輻射校正模塊所完成的工作主要為消除每景影像的CCD成像拼接處的條帶黑色拼縫以及影像的系統椒鹽噪聲。系統幾何校正模塊所完成的工作為根據相應的嚴格成像模型，對輸入的影像進行系統幾何校正，以輸出具有地理坐標信息的二級影像。

在實際運用中，對于添加新衛星的數據預處理流程，首先配置該衛星在模型中各模塊子模型的配置文件，模型各模塊程序通過讀取各自的配置文件，獲得該衛星的基本參數信息，實現自動處理。本文所提出的數據預處理功能擴展模型由5個子模型組成，所以本文模型的主要研究重點，就是對各個模塊進行模型化，建立各模塊對應的子模型，確定各個子模型中輸入文件和輸出文件的標準格式、模塊執行程序的主要功能以及模塊配置文件的內容信息。

1.2 子模型的建立

整個功能擴展模型中各個子模型的建立是本文的主要內容，整體的研究思路就是分析各個模塊中所涉及的衛星參數，并參照這些衛星參數在不同的衛星數據中格式的異同，總結出衛星參數的所有格式情況，以配置文件的形式，在配置文件中統一表示出模塊所需的所有衛星基本信息。同時定義各個模塊子模型輸入文件以及輸出文件的標準格式，為各個模塊子模型執行程序的設計實現提供理論依據。簡單來說，每個子模型都是由特定的輸入文件、配置文件、執行程序和輸出文件4個部分構成。以下將就功能擴展模型中5個子模型的建立和實現進行詳細描述。

1)通道數據分離。通道數據分離模塊的輸入文件為衛星的原始碼流數據，輸出文件為由若干個虛擬信道數據組成的通道數據。其主要工作包括幀同步、解交織、解擾、解格式，再將屬于同一通道的若干個虛擬信道的數據組合成對應的各通道數據。對于不同的衛星，此時得到的通道數據一般都采用了不同的壓縮算法進行過壓縮，或者未經過壓縮。所以在實際應用中，對于通道數據經過壓縮的衛星數據，在得到了各通道數據之后，一般還需第三方軟件進行解壓縮，進一步輸出解壓縮后的各個通道數據。通道數據分離模塊所涉及的衛星基本信息主要為從衛星原始碼流中提取的AOS幀格式信息，以高分四號衛星數據為例，其原始碼流數據的AOS幀格式如表1所示。

盡管不同的衛星所采用的AOS幀格式在具體細節上各不相同，但在整體內容上基本一致。通道數據分離主要包括幀同步、IQ解交織、解擾、解格式等操作，其中涉及的具體衛星信息參數除AOS幀格式外，主要還包括IQ交織信息、加擾信息等。所以只要能夠在配置文件中包含這些衛星基本信息，就能夠實現通道數據分離模型對所有衛星的適用性。由此定義通道數據分離模塊的子模型如圖3所示。

表1 高分四號衛星AOS幀數據格式表

圖3 通道數據分離模塊子模型圖

其中，配置文件的主要內容和標準格式如下。

<通道信息>

<通道1>

……

……

2)條帶數據形成。條帶數據形成模塊的輸入文件是上一模塊所輸出的通道數據，輸出文件為該通道長條帶狀的影像二進制文件和對應的衛星輔助姿態數據文件等。對于高分四號這種面陣CCD成像的衛星數據，其條帶數據定義為一軌中所有景影像按成像時間順序所排列組合成的長條帶狀的影像二進制文件。

每組通道數據都有若干個虛擬信道數據，其中包含衛星遙感影像的輔助數據和圖像數據。在條帶數據形成時，必須根據虛擬信道數據中特定的編排格式將其中的輔助數據和圖像數據進行解析，然后再重組成條帶數據。

這一模塊所涉及的衛星參數主要為虛擬信道數據中輔助數據和圖像數據的編排方式。具體來說：一是輔助數據和圖像數據在每一幀數據中所處的位置；二是輔助數據區和圖像數據區自身內部的數據格式。以高分一號衛星數據說明，圖4為8 m虛擬信道中的輔助數據及圖像數據編排格式。

圖4 高分一號衛星虛擬信道數據格式圖

不同衛星的虛擬信道中每幀數據雖然格式上各不相同，內容上都包含圖像數據和輔助數據2種。輔助數據排列方式雖然各不一樣，但都包含軌道6根數、時間、衛星位置、衛星速度、衛星姿態角、星敏四元數這些參數中的若干個。

綜上確定條帶數據形成模型配置文件的基本信息包括：通道內各虛擬信道數據之間的關系，以及虛擬信道數據中的輔助數據和圖像數據的編排格式。前者包括虛擬信道數據的拼接順序、重疊像素量等，后者包括虛擬信道中每一幀的數據格式以及該虛擬信道對應的成像CCD的基本信息。由此定義條帶數據形成模型如圖5所示。

圖5 條帶數據形成模塊子模型圖

圖6 條帶數據形成模塊子模型附圖

其中，配置文件的主要內容和標準格式如下。

<虛擬信道信息>

…

<輔助數據和圖像數據相互關系信息>

…

<輔助數據排列信息>

…

<圖像數據排列信息>

…

3)分景。分景模塊的輸入文件為上一模塊輸出的各條帶的影像二進制文件，輸出文件為條帶數據所包含的各景影像的TIFF文件。約定條帶數據采用BIL的存儲方式，所以該模塊涉及的信息僅包括該衛星不同通道單景影像的波段數、影像行列數以及相鄰影像之間重疊的行數。對于面陣CCD成像的衛星數據，其配置文件中重疊行數嚴格為0，影像行數應嚴格等于面陣CCD的實際行數，否則會導致分離出單景影像內地物不連續；對于線陣CCD成像的衛星數據，默認其配置文件中重疊行數為單景影像的15%，單景影像行數一般設置為與列數相等，但不做強制要求。由此定義分景模塊的模型如圖7所示。

圖7 分景模塊子模型圖

其中，配置文件主要內容和標準格式如下。

<影像信息>

<通道1>

<通道2>

……

……

4)相對輻射校正。相對輻射校正模塊的輸入為分景模塊中輸出的某景的TIFF影像，輸出文件為經過相對輻射校正的TIFF影像。在本文中，相對輻射校正主要為對影像CCD成像拼接處的條帶黑色拼縫的消除，采用基于矩匹配的條帶去除模型[6-7]。此外，采用統計的方法統計出影像上系統椒鹽噪聲點的像素坐標信息，并將其寫入衛星載荷的相對輻射定標文件中，后續用均值濾波的方法進行噪聲點去除。

經過前3個模塊的處理，衛星數據在這一模塊已不存在較大格式上的差異，由此定義相對輻射校正模塊的子模型如圖8所示。

圖8 相對輻射校正模塊子模型圖

其中配置文件的內容為對應相對遙感器輻射定標文件的路徑。

5)系統幾何校正。系統幾何校正模塊的輸入文件為相對輻射校正輸出的TIFF影像以及影像對應的輔助姿態數據文件，輸出文件為經過系統幾何校正具備地理信息的TIFF影像。不同的衛星數據在這一模塊主要表現為輔助姿態數據文件的格式與內容各不相同。例如高分一號衛星為線陣CCD成像，其影像每一行都有對應不同的衛星輔助姿態數據，包含衛星GPS位置、衛星速度、衛星姿態角、星敏四元數等；而高分四號衛星為面陣CCD成像，其一幅影像只有一組輔助姿態數據，包括衛星軌道6根數、衛星姿態角、星敏四元數等。

根據輸入的輔助姿態數據的格式不同，系統幾何校正采用的校正模型又分為2種[8-9]。當輔助姿態數據為衛星姿態角時，采用地心地固坐標系(earth-centered earth-fixed，ECEF)下嚴格成像模型，該模型的計算需要經過4次坐標轉換，成像如式(1)所示。

(1)

當輔助姿態數據為星敏四元數時，采用地心慣性坐標系(earth centered inertial，ECI)下的嚴格成像模型。其原理與前者基本相同，不同點在于該模型下本體坐標會轉換到地心慣性坐標系下，因此本文需要將地心慣性系轉換到地心地固系，其成像如式(2)所示。

(2)

綜上定義系統幾何校正模型如圖9所示。

圖9 系統幾何校正模塊子模型圖

配置文件主要內容和標準格式如下所示，其中傳感器幾何定標文件內容為對應衛星載荷的內外方位元素。

<幾何校正信息>

<輔助數據信息>

2 模型的算法實現

本文提出的功能擴展模型的5個模塊子模型都是由輸入文件、執行程序、配置文件和輸出文件4部分組成，其中配置文件的規范化、模型化是該模型具有多衛星適用性的前提，而執行程序則是模型能夠實際應用的前提。所以，本節內容將詳細講述各個模塊在建立子模型之后，如何在算法層面實現執行程序的實際設計。

2.1 通道數據分離

通道數據分離模塊的執行程序在算法層面主要包含AOS格式幀同步、IQ解交織、解擾和解格式4個功能函數。其算法結構如圖10所示。

圖10 通道數據分離程序算法結構圖

其中，Synchronize()函數通過讀取衛星的基本配置文件，獲取同步字、加擾信息、虛擬信道信息等衛星基本信息，匹配到每一幀數據的幀頭位置，輸出幀同步之后的數據。Deinterlever()函數將輸出的幀同步數據進行IQ解交織，在算法實現層面上，即每一次讀取2倍幀長的數據，將其中的奇數位bit數據和偶數位bit數據分離，形成新的2幀數據。Descramble()函數則將上述輸出的數據根據特定的擾碼序列，對每一幀數據中的加擾區域進行解擾。最后的Interpretate()函數則根據解擾后的幀數據，從中提取出各通道包含的各個虛擬信道的數據。

2.2 條帶數據形成

條帶數據形成模塊的執行程序在算法層面主要包含虛擬信道數據幀同步、輔助數據解析和圖像數據解析3個功能函數。其算法結構如圖11所示。

圖11 條帶數據形成程序算法結構圖

其中的Synchronize()函數為將虛擬信道的數據進行幀同步操作，基本原理和通道數據分離模塊中的AOS格式幀同步一致。PosDataDeal()函數通過讀取模塊配置文件中的衛星參數信息，確定虛擬信道數據中衛星輔助姿態數據的位置，并對各個屬性值進行解析，主要包括衛星3個姿態角、星敏四元數、衛星位置、衛星速度等信息的解析。ImgDataDeal()函數先確定圖像數據的位置及排列方式，對影像灰度值進行解析。再形成影像條帶數據二進制文件，統一約定采用2個字節表示單個像素的排列方式，其中第一字節為低bit位，第二字節為高bit位，存儲方式為BIL方式。

2.3 分景

分景模塊的執行程序在算法層面主要包含影像行信息計算、星上切機判斷和影像成圖3個功能函數。其算法結構如圖12所示。

圖12 分景程序算法結構圖

其中，ComputeLineInfo()函數通過讀取模塊配置文件，獲取影像的行列數以及相鄰影像的重疊行數，以此計算當前該景影像在該軌條帶數據中的起始行和末尾行，并從條帶數據中讀取對應的影像灰度值信息。假設某衛星在分景模塊的配置文件中，該衛星數據的第n景影像的起始行和末尾行分別記作startline和endline。那么startline和endline的計算如式(3)、式(4)所示。

startline=(i-k)*(n-1)

(3)

endline=(i-k)*(n-1)+i-1

(4)

式中：單景影像行數為i；相鄰影像重疊行數為k。

對于線陣CCD推掃式成像的衛星，經常出現星上切機的情況，這時就不能夠簡單地通過配置文件信息來判斷當前景的起始行和末尾行。IsMoveCamra()函數讀取模塊配置文件，當相鄰影像重疊行數為0時，判斷該衛星為面陣CCD成像衛星，不存在星上切機，函數返回值為false，影像始末行信息不變；否則為線陣CCD成像衛星，進行是否星上切機判定。通過分析其行時文件的連續性，當檢測到行時文件中計時器值出現跳變或倒轉時，則判定出現星上切機情況。此時，設置該景影像的末尾行為切機的前一行。

CreatImgTif()函數為影像生成函數，主要為影像灰度值的解析和借助GDAL庫生成影像TIFF文件。

2.4 相對輻射校正

相對輻射校正模塊的執行程序主要包括條帶拼縫去除和系統椒鹽噪聲去除2個功能函數，其算法結構如圖13所示。

圖13 相對輻射校正程序算法結構圖

其中,PieceFit()為條帶黑色拼縫去除函數，本文涉及采用矩匹配的去除模型，模型計算如式(5)所示。

(5)

式中：X，Y分別為第i列影像像素校正前后的灰度值；σr，μr為理想狀況下的參考列灰度值的標準方差、均值；σi，μi為待校正列的影像灰度值的方差、均值。

SpNoiseFit()函數為系統椒鹽噪聲點的去除，通過去讀取相對輻射校正定標文件中噪聲點的像素坐標，采用均值濾波進行平滑處理。CreatTif()函數為影像生成函數。

2.5 系統幾何校正

由于系統幾何校正采用的嚴格成像模型分為2種，所以在該模塊執行程序實現中，在算法層面采用工廠設計模式，添加了CtsSensorModel類方法和CisSensorModel類方法，分別應用于ECEF坐標系下的嚴格成像模型和ECI坐標系下的嚴格成像模型。其中基類AbstrCorrect中主要包括旋轉矩陣的計算、像素坐標到經緯度的計算、經緯度到像素坐標的計算、影像灰度值重采樣成圖這4個功能函數。程序算法結構如圖14所示。

圖14 系統幾何校正程序算法結構圖

其中,ImgimgRay()函數主要為旋轉矩陣的計算，2種不同類方法包括2種不同的計算方法。LineSampleToWorld()函數是基于嚴格成像模型公式的影像像素坐標到經緯度坐標的計算函數，WorldToLineSample()函數分別為經緯度坐標到影像像素坐標的轉換，其計算主要依據LineSampleToWorld()函數的反酸迭代。CorrectTiff()函數根據經緯度計算出的影像像素坐標，在原影像上利用雙線性插值的方法進行灰度值重采樣，生成校正過后的影像TIFF文件，并寫入地理信息。

3 實驗驗證與分析

本文以高分一號、高分二號、高分四號、高分五號以及高分六號的原始碼流數據作為實驗數據，并借助第三方軟件對高分一號、高分二號、高分五號、高分六號所輸出的通道數據進行解壓縮處理。各個模塊程序運行在有5臺機器組成的機群服務器上，每臺服務器配置2顆4核的Intel Xeon E5620處理器和24 GB內存；實驗數據存儲在服務器內部署的LUSTRE并行文件系統之上。以下將詳細描述本文提出的功能擴展模型中各個子模型應用于高分系列衛星數據適用性實驗與相關實驗結果。

通道數據分離模型程序的測試輸入數據為高分四號衛星原始碼流數據文件，得到可見光近紅外通道數據(包括5個虛擬信道數據)和中紅外通道數據(包括1個虛擬信道數據)。

條帶數據形成模型程序的測試輸入數據為高分一號、高分二號、高分四號和高分五號的通道數據，輸出文件為該通道的條帶數據、輔助姿態數據以及行時數據文件。

用ENVI軟件依次打開各顆衛星條帶數據的實驗結果如圖15所示，其中從左往右依次為高分一號、高分二號、高分四號、高分五號衛星，顯示行數都為10 000行。

圖15 高分系列衛星條帶數據圖

分景模型程序的測試輸入文件為上文中5顆衛星的條帶數據，輸出文件為該條帶所包含的所有景影像TIFF文件，為高分五號衛星的分景輸出數據(圖16)。

圖16 高分五號分景數據輸出文件圖

相對輻射校正程序的測試輸入文件為各衛星的原始TIFF影像，輸出文件為去除了條帶拼縫和系統椒鹽噪聲點的TIFF影像。圖17顯示了高分二號衛星影像相對輻射校正前后對比圖，選取校正后影像的均勻地物，利用平均標準差法測得相對輻射精度為2.1%[10]，滿足基本需求。

圖17 高分二號影像相對輻射校正前后對比圖

系統幾何校正程序的測試輸入文件為各衛星經相對輻射校正后的TIFF影像，輸出文件為具備地理信息的TIFF影像。圖18為高分一號衛星影像系統幾何校正前后對比圖。通過在天地圖上選取影像同名控制點，測得校正后影像的幾何定位精度約為120 m。后期經過分析影像內同名點的誤差，方向大小基本一致。將影像上的地物與地理控制點信息庫進行同名點匹配，根據匹配得到的地理位置偏差，將影像再進行仿射變換，可達到2～3個像素的精度。對比資源衛星同一影像，其幾何定位精度為30～40 m，經過仿射變換達到的1～2個像素的精度。結合二者的精度對比，可知本文模型的實驗結果，滿足基本需求。

經過上述實驗證明，本文研究的功能擴展模型具備高分一號、高分二號、高分四號、高分五號和高分六號衛星數據的預處理功能，可通過添加配置文件的方式添加功能擴展模型對于目前已有的高分系列光學衛星的數據預處理功能。

圖18 高分一號影像系統幾何校正前后對比圖

4 結束語

本文針對遙感衛星數據預處理功能難以擴展的問題，通過分析不同衛星數據的格式特點以及數據預處理的基本原理，提出并實現了一種適用于多衛星的遙感衛星數據預處理功能擴展模型。文章以高分系列衛星的數據格式為參考標準，充分考慮了已有的各種光學衛星數據可能出現的格式。從數據的編排格式，到成像CCD的種類，再到衛星輔助姿態數據的格式，在配置文件中統一規范地表示了目前已知的衛星格式參數信息，以此實現了只須添加新衛星在各個子模型中的配置文件，就能添加對該衛星的數據預處理功能的數據預處理功能擴展模型。

實驗結果表明，本文提出的功能擴展模型對于高分系列光學衛星數據具有良好的適用性，各個模塊的配置文件都能統一體現出目前已有的高分系列衛星的數據格式特點。但隨著遙感衛星技術的快速發展，衛星數據的格式也可能出現新的樣式，各模塊的配置文件也需要與時俱進的更新。后續有待于對模型進行進一步優化，采用配置文件的方式描述盡可能多系列的衛星數據格式，進一步提高模型的適應性。此外，本文提出的模型只適用于光學成像遙感衛星，對于高分三號這種雷達遙感衛星卻并不適用。如何用配置文件的方式描述出非光學衛星的數據格式特點，將是本文模型更深一步的研究方向。