遙感衛星在軌圖像智能處理設計與驗證

肖化超 王鵬 張建華 師勇 孫鈺林 郭琪 楊芳

(1 中國空間技術研究院西安分院，西安 710100)(2 航天東方紅衛星有限公司，北京 100094)

在軌圖像智能處理是實現遙感衛星智能化的關鍵技術，是當前遙感衛星技術發展與工程應用的一個熱點方向，受到廣泛關注。美國地球觀測-1(EO-1)等衛星采用了星上圖像處理技術，具有突發事件監測等功能[1]。我國民商用衛星中，如清華一號等具有星上云檢測等功能[2]。近年來，國內各研究機構對智能遙感衛星進行積極探討，文獻[3]對新型智能遙感衛星技術進行了展望，強調智能遙感衛星必須具備開放軟件平臺、支持第三方靈活開發及應用軟件上注的架構。文獻[4]對智能遙感衛星服務模式、涉及的相關處理方法等進行了介紹。國內多個研究機構、高校對遙感圖像在軌智能處理技術進行探索[5]，文獻[6]指出當今對地觀測衛星系統已具備良好的測量及數據獲取能力，但缺乏智能化觀測及感知能力，需重點突破星上數據處理關鍵技術，建立以用戶需求為核心的任務驅動型遙感數據星地協同處理機制，并給出后續遙感衛星智能化提升的發展方向。

傳統星上處理僅實現載荷數據接入、數據組幀、格式編排、數據緩存等功能，無法滿足用戶信息獲取的產品化需求，星上成像、過境回傳、地面事后處理的方式限制了衛星的應用效能，制約了衛星用戶信息獲取的針對性和時效性，因此星上智能處理是未來遙感衛星效能倍增和智能化提升的關鍵。

本文首先介紹遙感衛星在軌智能處理系統總體架構設計，其次對星載智能處理器中多項關鍵技術進行論述，最后基于某遙感衛星實際在軌測試結果對相關設計驗證情況進行介紹，通過在軌智能處理極大地提高了用戶信息獲取的時效性，提升了衛星觀測效能及服務能力，可供后續遙感衛星星上智能處理設計參考。

1 在軌圖像智能處理系統總體架構設計

1.1 星載智能處理器系統架構

在軌智能處理設計頂層采用軟件定義衛星的思路，通過軟硬件系統化統籌，將星上處理與數傳基帶處理整合為智能處理器，基于同一套硬件平臺通過加載不同軟件實現各自功能，利用高性能智能處理器平臺按照用戶具體需求以軟件加載的方式直接進行在軌處理，改變以往星上成像、地面事后處理的方式，提升衛星的在軌服務能力。

智能處理器作為核心處理設備，負責圖像智能處理、壓縮編碼、存儲及供配電控制等，由路由單元、計算單元、存儲單元、控制單元等11塊插板組成，單元間交叉備份，單元內互備份，最大程度保證在軌運行的可靠性。采用基于標準化架構，數據流向由路由單元集中調度后再由各計算單元進行分布式處理，以適應不同功能框架、流程、接口相兼容的需求。以路由單元作為數據交換核心，外部高速載荷先統一由路由單元接入，對不同數據按虛擬信道組幀后再按任務要求分配到計算單元、存儲單元、調制適配單元，并負責各功能單元之間的數據交互，從而實現多種速率、多種形式數據的系統級靈活管理，其整體架構如圖1所示。

圖1 星載智能處理器系統架構

1.2 處理流程

星上智能處理主要目標是通過在軌處理直接從海量成像數據(吉字節/太字節量級)中提取出用戶感興趣的目標圖像或信息(千字節/兆字節量級)，以處理結果的快速下傳改變海量數據地面后處理的傳統模式，提升用戶信息獲取的針對性和時效性，倍增衛星的應用效能，支撐未來智能對地觀測任務的需求。具體包括三大類功能：圖像預處理、基于地理位置的區域圖像提取、基于目標檢測的區域圖像提取，標準化開放式的系統設計還支持裝載其它第三方軟件實現其他用戶自定義的對地觀測功能。

圖像預處理包括相對輻射校正和在軌實時云檢測處理。

基于地理位置的區域圖像提取根據用戶上注的經緯度預設感興趣區域，從原始成像數據中快速提取區域圖像數據后供后續處理或生成產品后下傳。

基于目標檢測區域圖像提取，支持對飛機、艦船、油罐等多類型目標檢測處理，經檢測、定位一體化處理后直接為用戶提供重點目標切片及位置等相關信息。

總體處理流程如圖2所示，上述功能設計所對應核心軟件最終固化在計算單元中，在控制單元的統一管理下，載荷數據由路由統一接入后，其他硬件單元配合進行數據緩存及流程交互，核心的算法處理在計算單元以功能軟件調用的方式實現，處理結果由路由統一調度至通道對地下傳。圖像預處理由現場可編程門陣列(FPGA)進行實時處理，其他兩大類功能由于算法和流程復雜度較高，使用異構計算框架(FPGA+數字信號處理(DSP))進行準實時處理。

圖2 遙感衛星在軌圖像智能處理系統框圖

星上智能處理系統除核心功能軟件外，還需相關參數庫支持，包括數字高程模型庫(DEM)、輻射校正、幾何校正參數以及深度學習網絡參數等，在地面進行相關算法迭代、模型參數的優化調整，再通過多層級在軌重構優化提升在軌處理性能。

1.3 系統特點

與傳統數據處理器相比，智能處理系統在數據流調度靈活性以及對星上處理復雜功能支持方面具有優勢，其特點如下。

(1)軟件定義功能。智能處理與數傳基帶共用資源，提升了系統的應用效能。

(2)高性能異構計算平臺。以高性能FPGA、多核DSP、大容量高速DDR3數據存儲器等為核心構建異構處理平臺，通過高速路由調度交互提升系統靈活性，保障圖像預處理、圖像壓縮等常規在軌處理需求。

(3)深度網絡輕量化實現。利用模型輕量化技術及并行流水等手段，在資源受限條件下創新性地實現星載高速高效的多類型目標檢測。

(4)多層級在軌重構。支持參數庫、算法模塊和具體功能軟件的在軌重構，最大程度利用上行資源保障智能處理在軌演進。

2 關鍵技術

針對多類型高準確度目標檢測的需求，創新性地采用深度學習技術，基于網絡輕量化處理及并行流水設計實現輕量化網絡星載部署；針對云檢測在軌實時處理需求，采用基于多特征分類器的云檢測技術對成像結果中的云區進行處理；考慮在軌常態化運行后的優化需求，采用多層級上注重構技術，通過對參數、算法、功能進行三級上注管理，保障在軌功能性能優化演進。

2.1 星載深度學習加速技術

基于深度神經網絡的目標檢測不僅能夠突破傳統目標檢測方法所支持類型單一的瓶頸性問題，而且可以有效提升復雜背景下的檢測效果，但對于資源和能源受限的星載設備，直接基于嵌入式FPGA平臺進行高速推理會帶來能耗及資源等問題，針對遙感圖像目標檢測任務大幅寬、小樣本、多類型目標尺寸差異大的特點，從算法、算力多維度統籌考慮，對原始模型進行優化，減少資源依賴[7]。

面向在軌目標檢測任務的星載輕量化設計方案如圖3所示，在網絡設計過程中采用模型壓縮和參數量化手段，應用粗粒度剪枝及定點化方法[8]，在不損失精度的條件下將原始模型轉換為可在星載平臺上運行的輕量級模型。在硬件實現過程中，基于FPGA并行流水的特點，通過對神經網絡不同模塊的多線程并行流水調度，提高計算和緩存資源的利用率，減小算法運行延時，提高網絡的推理速度，保證高速數據處理下的吞吐率。

圖3 星載輕量化網絡設計與實現

基于星載神經網絡加速技術，單幅圖像推理(檢測)運算量較原始模型降低約33倍，網絡參數從200 Mbyte左右減少至1 Mbyte以內(減少約99.5%)，對原始圖像分為標準子塊后處理，在資源受限的星載嵌入式平臺上可達200幀/秒，在復雜背景下檢測效果及在軌應用靈活性方面較傳統方式有明顯優勢。

2.2 實時云檢測技術

受觀測環境影響，遙感圖像中存在大量云覆蓋率較高的厚云圖像，在軌檢出并剔除這些區域能減少無效數據下傳，降低通道壓力并提升地面存儲解析效率。薄云、離散云占數據總量并不大，且相關方法可有效去除遮擋恢復圖像，因此當前研究重點針對厚云覆蓋區，檢測率、準確率及實時性是該技術在軌應用的關鍵。

云區在遙感圖像中的表征主要是高亮均勻平坦區，在以往的研究中部分學者采用主成分分析非監督預訓練網絡結構獲取待測影像云特征[9]，利用超像素分割方法進行影像分割，最后將檢測結果影像塊拼接，但該類方法處理流程及運算復雜度較高，僅適合在地面處理，難以實現星載部署。考慮星上運算資源受限及在軌實時處理的需求，需要在保證性能的前提下盡可能地降低運算量，星載實時云檢測處理選取亮像素點比例、角二階矩、平均梯度等運算量相對較少的特征構建多維特征分類器。

總體方案如圖4所示，首先對圖像進行標準尺寸分塊，選取運算量相對較少的特征參數計算子塊特征，分類處理分兩步，先進行基于亮度特征的粗分類，再對可能是云的高亮度小塊進行基于支撐向量機(SVM)的細分類后即可判定該子塊是否為云，再根據控制指令決定是否對標記為云的子塊進行剔除。由于SVM是有監督的分類器，具體實現時以亮度特征粗分類后的疑似云區子塊作為樣本對其進行預先訓練，參數通過星地鏈路上注，最終實現地面離線訓練，星上在線實時推理，既能保證星上處理的實時性又可簡化處理流程，通過參數的迭代還可在軌優化性能。

圖4 云檢測實時處理

2.3 多層級在軌重構技術

智能處理器各功能所涉及的軟件、算法模型等均存儲在可重復編程的存儲器件中，根據實際需求和上注通道資源依次可開展參數級、算法模塊級和軟件功能級在軌重構，保障在軌功能性能不斷優化演進。

為最大程度適配上行通道資源，采用多層級上注方案，層級劃分如圖5所示。第一層級，通過微調更新參數庫，提升算法性能，上注數據量為千比特到兆比特級；第二層級，基于現有處理流程，更新智能處理相關軟件模塊，數據量為10兆比特到100兆比特級；第三層，基于現有硬件配置，更新路由、存儲、計算核心處理單元的軟件，實現處理功能全面升級，上注數據量為100兆比特級。多層級在軌重構可滿足用戶多樣化的需求。

圖5 在軌重構層級劃分示意圖

上注重構流程如圖6所示，以計算單元重構為例，首先將待重構軟件或參數碼流經地面系統封裝，通過星地上行通道發送給星務，星務系統根據約定標識識別為智能處理器的上注數據后，將該數據傳遞給智能處理器控制單元，控制單元對接收數據的有效性進行判斷，如果有效則轉發至計算單元，否則丟棄并遙測反饋。最后計算單元將所接收的數據進行集中緩存，待接收完成后根據控制指令進行上注數據的固化寫入、重加載等，閉環在軌重構流程。

圖6 在軌上注重構總體流程

3 在軌驗證測試情況

某遙感衛星發射成功后，按照整星任務規劃開展了在軌智能處理專項測試及關鍵技術驗證等工作，對智能處理在軌功能性能進行測試評估。

3.1 目標檢測定位一體化處理

衛星先后對美國紐約沿海機場港口區域以及澳大利亞東北部區域成像，開展目標檢測定位功能測試，結果表明：基于深度學習輕量化技術的目標檢測可在海量成像結果中同時檢測出飛機、船舶、油罐等多類型目標，檢測網絡對于部分弱小目標以及復雜背景下的泛化能力還有一定的提升空間，受制于地面訓練階段的樣本規模，后續可通過樣本擴充和參數級在軌重構實現性能優化。將星上下傳的檢測結果切片框對應到原始圖像中，其結果如圖7所示。

圖7 在軌目標檢測結果

此外，星上處理將目標所在相片位置、目標類型、定位解算坐標等組織為統一格式的切片幀下傳，第一時間為用戶提供多元化的信息供進一步判讀決策，極大地保障了衛星用戶信息獲取的有效性和時效性。

綜合多軌任務對星上處理結果進行分析，在初始裝訂算法參數的運行工況下，目標檢測檢出率在85%以上，虛警率不超過0.04個/平方千米。在軌測試驗證了星載神經網絡輕量化技術在遙感圖像在軌智能處理領域的實用性和有效性。

3.2 在軌實時云檢測處理

在軌實時云檢測處理結果如圖8所示(部分區域)，綜合多軌任務統計其檢出率為94.15%，無虛警(誤檢)，在默認分類閾值參數設置下，在軌表現良好。

圖8 云檢測在軌測試結果(部分區域)

綜合多輪次在軌測試結果表明：在軌圖像智能處理設計完全滿足技術要求，在軌工作穩定，表現良好，充分驗證并展現了星載深度學習加速、云檢測實時處理、多層級重構等多項關鍵技術的創新性和實用性。

3.3 多層級在軌重構技術驗證

智能處理器單機內部各軟件及參數均是通過多層級重構方式完成裝訂固化，因此地面整星測試階段該設計已經得到了全面驗證，其驗證流程如2.3節所述，后續衛星在軌后，可根據整星實際升級需求及應用情況擇機開展在軌驗證。

4 結束語

本文給出了遙感衛星在軌智能處理的系統組成及方案設計，對星載深度學習加速、云檢測實時處理、多層級重構等關鍵技術進行了介紹。基于某遙感衛星在軌測試結果表明：在軌智能處理系統滿足了用戶對地智能觀測及信息高效獲取的需求，有效提升了星上處理的智能化水平。智能處理器基于軟件定義功能的設計思路，實現了智能處理與傳統數據處理的軟硬件資源共享，星載系統多層級重構設計也為后續優化升級提供了有力支撐。將深度學習加速技術應用于在軌處理也為今后的遙感衛星智能處理的發展提供了新的思路，特別是在人工智能技術的星載應用、軟件定義星載智能處理系統架構等方面可供后續衛星設計參考。