一種基于FPGA的多模式微納遙感相機設計

張原野，劉增龍，吳建福，關晨輝，彭呈祥

（北京空間機電研究所，北京 100094）

近年來，微納遙感衛星作為航天活動的熱點之一，正向著高性能、智能化、網絡化的方向發展，同時，微納遙感衛星也成為創新主戰場，與大型遙感業務衛星互為補充，綜合形成完整的國家空間遙感體系［1-3］，豐富了航天系統的能力和手段，在航天創新發展中起到舉足輕重的作用。微納衛星在時間分辨率、大數據綜合效能等方面表現出強大優勢，但是受體積、系統工作模式、系統供電等因素的限制，微納遙感衛星對以遙感相機為代表的核心功能單機的集成度、智能化等提出更高要求，工作模式多樣化集成、高性能圖像在軌實時處理、高質量低帶寬需求圖像壓縮、多場景自適應自動曝光快速收斂等問題是當前微納衛星遙感相機面臨的主要矛盾。

因此，本文針對上述問題，提出了一種基于FPGA的微納遙感相機系統，相機采用大面陣CMOS Bayer型圖像傳感器，實現數字TDI推掃成像、面陣拍照成像和高速視頻成像功能集成；通過優化FPGA并行流水線數據處理邏輯，實現Bayer圖像高速實時數字TDI處理；通過優化Bayer圖像壓縮方法，實現低帶寬、高性能、多模式Bayer圖像實時在軌壓縮編碼；該系統相機具備集成度高、功能多樣、投入產出比高、研發周期短、體積小、重量輕、使用靈活方便及可集群/星座/組網運行等特點，適用于微納遙感衛星平臺應用。

1 微納遙感相機硬件設計

傳統遙感相機多采用CCD成像器件和大型光學系統相結合的設計方案，通過衛星平臺高穩定度和姿態控制能力，達到理想的成像效果。隨著半導體工藝的不斷提升，大面陣高性能CMOS圖像傳感器以及高性能FPGA芯片不斷涌現，為微納遙感相機研制提供了新的思路［4-5］。采用針對性的光學系統和高集成度電子學電路一體化整機結構設計，能夠使微納遙感相機在大幅度提升功能和性能的同時，對衛星姿態變化具有更好的適應能力；在實現高幀頻視頻成像模式基礎上，采用數字TDI技術，微納遙感相機能夠實現更加靈活可靠的推掃成像模式［6］，將微納遙感衛星功能和易用性提升到新的高度。

本文設計了一種2 m分辨率的微納遙感相機，技術指標如表1所示，其相機光學系統采用RC+校正鏡形式，采用大面陣CMOS探測器和高性能FPGA主控電路，實現相機系統輕小型化設計。

表1 2 m微納遙感相機技術指標

相機系統結構如圖1所示，由主承力板、主鏡組件、次鏡組件、遮光筒、透鏡組件、消雜光部件、成像及控制電子學、熱控組件等組成。其中電子學組件由焦面電路、FPGA主控電路和接口電路組成。單個部組件需要完成CMOS傳感器多模式驅動、Bayer圖像數字TDI、DDR3高速數據緩存、Bayer圖像壓縮編碼控制、自動曝光與圖像增強、總線通信等功能。

圖1 微納相機系統組成框圖

相機電子學結構如圖2所示，采用Xilinx Kintex7系列FPGA XC7K410T為主控芯片，搭配ADV212進行圖像數據實時壓縮編碼，配置高速DDR3 SDRAM實現圖像數據緩存，對外數據接口采用LVDS接口。圖像采集、數據通信、圖像畫質提升、數字TDI、調焦控制等功能均由FPGA實現，提升了相機電子學的集成度。焦面電路的核心是CMOS圖像傳感器，實現圖像的光電信號轉換。接口電路主要集成了各類接口芯片，實現相關通信、控制、供電協議轉換。電子學組件高度集成，能夠滿足微納衛星平臺使用需求。

圖2 相機電子學架構

2 微納遙感相機軟件設計

2.1 軟件架構

相機FPGA軟件架構如圖3所示，包括CMOS驅動、圖像預處理、高速數據緩存、自動曝光、數字TDI、圖像壓縮編碼、遙控遙測解析、CameraLink數據輸出等功能模塊，圖像數據流按照流水線方式依次進行處理。根據CAN總線控制指令，進行推掃成像、拍照成像和視頻成像切換。

圖3 FPGA軟件架構

CMOS驅動模塊主要完成傳感器驅動時序、傳感器參數配置、傳感器成像模式控制、相機曝光控制等功能；自動曝光模塊主要完成曝光時間實時計算；高速串行數據采集模塊主要完成22通道串行數據采集、像素數據提取、圖像數據組幀等功能；圖像預處理模塊主要完成壞點校正、FPN校正、自動白平衡等功能；高速數據緩存模塊主要完成DDR3驅動控制、圖像數據高速讀取等功能；TDI處理模塊主要完成Bayer圖像數字TDI計算功能；圖像壓縮編碼模塊主要完成ADV212驅動控制、推掃圖像/視頻圖像/拍照圖像壓縮編碼控制；遙控遙測解析模塊主要完成遙控指令解析、工作模塊控制、遙測信息輸出等功能；CameraLink模塊主要完成接口驅動、數據打包等功能。

本文主要介紹快速自動曝光算法、Bayer圖像數字TDI是算法和Bayer圖像壓縮算法等核心模塊設計，其余基礎模塊不做詳細介紹。

2.2 快速自動曝光算法設計

自動曝光算法用于在相機景物亮度發生變換時實時調整相機曝光時間，使圖像亮度值保持在一個合適的范圍內。自動曝光算法通過計算上一幀圖像數據值確定本幀圖像的曝光時間，連續迭代，直至工作結束。本文算法根據對地遙感相機的場景中云、強光照等特殊條件進行了優化調整，可適應復雜的場景變化，調整迅速精準［7-8］。

一幅圖像中，圖像的灰度分布情況可以反映不同的圖像質量，灰度直方圖在各個灰度值上分布越均勻，圖像對應的動態范圍就越寬，圖像自然就越清晰。在這里用圖像熵來定義灰度直方圖的均勻性［10］。按照下式定義圖像信息熵函數：

其中，N為灰度基數；Pi為每個灰度級出現的概率。

相機采用圖像分塊加權和圖像熵相結合的方式進行自動曝光控制。為便于FPGA實現，選用7 920×6 004全畫幅圖像中心7 920×6 000區域作為自動曝光計算區域。將選中區域圖像相鄰的4×4像素計算平均值后合并為1個像素，得到1 980×1 500大小圖像。再將圖像劃分為100個198×150的圖像塊。分別計算100塊圖像分別的圖像熵，根據各塊圖像熵計算結果和對應加權系數（如圖4所示），計算當前圖像平均灰度值。圖像平均灰度按照下式計算：

圖4 圖像熵與加權系數曲線圖

其中，DNcur_ave為當前圖像平均DN值；AVEi為第i塊圖像平均DN值；ai為第i塊圖像加權系數。

其中，Eave為整幅圖像平均圖像熵；Emin為整幅圖像最小圖像熵。

根據圖像當前平均灰度值DNcur_ave，按照圖5調整曲線，過查找表方式得出調整系數Q，計算出下一幀曝光時間，用于控制成像。

圖5 圖像DN值與加權系數曲線圖

其中，Tnext為下一幀曝光時間；Tcur為當前幀曝光時間；Q為加權系數。

曝光時間算法流程如圖6所示。

圖6 算法流程圖

2.3 Bayer圖像數字TDI算法設計

時間延遲積分（Time Delay and Integration，TDI）技術是航天遙感應用領域的關鍵技術之一，該技術已廣泛應用于CMOS探測器中。但基于TDI CMOS的相機系統電子學系統復雜，難以滿足微納衛星的要求［11-13］。采用面陣CMOS圖像傳感器的電子學集成度高，通過FPGA數字TDI的方式可以實現條帶推掃成像，同時還可以實現凝視視頻等多種工作模式，非常適合微納衛星系統的應用。

面陣傳感器數字TDI技術在數字域進行TDI和在電荷域進行TDI的原理是一致的，都是通過對同一景物多次曝光后進行延遲累加，從而解決單幀推掃成像積分時間不充足的情況。由于Bayer圖像分布特點，每個像素僅包含一種顏色信息，導致Bayer圖像數字TDI不能按照傳統逐行疊加方式，本方案采用2行圖像進行數字TDI計算，以積分級數4為例，TDI算法原理如圖7所示，其中曝光級數4，幀頻為2行推掃時間。

圖7 數字TDI原理示意圖

當衛星飛行于500 km軌道高度時，推掃模式最大行頻達4 000行/s，為實現1～25級可數字TDI實時計算，FPGA數據吞吐率需達到15.84 Gbps。為了降低FPGA資源消耗，提高計算效率，采用流水線和循環乒乓存儲輸出方式進行高效TDI實時計算，吞吐率可達32 Gbps。數據流程如圖8所示。

圖8 數字TDI原理示意圖

2.4 Bayer圖像壓縮

圖像傳感器采集到的原始Bayer圖像，僅1幀/s的 7 920×6 004×10 bit全畫幅圖像，就需要475.6 Mbps帶寬才能實現實時傳輸，這對衛星數據處理和傳輸鏈路帶來了巨大資源消耗，并不適合微納衛星應用。若采用傳統的YUV色彩空間壓縮方式，會導致FPGA軟件運算流程復雜化，效率降低，同時經過RGB插值和YUV轉換后的壓縮前圖像數據量提升2至3倍，在相同的通信帶寬情況下需要相機具備更大的壓縮比［14-16］。本文采用將Bayer圖像R、G、B色彩分離形成R子圖像、G子圖像、B子圖像（如圖9所示），再將子圖像分別獨立分塊壓縮編碼方式進行圖像壓縮處理。可有效降低運算復雜度，減小圖像壓縮比，提升壓縮后圖像質量。

圖9 R/G/B子圖像提取示意

為保證Bayer子圖像壓縮效率，系統采用2片ADV212并行圖像壓縮編碼，其中1片用于G通道子圖像壓縮，另外1片用于R/B通道子圖像壓縮，單片ADV212按照40（Milion Samples Per Second）圖像輸入設計，時鐘頻率40 MHz，輸入位 寬 16 bit，采 用 CS（Custom Specific）模式 ，由VDATA接口輸入圖像數據，HDATA接口輸出壓縮數據，可滿足最大47.6（Milion Samples Per Second）圖像處理需求。ADV212芯片配置流程參考文獻［15］進行了說明，本文不做詳細闡述。三種模式R/G/B子圖像均按照固定壓縮圖像塊：64（行）×4 096（列）進行壓縮處理。以全畫幅圖像為例，每幀圖像分為188塊（G圖像94塊，R圖像47塊、B圖像47塊）進行壓縮。推掃圖像每256行壓縮一次；視頻圖像4幀壓縮一次。

Bayer圖像FPGA壓縮編碼流程如圖10所示。

圖10 Bayer圖像壓縮流程

3 應用效果分析

相機系統經過了板級測試、系統測試、熱環境測試和多個型號在軌驗證，程序運行穩定，性能指標滿足應用需求。以某型號標準3U微納遙感相機為例，FPGA軟件在Xilinx XC7K410T平臺實現，Slice占用約18%，BUFG/BUFGCTRLs占用約37%，RAM占用約56%，整機功耗小于15 W。

該相機重量不足2.8 kg，僅為“珠海一號”OVS-1A/B衛星視頻相機重量的1/4［17］，實現了同樣的2 m（軌道高度500 km）對地分辨率，同時實現了1～25級可調節數字TDI推掃成像模式，1幀/s的7 920×6 004全畫幅拍照成像模式、25幀/s的1 920×1 080凝視視頻成像模式和高性能Bayer圖像壓縮算法集成。面陣成像幅寬達15.8 km×12 km，是OVS-1A/B衛星相機成像幅寬的4倍。數字TDI推掃成像模式和圖像壓縮算法加入，使得該相機成像適應性更強，數傳帶寬需求更低。

相機在軌實測自動曝光收斂速度在4幀以內，Bayer圖像壓縮質量和數字TDI效果優異。圖11為3U相機實物圖，圖12為視頻/拍照成像在軌實拍圖像，圖13為Bayer數字TDI推掃模式在軌實拍圖像。

圖11 相機實物圖

圖12 面陣成像

圖13 圣瑪利亞港（TDI-8級）

由相機在軌應用效果可見，該系統資源消耗低、成像性能優異，非常適合微納衛星應用。

4 結論

本文針對微納遙感相機應用特點和型號實際需求，提出了一種基于FPGA的推掃視頻一體化多模式微納相機系統，系統集成Bayer圖像數字TDI、面陣成像、自動曝光、Bayer圖像壓縮編碼制等功能，極大拓展了相機適用性。實驗和在軌應用表明，該相機系統源占用少，穩定性高，非常適合微納遙感衛星系統搭載應用。