基于軟件定義微納衛星的多模式計算光學成像技術

劉揚陽， 呂群波,*， 譚政， 裴琳琳， 李偉艷， 王建威

(1. 中國科學院光電研究院中國科學院計算光學成像技術重點實驗室， 北京 100094; 2. 中國科學院大學光電學院， 北京 100049)

面向未來智能衛星發展的國家重大戰略需求，為實現有效載荷具備上載軟件在軌定義多功能、軟件可控多功能、參數可重構的軟件定義微納衛星需求，將重點圍繞計算光學、認知成像、最優控制、強化學習、智能控制等基礎科學和應用科學問題，突破軟件一體化、綜合化、人機交互功能擴展化定義等新體制衛星載荷設計和研制的關鍵技術瓶頸，需要突破傳統衛星平臺和傳統光學相機的設計局限，開展基于微納衛星的軟件定義下新型計算光學成像載荷技術研究。

基于微納衛星的軟件定義下新型計算光學成像載荷技術研究，需要充分考慮有效載荷的軟件和硬件兩者之間聯合設計可能存在的發展空間，分析軟硬件系統中各個參數對成像質量的影響。根據各個影響因素的物理機制分別建立物理模型和誤差模型，作為重建方法的先驗信息，將這些有利于超分辨技術的先驗信息約束應用于相機設計過程，使得相機獲取的圖像可以很好地匹配超分辨方法，該方法可以同時提升視覺分辨率和實質分辨率，同時保持對噪聲的抑制能力，并有可能降低傳統相機的結構尺寸和研制難度。

1 軟件定義下新型計算光學成像載荷的光學結構設計

針對微小衛星的平臺約束，基于已有的相關理論研究和仿真驗證工作基礎，重點研究基于成像鏈路影響約束的數字超分辨方法、高動態范圍成像方法，配合衛星的成像模式設計，通過軟件的靈活動態配置，實現最優成像效果。設計方案如圖1所示。

根據技術要求的規定，本文中可見光相機采用推掃成像的方式獲取地面目標的圖像，如圖2所示。若采用傳統單臺相機實現9 m地面分辨率，則光學系統焦距長，整體結構尺寸龐大，質量較大。若采用超分辨成像的原理，利用較短焦距相機對目標成像，經后期數據處理實現3 m的地面分辨率，將大大降低對光學系統的設計指標要求，單個相機光學系統更加簡潔，體積質量下降。

軟件定義下新型計算光學成像載荷的光學系統方案的選擇主要考慮在高空間分辨率情況下，對相機的尺寸有約束，需要選擇結構緊湊、體積小的方案。

系統要求空間分辨率在500 km高度達到9 m分辨，探測器像元數為2 560×2 048，像元大小為5 μm，則光學系統的總焦距為

圖1 軟件定義多模式計算光學成像技術的設計方案Fig.1 Design scheme of software-defined multi-mode computational optical imaging technology

圖2 相機推掃成像模式Fig.2 Camera push-scanning imaging mode

(1)

為了滿足光學系統能量需求，并考慮到光學系統口徑的設計余量，最終選定光學系統F#=5。對應光學系統設計視場角為

--2θ=2arctan([(2 560×0.005)2+

(2)

分析本文中光學系統的技術指標，該系統屬于中等焦距、中等視場、中等相對孔徑系統。顯然，由于系統焦距要求不高，采用透射式光學系統作為本文光學系統的基本結構。本文的波長范圍為可見光到近紅外，在這個范圍內，國內的光學玻璃制造工藝優良，運用到透射式光學結構中，能夠很好地實現系統的光學性能。

最終設計結果如圖3所示。透鏡光學系統結構總長為298 mm，第1個曲面透鏡的通光口徑為56 mm。考慮系統工程應用的實用性，在光學系統最前方放置偏振片/濾光片，其通光口徑為62 mm。

光學系統設計完成后對其成像質量進行評價。評價光學系統的成像質量主要考慮點列圖、調制傳遞函數(MTF)。本文設計的全色點列圖及MTF曲線如圖4所示。

圖3 光學設計結果Fig.3 Optical design results

圖4 鏡頭點列圖成像質量評價結果Fig.4 Quality evaluation results of lens point image

從圖4可知，光線經過光學系統后形成的彌散斑的均方根RMS直徑均小于5 μm，控制在一個像元以內，像質良好。從全色MTF曲線可以看出，由于系統相對孔徑較大，系統整體的調制傳遞函數較高，在對應奈奎斯特頻率100 lp/mm(lp為線對，是光學質量評估中的常用單位，由探測器的像素大小應對而來，1 000/(2×pixel)lp/mm=100 lp/mm)處的衍射極限，滿足使用要求，成像質量良好，如圖5所示。

在衛星平臺上，為增大幅寬，采用9臺相同相機按照光學要求進行拼接，結構形式如圖6所示。

9臺相機以中間相機為基準，其余每臺與中間基準相機按照不同角度拼裝在平臺上，達到增大幅寬的目的。

每臺相機主要由相機支架、主鏡組件、次鏡組件、碳纖維支撐筒、校正鏡組件、電控箱組件等部分組成，如圖7所示。

2009年，馬來西亞ATSB公司借美國“獵鷹”火箭發射的RazakSAT中型衛星，其成像載荷黑白分辨率約2.5 m×425 km，整個衛星重達190 kg，成像載荷主鏡孔徑為300 mm，載荷長度為755 mm。2011年發射的英國Surry Satellite Technology 公司的NigeriaSat-2衛星，可見光成像載荷分辨率為2.5 m×700 km，主鏡孔徑為385 mm，載荷長度為1 000 mm，整星重達270 kg。本文設計的透鏡光學系統結構總長為298 mm，通光口徑為62 mm，單機將可以控制質量小于2 kg，考慮到對整機的幅寬要求，整機相機按照光學要求進行單機3×3形式拼接，則整機也控制在20 kg以下，x、y方向大小小于200 mm，z方向長度小于310 mm。在圖像分辨率幾乎相等的情況下，本文設計的相機相比RazakSAT衛星載荷和NigeriaSat-2衛星載荷，其光學、結構等分系統的研制難度大大降低。

圖7 單臺相機的三維結構構型Fig.7 Configuration of three-dimensional structure of single camera

2 新型計算光學成像載荷的數學處理設計

2.1 軟件數字超分辨技術

目前的數字超分辨技術只考慮多幀數據間的信息冗余，以及成像過程中的圖像降質，并沒有對相機本身的成像特性進行算法約束和功能約束，也沒有考慮過載荷的軟件和硬件兩者之間聯合設計可能存在的發展空間，以及可以拓展的星載平臺與載荷總量和兩者彼此的性能聯合設計的優勢，導致實際應用效果不佳。

通過多次重采樣解除混疊，提高分辨率的思想最早起源于20世紀60年代提出的頻譜外推理論[1-2]，之后在1984年應用到圖像處理領域[3]，經國內外學者30多年的研究已發展出了多種方法，主要可分為頻域法和空域法2類。頻域法以傅里葉域內插值法[4]和差值重建法[5]為代表。空域法以迭代反投影法[6]、凸集投影法[7-9]、最大后驗概率估計(MAP)法[10-11]、變分貝葉斯法[12]、Tikhonov正則化法[13]等為代表，多基于統計或集合的理論，具有較高的精度，但是該方法多以凸優化為研究目標，解算模型復雜，包含大規模的矩陣運算。

根據先期的研究，相機本身的成像特性對智能超分辨技術有較大影響，需要將該因素作為相機設計的約束，從而真正實現超分辨應用。智能超分辨技術原理如圖8所示。相比較頻域法而言，空域法多基于統計或集合的理論，具有較高的精度，其中變分貝葉斯法將配準參數建模為高斯分布以提高亞像元估計精度，再將先驗信息建模為L1范數模型[14]或全變分模型[12,15]，在一步迭代中對建模涉及的所有變量進行求解，一定程度上阻止了誤差的傳播，獲得了較好的超分辨率重建效果。

超分辨重建屬于數學上的反問題，可以概括為“還原真相，倒果求因”。病態性和解的不穩定性是反問題的重要屬性。要獲得效果更好的高分辨率影像，就需要充分挖掘和利用多幀低分辨率影像之間的冗余信息、光學系統參數信息、探測器參數信息、噪聲信息、成像環境信息，建立成像過程的全鏈路模型，同時提高影像的分辨率、信噪比、對比度。

要重建高分辨率影像，需研究反問題理論，解決圖像重建問題的病態性，而相比地面成像系統，遙感成像由于大氣衰減的作用，其病態性更強。為獲得盡量逼近于真解的結果，就要充分分析亞像元信息、衛星平臺參數、光學系統參數、探測器參數、噪聲、大氣對超分辨率重建的影響，根據各個影響因素的物理機制分別建立物理模型和誤差模型，作為重建方法的先驗信息，并提取圖像本身的光流信息對解空間加以約束，實現全局優化，消弱病態性對求解的穩定性和收斂性影響。

圖8 智能超分辨技術原理Fig.8 Principle of intelligent super-resolution technology

超分辨率重建的過程如圖9所示。高分辨率圖像指具有較高分辨率、滿足奈奎斯特采樣準則的采樣得到的數字圖像。旋轉平移指現實圖像相對于成像系統探測器平面產生了相對運動，可以用運動函數Mk來表示。降晰指經過位移以后的圖像又經過了模糊降質，可用模糊函數Bk來表示。下采樣指物體發出的光線在圖像傳感器單元上進行光電轉化，然后將電信號進行采樣輸出得到低分辨率圖像，用下采樣函數Dk來表示。

因此，圖像退化的數學模型可表示為

yk=DkBkMkx+nkk=1,2,…,K

(3)

式中：yk為第k幅低分辨率圖像；x為原始高分辨率圖像；nk為加性噪聲。

由式(3)可以看出，圖像重建就是指利用Dk、Bk、Mk的先驗知識及假設條件從同一場景的K幅低分辨率退化圖像序列中恢復高分辨率圖像的逆過程。重建過程可分為3個環節：①對低分辨率圖像組進行運動匹配，估計運動函數Mk；②降晰辨識，估計模糊函數Bk；③復原算法，在以上兩步的基礎上，復原高分辨率圖像。

圖9 智能超分辨技術軟件定義設計思路Fig.9 Software-defined design idea for intelligent super-resolution technology

2.2 粗略重建與精細重建

在超分辨重建方法上，為獲得高精度的重建結果，首先，在地面通過測量獲得成像系統的全視場的點擴散函數作為光學模糊的先驗信息，并將該信息代入到粗略重建和精細重建中；其次，將粗略重建結果作為精細重建迭代的初始值，提高精細重建的計算精度和收斂效率；最后，由于圖像配準結果對超分辨重建精度影響較大，在精細重建中采用SURF法和光流法雙匹配、互校驗的方式來提高圖像序列的配準精度。

粗略重建中采用了次全局最優的重建方法，其算法流程如圖10所示。首先，對相機所獲得的低分辨率圖像進行預處理，包括灰度修正、畸變矯正等；然后，采用頻域相關或特征提取的方法對多幅低分辨率圖像進行運動估計和圖像配準，得到亞像元級的位移信息；最后，將多幅低分辨率圖像映射到高分辨率的網格上，采用非均勻插值的方法進行圖像融合，融合后的圖像再利用成像系統的點擴散函數等先驗知識進行圖像復原，得到最終的高分辨率圖像。

圖10 粗略重建算法流程Fig.10 Flowchart of rough reconstruction algorithm

精細重建采用全局最優的重建方法，其算法流程如圖11所示。精細重建的算法需充分分析成像過程的物理機制及成像系統的性能參數，形成有效的先驗信息，并根據成像的物理約束總結出各個參數變量的上邊界和下邊界，對下采樣矩陣、模糊矩陣、運動矩陣、噪聲矩陣分別進行建模，通過反復迭代對噪聲參數、位移參數、模糊函數進行辨識，用一組與成像方程相鄰近的適定問題的解去逼近原問題的真解，使病態問題盡可能良態化，從而實現更為精確的亞像元級的融合和估計，得到更為高分辨率的復原圖像。

智能超分辨技術軟件定義算法的結果如圖12～圖14所示。圖12為采用常規電視鑒別率靶標中的局部圖進行智能超分辨技術軟件定義算法的仿真比對。圖13為采用某幅星載相機對地某海港處的觀測圖進行智能超分辨技術軟件定義算法的仿真比對。圖14為采用CX6-02星載相機對地嵩山靶標場觀測圖進行智能超分辨技術軟件定義算法的仿真比對。

圖11 精細重建算法流程Fig.11 Flowchart of fine reconstruction algorithm

圖12 智能超分辨技術軟件定義算法仿真結果1Fig.12 Simulation result 1 of intelligent super-resolution technology software-defined algorithm

2.3 軟件數字動態范圍增強技術

遙感相機通常采用高性能的CCD實現高動態范圍成像，但是仍存在動態范圍不足的問題，而且高性能探測器的價格昂貴。隨著CMOS技術的快速發展，其較高的性能和低廉的價格，使其在諸多的低成本遙感衛星中得到應用。但是選擇CMOS探測器，其動態范圍要低于CCD。新型計算光學成像載荷研究為了保證大部分性能適用于軟件定義微納衛星，同樣選取CMOS型探測器，也存在成像動態范圍受限的技術難點。在高動態范圍成像方面，目前常規采用硬件方法，基于硅基液晶(LCOS)自反饋調整，增強數字動態范圍，可以實現120 dB的高動態范圍清晰成像。

新型計算光學成像載荷的數學處理設計重點開展基于軟件定義的CMOS的高動態范圍成像技術，輔助多幀圖像疊加，并契合在超分辨率算法中，突破數字動態范圍增強技術，實現超過高性能CCD的高動態范圍清晰成像能力。

基于軟件定義的CMOS的高動態范圍成像技術仿真結果圖像如圖15所示。

圖13 智能超分辨技術軟件定義算法仿真結果2Fig.13 Simulation result 2 of intelligent super-resolution technology software-defined algorithm

圖14 智能超分辨技術軟件定義算法仿真結果3Fig.14 Simulation result 3 of intelligent super-resolution technology software-defined algorithm

圖15 基于軟件定義的CMOS的高動態范圍成像技術仿真結果Fig.15 Simulation results of high dynamic range imaging technology based on software-defined CMOS

3 結 論

微納衛星以造價低、周期短、發射靈活、容易組成星座完成大衛星難以實現的任務等優點成為遙感領域技術創新方向，這就要求載荷的發展要實現小型輕量化。而長期以來，高分辨率與大口徑、長焦距、高重量、長周期、高成本是遙感成像技術設計界難以回避的矛盾，為了不犧牲分辨率就必須要改變傳統思路，發展新型的成像技術。

經過多年對計算光學成像技術的探索，筆者項目組對病態問題的求解具有了一定的經驗積累和技術儲備，并且已在實驗室實現了超分辨率重建的次全局最優，通過軟件定義下新型計算光學成像載荷技術的研究，預期實現集超分辨成像、動態范圍增強成像、視頻成像等軟件智能可控的多種成像處理模式于一體的通用型計算光學成像相機研制，能夠在保證高幾何分辨率前提下減小光學系統體積和質量，縮短載荷的研制周期，降低研制成本。能夠較為全面地摸清超分辨率重建應用于航天遙感需要面臨的問題，并攻克相關技術，其研究成果可實現高分辨率航天載荷的輕量化，縮短載荷的研制周期，降低研制成本，與微納衛星結合可以很方便地組成高分辨率成像星群或星座，將對航天產業提供的靈活性和增值空間，為航天技術研究與快速創新提供一種可行的方案。為中國未來智能衛星的發展奠定有力的科技支撐。