北京三號B衛星相機在軌自動調焦方法

朱志豪 譚偉 唐琦 李愷 馮星泰 蔡浩 張鵬 王蕓 胡永力 高凌雁

(北京空間機電研究所,北京 100094)

2022年8月24日,北京三號B衛星在太原衛星發射中心順利發射入軌。星上搭載的相機比北京三號A衛星的相機鏡頭口徑更大。衛星采用三超(超敏捷、超穩定、超精度)平臺,相機同時搭載了多譜段線陣和面陣焦面,既能實現推掃成像,也可以完成凝視畫幅成像和視頻成像。相機采用豎直裝調技術,調焦機構位于次鏡,具備更大的調焦范圍。相機在發射前已裝調在最佳焦面位置。但在發射期間,由于力學環境、大氣壓力、溫濕度等因素的變化,衛星進入預定軌道后焦面位置會發生變化,從而造成離焦,影響圖像質量[1-2]。通常,相機采用地面接收圖像判讀再執行調焦動作的方式恢復最佳焦面[3]。基于北京三號B衛星的凝視應用模式,本文設計利用面陣凝視成像實現自動調焦的方法,以提高在軌定焦效率。

自動調焦經過幾十年的發展,出現了很多自動調焦方法。傳統的自動調焦方法主要分為測距法和像檢測法兩大類[4-5]。測距法是在成像設備上安裝發射元件,通過接收反射波來測量目標的位置,進而計算出焦平面的位置,完成調焦。像檢測法主要包括相位檢測和對比度檢測兩類。其中:對比度檢測的原理是基于不同聚焦程度的圖像具有不同的亮度梯度值,一般根據2個內置檢測器所成像的對比度大小進行調焦,這2個檢測器位于成像前后等距離的位置。相位檢測法是通過檢測2個受光元件的相位差,根據測量的相位差計算處理得到焦平面的最佳位置,移動電機完成鏡頭調焦[6]。傳統的自動調焦方法雖然測量精度高,但需要復雜的元件配合,且更適用于裝調階段光學元件性質不變、位置相對固定的情況,不適用于在軌應用。星載相機的在軌自動調焦主要受制于2個方面。①運算能力受限,無法對龐大的數據流進行實時緩存、計算和刷新;②景物特征受限,推掃型相機地速快,畫幅內景物特征變化較大,很難存在類似商業相機對同一場景進行評估的條件。

近年來,隨著電子技術的迅速發展,基于圖像處理的自動調焦方法由于實現結構簡單、智能程度高,在普通數碼相機中得到了廣泛的應用。其關鍵是要建立圖像清晰度評價算法,通過比較各焦面位置計算的圖像清晰度評價函數值來完成自動調焦[7-8]。本文通過對比4種常用的圖像清晰度評價算法,設計一種應用于衛星相機的在軌自動調焦方法。

1 相機在軌自動調焦方法

相機在軌自動調焦功能的實現主要從以下幾個方面進行設計。

(1)相機成像期間,對全畫幅圖像進行開窗處理。一般來說,光學系統中心對應的這一部分圖像質量會更好,因此選取每幀圖像中心部分進行計算,并將計算結果作為該幀圖像清晰度判據。

(2)結合FPGA運算能力,主要考慮灰度域內的圖像清晰度評價算法,并設計提高魯棒性的相關算法。

(3)在軌進行自動調焦時,衛星姿態機動主要以俯仰方向為主,小范圍側擺保證對目標地物的凝視成像狀態。結合衛星俯仰機動能力,在調焦期間的俯仰角范圍內,以星下點對應圖像中心開窗區域地物為參考,計算每個俯仰角成像時該成像狀態的圖像與星下點圖像的移動量(以像素為單位),并將對應俯仰角的圖像中心開窗區域移動相應像素數,始終保證每個成像狀態下的開窗區域地物一致。

1.1 方法實現流程

北京三號B衛星相機采用綜合電子中控架構,通過總線遙控遙測焦面電路和調焦電路。面陣成像電路根據綜合電子控制單元的算法設置自動計算每幀圖像的清晰度評價函數,并通過遙測返回給綜合電子控制單元。綜合電子控制單元記錄不同焦面位置的清晰度評價函數值,并進行比較,通過控制調焦電路完成調焦動作。圖1為自動調焦方法實現流程。

圖1 在軌自動調焦流程

考慮到在軌應用的特殊環境,在設計方法時,需要重點關注自動動作的可靠性。相機采用步進的爬山法,即獲取當前焦面±4倍步長位置的清晰度評價函數值,對比選取最佳焦面的位置,由綜合電子控制單元控制最終停在此處。具體流程如下。

(1)動作開始前設置自動調焦參數,包括調焦電機選擇、調焦步長選擇、調焦穩定時間設置和自動調焦循環次數。其中:自動調焦步長為帶參數指令,有多種焦深可選,對應爬山法中的步長,默認0.5焦深。調焦穩定時間和調焦循環次數為參數數據塊,前者用于設置調焦電機到位的穩定時間,在焦面位置到位后等待穩定時間過后讀取面陣焦面的清晰度評價函數值作為該位置的清晰度記錄;后者可以控制在完成1次自動調焦后步長減半再執行相應次數的自動調焦流程。參數均斷電保持,可在發射前設置好。

(2)執行“面陣成像開”指令,并對成像電路進行設置,包括:①“面陣畫幅設置”指令,全畫幅;②“面陣成像幀頻設置”指令,5Hz;③“面陣算法開關設置”指令,算法全關。

(3)執行“調焦成像開”指令,面陣成像模塊收到“調焦成像開”后,根據設定的幀頻輸出全畫幅圖像,并將清晰度評價函數值以遙測值形式返回,綜合電子控制單元返回遙測狀態“自動調焦狀態-開始”,延時“調焦穩定時間”后(首次取0點值時電機無動作,因此只延時“調焦穩定時間”),按以下步驟尋找最佳焦面位置。①綜合電子控制單元取得當前位置(0點)的清晰度評價函數值并保存,根據調焦方法進行調焦至其他8個點(分別對應+1,+2,+3,+4,-1,-2,-3,-4),等待一定時間后保存讀入的清晰度評價函數值。等待時間包括根據調焦步長確定的電機運動時間和調焦穩定時間(忽略電機動作過程中無用的清晰度評價函數值,并保證在電機動作結束后能至少接收1次清晰度評價函數值);②綜合電子控制單元根據保存的9個點清晰度評價函數值,按當前步長發送調焦指令使焦面到達清晰度評價函數值最小的點(即當前調焦步長的最佳焦面位置),等待動作完成(電機運動時間+調焦穩定時間);③綜合電子控制單元判斷配置參數(自動調焦循環次數),如果完成循環次數,則執行步驟(4),否則,以步長/2(步長到1后維持不變)為步長再次執行步驟(1),進入下一個循環;④返回遙測狀態“自動調焦狀態-停止”,等待下一步指令。此時,可按步驟(4)結束自動調焦流程,也可重復執行步驟(3)再次自動調焦(步長恢復初始值)。

(4)結束自動調焦,對各設備斷電。

1.2 圖像清晰度評價算法

現有圖像清晰度評價算法大多建立在圖像特征(灰度變化特征、紋理特征、頻域特征、灰度分布特征等)統計信息之上,基于這些特征的圖像清晰度評價算法主要分為灰度梯度函數法、邊緣檢測函數法、頻譜函數法和熵函數法4類。灰度梯度函數法的原理是根據圖像灰度梯度值判斷圖像清晰度,灰度梯度值越大,圖像越清晰;邊緣檢測函數法是基于檢測并提取圖像邊緣,邊緣信息越豐富,圖像越清晰;頻譜函數法的原理是圖像由空域變換到頻域后,高頻部分對應圖像景物邊緣,高頻信息越豐富,意味著圖像中景物邊緣灰度變化越劇烈,灰度梯度越大,圖像越清晰;熵函數法的原理是熵代表著圖像信息量的大小,清晰圖像的信息量大于模糊圖像,熵越大,圖像越清晰[9-10]。

相機在軌調焦過程中,圖像清晰度評價算法的單調性、魯棒性和實時性尤為重要,且星上硬件條件的限制要求圖像清晰度計算過程具有較高的效率和較低的資源占用率。邊緣檢測函數法、頻譜函數法和熵函數法均需要整幅圖像進行處理,而且,頻譜函數法更是需要復雜的頻域變換,考慮到在軌圖像數據較大,且采用FPGA架構易于處理加減乘除的單線程順序運算,因此選取相機在軌自動調焦方法中的圖像清晰度評價算法時應基于灰度域的幾種算法,如平均灰度梯度法、點銳度法、平均邊緣強度法和平均邊緣寬度法。在這些算法的基礎上,通過閾值來對噪聲和場景像素級的變化進行抑制,提高魯棒性。

1.2.1 平均灰度梯度法

梯度函數采用圖像上相鄰像素的差分計算出局部梯度,然后在此基礎上建立圖像清晰度評價函數。平均灰度梯度法定義見式(1)。該方法具有很好的運行效率和全局性。

(1)

式中:F為平均灰度梯度評價函數值;f(x,y)為(x,y)位置像素的灰度值;M·N為像素總數,M和N分別為圖像行、列方向像素數。

考慮到相機在軌調焦時景物變化、凝視成像期間可能存在的逆光現象及噪聲等,在計算過程中添加閾值的方式可以提高算法的魯棒性。相比非邊緣區域,邊緣區域具有較大的灰度梯度值,且在整幅圖像中所占比例較小。為提高算法的準確性和靈敏度,以便快速精準地提取圖像中的邊緣信息,在計算圖像清晰度時引入邊緣閾值Th,見式(2)。

(2)

式中:μ為整幅圖像的灰度均值。

逐像素進行閾值判斷,僅當f(x,y)大于Th時,把該像素作為邊緣像素保留,其他像素舍棄。

1.2.2 點銳度法

點銳度法是一種灰度梯度函數法,其思想是通過統計圖像某一邊緣法向方向的灰度變化情況評價圖像清晰度,即灰度變化越劇烈,邊緣越清晰,圖像就越清晰,其計算公式見式(3)。

(3)

式中:E為點銳度評價函數值;i為像素數;a=1,2,3,…,8;df為灰度變化幅值,dr為像素間的距離增量,df/dr為邊緣法向的灰度變化率。

1.2.3 平均邊緣強度法

計算平均邊緣強度一般是先進行邊緣提取,利用2個卷積核形成索伯(Sobel)邊緣檢測算子(見圖2),圖像中每個像素都用這2個核做卷積,它們分別對水平邊緣和垂直邊緣影響最大。

圖2 Sobel邊緣檢測算子

Sobel算子見式(4)。它的原理是對選定的圖像用同樣窗口進行卷積,得到圖像的梯度值,并與預設的值進行比較,得到的結果大于預設值就可作為邊緣點輸出。考慮星上資源,選用的是中值濾波的方法計算預設值,即取算子使用的9個像素點計算結果的中值。

(4)

整幅圖像清晰度為

(5)

1.2.4 平均邊緣寬度法

在衛星遙感圖像中,邊緣一般為具有一定寬度的漸變邊緣,且各邊緣的寬度不一致。發生離焦模糊后,邊緣的擴散程度也不盡相同,弱邊緣的擴散程度比強邊緣更大,從而導致無法準確評估模糊量。從理論上分析,當離焦程度相同時,無論圖像中景物如何變化,圖像中類似階躍變化的邊緣擴展程度應一致,而非階躍邊緣的擴展程度則各不相同。

對圖像f(x,y),利用式(6)可求取其水平邊緣圖像Ex和垂直邊緣圖像Ey。將水平邊緣與垂直邊緣按各自權值相加,即為圖像平均邊緣寬度。

(6)

2 方法驗證

2.1 開窗設計與仿真試驗方案

北京三號B相機的面陣圖像較大,因此需要采用開窗的方式進行計算,以降低計算量。對開窗區域的圖像進行清晰度評價函數計算和仿真分析,開窗大小選為256×256。

圖像仿真方案除了離焦模糊仿真,還需要考慮隨機噪聲、像素移動2個方面,因此設計以下幾種仿真方案,并對每種仿真圖像序列進行試驗驗證。

(1)離焦模糊圖像仿真。采用高斯模糊核對圖像進行卷積,模擬不同離焦程度的圖像,序列圖像數量為9幅。

(2)離焦模糊+像素移動圖像仿真。在(1)的基礎上添加相同能量的隨機噪聲,序列圖像數量為9幅。

(3)離焦模糊+隨機噪聲+像素移動圖像仿真。在(2)的基礎上進行像素移動仿真,相鄰圖像之間均沿行方向移動2像素,序列圖像數量為9幅。

仿真采用全色圖像,像素存儲位數采用8bit,見圖3。

圖3 樣本圖像

2.1.1 離焦模糊仿真試驗

表1為離焦模糊仿真結果。其中,離焦程度表示仿真離焦圖像時所采用的離焦量,離焦量絕對值越大,離焦越嚴重,為了算法間的比較,清晰度評價算法結果經歸一化處理后輸出。圖4為采用4種圖像清晰度評價算法得到的圖像清晰度與離焦量關系曲線。總耗時為:平均灰度梯度法1.241s;點銳度法0.901s;平均邊緣強度法0.753s;平均邊緣寬度法2.334s。

表1 離焦模糊圖像的仿真結果

圖4 離焦模糊圖像的清晰度與離焦量關系曲線

根據表1和圖4可知:平均灰度梯度法單峰性最好,其他3種算法都出現了不同程度的次峰。計算過程中基本沒有出現誤判現象,清晰度計算結果與離焦量完全一致,其計算時間優于平均邊緣寬度法,比點銳度法和平均邊緣強度法稍差。

2.1.2 離焦模糊+像素移動仿真試驗

以離焦量為0的區域為中心區域,沿圖像列方向(飛行方向)以2像素為單位向上和向下分別移動5次和11次,仿真結果見表2。其中,相對像移量中負號表示向上移動。圖5為采用4種圖像清晰度評價算法得到的圖像清晰度與離焦量關系曲線。總耗時為:平均灰度梯度法1.247s;點銳度法0.903s;平均邊緣強度法0.488s;平均邊緣寬度法2.180s。

圖5 離焦模糊+像素移動圖像的清晰度與離焦量關系曲線

根據表2和圖5可知:只有平均灰度梯度法和平均邊緣強度法對像移量保持了相對的穩定性,其變化趨勢主要隨離焦量變化呈現單峰性,平均灰度梯度法對離焦量的敏感性更好,計算時間尚可。點銳度法和平均邊緣寬度法此時已失去準確的評價能力。

2.1.3 離焦模糊+像素移動+隨機噪聲仿真試驗

在第2.1.2節圖像基礎上添加均值為0、方差為0.0005的隨機噪聲,仿真結果見表3。圖6為采用4種圖像清晰度評價算法得到的清晰度與離焦量關系曲線。總耗時為:平均灰度梯度法1.100s;點銳度法0.519s;平均邊緣強度法0.785s;平均邊緣寬度法2.252s。

表3 離焦模糊+像素移動+隨機噪聲圖像的仿真結果

圖6 離焦模糊+像素移動+隨機噪聲圖像的清晰度與離焦量關系曲線

隨著模糊和噪聲的引入,4種算法的單峰性均受到了一定影響。在離焦模糊+像素移動+隨機噪聲的仿真中,除了平均邊緣寬度法出現幾個峰值,其他3種算法均只出現了1個次峰,且位置相同。在時間性能上,平均邊緣寬度法耗時長,而平均灰度梯度法和平均邊緣強度法時間性能較好,且平均灰度梯度法對焦面變化更為敏感。考慮到清晰度隨離焦量增大時的變化程度,選擇平均灰度梯度法更為合適,局部極大值的問題可考慮后續根據調整調焦策略進行改善。

2.2 閾值設計與仿真驗證

以對天安門地區凝視圖像為仿真對象。根據相機參數對圖像進行離焦仿真,以焦深為單位,離焦量仿真范圍為-1.50焦深到+1.33焦深。不同離焦量的圖像示意見圖7。

對不同的閾值方案進行仿真和評價,閾值選擇方案如下。方案①:以前幀圖像的灰度均值作為下幀圖像的閾值;方案②:以前幀圖像的灰度標準差作為下幀圖像的閾值;方案③:以當前幀圖像的灰度均值作為當前幀圖像的閾值;方案④:以當前幀圖像的灰度標準差作為當前幀圖像的閾值。按照成像序列和離焦仿真,部分圖像的局部區域如圖7所示,在凝視成像期間,相機對同一目標的拍攝面各不相同,可理解為景物發生了變化,且部分角度的圖像由于逆光現象出現了飽和溢出。

分別計算當前圖像自身均值和前幀圖像均值作為閾值時的圖像清晰度變化情況,結果見圖8。分別計算當前圖像自身標準差和前幀圖像標準差作為閾值時的圖像清晰度變化情況,結果見圖9。根據結果可知:采用前幀圖像計算閾值對下幀(連續成像幀,且焦面只相差1/6焦深)進行清晰度計算時,與采用當前幀圖像計算閾值效果相當。采用均值作為閾值時,有一定的誤差,出現了誤判情況;而標準差作為閾值時,單峰性良好。

圖8 以圖像均值作為閾值時圖像清晰度變化曲線

圖9 以圖像標準差作為閾值時圖像清晰度變化曲線

本文在軌自動調焦方法應用時,會在粗調焦至離焦量不超過2.0焦深時執行自動調焦,由綜合電子控制單元對初始點±2.0焦深內的-2.0焦深、-1.5焦深、-1.0焦深、-0.5焦深、0.0焦深、+0.5焦深、+1.0焦深、+1.5焦深、+2.0焦深9個位置的清晰度評價函數比對,并停留在清晰度評價函數最高的點。在下一軌對前次調焦點±1.0焦深內再執行1次,最終確定誤差小于1/8焦深的最佳焦面位置。根據仿真結果,清晰度評價函數具有較好的單峰性,粗調焦初步剔除了局部極大值的問題,具備較強的可行性。在軌調試期間,自動調焦成功完成了既定的功能預期,在無云豐富場景的成像過程中完成了精調焦任務。

3 結束語

本文介紹了北京三號B衛星相機在軌自動調焦方法。結合星上硬件能力,采用前幀圖像灰度標準差作為閾值的平均灰度梯度法作為圖像清晰度評價函數,方法具備較好的魯棒性和單峰性。應用逐點對比的爬山法作為調焦策略,以確保不會大幅調焦來保障可靠性,對±2.0焦深的9個點清晰度評價函數進行比較,選擇其中最佳的焦面位置作為自動調焦的結束位置。該方法成功實現在無云豐富場景下的±2.0焦深范圍內最佳焦面的精細調焦功能,有效地提高了在軌搜索最佳焦面的效率。