“泰景四號01星”遙感影像條帶噪聲去除方法

趙可,鐘若飛,楊燦坤,李清揚

(1.首都師范大學 資源環境與旅游學院,北京 100048;2.首都師范大學 三維信息獲取與應用教育部重點實驗室,北京 100048)

0 引言

泰景四號01星是搭載X波段商業SAR和光學動目標檢測相機的商業衛星。可用于全天時、全天候地獲取高分辨率地表圖像,其搭載的動目標檢測相機以及AI智能載荷,可對成像數據在軌處理,實現從預處理到動目標檢測和識別的全過程。在資源詳查、城市規劃、環境保護、商業數據搜集等領域有廣泛應用前景。衛星利用互補金屬氧化物半導體(complementary metal oxide semiconductor,CMOS)靈活讀取特性,實現了具有可控時間差的全色雙條帶推掃成像,通過幀差法便可以實現在推掃視場內進行大范圍低速運動目標檢測。利用這一成像特性,可以同時獲取運動目標的速度和方向,結合地理信息數據庫,有望提高目標監測的時間分辨率,實現面向實時應用的遙感服務,為應急減災、交通運輸、船舶監測等場景提供技術支撐。

CMOS相比較于傳統電荷耦合元件傳感器(charge-coupled device,CCD)具有讀取靈活的特性,可以較為靈活地實現開窗成像,但同時受其讀出放大器的限制,像素間不均勻狀況較為常見,導致各探測元件之間的響應并不完全一致。因此在利用CMOS進行推掃成像時,在圖像上表現為沿軌道方向的非周期性條狀噪聲。條帶噪聲的存在不僅降低了圖像的目視效果,在應用中也直接導致了精度的損失。因此,條帶噪聲的去除是提升數據應用效能的基礎。

現有的去條帶方法主要分為三類:基于統計分析的方法、基于濾波的方法和基于變分正則化的方法。統計分析方法假定圖像灰度的空間分布是均勻的,利用條帶區域與圖像區域灰度統計特征的差異性,將其灰度直方圖調整在某個規定范圍內,如直方圖匹配法[1]、矩匹配法[2]、改進的矩匹配算法[3-5]。這類算法實現簡單快速,但對于地表復雜度較高區域并不適用。基于濾波的方法是將影像變換到頻率域,通過設置一定的濾波器對噪聲信號進行處理,如小波濾波器[6]、自適應濾波器[7]、改進的陷波濾波器[8]等。這類方法能夠有效消除圖像中的周期性噪聲,但一般遙感影像中的條帶噪聲并非周期性分布,以上方法無法將影像中的非周期性噪聲完全濾除,并且容易丟失圖像細節。基于變分的方法在圖像去噪領域一直是研究的熱點,常見的有單向變分模型[9]、結合矩匹配和變分法的去條帶模型[10-11]、低秩單圖像分解模型[12]等。

雖然上述方法在條帶噪聲去除的問題上取得了一定的效果,但對于泰景四號01星動目標檢測應用場景來說,現有的去條帶方法均未考慮到其成像特點,導致幀差后除了運動目標外,仍會殘留部分條狀離散噪點,對后續進一步的目標檢測影響較大。為了解決上述問題,本文提出了一種顧及幀間一致性的條帶噪聲去除方法,即理想情況下,配準后的兩個條帶影像同一列灰度均值應是近似一致的。該方法算法復雜度低,對圖像造成的灰度畸變較小,并且在各種地物復雜度較高的場景下均取得了較好的效果。

1 數據分析

泰景四號01星利用雙CMOS拼接實現20 km成像幅寬,其中,每片CMOS可采集全色雙條帶推掃影像。該數據是由CMOS器件上兩個不同區域開窗成像實現數據采集,模擬了雙線陣異步推掃模式。每個開窗區域對應一個全色通道,在通道內實現時間延遲積分(time delayed integration,TDI)功能。數據采集時,沿衛星飛行方向,在1～2 s的時間間隔內先后對同一區域曝光成像。理想情況下,針對同名地物的像素讀出信號應該是相同的,但實際在對地推掃過程中,受衛星姿態、CMOS制做工藝等因素限制,探測元件不同區域像素之間的響應并不完全一致,最終得到的數據依然受條帶噪聲影響,其不同譜段上的條帶噪聲具有不同的表現形式。圖1為兩個CMOS在兩個時刻利用各自開窗區域獲取的海面原始影像。

圖1 泰景四號01星海面原始影像

可以看出,該衛星影像條帶噪聲主要沿軌道軌道方向分布,多為暗條紋,一般呈多列聚集出現,且不具備周期性,不同譜段上條帶噪聲的分布不具備相關性,CMOS1成像模組的條帶噪聲較多且分散,CMOS2成像模組條帶噪聲較少且聚集。

這些微弱的條帶噪聲不易通過目視發現,但在基于幀差法的動目標檢測應用場景中,由于不同通道間條帶噪聲強度、分布的不同,會在幀差后的顯著性圖中得到保留,導致幀差結果中存在大量的條狀離散噪點,進一步影響運動目標與背景分離時的閾值選擇,嚴重影響檢測精度。假設沒有條帶噪聲參與圖形計算,兩個通道的差分結果應是一幅只包含目標區域灰度值差異,且其他區域灰度值為0,不存在明暗條紋的平整圖像。但是由于條帶噪聲的客觀存在,細小條紋在差分后也會顯現出來。圖2分別為兩個CMOS成像模組間分別配準后進行差分的效果,可以更加直觀反映出影像上的條帶情況。

圖2 原始譜段差分效果

2 方法設計

理想情況下,對各CMOS兩個譜段間進行配準后,由于地物一致,整體像素差異理論上分布在一個波動性較弱的區間范圍內,但是由于條帶噪聲的存在,條帶所在列的譜段間灰度差異明顯大于其他理想位置。基于此,本文從幀間一致性角度考慮,提出了一種對條帶位置按照灰度權重進行像素補償的相對輻射校正方法。首先,通過相對輻射定標方法去除大部分微弱條帶,將條帶噪聲抑制在較小的范圍內。然后,將配準后的兩個譜段整體亮度均值調整為一致。最后,以配準后兩個譜段間同一列上的均值差異作為條帶定位原則,并依據像素權重對條帶所在位置進行像素補償。

2.1 相對輻射定標

將相機推掃方向定義為列向,垂直推掃方向定義為行向,忽略隨機噪點的影響,在同一相機積分級數下,各探元響應可近似表示為式(1)[13]。

y(r,c)=k(c)x(r,c)+b(c)

(1)

式中:y(r,c)為校正后的像素值;x(r,c)為原始像素值;b(c)為傳感器c的增益,該值一般近似為1;k(c)為傳感器c的偏移量。這些參數可以通過實驗室輻射定標獲取。圖3為分別經過相對輻射定標后的譜段間幀差效果圖像,相比較于圖2,通過上述相對輻射定標過程,可以去除圖像中的部分細小條帶噪聲,有效將條帶噪聲抑制在較小的范圍內,但對于一些較為嚴重的寬條帶,該方法并不能徹底將其消除。

圖3 輻射定標后譜段差分效果

2.2 圖像亮度調整

由于同一積分級數下相機兩譜影像之間響應線性度差異的存在,造成兩幅影像總體亮度值存在細微差異。如泰景四號01星影像兩個CMOS成像模組中譜段1的灰度均值總是低于譜段2,對兩個譜段影像進行配準后,我們以對應列均值差值的正負為依據對暗條帶噪聲進行定位時,會出現差值均為負數的情況,無法準確判斷條帶位于哪個譜段影像上。因此,需要將兩幅影像亮度盡可能地調整到一致范圍,以便準確定位條帶位置。本文選擇將經過配準后的譜段1影像均值調整到與譜段2影像均值一致大小,傳統方法對所有像素統一做一個簡單的加或減操作,以將待調整影像均值調整為參考影像均值。該方法不能反映真實圖像列的均值變化,改變了圖像的實際灰度分布。為了不破壞原始圖像灰度的空間分布情況,本文以各像素在整幅圖像中的灰度權重為依據進行亮度的調整(式(2))。

(2)

(3)

D=Sum(2)-Sum(1)

(4)

(5)

式中:Sum(n)代表譜段n的像素值之和,n∈[1,2]。

2.3 條帶補償

調整亮度值后的兩譜影像之間每一列都對應同名地物。理論上,若CMOS各探元之間不存在響應差異,相同地物的灰度值則是嚴格一致的。因此,本文對兩譜影像之間的列均值進行統計,以均值差值的正負作為條帶位置補償依據。

經過相對輻射校正后,影像中殘留條帶噪聲普遍為暗條帶。因此,若第1譜段和第2譜段某列像素均值之差為正數,即譜段1該列灰度均值大于譜段2,則認為譜段2該列存在暗條帶并對其進行像素補償。若某列像素均值之差為負數,即譜段1該列灰度均值小于譜段2,則認為譜段1該列存在暗條帶并對其進行像素補償。若兩列像素均值相等,則認為兩幅圖在該列均不存在條帶,不需要進行像素補償。

考慮到同一列上存在不同的地物,在進行像素補償時不能夠直接對一列整體進行簡單的灰度加減操作。本文通過計算該列上每個像素與相應列均值之間的比值作為補償權重,逐列對條帶進行補償,從而將兩譜影像每列均值調整至一致(式(6)～式(8))。

(6)

(7)

(8)

3 實驗與分析

為了驗證該算法的有效性,本文選取了“泰景四號01星”兩個CMOS成像模組在1級相機積分下推掃成像得到的4幅影像作為實驗數據。為了充分證明算法的場景普適性,實驗場景內具有建筑、海面、沙灘等多種地物類型。選取的影像大小為5 000像素×5 000像素。矩匹配方法通過對影像列均值與方差的調整,使其與標準參考值一致,以實現相對輻射校正目的;雙邊濾波方法結合圖像的空間鄰近度和像素值相似度對圖像進行平滑去噪處理;單向變分方法利用梯度下降思想,通過建立最優化能量泛函來獲取干凈的圖像效果。將本文方法與矩匹配、雙邊濾波器、單向變分3種不同類型的去條帶方法進行比較,并根據主觀和客觀質量評價標準對實驗結果進行評價。定性質量評價標準主要包括:圖像視覺效果、圖像列均值曲線、幀差效果。定量評價標準包括:信息熵、變異逆系數、結構相似度、峰值信噪比。

3.1 定性質量評價

圖4～圖7分別為使用不同方法分別對CMOS1、CMOS2成像模組的兩個譜段進行去條帶實驗的圖像視覺效果,除了CMOS2的第2譜段外,其他譜段原始影像上都存在明顯的條帶噪聲。可以看出,矩匹配方法校正后的影像視覺效果最差。使用雙邊濾波器進行相對輻射校正后,影像上的條帶噪聲并沒有明顯消除,而對圖像紋理細節進行了平滑。使用單向變分模型校正后效果有所提升,但仍存在部分不易觀察到的細小條帶噪聲。本文方法去條帶效果相對較好,能夠去除大部分肉眼可見的明顯條帶噪聲,且對原圖像的特征保留度較高。

圖4 CMOS1第1譜段校正結果

圖5 CMOS1第2譜段校正結果

圖6 CMOS2第1譜段校正結果

圖8、圖9為使用不同方法對各成像模組的兩個譜段進行去條帶實驗后的圖像差分效果。理想情況下,沒有條帶噪聲的影響,兩幅圖差分后應是一幅灰度均勻,不存在明暗條紋的平整圖像,但由于條帶去除的不徹底性,肉眼不易察覺的細小條紋在差分后也會顯現出來。相較于其他方法,本文方法在兩個成像模組中都得到了良好的幀差效果。

圖10～圖13為使用不同方法對各個CMOS成像模組的兩個譜段進行去條帶實驗后的圖像列均值曲線,綠色表示原始圖像列均值,紅色表示校正后圖像列均值。可以看出,CMOS2成像模組的原始圖像列均值變化較CMOS1更加劇烈。由于雙邊濾波器的算法局限,本文選擇在8位灰度空間進行實驗。使用矩匹配方法校正后的影像列均值近似為一條直線,改變了圖像真實灰度分布,圖像細節損失較大。使用雙邊濾波器進行校正后,影像列均值比校正前略微平滑,但變化幅度不大,并不能有效消除條帶。單向全變分方法對原始影像列均值分布保留的比較完好,但對圖像進行了過度平滑,會導致校正后影像出現階梯效應。本文方法校正前后列均值曲線擬合程度較好,如圖10(d)所示,在第2 800列左右,校正后的圖像列均值呈現一個明顯的升高區間,該區間與原圖CMOS1譜段1上的條帶位置吻合。如圖11(d)所示,在第300、1 700、2 300、3 800列左右,校正后的圖像列均值呈現一個明顯的升高區間,該區間與原圖CMOS1譜段2上的條帶位置吻合。如圖12(d)所示,在第4 800列左右,校正后的圖像列均值呈現一個較大幅度的升高區間,該區間與原圖CMOS2譜段1上的條帶位置吻合。相比較于其他兩種方法,本文方法能夠有效針對條帶所在位置進行校正,并保留圖像原始灰度空間分布特征不被破壞。

圖10 CMOS1第1譜段列均值曲線

圖11 CMOS1第2譜段列均值曲線

圖12 CMOS2第1譜段列均值曲線

圖13 CMOS2第2譜段列均值曲線

3.2 定量質量評價

使用客觀指標對實驗效果進行評價時,必須綜合考慮多個指標,不能由單一指標確定結果好壞。本文選用信息熵、變異逆系數、結構相似度、峰值信噪比4種定量指標對相對輻射校正效果進行分析評價。

信息熵是圖像信息豐富度高低的定量評價指標,信息熵越大,圖像信息量越大;變異逆系數定義為近似各向同性區域上的均值與標準差之比,其值越大,代表去條帶效果越好;結構相似度是衡量校正前后兩幅圖像相似度的評價指標,從影像的亮度、對比度和結構3個層次比較影像變化,其值越大,圖像細節信息保留能力越強;峰值信噪比是最大信號與噪聲之間的比值,用于評價去噪后圖像與原始圖像的近似程度,數值越大,說明近似程度越高。

由于雙邊濾波器處理效果較差,沒有計算其定量評價指標。表1、表2為不同去條帶方法定量評價結果。

表1 CMOS1相對輻射校正定量評價結果

表2 CMOS2相對輻射校正定量評價結果

由于原始圖像中條帶噪聲較弱,校正前后各項指標波動并不強烈,CMOS1譜段2校正前后在各項指標上都取得了最好的效果,CMOS1譜段1由于在校正前對影像均值做了調整,校正前后影像灰度會有細小的差別,因此,在定量評價指標上不如單向全變分方法,但二者差別極小,對影像總體質量的影響不大。總體來說,基于以上評價指標,與其他不同算法相比,本文算法能夠在信息保持與條帶去除中使定量指標達到相對較好的平衡效果,且取得了更優的條帶去除結果。

4 結束語

針對泰景四號01星遙感影像數據在動目標檢測應用場景中受條帶噪聲影響,致使精度損失的問題,本文提出了一種顧及幀間一致性的條帶噪聲去除方法。首先,通過相對輻射定標方法去除影像上大部分微弱條帶,將條帶噪聲抑制在較小的范圍內。然后,對配準后的兩個譜段整體灰度均值進行調整。最后,以配準后兩個譜段間同一列上的均值差異作為條帶定位原則,并依據像素權重對條帶所在位置進行像素補償。

實驗結果表明,本文算法在主觀和客觀評價指標上都取得了良好的效果,在有效去除圖像中微弱條帶的同時能夠最大限度保留圖像灰度信息。此外,本文算法復雜度低,不需要設置初始參數,能夠在提高影像質量的同時兼顧算法處理效率。但是,本文方法僅適用于兩個及以上譜段圖像的去噪任務,如珠海一號等高光譜影像去噪。對于單波段影像,本文方法并不適用。其次,本文算法依賴于圖像的配準,配準精度對本文算法結果的好壞有決定性作用,所以在后續的研究中,我們將考慮如何最大限度地減少配準精度對結果的影響。