航空光電成像載荷系統級固定噪聲去除方法研究

摘" 要： 航空光電成像載荷作為一種有效的偵察裝備，由于光學系統灰塵、探測器壞像元、探測器非均勻性等因素，導致光電成像載荷生成的圖像中存在固定噪聲，從而使載荷的成像質量下降。為解決該問題，文中提出一種可以去除航空光電成像載荷系統固定噪聲的方法。首先使用光電成像載荷對標準光源進行成像，得到標準圖像；再對標準圖像進行處理，得到固定噪聲圖像；最后從待優化圖像中將固定噪聲圖像剔除，得到去噪后圖像。實踐證明，該方法在保持圖像空間結構信息以及不損失圖像細節的前提下，可以有效地去除光電成像載荷的系統固定噪聲，提升光電成像載荷圖像質量。

關鍵詞： 航空偵察； 光電成像載荷； 系統固定噪聲； 圖像濾波； 噪聲去除； 圖像質量提升

中圖分類號： TN911.73?34； TP751； TP391" " " " " 文獻標識碼： A" " " " " " " " 文章編號： 1004?373X（2024）23?0176?05

A study of system?level fixed noise removal method for aerial optoelectronic imaging load

WANG Xiaoyi1， 2， NIE Haitao1

（1. Changchun Institute of Optics， Fine Mechanics and Physics， Chinese Academy of Sciences， Changchun 130033， China;

2. School of Optoelectronic Engineering， Changchun University of Science and Technology， Changchun 130022， China）

Abstract： As an effective reconnaissance equipment， aerial photoelectric imaging load， due to the factors such as dust on the optical system and unqualified pixels and the non?uniformity of the detector， can lead to the presence of fixed noise in the image generated by the photoelectric imaging load， which can degrade the imaging quality of the load. Therefore， a method that can remove system?level fixed noise from an aerial photoelectric imaging load is proposed. A standard light source is imaged by photoelectric imaging load to obtain a standard image， which is processed and then a fixed noise image is obtained. The fixed noise image is removed from the image to be optimized to obtain a denoised image. It is proved that the proposed method can effectively remove the system?level fixed noise of the photoelectric imaging load and improve the image quality under the premise of maintaining the spatial structure information of the image and not losing the image details.

Keywords： aerial reconnaissance; optical imaging load; system?level fixed noise; image filtering; noise removal; image quality improvement

0" 引" 言

航空光電成像載荷作為一種重要裝備，可以搭載于飛機、飛艇等航空動平臺上，是一種可以快速獲取高精度圖像的數據手段，在航空攝影測量[1]、軍事偵察[2]、國土調查、農業監測[3]、生態監測[4]等領域有著廣泛應用，為我國國防安全、經濟發展、民生建設起到了至關重要的作用。航空光電成像載荷在進行圖像信號采集的過程中，由于載荷內部或外界環境等因素的干擾，導致生成的圖像中存在各種噪聲，從而影響圖像質量。隨著各種應用需求的不斷增強，對光電成像載荷的圖像質量要求日益增高，因此如何保證圖像質量、降低圖像噪聲，是提升光電成像載荷綜合性能、保障圖像下游應用效能的關鍵[5]。

圖像去噪的相關方法研究經歷了數十年的過程，在基礎理論和應用算法方面都取得了重要進展，同時在航空航天[6]、生物醫學[7]、工業工程[8]等領域都得到了較為廣泛的應用。圖像去噪方法的研究主要分為兩類：一類是傳統方法[9]，早期主要采用濾波器的方法實現圖像降噪[10]，分為空間域濾波和變換域濾波，后期研究者們提出了基于模型的圖像去噪方法[11]，該類方法通過設計圖像先驗實現噪聲去除；另一類是基于深度學習的去噪方法[12]，研究者們將各種深度神經網絡應用于圖像去噪方法中，在去噪性能方面有較大提升。

然而，以往的圖像去噪方法研究多針對圖像本身的傳統噪聲問題，該類方法在處理特定成像設備生成的真實圖像噪聲時效果較差，近年來研究者們開始研究真實圖像的噪聲處理問題[13?14]。由于成像設備的光學系統、機械結構、探測器件等自身因素，真實圖像中通常存在大量復雜且未知的噪聲特性，該類噪聲難以用單一的數學模型進行描述，因此該類圖像噪聲的去除更具有挑戰性。

特別針對航空光電成像載荷，復雜的內部結構導致其在工作中會存在多種系統級固定噪聲，在實際工程項目中，現有的圖像去噪方法均無法有效去除其圖像噪聲。針對此問題，本文提出一種可以去除由航空光電成像載荷內部因素導致的系統固定噪聲方法，采用該去噪方法，可以在保持圖像空間結構信息以及不損失圖像細節的前提下，有效去除光電成像載荷的系統固定噪聲，提升光電成像載荷的成像質量。

1" 航空光電成像載荷及其圖像噪聲

航空光電成像載荷一般具備可見光、紅外成像能力，以Spectro XR光電載荷[15]為例，如圖1所示。該系統具備可見光、紅外成像能力，以及多目標跟蹤、地形測量計算等功能，其高精度目標識別和跟蹤功能的實現，依賴于高信噪比的圖像獲取能力。因此，如何去除航空光電成像載荷的圖像噪聲、保證成像質量是決定其效能發揮的重要因素。

航空光電成像載荷系統主要由光學系統、機械結構系統、成像探測器、電控系統構成，如圖2所示。

如圖3所示，導致光電成像設備圖像噪聲產生的因素有兩類：系統內部因素主要包括光學系統灰塵、機械結構形變、探測器壞像元、探測器非均勻性等，該類因素導致的噪聲一般為固定噪聲，表現為光環、波紋、線條等；外部環境因素主要包括抖動、云霧、雨水、氣流等，該類因素導致的噪聲一般具有隨機性。本文方法主要解決內部因素。

目前的圖像去噪方法主要分為基于濾波器的方法、基于模型的方法和基于學習的方法三類?，F有方法都根據圖像自身結構特性實現去噪，對于由外部因素導致的噪聲具有較好的去除效果，但無法有效去除某一特定光電成像載荷中由于內部因素導致的系統固定噪聲，同時存在去噪效率低、無法在載荷端實現的問題。因此，本文針對由航空光電成像載荷系統內部因素導致的圖像噪聲，提出一種有效的系統級固定噪聲去除方法。

2" 系統固定噪聲去除方法

2.1" 方法流程

為解決航空光電成像載荷系統內部因素導致的圖像噪聲問題，彌補現有算法在具體工程應用中的不足，本文提出了一種可以有效去除航空光電成像載荷系統固定噪聲的方法，如圖4所示。

去除航空光電成像載荷系統固定噪聲的方法步驟如下：

第1步：使用光電成像載荷對標準光源進行成像，得到標準圖像；

第2步：對標準圖像進行處理，得到固定噪聲圖像；

第3步：從待優化圖像中將固定噪聲圖像剔除，得到去噪后的優化圖像。

2.2" 光電成像載荷標準圖像獲取

為獲取特定光電成像載荷的系統級標準噪聲，首先需要獲取該光電成像載荷的標準圖像。根據光電成像載荷相關參數特性，選取合適口徑的積分球（可見光成像設備使用）或黑體（紅外成像設備使用），之后用光電成像載荷對標準光源進行成像，得到該光電成像載荷的標準圖像。為保證光電成像載荷系統成像的一致性和準確性，使用光電成像載荷對標準光源進行多次成像，各像素點均取多次成像的平均值，從而得到標準圖像。光電成像載荷標準圖像計算公式如下：

[Si，j=k=1nTki，jn]" （1）

式中：[Si，j]為標準圖像[S]在[（i，j）]位置的像素值；[Tki，j]為第[k]次對標準光源成像所生成圖像[Tk]在[（i，j）]位置的像素值；[n]為對標準光源成像次數。

2.3" 噪聲圖像生成

得到光電成像載荷的標準圖像之后，需要進一步提取系統級固定噪聲圖像。如圖5所示，首先計算標準圖像[S]的圖像直方圖；之后，為了排除探測器壞像元等特異性因素的影響，根據圖像直方圖計算尋找像素點個數大于10的像素值最小值；最后，用標準圖像[S]各像素值減去上述最小值，得到系統級固定噪聲圖像。

[Qi，j=Si，j-min（Si，j），" " h（min（Si，j））gt;10] （2）

式中：[Qi，j]為求得的系統級固定噪聲圖像[Q]在[（i，j）]位置的像素值；[min（Si，j）]為標準圖像[S]的像素最小值；[h（min（Si，j））]是值為[min（Si，j）]的像素點個數。

2.4" 系統級噪聲去除

從待優化的原始圖像中將系統級固定噪聲圖像去除。首先，求出標準圖像像素點均值，公式如下：

[ES=i=0Mj=0NSi，jM×N]" " " （3）

式中：[ES]為標準圖像像素點均值；[M]、[N]分別為圖像長寬方向的像素點個數。

之后，求出待優化的原始圖像像素點均值，公式如下：

[ESrc=i=0Mj=0NSrci，jM×N]" " " （4）

式中：[ESrc]為待優化的原始圖像像素點均值；[Srci，j]為待優化的原始圖像Src在[（i，j）]位置的像素值。

最后，去噪后的圖像通過式（5）計算生成：

[Ri，j=Srci，j-Qi，jESrcES]" "（5）

式中[Ri，j]為去噪后圖像[R]在[（i，j）]位置的像素值。

3" 實驗結果與分析

為了驗證本文提出的航空光電成像載荷系統級固定噪聲去除方法的有效性和可靠性，以某型航空光電成像載荷的可見光圖像作為實驗驗證對象，開展了圖像噪聲去除實驗。本文提出的方法既可以在上位機上實現圖像后處理，也可以在下位機實現嵌入式端上實時處理，端上處理方式可以實現載荷工作時實時生成優化后圖像，有效提升載荷效能。

3.1" 實驗環境及參數設置

實驗采用的航空光電成像載荷的可見光探測器尺寸為1 920×1 080，圖像量化位數為8 bit。上位機代碼實現環境為Qt6+OpenCV，操作系統為Windows 10，計算機CPU為Core i5?8250U 1.8 GHz，內存為8 GB。

3.2" 主觀評價

圖像主觀評價是指通過人眼觀察來對圖像質量進行定性評價[16]。根據第2節去噪方法描述，圖6展示了某型航空光電成像載荷可見光圖像采用本文方法的去噪效果。其中，圖6a）為對標準積分球進行10次成像后根據公式（1）求得的標準圖像；圖6b）為根據公式（2）求得的系統級固定噪聲圖像；圖6c）為該航空光電成像載荷實飛拍攝的可見光圖像；圖6d）為根據本文方法生成的去噪處理后圖像。通過觀察可以發現圖6c）的待優化原始圖像中存在“水波紋”“右下角黑圈”“橫縱兩條亮線”以及“透明小圓點”等系統級固定噪聲，經過本文方法處理后，在圖6d）中均已消失，同時沒有損失原始圖像細節，優化后圖像質量得到大幅度提升，可見該方法可以有效去除系統級固定噪聲。

3.3" 客觀評價

客觀圖像質量評價可分為全參考評價、半參考評價和無參考評價三種[17]，前兩種評價方法都必須提供原始干凈圖像作為參考，而對于航空光電成像載荷的實際應用場景，顯然無法提供原始干凈圖像作為參考，因此，本文采用無參考評價方法中經典的圖像信噪比（SNR）和圖像信息熵（Entropy）對本文去噪方法效果進行評價。由于現階段沒有專門針對特定成像裝備噪聲進行優化的方法，因此選取對真實場景效果較好且邊緣信息保留效果好的中值濾波和雙邊濾波算法與本文方法進行對比。

為保證對比算法在該場景下的最佳效果，中值濾波的卷積核大小（[ksize]）設置為7；雙邊濾波的濾波直徑參數（[d]）設置為9，顏色空間濾波器的標準差值（sigmaColor）設置為100，坐標空間濾波器的標準差值（sigmaSpace）設置為120。圖7為不同方法的去噪效果對比圖。

從對比圖中可以看出，兩種傳統去噪方法對隨機噪聲有一定的去除能力，但對固定噪聲去除能力較差，圖像“水波紋”問題仍然存在?？陀^指標評價方面，由于信噪比（SNR）和圖像信息熵（Entropy）的值均是越大說明去噪效果越好，從表1中可以看出，相比其他兩種方法，本文提出的方法在兩個評價指標上均為最優，證明了本文方法處理后的圖像信息更豐富、圖像質量更高、去噪效果更優。

4" 結" 語

本文針對航空光電成像載荷在成像過程中存在的系統級固定噪聲問題，提出了一種高效的噪聲去除方法，該方法可以在保持圖像空間結構信息以及不損失圖像細節的前提下，有效去除由于光電成像載荷內部因素導致的系統級固定噪聲。相比現有面向圖像本身的高復雜度圖像去噪方法，本文提出的方法面向特定光電成像載荷的真實成像場景，具有針對性強、效率高的特點，既可以在裝備端實時處理，也可以在上位機進行事后處理。通過相關實驗對比，驗證了所提方法的有效性和實用性，在航空光電成像載荷上具有一定的應用前景。

注：本文通訊作者為王瀟逸。

參考文獻

[1] ZHANGH W， YUAN G Q， LIU X J. Precise calibration of dynamic geometric parameters cameras for aerial mapping [J]. Optics and lasers in engineering， 2022， 149： 106816.

[2] SHIMONI M， HAELTERMAN R， PERNEEL C. Hypersectral imaging for military and security applications： Combining myriad processing and sensing techniques [J]. IEEE geoscience and remote sensing magazine， 2019， 7（2）： 101?117.

[3] ZHANG H D， WANG L Q， TIAN T， et al. A review of unmanned aerial vehicle low?altitude remote sensing （UAV?LARS） use in agricultural monitoring in China [J]. Remote sensing， 2021， 13（6）： 1221.

[4] KIM J I， CHI J H， MASJEDI A， et al. High?resolution hyperspectral imagery from pushbroom scanners on unmanned aerial systems [J]. Geoscience data journal， 2021， 9： 221?234.

[5] BUADES A， COLL B， MOREL J M. A review of image denoising algorithms， with a new one [J]. Multiscale modeling amp; simulation， 2005， 4（2）： 490?530.

[6] WANG X Y， LUO Z Z， LI W Q， et al. A self?supervised denoising network for satellite?airborne?ground hyperspectral imagery [J]. IEEE transactions on geoscience and remote sensing， 2021， 60： 1?16.

[7] 于淼，許錚鏵.生成對抗網絡醫學圖像去噪研究綜述[J].中國生物醫學工程學報，2022，41（6）：724?731.

[8] FAN J F， JING F S， YANG L， et al. A precise initial weld point guiding method of micro?gap weld based on structured light vision sensor [J]. IEEE sensors journal， 2019， 19（1）： 322?331.

[9] FAN L W， LI X M， GUO Q， et al. Nonlocal image denoising using edge?based similarity metric and adaptive parameter selection [J]. Science China （Information sciences）， 2018， 61（4）： 1?3.

[10] ZHANG X D， FENG X C， WANG W W. Two?direction nonlocal model for image interpolation [J]. Science China （Technological sciences）， 2013， 56（4）： 930?939.

[11] DABOV K， FOI A， KATKOVNIK V， et al. Image denoising by sparse 3?D transform?domain collaborative filtering [J]. IEEE transactions on image processing， 2007， 16（8）： 2080?2095.

[12] 王靜.基于卷積神經網絡的圖像去噪方法研究[D].濟南：山東大學，2016.

[13] 許雪.基于多尺度特征的真實噪聲圖像去噪算法研究[D].南京：南京信息工程大學，2022.

[14] 陳暢.面向真實圖像恢復的降質建模與算法設計[D].合肥：中國科學技術大學，2021.

[15] CARRIGAN K G. Manufacturing status of Tinsley visible qua?lity bare aluminum and an example of snap together assembly [C]// SPIE Conference on Infrared Technology and Applications. [S.l.： s.n.]， 2012： 1?6.

[16] 韓翰，卓力，張菁，等.基于深度學習的無參考圖像質量評價綜述[J].測控技術，2022，41（4）：1?10.

[17] 鄢杰斌，方玉明，劉學林.圖像質量評價研究綜述：從失真的角度[J].中國圖象圖形學報，2022，27（5）：1430?1466.

作者簡介：王瀟逸（1992—），男，吉林公主嶺人，碩士研究生，助理研究員，研究方向為航空光電載荷控制及光電圖像智能處理技術。

聶海濤（1986—），男，吉林長春人，博士研究生，副研究員，研究方向為光電圖像智能處理技術。