復(fù)雜背景下空中小目標(biāo)動態(tài)紅外成像仿真技術(shù)研究

摘 要：空中小目標(biāo)紅外圖像廣泛應(yīng)用于目標(biāo)檢測與識別和軍事訓(xùn)練等領(lǐng)域，但這些數(shù)據(jù)獲取成本極高，部分條件下的數(shù)據(jù)難以獲得，因此，研究復(fù)雜背景下空中小目標(biāo)紅外圖像仿真技術(shù)具有重要的研究意義。本文提出了復(fù)雜背景下空中微弱小目標(biāo)動態(tài)紅外成像仿真方法，并開發(fā)了相應(yīng)的仿真軟件。利用簡化的三維目標(biāo)模型模擬空中小目標(biāo)，考慮大氣傳輸效應(yīng)，對目標(biāo)自輻射和反射輻射進(jìn)行建模。使用任意天空圖像對背景初始化，通過相機(jī)透視模型調(diào)整可視區(qū)，并添加相機(jī)抖動模擬真實(shí)機(jī)載成像中的情況。利用泊松融合將仿真目標(biāo)與仿真背景融合，并通過設(shè)置目標(biāo)和相機(jī)的動力學(xué)模型，實(shí)現(xiàn)了任意數(shù)量飛行目標(biāo)、飛行軌跡的動態(tài)仿真。為高效仿真不同背景、多種飛行條件下的空中小目標(biāo)紅外圖像提供了一種思路。

關(guān)鍵詞：紅外成像； 計(jì)算機(jī)仿真； 小目標(biāo)； 天空背景

中圖分類號：TP391.41 文獻(xiàn)標(biāo)識碼：A DOI：10.19452/j.issn1007-5453.2024.04.015

基金項(xiàng)目： 航空科學(xué)基金（2018ZC53041）

遠(yuǎn)距離空中目標(biāo)的準(zhǔn)確檢測和跟蹤是飛機(jī)導(dǎo)航、導(dǎo)彈制導(dǎo)和空中偵察等應(yīng)用的關(guān)鍵。基于紅外圖像的目標(biāo)探測是較為常用的技術(shù)手段。但是對紅外目標(biāo)探測系統(tǒng)進(jìn)行機(jī)載測試通常比較耗時且十分昂貴，某些極端飛行場景下，如存在潛在碰撞時，甚至不可能進(jìn)行測試。空中目標(biāo)紅外成像仿真技術(shù)可以有效地解決此類問題，它的仿真效率高、成本低，且可以模擬各種不同的場景，如不同的天氣條件、多樣的飛行程序等。仿真數(shù)據(jù)還可以用于目標(biāo)檢測跟蹤算法的研究。

現(xiàn)有紅外成像仿真的研究，大多是針對某一物理現(xiàn)象或者某些外形特定目標(biāo)開展。鐘露[1]通過手動設(shè)置比例尺和灰度分布生成紅外小目標(biāo)，將小目標(biāo)與靜態(tài)背景融合，獲得復(fù)雜背景下小目標(biāo)的紅外仿真圖像。其過程沒有考慮影響小目標(biāo)成像的因素，僅采用了靜態(tài)背景。王霄[2]研究了空中目標(biāo)紅外成像的過程，但研究著重于對目標(biāo)的模擬，沒有將其與背景融合，在實(shí)際中應(yīng)用受限。王曉蕊等[3]使用真實(shí)數(shù)據(jù)反演目標(biāo)的紅外特征，與任意紅外背景融合，可以得到不同背景的紅外目標(biāo)仿真序列。但只考慮了自發(fā)輻射的影響，且將目標(biāo)的自發(fā)紅外輻射視為靜態(tài)參數(shù)，僅改變大氣傳輸透過率來實(shí)現(xiàn)目標(biāo)灰度的變化，無法還原真實(shí)場景下的反射情況。于鯤等[4]對飛行器的蒙皮和尾焰分別使用光線追蹤的方式進(jìn)行輻射特性的優(yōu)化建模，提升了方差收斂速度。Gong Wei等[5]通過3DMax仿真建模得到地面目標(biāo)的三維模型，分析目標(biāo)的紅外特性，通過紅外計(jì)算模型輸出紅外仿真序列。Zhang Shuyuan等[6]通過研究不同高速氣動力流場作用下紅外圖像退化的影響，建立了基于飛行速度、飛行高度和飛行姿態(tài)的連續(xù)變化高斯疊加模型，構(gòu)建了一個動態(tài)紅外場景仿真模型。王曉燕[7]考慮實(shí)際作戰(zhàn)環(huán)境中太陽對蒙皮輻射的影響，對不同作戰(zhàn)環(huán)境逐個進(jìn)行了理論建模。謝江榮等[8]利用深度卷積生成對抗網(wǎng)絡(luò)得到模型，能夠有效模仿紅外輻射特征。姚成喆等[9]通過仿真環(huán)境中虛擬紅外圖像的生成方式與成像的基本模型，實(shí)現(xiàn)了運(yùn)動目標(biāo)識別追蹤以及可應(yīng)用于實(shí)時場景下的運(yùn)動目標(biāo)軌跡重構(gòu)。

針對遠(yuǎn)距離空中目標(biāo)的紅外成像仿真問題，本文提出了一種復(fù)雜天空背景下空中微弱小目標(biāo)的動態(tài)紅外成像仿真方法。利用簡化的三維目標(biāo)模型來模擬空中小目標(biāo)，考慮大氣傳輸效應(yīng)，主要對目標(biāo)自輻射和反射輻射進(jìn)行建模。使用任意天空圖像對背景初始化，通過相機(jī)透視模型調(diào)整能見度，并添加相機(jī)抖動模擬真實(shí)機(jī)載成像中的情況。利用泊松融合技術(shù)將仿真目標(biāo)與仿真背景融合，并通過假設(shè)目標(biāo)和觀測器的動力學(xué)模型，實(shí)現(xiàn)了任意數(shù)量飛行目標(biāo)、飛行軌跡的動態(tài)仿真。試驗(yàn)表明，本文方法可以高效仿真各種背景、多種飛行條件下的空中小目標(biāo)序列圖像。

1 空中小目標(biāo)紅外成像仿真

本文設(shè)計(jì)的空中小目標(biāo)紅外成像仿真方法流程如圖1所示。系統(tǒng)主要包含空中微弱小目標(biāo)紅外特性建模、復(fù)雜動態(tài)背景建模、紅外傳感器建模、目標(biāo)/背景融合4個模塊。

1.1 空中微弱小目標(biāo)紅外特性建模

1.1.1 目標(biāo)自發(fā)紅外輻射模型

當(dāng)飛行器高速飛行時，蒙皮表面與空氣產(chǎn)生高速摩擦，導(dǎo)致表面溫度急劇升高。這種由于氣動加熱所產(chǎn)生的紅外輻射是飛行器紅外輻射的重要組成部分。駐點(diǎn)溫度法可以直觀地表示飛行高度、飛行速度與溫度的關(guān)系。對于長時間飛行的巡航飛機(jī)等飛行器，可使用駐點(diǎn)溫度代替其表面溫度。

1.1.4 目標(biāo)運(yùn)動模型

本文主要的仿真對象是空中遠(yuǎn)距離的飛機(jī)目標(biāo)。在這種情況下，一般可以將飛機(jī)近似為橢球體。在仿真過程中，利用攝像機(jī)視角模型將橢球體從三維世界坐標(biāo)投影到三維攝像機(jī)坐標(biāo)，再投影到二維圖像坐標(biāo)系。

給定仿真場景，可以相應(yīng)地建立飛行器和觀測器（紅外攝像機(jī)）的運(yùn)動學(xué)模型。可對單個或多個仿真目標(biāo)，預(yù)設(shè)相應(yīng)的運(yùn)動軌跡，以靈活地生成各種飛行場景，適應(yīng)不同的應(yīng)用。對于無人機(jī)感知和規(guī)避的研究，可以設(shè)置兩架具有潛在碰撞風(fēng)險(xiǎn)的無人機(jī)飛行軌跡，并生成相應(yīng)的仿真圖像序列。

1.2 復(fù)雜動態(tài)背景建模

在紅外成像仿真中，一些研究簡單地采用靜態(tài)背景。然而，在機(jī)載紅外成像平臺上，需充分考慮觀測平臺自身視角、振動對成像的影響。本文通過設(shè)置任意天空背景圖像在世界坐標(biāo)系中的位置和比例，然后利用攝像機(jī)視角模型對其可見度進(jìn)行分析，得到初始背景圖像。最后加入攝像機(jī)振動得到動態(tài)背景。

1.2.1 初始化背景

圖2展示了背景圖像在世界坐標(biāo)系中的位置。將背景圖像中的像素點(diǎn)P設(shè)置為定位圖像的錨點(diǎn)，P點(diǎn)確定了背景在世界坐標(biāo)系中的位置。

1.2.2 可見性分析

使用簡化的光線投射渲染算法對背景進(jìn)行可見性分析，由相機(jī)位置處發(fā)出并且穿過每個相機(jī)屏幕像素點(diǎn)的光線，如果光線與幕布表面的某個像素相交，則將該交點(diǎn)的像素值賦值給對應(yīng)的仿真圖像像素點(diǎn)。

如圖3所示，對于H×W的紅外傳感器，由相機(jī)位置出發(fā)，發(fā)射H×W條光線，均勻分布于成像平面。當(dāng)光線與幕布相交時，取幕布像素值作為該屏幕點(diǎn)的像素值；不相交時，賦值為0。遍歷相機(jī)屏幕上的所有點(diǎn)，得到從傳感器觀測到的背景成像。

1.3 紅外傳感器模型

1.3.1 光學(xué)模型

不同于可見光，紅外圖像的像素灰度值是由面元的紅外輻射經(jīng)過大氣衰減作用和傳感器作用后映射而來。探測器接收的目標(biāo)紅外輻射功率，即探測器表面的輻照度，包括經(jīng)過大氣衰減后的目標(biāo)自發(fā)輻射和對環(huán)境的反射兩個部分。

目標(biāo)相對探測器的球面度為

1.3.2 傳感器噪聲

傳感器噪聲是不可避免的。許多類型的傳感器噪聲都可以用泊松噪聲表示，如光電轉(zhuǎn)換噪聲、信號電路噪聲和過渡噪聲。熱噪聲和溫度噪聲通常可以表示為高斯噪聲。因此，在本文系統(tǒng)中，人為地加入了泊松噪聲和高斯噪聲。

1.4 目標(biāo)/背景融合

為了使得圖像融合的邊緣部分平穩(wěn)過渡，可利用兩幅圖像的梯度場信息，計(jì)算出兩幅圖像重疊區(qū)域的梯度場，通過梯度場匹配法進(jìn)行融合，可以很好地消除融合圖像變暗或者模糊的情況，使得融合后的圖像過渡自然。典型的基于梯度場的圖像融合方法是泊松融合法，在保留了原圖像梯度信息的同時，可以很好地融合原圖像與目標(biāo)圖像。

泊松融合根據(jù)原圖像的梯度信息以及目標(biāo)圖像的邊界信息，利用插值的方法重新構(gòu)造合成區(qū)域內(nèi)圖像的像素。圖4為泊松融合過程，圖中u是原圖像中被合成的部分，V是u的梯度場，S為合并后的圖像，Ω是合并后目標(biāo)圖像中被覆蓋的區(qū)域，？Ω是其邊界。設(shè)合并后圖像在Ω內(nèi)的像素值用f表示，在外的像素值用f*表示。

為了使合并后的圖像中Ω區(qū)域盡量接近u，利用u的梯度場V作為求解式的引導(dǎo)場，合并后的圖像在Ω內(nèi)的像素值f的梯度與原梯度越接近，就表示原始信息保持得越好，可以利用歐拉-拉格朗日方程得到

2 仿真試驗(yàn)與分析

利用Matlab GUI設(shè)計(jì)空中小目標(biāo)紅外成像仿真軟件，實(shí)現(xiàn)了多種條件下的空中小目標(biāo)快速成像仿真。

為驗(yàn)證所提方法，分別進(jìn)行了紅外小目標(biāo)圖像仿真、不同天空背景下紅外單目標(biāo)圖像仿真和多目標(biāo)紅外圖像仿真三組試驗(yàn)。

2.1 紅外小目標(biāo)圖像仿真

2.2 不同天空背景下紅外單目標(biāo)仿真

分別設(shè)定目標(biāo)灰度分布模型參數(shù)、目標(biāo)運(yùn)動方程和紅外探測器參數(shù)仿真晴朗天空背景與多云天空背景下紅外單目標(biāo)圖像序列各20幀。目標(biāo)的灰度分布模型參數(shù)同圖5（b），目標(biāo)的運(yùn)動方程見表1，紅外探測器模型參數(shù)見表2，仿真結(jié)果如圖6、圖7所示。在圖6和圖7中，（a）～（d）分別為序列中的第1、5、9、13幀圖像。

2.3 多目標(biāo)紅外圖像仿真

為了便于觀察仿真圖像序列中多目標(biāo)的成像效果與運(yùn)動狀態(tài)，將多目標(biāo)的運(yùn)動軌跡顯示在同一幀圖像中，生成了如圖8所示的多云天空背景下三個目標(biāo)運(yùn)行軌跡交叉時的紅外仿真圖像。

目標(biāo)模型參數(shù)與紅外探測器模型參數(shù)同試驗(yàn)（2），三個目標(biāo)的運(yùn)動方程見表3。

3 結(jié)論

針對空中目標(biāo)紅外圖像獲取困難的問題，本文提出了一種空中微弱小目標(biāo)紅外成像仿真方法。研究了目標(biāo)的紅外輻射模型、紅外傳感器模型和動態(tài)背景模型，分別生成了目標(biāo)和背景，并將其進(jìn)行融合，進(jìn)而仿真出各種場景。本文進(jìn)行了三組不同天氣條件、不同目標(biāo)數(shù)量的仿真試驗(yàn)，驗(yàn)證了所提方法的有效性。

理想情況下應(yīng)將仿真圖像與真實(shí)紅外圖像進(jìn)行比較，以實(shí)現(xiàn)對仿真結(jié)果的量化評估。然而，對于本文所研究的空中小目標(biāo)，受試驗(yàn)條件的限制，難以獲取同等條件下的真實(shí)紅外圖像。現(xiàn)有的研究大多是通過人工觀察對仿真結(jié)果進(jìn)行定性評價(jià)，或者是簡單地將模擬結(jié)果與受控環(huán)境下的真實(shí)數(shù)據(jù)進(jìn)行比較[2]。因此，紅外成像仿真的評估方法是一個亟待解決的問題。另外，在仿真過程中，大氣傳輸?shù)耐高^率τ與天氣條件有關(guān)。目前τ是根據(jù)背景圖像人為設(shè)定的。未來可以嘗試通過機(jī)器學(xué)習(xí)或深度學(xué)習(xí)算法從任何給定的天空圖像中自動推斷天氣狀況，自動適配參數(shù)。

參考文獻(xiàn)

[1]鐘露. 復(fù)雜背景下紅外弱小目標(biāo)的正演模擬與仿真技術(shù)研究[D]. 成都： 電子科技大學(xué)， 2016. Zhong Lu. Forward modeling and simulation technology of infrared dim small targets under the complex background[D]. Chengdu： University of Electronic Science and Technology of China， 2016.（in Chinese）

[2]王霄. 空中目標(biāo)紅外輻射特性分析與成像仿真技術(shù)研究[D]. 上海： 中國科學(xué)院上海技術(shù)物理研究所， 2020. Wang Xiao. Infrared radiation analysis and imaging simulation of aerial target[D]. Shanghai： Shanghai Institute of Technical Physics Chinese Academy of Sciences， 2020. （in Chinese）

[3]王曉蕊， 李珂， 李祉涵， 等. 基于實(shí)測紅外成像數(shù)據(jù)的目標(biāo)與背景融合仿真方法： 中國， CN109447932B[P]. 2020-12-08. Wang Xiaorui， Li Ke， Li Zhihan， et al. Target and background fusion simulation method based on measured infrared imaging data： China， CN109447932B[P]. 2020-12-08.（in Chinese）

[4]于鯤，段雨晗，叢明煜，等.飛行器紅外物理成像仿真優(yōu)化計(jì)算方法[J].紅外與激光工程， 2021， 50（4）： 52-65. Yu Kun， Duan Yuhan， Cong Mingyu， et al. Optimization calculation method for infrared physical imaging simulation of aircraft[J]. Infrared and Laser Engineering， 2021， 50（4）：52-65.（in Chinese）

[5]Gong Wei， Zhang Tianxu， Liu Jianwei， et al. Infrared sequence simulation method for aerial moving platform target scene[C]. 2022 International Conference on Artificial Intelligence and Computer Information Technology （AICIT）， 2022： 1-4.

[6]Zhang Shuyuan， Chen Xin， Zu Yingqing， et al. A Dynamic imaging simulation method of infrared aero-optical effect based on continuously varying gaussian superposition model[J]. Sensors， 2022， 22（4）：1616.

[7]王曉燕. 空戰(zhàn)作戰(zhàn)環(huán)境與紅外目標(biāo)仿真研究[D]. 南京： 南京航空航天大學(xué)， 2012. Wang Xiaoyan. Research on air combat environment and infrared target simulation [D] Nanjing： Nanjing University of Aeronautics and Astronautics， 2012.（in Chinese）

[8]謝江榮， 李范鳴， 衛(wèi)紅， 等. 基于生成對抗式神經(jīng)網(wǎng)絡(luò)的紅外目標(biāo)仿真方法[J]. 光學(xué)學(xué)報(bào)， 2019（3）： 150-156. Xie Jiangrong， Li Fanming， Wei Hong， et al Infrared target simulation method based on generative adversarial neural networks [J] Journal of Optics， 2019 （3）： 150-156.（in Chinese）

[9]姚成喆， 郭偉蘭， 陳錢， 等. 紅外運(yùn)動目標(biāo)軌跡重構(gòu)動態(tài)仿真平臺[J]. 紅外與激光工程， 2022， 51（2）： 9-15. Yao Chengzhe， Guo Weilan， Chen Qian， et al. Dynamic simulation platform for infrared moving target trajectory reconstruction [J]. Infrared and Laser Engineering， 2022， 51（2）： 9-15.（in Chinese）

Research on Dynamic Infrared Imaging Simulation of Small Aerial Target under Complex Background

Wang Jiahao， Fu Yuxin， Li Yi， Ren Siyu， Yang Jun

Northwestern Polytechnical University， Xi’an 710072， China

Abstract： Infrared images of small aerial targets are widely used in the fields of target detection and recognition and military training， but the cost of obtaining these data is extremely high， and the data under some conditions are difficult to obtain， so it is of great significance to study the infrared image simulation technology of small aerial targets in complex backgrounds. A simulation method and software are established for infrared imaging of aerial target under complex background. An aerial target is modelled as a simplified 3D structure. The infrared radiation model of the target is composed by spontaneous radiation model and reflection model. The sky background is initiated freely， with consideration of camera perspective model and platform vibration. Target and background are fused through a Poisson model. The dynamic simulation of the flight trajectory of any number of flight targets is realized by setting the dynamic model of the target and the camera， which provides a way to efficiently simulate the infrared images of small aerial targets under different backgrounds and various flight conditions.

Key Words： infrared imaging； computer simulation； small target； sky background