基于GPU的實時紅外場景仿真系統研究

黃　曦， 陳　偉， 張建奇

(西安電子科技大學 物理與光電工程學院， 陜西 西安　710071)

?

基于GPU的實時紅外場景仿真系統研究

黃曦， 陳偉， 張建奇

(西安電子科技大學 物理與光電工程學院， 陜西 西安710071)

摘要：針對紅外成像制導武器試驗中對仿真圖像的分辨率與幀頻越來越高的要求， 參考國外典型紅外場景仿真軟件的框架特點， 確定了實時紅外場景仿真系統應該遵循的設計準則， 實現了總體系統架構設計。 在OGRE三維圖形引擎基礎上， 開發了基于GPU的實時紅外場景仿真軟件PRISSE， 采用紅外輻射方程簡化與GPU并行加速等方法優化了實時性。 仿真結果表明， 利用PRISSE進行復雜場景的紅外仿真時， 實時性強， 圖像質量較高。

關鍵詞：紅外場景； 實時仿真； GPU； 輻射方程

0引言

在設計、 研制各種新型紅外成像武器系統過程中， 通常需要對系統性能進行大量測試與評估。 由于外場試驗的環境條件在不斷變化， 且紅外成像武器系統涉及的試驗因素寬泛， 要進行全尺度的外場試驗從時間、 人力、 費用上講都是難以承受的。 因此， 為有效地縮短研發周期、 提高費效比， 各種各樣的紅外仿真技術被研究與應用。 基于仿真技術進行紅外成像武器系統的地面試驗， 評估系統性能成為一種有效、 可行的手段[1-3]。 其中， 以半實物仿真為主的紅外成像制導系統地面試驗驗證， 可用于完成對制導武器硬件和軟件組件的研發和非破壞性硬件在回路中的試驗[4]， 具有高度靈活、 費效比高、 交互性好等優點， 得到了各國的廣泛重視。 例如， DSTO在2010年采用基于GPU的VIRSuite進行半實物仿真， 可生成分辨率256×256、 進行電子放大反走樣(ZAA)、 幀頻在50~100 Hz的紅外圖像[5]； AMRDEC在2011年采用實時聯合特征圖像生成器(JSIG)為核心的、 基于GPU的IGStudio渲染框架進行的半實物仿真， 可生成分辨率1024×1024、 進行嵌套式電子放大反走樣(NZAA)、 幀頻達400 Hz的圖像[6]； OKTAL-SE公司在2012年采用基于GPU的SE-WORKBENCH進行的半實物仿真， 可生成分辨率1024×1024、 進行4倍反走樣(AA)、 幀頻超過300 Hz的圖像[7]。 面對半實物仿真中分辨率與幀頻等越來越高的技術、 戰術指標與功能要求， 如何構建實時紅外場景仿真系統， 實現準確、 實時的紅外圖像渲染， 是一件非常有挑戰性的工作。

針對這一問題， 本文首先對實時紅外場景仿真系統進行設計， 并討論了復雜場景的紅外輻射特征實時渲染方法， 最后對仿真結果進行了分析和討論。

1實時紅外場景仿真系統設計

1.1　總體系統結構設計

從20世紀70年代起， 以美、 法、 英等國為首的歐美發達國家投入了大量的人力、 物力對紅外場景仿真進行了相關的理論與工程研究， 取得了許多重要成果。 通過整合紅外場景仿真各模塊的工作， 這些國家通常都構建了體系較為完整的紅外場景仿真平臺， 其中具有代表性的平臺有IRMA[8]， TTIM[9]， Vega/Vega Prime[10]， JRM[11]， CAMEO-SIM[12]， SE-WORKBENCH[13-14]， VIRSuite[5]， 以及KARMA[15]等。 這些平臺的主要特點有： (1)都具有一個吻合成像鏈路的、 相當一致的紅外圖像生成流程； (2)都具有一個清晰明了的體系架構； (3)各層之間數據接口穩定， 使得各層進行擴展時， 不會對其他層造成干擾與改變； (4)為保障仿真結果的物理可信， 都在基礎數據源階段就引入了基于材質體系的物體表面溫度與光學屬性描述， 為后續進行輻射特性計算提供基本物理量； (5)根據平臺對輻射傳輸計算模型的不同精度、 速度側重要求來構建三維渲染引擎， 對于輻射計算實時性要求高的應用， 采用基于GPU的三維實時渲染引擎來滿足工程級別的精度與速度要求； (6)對大氣、 太陽等環境影響都采用了預計算的方法來解決物理模型計算效率低的問題。

參考上述紅外場景仿真平臺的設計框架， 可以確定實時紅外場景仿真系統應該遵循的設計準則：

(1)為達到平臺的通用、 易擴展、 可配置特性， 需要設計低耦合的模塊。 從復合系統的成像鏈路來看， 可以分成零視距紅外場景仿真、 大氣環境仿真和紅外成像系統仿真三個模塊， 且各模塊內的子模塊依然遵循成像鏈路來進行劃分。 從工作層級來看， 可以分為數據層、 場景設計層與圖像生成層。

(2)為達到平臺的實時性， 需要對各模塊進行模型預處理和模型實時計算的設計。 通過對各模塊的物理模型構建實時設計， 滿足運行階段的實時性， 達到開/閉環下的實時仿真。

(3)為達到平臺的定量仿真要求， 需要對目標和背景的紅外輻射特征進行存儲和表達。 合理的方法是基于紅外材質與紅外紋理進行實現。

綜合上述紅外成像仿真平臺的設計準則， 最終建立的實時紅外場景仿真系統架構如圖1所示。

圖1　實時紅外場景仿真系統框架與模塊組成

1.2　零視距紅外場景仿真

三維紅外場景與一般場景仿真有著許多不同之處， 要求具備紅外戰場的特點， 如[3]：(1)環境與目標的真實性要求高。 為有效應用于紅外成像系統全壽命周期的開發與試驗評估， 要求對構建的三維紅外場景有高的主、 客觀真實感， 以達到實際效果。 (2)區域大。 光電成像體系作戰區域跨度非常大， 一般都在上千平方公里以上。 (3)環境復雜。 通過仿真不同季節、 時間、 氣候和試驗條件下的各種復雜場景， 才能充分地檢驗和評價光電成像系統性能， 填補外場試驗的不足。 (4)實時性高。 實時性是實現紅外系統半實物測試的關鍵因素。 實時紅外圖像生成可以與真實或模擬的算法處理、 伺服系統形成閉合回路， 生成可實時響應反饋信息的圖像， 為真實地測試動態系統實際工作方式奠定基礎。

根據紅外戰場仿真特點， 將零視距紅外場景仿真分成了場景設計與本征輻射生成兩個階段。 場景設計階段主要是為本征輻射生成階段提供本征輻射渲染所需的主要資源， 如目標、 背景與干擾的幾何模型、 紅外紋理數據和紅外材質等； 并通過建模預處理， 將各物理模型和建模數據組織存儲為符合本征輻射實時計算的特定格式， 確保滿足仿真的實時性。

1.3　大氣環境輻射傳輸仿真

大氣環境輻射傳輸仿真的場景設計階段的工作主要包括大氣環境輻射傳輸模型、 大氣環境輻射傳輸預處理等子模塊。 其中大氣環境輻射傳輸預處理是保障圖像生成階段中大氣環境輻射效應實時渲染的關鍵。 主要原因在于， MODTRAN[16]等大氣模型所計算的大氣效應結果精度雖能滿足工程需求， 但計算時間較長， 無法為場景每個三維面元實時疊加大氣衰減。 因此， 應事先調用MODTRAN模型進行計算并組織其結果， 通過預處理來完成耗時計算。 具體的來說， 預處理階段根據大氣透過率和路徑輻射對位置信息的依賴關系， 設置好MODTRAN中氣象參數， 再基于CPU循環調用MODTRAN軟件， 計算關注范圍內所有傳輸幾何路徑對應的大氣透過率、 程輻射， 結果組織為動態渲染需要的紋理。 這樣， 即可在實時紅外圖像生成階段， 根據三維面元與探測器之間的距離、 方位關系， 采用實時插值來實時計算景物本征紅外輻射經過大氣傳輸路徑時的透過率衰減與程輻射疊加。

1.4　紅外成像系統虛擬樣機仿真

對同樣的紅外輻射， 采用不同的成像系統， 其成像效果也可以有很大的不同， 通過建立系統虛擬樣機可以有效地評價其性能， 提高開/閉環仿真的應用價值。 另外， 對于導引頭半實物仿真應用系統， 為實時校正紅外景象投射系統的紅外液晶光閥、 DMD微鏡陣列等熱顯示器件導致的非均勻性等圖像降質， 通常需要利用紅外成像系統虛擬樣機對仿真圖像進行實時的非均勻性校正， 以實現更準確的系統試驗。

紅外成像系統虛擬樣機的仿真計算若是基于CPU進行實現， 需要將GPU生成的二維表觀輻射從GPU傳遞至CPU， 受CPU與GPU之間數據傳輸帶寬的限制， 其實時性不高。 為突破數據傳輸帶寬導致的低幀頻， 充分發揮GPU平臺的高并行計算能力， 需要基于GPU進行成像系統效應的實時計算。 為此， 也需要采用成像系統效應預處理技術， 將紅外成像系統物理效應的中間物理量或綜合物理量根據精度要求存儲為物理量查找表紋理， 以提高動態渲染時的實時計算效率。

2復雜場景紅外輻射特征的GPU實時渲染

2.1　基于GPU的紅外實時渲染系統

對于紅外成像仿真， 在不具有GPU或GPU不可編程的時期， 基于物理地進行本征輻射計算、 大氣傳輸計算與紅外成像系統效應計算等關鍵模塊的計算， 通常都是在CPU上實現的。 由于CPU雖擁有很強的控制流能力， 但并行能力較弱， 使得紅外圖像的實時生成效率較低， 越來越難以滿足高實時的仿真要求。 而GPU采用了流式并行計算模式， 在處理圖像數據和復雜算法方面具有遠高于CPU的效率， 通過在GPU中實現紅外場景仿真中各模塊的物理方程計算， 將能大幅提高紅外圖像渲染幀頻。

國外的紅外場景仿真平臺都在高階引擎基礎上進行紅外場景三維驅動與生成。 根據文獻報道， SE-WORKBENCH， JRM與VIRSuite仿真軟件都是基于OSG(Open Scene Graph)渲染引擎進行二次開發來實現紅外實時渲染[5, 7, 17]； 而在SGI硬件平臺上的Vega Prime仿真平臺版本則使用OpenGL Performer渲染引擎來實現紅外實時渲染[18]。

本文基于OGRE(Object-Oriented Graphics Rendering Engine)三維渲染引擎[19]實現了一個命名為PRISSE(Physical Reasonable Infrared Scene Simulation Engine)的實時紅外場景仿真系統。 OGRE是世界上最流行的開源三維圖形渲染引擎之一， 以其為基礎進行實時紅外場景仿真系統的開發， 具有以下優點：

(1)具有良好的CPU與GPU混合編程能力， 有效降低實時紅外圖像生成的開發難度。 根據輻射計算可并行加速的特點， 以GPU為核心實現基于物理模型的紅外特征生成； 根據仿真應用范圍廣泛、 參數豐富等特點， 以CPU為核心實現靈活的應用控制。

(2)具有結構清晰、 修改靈活的材質體系。 OGRE以定義、 聲明與調用這三種形式來管理GPU程序， 實現了材質與GPU程序的靈活關聯， 使得材質的結構非常清晰， 易于修改與重用， 有效地解決了實時渲染方法與所需的紅外輻射物理參數預計算結果的組織問題。

采用PRISSE實時紅外場景仿真系統， 根據紅外成像鏈路， 基于物理模型渲染生成實時紅外圖像的關鍵過程如下：

(1)以景象設計階段集成的三維紅外景象為主要輸入數據， 依據輻射方程進行物體自身輻射、 環境反射、 太陽反射等輻射成分的物理計算， 生成三維場景片段的紅外本征輻射亮度。

(2)針對主動或被動的云團、 煙幕、 誘餌彈等干擾， 根據其外形特點采用紅外特效技術進行其外形、 運動與本征輻射表達， 實現與目標、 環境的綜合。

(3)根據大氣輻射傳輸方程， 在本征輻射基礎上添加大氣衰減和路徑輻射， 表現大氣對整個場景的影響。 仿真時預計算的大氣相關紋理被傳入片段著色器， 結合觀察者坐標、 目標坐標等幾何參數進行采樣， 最后根據衰減方程添加大氣效應。

(4)根據設置的紅外成像系統參數， 利用OGRE合成器對前一階段光柵化的輻射分布進行后期處理， 實現紅外成像系統虛擬樣機的實時仿真。

2.2　紅外輻射簡化方程的GPU加速

根據上述實時紅外圖像渲染過程可以看出， 影響渲染效率的主要因素是紅外輻射方程的計算。 精確的光譜輻射計算方程為

(1)

由于光譜輻射方程包含著大量的光譜計算， 極為耗時， 另外為表現物體表面反射特征與表面所接收的各種入射輻射之間的復雜關系， 輻射方程需要對表面所面對的半球空間進行積分， 同樣非常耗時。 因此光譜輻射方程不適合直接應用于實時仿真。

分別引入光譜積分的平均值近似簡化與空間積分的局部光照模型簡化[20]， 可將式(1)簡化為如下形式：

(2)

由式(2)可以看出， 仿真圖像中不同像素的輻射渲染互不依賴， 可并行計算。 因此， 本文運用基于GPU的并行計算法[5-7]來提高實時性， 獲得了明顯的幀頻提速。

3仿真結果

運用PRISSE對規模為60 km×60 km的紅外場景進行實時渲染。 仿真程序所運行的PC機配置如表1所示。

表1　仿真程序運行PC機配置

山地、 建筑群背景、 機場、 飛機與誘餌彈等物體的紅外實時仿真結果如圖2所示， 仿真圖像分辨率都是1 024×768。

圖2　三維紅外場景實時仿真結果

其中： 圖2 (a)面片數為45 671， 幀頻為1 617Hz； 圖2 (b)面片數為184 844， 幀頻為675Hz； 圖2 (c)面片數為263 679， 幀頻為772Hz； 圖2 (d)面片數為252 122， 幀頻為463Hz。 可以看出，PRISSE軟件能對背景與目標的自輻射、 反射輻射等輻射成分進行計算， 因此合理表現了飛機蒙皮對誘餌彈輻射的反射效應； 另外，PRISSE綜合計算了目標、 背景、 大氣的相互輻射影響， 真實感較好。 總體來說， 通過CPU與GPU混合加速，PRISSE軟件在個人計算機與圖形處理單元相結合的商用貨架級別仿真硬件上獲得了較高的渲染幀頻， 能滿足半實物仿真應用的需要。

4結論

實時紅外場景仿真技術在現代軍事領域中占據著極其重要的地位， 能直接或間接地影響一個國家武器研制的進程與水平， 具有重要的研究價值和非常廣泛的應用前景。 本文總結了國外典型紅外場景仿真軟件的框架特點， 確定了實時紅外場景仿真系統應該遵循的設計準則， 建立了具體的系統架構； 在OGRE圖形引擎基礎上構建了基于GPU的實時紅外場景仿真軟件PRISSE， 研究了紅外輻射簡化方程的GPU加速技術。 仿真結果表明， 利用本文構建的系統進行大規模紅外場景仿真時， 實時性強， 圖像質量較高。

參考文獻：

[1] 鄭志偉, 白曉東, 胡功銜, 等. 空空導彈紅外導引系統設計[M]. 北京: 國防工業出版社, 2007.

[2] 葉堯卿, 湯伯炎, 楊安生, 等. 便攜式紅外尋的防空導彈設計[M]. 北京: 中國宇航出版社, 1996.

[3] 張建奇, 王曉蕊. 光電成像系統建模及性能評估理論[M]. 西安: 西安電子科技大學出版社, 2010.

[4] 范晉祥, 岳艷軍. 實時紅外成像場景生成技術的發展及應用[J]. 紅外與激光工程, 2011, 40(9): 1601-1608.

[5]WilliamsOM,ChristieCL,ShenG,etal.Real-TimeSceneGenerationInfraredRadiometry[C]//Proc.SPIE7663,TechnologiesforSyntheticEnvironments:Hardware-in-the-LoopTestingXV, 2010: 76630N.

[6]MorrisJW,LowryM,BorenB,etal.EO/IRSceneGenerationOpenSourceInitiativeforReal-TimeHardware-in-the-LoopandAll-DigitalSimulation[C]//Proc.SPIE8015,TechnologiesforSyntheticEnvironments:Hardware-in-the-LoopTestingXVI, 2011: 80150I.

[7]LatgerJ,CathalaT.ImageGeneratorPerformanceandModernHardware-in-the-LoopSimulation[C]//5thInternationalSymposiumonOptronicsinDefenceandSecurity,Paris,France, 2012.

[8]SavageJ,CokerC,ThaiB,etal.Irma5.2Multi-SensorSignaturePredictionModel[C]//Proc.SPIE6965,ModelingandSimulationforMilitaryOperationsIII, 2008: 69650A.

[9]SeegersPA,CohenMA,CookTH,etal.PCVersionoftheTACOMThermalImageModel(TTIM)[C]//SPIE’sInternationalSymposiumonOpticalEngineeringandPhotonicsinAerospaceSensing，InternationalSocietyforOpticsandPhotonics, 1994: 14-21.

[10]DuongN,WegenerM.ValidationoftheSensorvisionThermalEmissionModel[R].DefenceScienceandTechnologyOrganisationVictoria(Australia)AeronauticalandMaritimeResearchLab, 2001.

[11]JRMTechnologies[EB/OL]. [2015-10-30].http://jrmtech.com/Products.

[12]GilmoreMA,MoorheadIR,OxfordDE,etal.CAMEO-SIM:ABroad-BandSceneGenerationSystemthatisFitforPurpose[C]//Proc.SPIE3699,TargetsandBackgrounds:CharacterizationandRepresentationV, 1999: 217-228.

[13]CathalaT,DouchinN,JolyA,etal.TheUseofSE-WORKBENCHforAircraftInfraredSignature,TakenintoAccountBody,Engine,andPlumeContributions[C]//Proc.SPIE7662,InfraredImagingSystems:Design,Analysis,Modeling,andTestingXXI, 2010: 76620U.

[14]DouchinN,LatgerJ.ExtensionoftheSE-WorkbenchfortheComputationofAircraftInfraredSignatures[C]//Proc.SPIE7834,Electro-OpticalandInfraredSystems:TechnologyandApplicationsVII, 2010: 78340I.

[15]LepageJ,LabrieM,RouleauE,etal.DRDC’sApproachtoIRSceneGenerationforIRCMSimulation[C]//Proc.SPIE8015,TechnologiesforSyntheticEnvironments:Hardware-in-the-LoopXVI, 2011: 80150F.

[16]BerkA,BernsteinLS,RobertsonDC.MODTRAN:AModerateResolutionModelforLOWTRAN7,GL-TR-89-0122[R].AirForceGeophysicsLaboratory, 1989.

[17]SigSimRTDeveloper’sGuide(Version1.1.0)[EB/OL].[2015-10-30].http://www.jrmtech.com/Products/SigSimRT.

[18] 張健, 張建奇, 邵曉鵬. 基于VegaPrime的紅外場景生成技術在成像制導仿真系統中的應用[J]. 紅外技術, 2005, 27(2): 124-128.

[19]OGREFeatures[EB/OL]. [2015-10-30].http://www.ogre3d.org/about/features.

[20] 黃曦. 高真實感紅外場景實時仿真技術研究[D]. 西安: 西安電子科技大學, 2014.

Study on Real-Time Infrared Scene Simulation System Based on GPU

Huang Xi, Chen Wei, Zhang Jianqi

(School of Physics and Optoelectronic Engineering， Xidian University, Xi’an 710071， China)

Abstract:Aiming at the increasingly high requirements of resolution and frame rate of scene simulation using in the infrared imaging guided weapon testing, the design criterions of real-time infrared scene simulation system are determined by analyzing the framework characteristics of the abroad typical infrared scene simulation softwares. The overall system architecture design is completed according to the design criterions. Based on the OGRE 3D graphics render engine, the real-time infrared scene simulation software PRISSE is developed, which is based on GPU, and the real-time performance is optimized by the infrared radiometric simplified equation and GPU parallel acceleration. Simulation results show that the PRISSE software has the advantages of strong real-time performance and high image quality for the complex scene simulation.

Key words:infrared scene; real-time simulation; GPU; radiometric equation

作者簡介：黃曦(1977-)， 男， 廣西玉林人， 副教授， 博士， 研究方向為光電場景仿真、 三維重構。

收稿日期：2015-10-30

中圖分類號：TP391； TJ765.4+3

文獻標識碼：A

文章編號：1673-5048(2015)06-0049-06