星載短波紅外多光譜圖像硬件融合系統(tǒng)

文/李旭、吳旭剛、李立欣、張雷

融合模型

本文以WorldView-3 衛(wèi)星的全色圖像與短波紅外多光譜圖像為測試用例，從圖像的空間特征入手，設計基于雙邊紋理濾波的融合模型，依托FPGA 數(shù)字電路可定制及其并行計算的優(yōu)勢，實現(xiàn)了基于FPGA 的短波紅外與可見光圖像融合系統(tǒng)。全色圖像成像光譜在可見光范圍內(nèi)，空間分辨率極高，細節(jié)信息十分豐富，在使用全色圖像作為可見光圖像與短波紅外圖像進行融合時，由于二者之間空間分辨率差異過大，使得全色圖像中的空間細節(jié)相較于短波紅外圖像以紋理特征顯示更為突出，而短波紅外圖像則以大尺度結構特征描述了地物目標。因此，融合模型利用雙邊紋理濾波器去感知全色圖像的空間紋理特征，進而將全色圖像中的結構和細節(jié)紋理信息進行分離，再利用增益矩陣對細節(jié)紋理按波段進行調(diào)制，最后將空間細節(jié)注入至短波紅外圖像各波段中，得到高分辨率的短波紅外圖像。

融合系統(tǒng)設計

利用ZYNQ 7100 開發(fā)平臺豐富的邏輯資源，在可編程邏輯部分對融合模型進行實現(xiàn)，并結合處理系統(tǒng)進行調(diào)度控制，最后通過HDMI接口將融合結果輸出到顯示設備。融合系統(tǒng)的結構框圖如圖2 所示，將所要處理的短波紅外與可見光圖像數(shù)據(jù)通過HDMI 輸入接口送入ZYNQ 7100 開發(fā)板，使用SIL9013 芯片進行解碼，然后在PL 端部署圖像融合模塊對這兩類圖像進行融合處理，通過PS 端協(xié)助緩存單元對融合結果在DDR3 上進行緩存，最后，使用ADV7511 編碼芯片將融合圖像通過HDMI 輸出接口輸出，最終在顯示器上顯示。

系統(tǒng)中的圖像融合模塊設計是關鍵所在，可以根據(jù)硬件資源以及融合模型將該模塊劃分為多個子任務，如圖3 所示。

（1）圖像分流：由于WorldView-3 數(shù)據(jù)集使用單波段全色圖像和8 波段短波紅外圖像，而硬件平臺僅含有一個HDMI 接口，因此需要對傳進來的視頻數(shù)據(jù)進行分流，將其分解為待處理的全色與短波紅外圖像；（2）上采樣：由于短波紅外圖像與全色圖像尺寸相差較大，因此需要對短波紅外圖像進行上采樣至可見光圖像大小；（3）圖像細節(jié)信息提取：對全色圖像應用雙邊紋理濾波，通過訪問BRAM 加速計算過程，提取其邊緣結構信息，通過兩者差值得到可見光圖像的空間細節(jié)信息；（4）圖像融合：將提取到的細節(jié)信息通過增益矩陣注入至上采樣后的短波紅外圖像中，便可得到融合結果。

圖1 融合模型

圖2 融合系統(tǒng)結構框圖

圖3 圖像融合模塊任務劃分

此外，對融合模塊的進一步優(yōu)化包括PIPELINE優(yōu)化、LOOP UNROLL 優(yōu)化、DATAFLOW 優(yōu)化、BRAM 映射等。例如，雙邊紋理濾波過程涉及聯(lián)合雙邊濾波，需要用到復雜的指數(shù)運算得到灰度相似權重系數(shù)和空間鄰近度相似權重系數(shù)。使用HLS 開發(fā)時，如果直接進行指數(shù)運算，則會消耗大量的DSP48 計算資源，且運算時間長。因此，可以提前按照精度要求將指數(shù)運算結果存入BRAM 中，然后在計算時按照地址查找結果，通常可以在1 個時鐘周期內(nèi)完成。因此使用BRAM 查找系數(shù)權重代替直接計算的方式，可以有效減少資源消耗和計算時間。對于灰度相似權重系數(shù)，其個數(shù)與像素值位寬有關，數(shù)量有限，因此可以使用兩個像素的灰度值差作為相應系數(shù)的查找地址。當像素位寬是8 的時候，像素灰度值差的取值范圍是0—255，共計256 個，因此BRAM 深度為256，每個權重系數(shù)選取float 類型進行保存，總共消耗256×32bit 的RAM 資源。對于空間鄰近度權重系數(shù)，當濾波器大小固定時，該系數(shù)數(shù)目固定，且關于水平和垂直方向?qū)ΨQ，因此可以預先計算窗口對應空間距離的部分權重系數(shù)，根據(jù)像素的空間位置直接得到系數(shù)。優(yōu)化后的HLS 綜合報告如圖4 和圖5 所示。

硬件融合系統(tǒng)的驗證

針對短波紅外多光譜圖像的硬件融合系統(tǒng)設計如圖6 所示，將需要融合的可見光圖像與短波紅外圖像通過HDMI 接口輸入至硬件平臺，通過Video In to Axi-stream IP，將視頻數(shù)據(jù)轉(zhuǎn)化為AXI4 Stream 流數(shù)據(jù)格式，然后使用融合模塊對數(shù)據(jù)流進行處理，得到融合結果數(shù)據(jù)流，然后使用AXI VDMA 模塊訪問DDR3，實現(xiàn)幀緩存功能，最后通過Axi-stream to video out 完成融合圖像的HDMI 顯示輸出。

圖4 融合模塊時間消耗估計

圖5 融合模塊資源消耗估計

圖6 短波紅外多光譜圖像融合系統(tǒng)

系統(tǒng)測試與分析

測試圖像為WorldView-3 衛(wèi)星數(shù)據(jù)集，包括8 波段多波紅外多光譜圖像和單波段全色圖像。短波紅外圖像空間分辨率為7.5 米，全色圖像空間分辨率為0.3 米。融合實驗輸入為8 波段48×48 像素短波紅外圖像和單波段1200×1200 像素可見光圖像。圖7(a)展示了短波紅外多光譜圖像（波段1-2-3 彩色合成），圖7(b)為全色圖像，融合輸出展示如圖8。為適配顯示器分辨率，融合結果采樣至1080×1080 像素大小，如圖8 左側所示，圖中右側為通過SDK 填充的背景像素區(qū)域。

為了驗證硬件系統(tǒng)輸出的正確性，采用同一顯示器將融合模型的Matlab 仿真結果進行輸出顯示，如圖9 所示。根據(jù)圖8 與圖9 的比較，硬件融合系統(tǒng)輸出的目視效果與軟件仿真結果能夠保持一致，說明系統(tǒng)工作正常。

圖7 融合輸入圖像

圖8 融合系統(tǒng)的HDMI 輸出

圖9 Matlab 仿真結果輸出顯示

結束語

本文介紹了針對星載短波紅外多光譜圖像的硬件融合系統(tǒng)，首先根據(jù)圖像特點設計有效的融合模型，再采用FPGA ZYNQ 7100 開發(fā)平臺實現(xiàn)了短波紅外圖像與全色圖像的融合，系統(tǒng)功能仍有待完善，相關研究工作為星上數(shù)據(jù)處理技術奠定了基礎。進一步提高衛(wèi)星在軌信息處理系統(tǒng)的實時性和智能化將是未來研究熱點之一。