基于國產FPGA的紅外圖像處理算法實現

楊德振,李凱峰,蔡佳一,喻松林,李萬崇

(1.華北光電技術研究所,北京 100015；2.北京真空電子技術研究所,北京 100015；3.貴州師范大學,貴州 貴陽 071100)

1 引 言

當前國際形勢下,為更好的保障信息安全和提升國家競爭力,擺脫核心芯片主要依靠進口的困境,國產化芯片的設計與應用推廣勢在必行,我國也將其提升到國家戰略層面。經過數年來的大力發展,中國大陸在芯片設計領域的企業約占10 %的市場,主要集中在技術相對簡單的細分芯片,高端芯片與美國有一定的差距。集成電路行業尤其是通用芯片設計仍處于起步階段,市場需求及國產替代空間巨大,其中國產化紅外探測器因其靈敏度高,可全天時工作的特點,在紅外制導、航天偵查、邊海防預警和地面防空等國防關鍵領域有重要作用。紅外探測器中最關鍵的高端芯片即用于紅外輻射能量獲取轉換的紅外焦平面及其讀出電路和用于圖像信號處理和特定時序輸出的現場可編程門陣列(FPGA)。

一方面,受到材料缺陷、制造工藝、光電信號讀出放大電路以及線路噪聲等各因素的影響,國產探測器不可避免存在缺陷像元,它會導致輸出的紅外圖像出現固定死像元、過熱像元和閃元,嚴重影響探測器成像質量,尤其在需要進行弱小目標檢測跟蹤的應用中,極易導致目標的漏檢或虛警,因此實現盲閃元的有效剔除至關重要[1]。另一方面,FPGA在編程靈活性、邏輯密度、硬件穩定性、功耗和低延時性等方面具有明顯優勢,即可與DSP、SOC等芯片相結合也可以獨立編程構建系統平臺,已成為在移動通信、物聯網和圖像語音處理等領域最有潛力的芯片。進口FPGA的應用已經十分成熟,主要產家Xilinx、Altera和Lattice均來自美國,共占據市場95 %以上份額,且標準化產品各成系列。反觀國產FPGA僅有復旦微電子、紫光同創等廠商涉足高速FPGA,受制造能力、穩定性和IP資源等影響,下游廠家國產化替代主觀意愿不強。網上對國產FPGA的應用和批量成品的文章較少,大部分集中在軍品和受限產品。于東英[2]等人采用紫光同創的FPGA,在廠家自研IP核的基礎上實現了SRIO接口的數據通信；另外,于東英[2]等人還基于國產平臺進行了千兆以太網的接口設計與多網口數據交互；魏志瑾[3]在國產K7系列FPGA上完成了Aurora高速總線的驅動設計和驗證,點對點的通信速率達到3.125 Gbps。基于國產FPGA的應用設計有了初步探索,但局限于專業高速接口邏輯驗證,至今暫無將圖像處理算法進行移植的文獻公開發表。

綜上所述,國產FPGA的算法硬件移植和應用與我國國防建設有著密切關系,對其進行深入研究和梳理的需求十分迫切,但是對該領域的具體研究還不成熟,為此筆者嘗試采用全國產化芯片構建紅外成像系統并進行紅外圖像信號處理的算法實現,實驗包括紅外圖像處理常用的非均勻性校正、盲閃元抑制、自適應圖像增強等算法的移植。筆者以盲閃元抑制算法移植為例,期望以此說明和論證在國產FPGA上進行圖像處理算法移植的可行性。

2 盲閃元定位與填充方法

2.1 盲閃元的特征分析

缺陷元的成因復雜多樣,現有的工藝水平和材料制備很難根除。無效像元分為死像元、過熱像元和閃爍像元,其中死像元為像元響應率小于平均響應率的1/2的像元,過熱像元為噪聲電壓大于平均噪聲電壓2倍的像元[4],除此之外一些像元時而正常時而無效成為閃爍像元。無效像元增加了圖像無效信息熵,降低了目標檢測識別的準確性,圖1分別在空域和時域將上述無效的像元與弱小目標的灰度分布進行對比。

圖1 無效元與弱小目標的分布特性

通過無效像元成像效果的展示可以分析,死像元與過熱像元灰度值都有少量變化,閃元存在劇烈的灰度變化,與遠程弱小目標的空間分布特性相似,傳統盲閃元檢測包括空間濾波、形態學與機器學習等算法,很難將無效像元與目標進行分類[5]。本文硬件移植采用時空多維濾波抑制算法,包括空域極值濾波、時域特征統計和基于中值濾波的盲閃元填充,算法流程見圖2。通過使用循環滑動窗口檢測窗口內的像素異常極值點,進一步對其在時域內出現異常次數進行統計,在滿足動態閾值下確立盲閃元信息并完成填充,達到最后的抑制效果。

圖2 算法流程圖

2.2 多維時空濾波的盲閃元定位

目前,基于場景的盲元檢測算法主要分為兩類:一類是通過分析像素與周圍像素點的關聯性定位盲元的位置；另一類是直接查找灰度值差距較大的探測元并定位?？紤]到實際場景和實時性采用第二類方法實現盲閃元檢測,空域局部極值檢測算法實現流程如下:

首先使用4個3×3滑動窗口H1、H2、H3、H4掃描圖像,利用紅外圖像灰度特征,尋找窗口內中間像素點灰度值均異于其余灰度值的像素點,圖3為滑動窗口模板,記當前幀運算結果為N(i,j),歷史運算結果即為O(i,j)。

圖3 滑動窗口模板

接著采用如下公式,如果當前幀運算結果N(i,j)為1,則對變量repeat(i,j)加1,否則該值保持不變。

(1)

對前后幀出現異常的點進行標志,計算方式見公式(2),式中flag(i,j)為相鄰兩幀盲元判定的運算結果,O(i,j)為歷史幀結果,如果判定結果為1,則變量count(i,j)加1,否則為0。

flag(i,j)=N(i,j)|O(i,j)

(2)

(3)

利用公式4對該像素點是否為盲閃元進行最終判定,如果能夠滿足以下公式判定要求則確認其為盲元點M(i,j),否則判定正常像素單元,Cth為開始進行統計幀數。

M(i,j)=(count(i,j)>Cth)∩(2repeat(i,j)>count(i,j))

(4)

當紅外光電探測系統對紅外圖像進行背景校正或者調整積分時間,有可能會消除原來的盲閃元,同時在新的位置產生新的無效像元,此時需要引入一個動態更新機制,當滿足一定的統計幀數時,對變量M(i,j),repeat(i,j),count(i,j),flag(i,j)判定結果進行清除,更新盲元位置。至此,完成紅外圖像中盲閃元位置的檢測和動態更新。

2.3 基于中值濾波的盲閃元填充

使用鄰域替法代對盲元進行補償,該方法利用窗格內空間相關性消除盲元灰度值異常的特征,從而實現對盲元的填充功能。鄰域替代法,對于獨立的單點盲元具有良好的填充效果,使用中值濾波的方法求取模板鄰域內像素的中間灰度值替代檢測的盲閃元信息,使用模板在圖像中遍歷,從而實現對整幅圖像中盲元信息的填充功能。若P(i,j)檢測為盲閃元,求取鄰域內像素灰度值的中值T(i,j)對該像素點進行替換,反之則為原像素值,實現全圖的盲閃元填充補償。T(i,j)為P(i,j)的3×3鄰域像素進行中值濾波結果,計算方法如下:

P(i-1,j+1),P(i,j-1),P(i,j),P(i,j+1),

P(i+1,j-1),P(i+1,j),P(i+1,j+1)]

(5)

3 國產FPGA的圖像算法實現

3．1 硬件框架

為達到驗證國產化FPGA算法移植能力的目的,構建全國產化紅外成像系統,具體硬件框架如圖4所示。

圖4 全國產化紅外成像系統

紅外探測器選用中國電科11所研制的碲鎘汞長波制冷型320×256面陣探測器,圖像處理電路的處理核心器件為復旦微電子的FM7系列現場可編程門陣列,型號為JFM7VX690T36,主要實現驅動國產紅外探測器的時序邏輯、圖像采集、圖像緩存等快速數據通信和非均勻性校正、盲閃元抑制、自適應圖像增強、目標檢測[6]等圖像處理算法。數據緩存模塊采用紫光的動態隨機存取內存DDR3,型號為SCB13H8G162BF,通過CameraLink接口將經過圖像處理算法的圖像發送至顯示屏顯示。上述功能均在Xilinx的FPGA實現過。先將其在復旦微電子的國產FPGA進行移植,JFM7VX690T36對標Xilinx公司的V7系列高性能FPGA,包含Block RAM、DSP48、MMCM、GTH等可編程模塊,具備可用于實現數字邏輯和分布式RAM的CLB模塊,同時提供了豐富的專用時鐘與布線資源,能滿足分布式存儲,高速數據讀取,多層并行卷積等特定算法應用。圖5為基于國產FPGA的圖像處理硬件電路實物圖。

圖5 國產化FPGA的圖像處理電路

3.2 算法移植

采用現場可編程門陣列(FPGA)進行基于時空多維濾波的缺陷元檢測算法的程序實現,主要包括空域局部極值檢測、時域統計閾值比較、多尺度中值濾波的邏輯運算；空域極值檢測需要采用循環卷積,要求多個邏輯并行執行,同時需保證時序對齊和流水線操作；時域統計首先要求對大量歷史統計信息進行數據存取,要求FPGA對多個時域在線動態統計數據進行緩存,并在同一時鐘下完成數據讀取與當前幀圖像盲元預提取的結果進行比較和運算,時序同步要求極高。硬件移植時分別采用兩種方式進行緩存,即片上資源雙口Block Rams和片外存儲器DDR3。

采用FPGA的片上雙口Rams可同時使用兩個端口數據線和地址線的讀寫操作,Ram的讀取時序延時固定,算法邏輯實現簡易,但會占用較多片上資源,同時易造成信號扇出過大,其工作流程如圖6(a)；若出現其他算法占用過多片上BRAM資源,則采用DDR3對數據進行存儲的方式更優,DDR3同一時刻只能數據讀或者寫操作,讀取延時也不固定,需要采用FIFO作多級緩存達到時序匹配效果,且需要嚴格控制時序,使其穩定進行流水讀寫,算法實現邏輯相對復雜,具體算法移植流程如圖6(b)。

(a)RAM

圖6給出實際硬件實現流程,首先局部極值算法采用循環移位卷積的形式實現,時域動態統計需要的歷史幀信息采用存儲器進行存儲,保證場消隱區完成當幀數據寫入和下幀數據讀出。時域動態統計結果控制缺陷像素邏輯開關選擇該像素是否進行中值濾波輸出校正圖像,兩種實現方式的差異在于存儲器的讀寫不同。利用片上資源Block Rams,其中2端口負責上一幀運算結果數據輸出,然后與當前幀判定結果完成相關邏輯運算,通過1端口將結果重新寫入雙口RAM,實現結果更新。因圖像分辨率為320×256,設定端口地址范圍為1～81920,可實現整幅圖像每個像素位置結果統計與運算；利用片外存儲器DDR3,作為輸入輸出緩存的FIFO和DDR需要進行空間同步與空滿信號監聽通信,并檢測DDR3初始化完成標志,只有在該信號拉高后才可以對DDR3進行數據讀寫操作。為保證多個統計變量對齊同步,將其拼接成64 bit數據位寬的矩陣寫進FIFO和DDR,拼接公式如下:

DATA[63:0]={M,repeat[30:0],flag,count[30:0]}

(6)

如圖7所示,選取硬件實現運算結果中圖像第10行中第7、9、11、20、24、25、26、27、36、38、41、42共12個像素位置對兩種方法實現結果進行對比。其中圖7(a)為雙口RAM的實現結果,圖7(b)為DDR3的實現結果。兩種方法在上述圖像中位置M值均為1,說明硬件移植與算法仿真保持一致,能準確判定盲閃元像素位置。

(a)基于RAM

紅外探測器的工作幀頻在300 f/s,對實時性要求較高,基于FPGA的硬件實現將時鐘倍頻到100 MHz運行,FPGA設計中關注的主要是信號延時,所描述的算法耗時通常根據信號流水延時進行計算。從圖7(a)可以看出方法1的逐行匹配流水線操作占用322個時鐘,算法邏輯占用4個時鐘,并行同步占用3個時鐘,單幀圖像輸入到輸出運行共計329個時鐘,耗時3.29 μs；同理由圖7(b)可得出方法2總耗時為3.8 μs。

為驗證算法移植效果,調整積分時間分別為0.3 ms、0.5 ms、0.8 ms和1.1 ms。采集了多組場景數據,包括純空背景,海天背景,下視對地背景和多云背景四個典型場景[7],序列圖像數據展示如圖8(a)。經CameraLink接口連接到顯示器觀察能準確復現算法效果,采用盲閃元抑制算法在不同復雜度場景下,對顯示的算法移植結果的目標鄰域進行提取和三維圖顯示,從圖8(b)、8(c)可看出紅外圖像盲閃元抑制的性能提升明顯,經統計盲閃元率從5 ‰降為0.73 ‰,滿足盲閃元實時校正要求。因紅外成像系統需求,進行了DDE圖像增強和伽馬拉伸等算法的移植工作,圖9將顯示器輸出圖像進行展示,圖像中景物的邊緣細節得到增強,并保留了興趣區域特征。

(a)場景示意

圖9 國產FPGA硬件移植效果

3.3 硬件移植的差異及優化方案

本研究涉及的算法曾在進口FPGA上完成硬件驗證,與Matlab的仿真結果保持一致,但是在復旦微電子FPGA的移植過程中,發現與進口芯片存在一些問題和差異,具體如下:

編譯上的差異。復旦微的FPGA雖然可直接使用VIVADO進行編譯和燒寫,但須結合具備復旦微電子自主知識產權的PROCISE軟件,執行打補丁操作才能實現正常燒寫。

IP核使用上的差異。例如RAM進行讀寫操作時,國產FPFA的BRAM IP核在VIVADO中采用SDP模式下無法正常工作。需要在調IP核時將SDP模式改成TDP模式,并配置雙端口RAM讀寫邏輯為A端口只讀B端口只寫。

對時序的要求更加嚴格。本研究主要從走線長度,跨時鐘域,扇出能力的差異等幾個方面進行論述。

國產FPGA對時序的容忍度較低,相比進口FPGA,相同的算法邏輯與走線長度,國產芯片容易出現邏輯混亂的現象,凸顯了國產化FPGA門電路延時較大、建立時間冗余量不夠、高速數據傳輸穩定性差等問題。由于上述差異,需對國產電路進行時序優化。

圖10為算法邏輯優化前后的電路走線對比。圖中高亮部分為RAM讀寫邏輯的展示,時序優化后將總走線Total Violation從-1938 ns縮短為-3 ns,國產器件實現了正確且穩定的數據讀寫。

(a)

原有進口FPGA的移植存在srio邏輯39 MHz到100 MHz圖像時序恢復、以及圖像時鐘到160 MHz的算法邏輯的跨時鐘域,但在國產FPGA下100 MHz至160 MHz的跨時鐘域信號出現邏輯錯誤,發生信號完整性問題。解決方案為:在滿足實時性前提下,減少不必要的跨時鐘域操作,使算法邏輯在同一時鐘下工作；針對必須進行跨時鐘域,通過多級FIFO進行緩解。

在扇出能力方面,國產FPGA也同樣出現了與進口芯片的差異,在對拼接成64 bit的緩存數據進行分解時,因扇出過大導致其驅動后續變量誤碼率較高。故對其進行寄存器邏輯復制增強信號驅動能力,有效的解決了這一問題。此外,由于國產FPGA的生產加工與工藝的缺陷,偶爾出現同一系列不同批次產品的性能差異,需要更加嚴格的時序和邏輯約束,提高代碼自身質量。

4 結 論

在大力倡導推廣國產芯片設計與應用的環境下,筆者以國產FPGA與國產紅外焦平面探測器為核心器件,實現了全國產化紅外探測成像系統的設計,以盲閃元校正算法為例進行了高速數據采集,圖像算法處理等實驗嘗試。選用的圖像處理算法中包括了循環移位卷積,頻域變換,并行存儲,復雜邏輯迭代等FPGA主流操作,并對國產FPGA的算法移植進行分析討論,由實驗結果可知,國產FPGA對時序穩定性的要求和IP核兼容性還有些許差異,但通過邏輯和時序優化,能完整實現進口成熟FPGA同樣的功能和性能,移植的算法能滿足幀頻在300 f/s、分辨率為320×256的紅外圖像實時運算,將紅外成像系統的盲閃元率從5 ‰降為0.73 ‰,達到預期效果。總而言之,本文論證了在我國自研的FPGA上實現高速數據傳輸接口和圖像處理算法移植的可行性,為將要進行國產化硬件架構替代的同行提供了借鑒。