基于LBP的紅外弱小目標檢測系統設計

蔣怡亮,孫寧,翟尚禮

(中國電子科技集團公司 第二十八研究所，南京 210007)

?

基于LBP的紅外弱小目標檢測系統設計

蔣怡亮,孫寧,翟尚禮

(中國電子科技集團公司 第二十八研究所，南京 210007)

分析了一種基于局部二元模式(LBP)算子的紅外弱小目標檢測方法，并根據實際應用背景設計實現了一種紅外弱小目標檢測系統。介紹了該系統的總體結構以及程序模塊的設計方法。試驗對比表明，該方法在保證LBP算法實時性的前提下可節約大量硬件資源。

紅外弱小目標；局部二元模式；目標檢測； FPGA

引　言

隨著紅外傳感器性能和圖像處理能力的提高，紅外探測系統已經成為現代軍用防御網絡的重要組成部分。在現代戰爭中，及時發現威脅目標可以有效提高作戰單位的生存和反擊能力。然而，遠距離目標在紅外焦平面上只占幾個像素，其亮度常低于背景中云團等干擾物。因此，有效抑制復雜背景是研制紅外探測系統的關鍵。

目前紅外弱小目標檢測的典型方法有很多，比如基于數學形態學圖像檢測、多向梯度檢測、小波分解以及匹配濾波等。但其中大多數算法存在對椒鹽噪聲和高亮背景邊緣敏感，以及運算量過大等不足，很難應用于實際紅外探測系統[1-3]。

本文采用了一種基于局部二元模式算子(LBP)的紅外弱小目標檢測算法[4]，設計了一種紅外弱小目標實時檢測系統，并對其程序模塊結構進行設計優化，使其能在單片現場可編程門陣列(FPGA EP2S60F672)上運行。最后將未經優化的LBP算子目標檢測系統與采用本文方法優化的系統進行對比，證明了本文方法在硬件資源占用方面的優越性。

1　算法基礎

LBP算子是一種對灰度圖像中局部領域的紋理信息進行度量和提取的算子，基本LBP算子是一個固定的3×3區域，對應圖像上相鄰3×3共9個像素點。根據順時針方向依次將8個灰度值與中心灰度值相比較，大于等于中心值的表示為1，反之表示為0，所得的8位二進制數作為該矩形塊的LBP編碼值，如圖1所示。因此，LBP算子實質上是局部灰度對比及其二值化的過程，通過這個過程LBP算子完成了對凸點、凹點或邊緣等局部紋理的描述。

圖1　LBP算子編碼示意圖

假設紅外弱小目標為1個小于3×3像素的亮斑，如果將其定義為上述LBP算子的中心區域，則LBP算子擴展為9×9像素區域。改進的LBP算子采用局部信噪比(SNR)作為每個3×3區域的局部標準值，局部信噪比可表示為：

(1)

其中ut為目標3×3區域灰度均值，ub為領域3×3區域灰度均值，δ為目標和某一方向背景兩個3×3區域的灰度標準差。編碼時，將8個目標領域的局部信噪比與預設閾值比較，則得到8個方向背景的二進制特征值，其中閾值根據檢測性能指標進行預設。當8個特征值都為0,即編碼值為0000 0000時,中間的3×3區域即為目標。

2　系統設計

2.1工程改進

實際工程實現時，考慮到LBP算子的場景適應性和檢測穩定性，系統增加了如下2項功能。

(1) 多尺度LBP算子

如前所述，LBP算子假設紅外弱小目標為一個小于3×3 像素的非均勻亮斑，在有利于紅外觀測的天氣條件下，采用該假設合適。但當空氣濕度大、能見度低以及背景溫差小時，弱小目標在紅外焦平面上初現時迅速擴散為尺寸稍大、中心灰度等級低且邊緣模糊的不均勻亮斑。不同窗口大小提取的特征描述局部紋理的能力不同，為了改善LBP算子無法適應圖像多尺度下紋理特征的問題，應使用多尺度的LBP算子[5]。因此，系統設計時采用了連續可調的LBP算子尺度以適應實際情況。

(2) 自適應區域閾值劃分

圖2　硬件結構

實際紅外場景中，常遇到部分背景區域比較復雜的情況。如背景物體細微紋理對陽光的反射，經紅外傳感器成像后與弱小目標特征相似，目標淹沒在其中，肉眼無法辨識。LBP對細節紋理描述能力較強，上述復雜背景常造成大量虛警，影響后續數據處理速度和能力。采用自適應區域閾值劃分，即建立前3幀畫面區域目標數量的數理統計列表，自動調節目標領域的局部SNR閾值。對于檢測點過多的區域，還可以在LBP編碼前將目標區域均值乘以相應比例系數，改善復雜區域對檢測系統處理能力的影響。

2.2硬件組成

通過分析算法流程可知，設LBP算子尺度為n時，需要在每個像素周期完成9次n×n范圍的取均值、標準差、閾值劃分運算。算法的運算量大但結構簡單，適合并行處理，因此本文設計了以FPGA為核心處理器的紅外弱小目標檢測系統，其硬件結構如圖2所示。

圖 2中，紅外弱小目標系統采用標準32位PCI板卡形式，使用橋接芯片PCI9054作為上位機PCI模塊。紅外PAL制模擬圖像通過A/D芯片SAA7111采樣，轉換為標準BT.656碼流輸入FPGA。該數字視頻碼流經過LBP算法模塊，形成64位點跡信息(幀號+本幀點跡個數+點跡行數+點跡列數)壓入FIFO中,FIFO存儲深度為2 KB，當存儲深度超過1 KB時即向PCI橋發送中斷信號，上位機接收到中斷信號后從固定偏移地址(80H)讀取1 KB點跡信息；另外，2個存儲深度為8 KB雙口RAM經過乒乓操作，以配合PCI9054中DMA控制器的時序，將疊加過點跡的原始視頻通過DMA方式傳送給上位機，DMA傳輸的偏移地址為8000H～9FFFH。上位機通過PCI橋將LBP算子尺寸以及區域閾值等初始化信息和控制信號發送給FPGA，實現雙向通信。

為了獨立使用，紅外弱小目標系統還預留了顯示接口、串口和網口等。顯示方面，數字視頻碼流與前一幀的點跡通過視頻疊加方式形成輸出視頻，通過SA7121轉換為標準PAL制紅外圖像輸出給監視器；系統也支持VGA顯示，但由于VGA視頻分辨率遠高于PAL制模擬視頻，需用一片DDR2 SDRAM進行緩存放大。網口和串口通信方面，使用Altera公司開源的Nios-II軟核將點跡信息傳送給上位機，并接收上位機初始化和控制信號。

接口芯片SAA7111、SAA7121、ADV7123和VSC8641的初始化配置均由I2C控制模塊負責。

2.3FPGA模塊設計

FPGA強大實時的運算能力歸功于其可并行處理的運算方式，然而采用這種方式往往會占用大量硬件資源，實際運行情況與設計的計算結構關系密切。為了在確保LBP算子的實時性前提下節約硬件資源，本文設計了以下方法。

(1) 灰度自適應快速掃描

對于目標檢測,傳統的方法是采用目標提取算子逐像素掃描輸入圖像，存在計算開銷大以及容易對同一目標重復告警的問題。針對以上情況,本文采用了一種灰度自適應快速掃描機制，具體為：計算3n×3n矩陣塊Bi,j的最大值(i,j為Bi,j中心像素的坐標)，然后以最大值為中心, 重新構造3n×3n 矩陣塊，最后采用LBP算子提取Bi～,j～的編碼值進行目標檢測。將Bi,j的中心位置i,j向右平移3n個像素得到下1個矩陣塊。若掃描完一個3n行的數據區，則從i=i +3n, j=1開始掃描下一個3n行數據區,直到完成整幅圖像的掃描。

(2) 塊運算

LBP算子包括n×n區域取均值、標準差、閾值劃分等基本運算單元，基于LBP算子的多尺度要求，各計算單元的計算量隨尺度變化而不同。傳統的串行處理器只需要對圖像數據逐像素判斷，再決定其是否參與運算即可。采取這種方式必然引起大量運算延時，以每個運算單元最大延時7個時鐘周期計算，延時量為n×n×7個時鐘周期，無法體現FPGA并行處理的優勢。但如果將這種串行處理方式改為并行同時判斷，則引入了n×n次選擇運算和最大7個系統周期延時，作為算法大量重復使用的基本運算單元，將造成整個系統硬件資源的浪費。

圖4　LBP算子串行復用結構

根據LBP算子的特點，本文采用了塊運算的方式，對于處于同一運算塊的像素數據，統一計算和判斷。這樣，只需要增加(n-2)個選擇運算和最大7個時鐘周期延時，即可完成LBP算子基本運算單元的計算，兼顧了資源和運算延時，圖3給出了n=7時的LBP算子塊運算結構圖。

圖3　n為7時LBP算子塊運算結構

(3) 串行復用

FPGA作為并行運算能力強大的處理器，其流水線式的并行運算延時只會使運算結果相對于輸入視頻產生ns級的滯后。但基于LBP算子的塊運算結構，其基本運算單元均需完成最大尺寸的運算。在1次掃描過程中，需要進行9次n×n區域取均值、標準差、閾值劃分等運算，本文將最大尺寸設為7，雖比直接進行并行運算結構更優化，但運算量仍然巨大，對FPGA硬件資源要求較高。因此，在保證數據流實時傳輸、無阻塞以及不丟失的情況下，結合LBP算子特點，合理設計基本運算單元串行復用的結構,可極大節約硬件資源。

由LBP檢測系統的灰度自適應快速掃描機制，對于幀頻為25 Hz、分辨率為640×480的8位紅外圖像，尺度n=3時整圖的掃描次數最多，運算量最大，每行圖像最多完成72次基本運算單元計算。標準PAL制紅外圖像行周期為64 μs,理論上在576 μs內處理9行圖像即可保證運算的實時性，但由于標準PAL制紅外圖像行周期中存在大量消影期，因此會延長處理等待時間。為了減少運算等待時間，在運算之前使用2塊5 760字節雙端口RAM進行乒乓緩存，緩存后的圖像行同步信號由系統時鐘計數生成，將消影期縮短到不超過10 μs。最后使用時間片輪轉法，在486 μs內串行復用72次LBP基本運算單元，即運行1次LBP基本運算單元時間周期不高于6.5 μs，就可以保證算法符合實際要求，其結構如圖 4所示。

分析LBP算子運算單元結構可知，每個LBP算子運算周期最多消耗63個時鐘周期進行運算，因此，只要時鐘周期不高于100 ns，即時鐘頻率高于10 MHz，即可在保證實時性的同時節約71個基本運算單元的硬件資源消耗。

3　綜合結果

系統使用Altera公司的Quartus11.0軟件，采用可綜合的VHDL語言對圖像融合算法中各模塊進行描述。整個系統在1片FPGA(EP2S60F672)上完成了分辨率為640×480的8位紅外弱小目標檢測，表1給出了

Infrared Dim Target Detection System Based on LBP

Jiang Yiliang,Sun Ning,Zhai Shangli

(China Electronic Technology Group Corporation 28th Institute,Nanjing 210007,China)

An infrared dim target detection method based on local binary pattern(LBP) operator is analyzed,and an infrared dim target detection system is designed according to the practical application background.The overall structure of the system and the design method of the program module are introduced.The experiment results show that the proposed method can save large number of hardware resources in the premise of ensuring the real-time performance of LBP algorithm.

infrared dim target;local binary pattern;target detection;FPGA

TN216

A