基于FPGA的紅外弱小目標檢測算法

張延蘇，吳瀅躍

基于FPGA的紅外弱小目標檢測算法

張延蘇1,2，吳瀅躍1,3

（1. 中國科學院上海技術物理研究所，上海 200083；2. 中國科學院大學，北京 100049；3. 中國科學院紅外探測與成像技術重點實驗室，上海 200083）

傳統的紅外弱小目標檢測算法一般采用DSP（digital signal processing）處理器實現，算法復雜且實時性差，本文提出了一種基于FPGA（field programmable gate array）的自適應閾值的FAST（features from accelerated segment test）算法對紅外弱小目標進行檢測，利用FPGA并行處理的特點，采用流水線設計實現了算法的硬件加速。改進的自適應閾值方法可以根據不同的環境生成合適的閾值，避免了由于閾值選擇不當造成的紅外弱小目標的丟失或冗余。最后采用4組不同的實測紅外圖像進行實驗，結果表明：該算法能實時地檢測出紅外圖像中的弱小目標，并且能夠取得較高的檢測率和較低的虛警率，滿足實時性和有效性的要求。

弱小目標檢測；FPGA；FAST；自適應閾值

0 引言

遠距離目標在紅外探測器的視場中經常以弱小目標形態出現，與背景灰度差異很小，含有少量的像素[1-2]。實時、準確地檢測出紅外弱小目標具有較大難度，目前的紅外弱小目標檢測算法多是在DSP處理器中順序執行[3-5]，且算法復雜、需要利用多幀圖像才可以得出紅外小目標檢測結果[6-8]，難以滿足實時性要求。

FPGA是可編程硅芯片，內含豐富資源，同一時刻可以進行多個算法處理[9-10]，這些特點使其很適合用來做實時性圖像處理。FAST目標點檢測算法結構簡單，具有較高的運行速度和較準確的檢測結果[11]，但是檢測結果依賴于閾值的取值[12-13]，適應性較差。因此本文設計了一種基于FPGA的自適應FAST紅外弱小目標檢測算法，通過實驗驗證，該算法運算量小、檢測率高、實時性和適應性好。

1 自適應FAST檢測算法原理

FAST檢測算法的思想為[14-16]：以一個中心像素點為圓心，半徑為3的圓周上為鄰域像素點，若中心像素點與圓周上足夠多的像素點的像素差值大于設定閾值，那該中心像素點更可能是亮點，具體如圖1所示。

圖1 FAST目標點檢測

基于該FAST檢測算法思想，本文提出了自適應閾值的FAST弱小目標檢測算法，一幀紅外圖像的任意一個像素點為中心時，生成一個合適的動態閾值對該中心像素點進行FAST目標檢測。改進后的算法步驟如下：

第1步：首先求出圖1中16個圓周像素點中的最小像素值min，然后將中心點像素值0與16個圓周上的像素值分別減去min，如公式(1)所示，構成新的FAST鄰域像素值0￠～16￠。該步的處理降低了像素值位數，為后續計算減少了運算量，節省了FPGA資源。

P￠＝P－min(0≤≤16) (1)

第2步：求該中心點下的自適應閾值。首先分別求出1￠～16￠中的最大像素值￠max、像素均值￠mean，再求出中心點像素值0￠與該均值的差P￠，然后給P￠一個權重，權重為￠max與0￠之比，最后該權重與P￠相乘即為該中心點的自適應閾值，具體如公式(2)、(3)所示：

第3步：分別計算中心點像素值0￠與鄰域像素值1￠～16￠的差，若它們的差值有連續16個大于自適應閾值，則判定為候選目標點，否則直接排除掉，具體如公式(4)所示：

第4步：進行非極大值抑制。若圖1內中心點的3×3鄰域內有一個或多個候選目標點時，則選取該3×3鄰域中像素值最大的點作為最終檢測目標點。更改中心像素點重復步驟1～4完成一幀圖像的弱小目標檢測。

2 系統設計實現

2.1 硬件環境

紅外相機采集的視頻圖像幀頻為100Hz，分辨率為640×512，由Camera Link總線輸入，經過DS90CR288轉換為TTL標準的圖像，然后FPGA對圖像進行采集，采集到的圖像分兩路操作：第1路直接在FPGA控制下按圖2中的時序輸出640×512大小的TTL標準的圖像信號，經過DS90CR287轉換為Camera Link標準的圖像數據后輸出，第2路采用自適應FAST算法進行小目標檢測，將檢測為小目標的位置信息存儲到RAM中，作為一幀圖像的第513行輸出，即最后以640×513大小輸出，輸出時序如圖3所示。整個FPGA內的數據流架構如圖4所示。

圖2 第1路輸出時序圖

圖3 第2路輸出時序圖

2.2 自適應FAST算法的FPGA實現

硬件實現方法分5個模塊：7×7窗口產生模塊、預處理模塊、自適應閾值模塊、FAST檢測與目標判定模塊、非極大值抑制模塊。具體實現電路如圖5所示，在輸入使能信號per_en上升沿時計數器計數生成當前輸入像素點的、坐標。最終輸出目標點的位置信息_out、_out和使能信號post_en。使能信號post_en連接RAM的寫使能，當post_en有效時，將目標的坐標信息_out，_out寫入RAM。下面對預處理模塊、自適應閾值模塊、FAST檢測與目標判定模塊進行詳細介紹。

2.2.1 預處理模塊

該模塊首先求出輸入的16個FAST鄰域像素值中的最大值、最小值。然后比較輸入的中心點像素值與最大值關系，若中心點像素值大于鄰域像素值中的最大值，則中心點可能是目標點，sel置為1，輸出的中心點像素值及FAST鄰域像素值分別是各自減去鄰域像素中最小值后的結果；否則中心點不是目標點，sel置為0，輸出的中心點像素值及FAST鄰域像素值均為1，具體如圖6所示，其中最大值和最小值的計算采用4級流水線，消耗4個時鐘周期。

2.2.2 自適應閾值模塊

該模塊根據公式(2)、(3)產生自適應閾值，具體如圖7所示。求均值時先采用4級流水線求出16個FAST鄰域像素點的和，然后將求出的和右移4位得到均值。

圖4 系統硬件結構框圖

Fig.4 System hardware structure diagram

圖5 自適應FAST算法實現電路圖

圖6 預處理模塊實現電路圖

圖7 自適應閾值模塊實現電路圖

2.2.3 FAST檢測與目標判定模塊

該模塊按照公式(4)進行目標檢測與判定，如圖8所示，通過16組并行的硬件同時進行比較，最后根據16位比較值判斷是否為目標點，若比較值的16位均為1，則判定為目標點，post_en置1；否則判定為非目標點，post_en置0。

圖8 FAST檢測與目標判定模塊實現電路圖

3 結果分析

3.1 算法有效性檢驗

為了驗證算法有效性，輸入4組分辨率為640×512像素，采集幀數為100幀的紅外視頻圖像進行實驗，第1組是海、天、地復雜背景下的雙目標紅外序列圖像（共200個目標），第2組是海、天、地復雜背景下的雙目標紅外序列圖像（共200個目標），第3組是薄云背景下的單目標紅外序列圖像（共100個目標），第4組是厚云背景下的單目標紅外序列圖像（共100個目標）。圖9表示的是隨機從4組圖像序列中各抽取一幀圖像的弱小目標檢測結果。

采用檢測率和虛警率對本文的弱小目標檢測算法性能進行評價，檢測率和虛警率定義如下：

FR＝a/b(5)

FAR＝f/(f＋b) (6)

式中：a表示算法中檢測出的真實弱小目標個數；b表示圖像中實際的真實弱小目標個數；f表示算法中檢測出的虛假弱小目標個數。

分別計算每組中每一幀圖像的檢測率和虛警率，然后取100幀的平均值。實驗結果如表1所示，從表1可看出，本文設計的算法在較低虛警率下可以滿足100%的檢測率。

3.2 算法實時性判斷

在FPGA（型號為xc6slx100t-3fgg484）和DSP（型號為TMS320C6455）上分別采用本文的算法處理分辨率為640×512的圖像。若采用FPGA處理，系統時鐘為100MHz，從一幀圖像輸入開始到算法檢測完該幀圖像結束的總時間為3276.97ms，其中圖像的輸入時間為3276.80ms，處理延時時間為0.17ms。若采用DSP處理，主頻為1GHz，從一幀圖像輸入開始到檢測完該幀圖像結束的總時間約為7224.03ms，其中圖像輸入時間為3276.80ms，處理延時為3947.23ms。可知，FPGA在總時間性能上約為DSP的2.20倍，在處理延時時間性能上約為23219倍。具體如表2所示。

表1 算法檢測結果

表2 算法實時性說明

4 結論

結合工程實際的需要，本文設計了一種基于FPGA的自適應FAST紅外弱小目標檢測算法，充分利用FPGA并行處理的優勢，提高了算法的運算速度，滿足實時性要求。同時采用自適應閾值的方法進行紅外弱小目標檢測，根據不同的FAST鄰域生成合適的動態閾值，適應性好，滿足系統有效性與可靠性的要求。

[1] 汪國有, 陳振學, 李喬亮. 復雜背景下紅外弱小目標檢測的算法研究綜述[J]. 紅外技術, 2006, 28(5): 287-292.

WANG Gouyou, CHEN Zhenxue, LI Qiaoliang. A review of infrared Weak and Small Targets Detection under Complicated Background[J]., 2006, 28(5): 287-292.

[2] 劉杰, 安博文. 海面紅外小目標檢測算法研究[J]. 紅外技術, 2015, 37(1): 16-19.

LIU Jie, AN Bowen. Research on the detection algorithm for infrared small target on the sea[J]., 2015, 37(1): 16-19.

[3] 李勝勇, 姜濤, 朱強華. 紅外序列圖像中小目標實時檢測系統設計與實現[J]. 紅外技術, 2010, 32(8): 471-474.

LI Shengyong, JIANG Tao, ZHU Qianghua. Design and implement a real-time system for small target detection in infrared image sequence[J]., 2010, 32(8): 471-474.

[4] 牟新剛, 張桂林, 丁全心, 等. 基于DSP+FPGA的紅外多目標檢測系統設計[J]. 紅外與激光工程, 2007, 36(S2): 173-176.

MOU Xingang, ZHANG Guilin, DING Quanxin, et al. Design of infrared multi-target detection system based on DSP+FPGA[J]., 2007, 36(S2): 173-176.

[5] 康令州, 陳福深, 黃自力, 等. 基于DSP+FPGA的紅外圖像小目標檢測系統設計[J]. 電子設計工程, 2010, 18(12): 117-119.

KANG Lingzhou, CHEN Fushen, HUANG Zili, et al. Design of small target detection system in infrared image based on DSP and FPGA[J]., 2010, 18(12): 117-119.

[6] 徐文晴, 王敏. 基于自適應形態學濾波的紅外小目標檢測算法[J].激光與紅外, 2017(1): 108-113.

XU Wenqing, WANG Min. Infrared small target detection algorithm based on adaptive morphology filter[J]., 2017(1): 108-113.

[7] 張祥越, 丁慶海, 羅海波, 等. 基于改進LCM的紅外小目標檢測算法[J]. 紅外與激光工程, 2017, 46(7): 270-276.

ZHANG Xiangyue, DING Qinghai, LUO Haibo, et al. Infrared dim target detection algorithm based on improved LCM[J]., 2017, 46(7): 270-276.

[8] BAI X, ZHOU F. Analysis of new top-hat transformation and the application for infrared dim small target detection[J]., 2010, 43(6): 2145-2156.

[9] 劉源, 李慶, 梁艷菊. 基于FPGA的紅外目標自動檢測系統[J]. 紅外技術, 2019, 41(6): 521-526.

LIU Yuan, LI Qing, LIANG Yanju. Implementation of infrared target detection system based on FPGA[J]., 2019, 41(6): 521-526.

[10] 楊魯新, 董文博. 高幀頻視覺實時目標檢測系統[J]. 電子技術應用, 2019, 45(4): 116-119,124.

YANG Luxin, DONG Wenbo. High-frame-rate visual real-time target detection system[J]., 2019, 45(4): 116-119,124.

[11] Rosten E, Drummond T. Machine learning for high-speed corner detection[C]//, 2006: 430-443.

[12] 劉亮, 王平, 孫亮. 基于區域灰度變化的自適應FAST角點檢測算法[J]. 微電子學與計算機, 2017, 34(3): 20-24.

LIU Liang, WANG Ping, SUN Liang. Adaptive FAST corner detection algorithm based on regional grayscale change[J]., 2017, 34(3): 20-24.

[13] 程彪, 黃魯. 自適應閾值FAST特征點檢測算法的FPGA實現[J]. 信息技術與網絡安全, 2018, 37(10): 86-90.

CHEN Biao, HUANG Lu. Hardware implementation of adaptive threshold FAST feature point detection algorithm based on FPGA[J]., 2018, 37(10): 86-90.

[14] Rosten E, Porter R, Drummond T. Faster and better: a machine learning approach to corner detection[J].., 2008, 32(1): 105-119.

[15] Rublee E, Rabaud V, Konolige K, et al. ORB: An efficient alternative to SIFT or SURF[C]//2011, 2011: 2548-2555.

[16] 吳金津, 王鵬程, 龍永新, 等. 基于FAST角點檢測的圖像配準算法[J]. 湖南工業大學學報, 2014, 28(4): 71-75.

WU Jinjin, WANG Pengcheng, LONG Yongxin, et al. Image registration algorithm based on fast corner detection[J]., 2014, 28(4): 71-75.

Detection Algorithm of Infrared Dim Small Target Based on FPGA

ZHANG Yansu1,2，WU Yingyue1,3

(1.,200083,;2.,100049,;3.,,200083,)

The traditional infrared dim and small target detection algorithm is generally implemented by digital signal processing, which is complex and has poor real-time performance. In this study, a features from accelerated segment test (FAST) adaptive-threshold algorithm based on a field programmable gate array (FPGA) is proposed to detect infrared dim and small targets. Based on the characteristics of FPGA parallel processing, the hardware acceleration of the algorithm was realized by a pipeline design. The improved adaptive threshold method can generate appropriate thresholds according to different environments and avoid the loss or redundancy of dim and small infrared targets that is caused by improper threshold selection. Finally, two different groups of infrared images were used for an experiment.The results show that the algorithm can detect dim and small targets in an infrared image in real time and can achieve a high detection rate and low false alarm rate, thereby meeting the requirements of real-time performance and effectiveness.

dim and small target detection, FPGA, FAST, adaptive threshold

TP391.41

A

1001-8891(2020)06-0566-07

2019-12-17；

2020-04-25.

張延蘇（1993-），女，河北人，碩士研究生，主要方向：圖像處理和目標檢測。E-mail：issuyanzhang@163.com。

吳瀅躍（1980-），男，浙江人，博士（副研究員），主要方向：信號處理、紅外成像、目標檢測、伺服控制、光電對抗。E-mail：wyyhit@163.com。