基于FPGA的紅外鏡頭自動聚焦技術研究與實現

孫少偉，楊粵濤，楊炳偉，萬安軍，鐘海林

基于FPGA的紅外鏡頭自動聚焦技術研究與實現

孫少偉，楊粵濤，楊炳偉，萬安軍，鐘海林

（蘇州長風航空電子有限公司，江蘇 蘇州 215001）

自動聚焦技術在紅外熱像儀監控領域有著非常重要的作用。目前業內紅外自動聚焦技術存在聚焦成功率低、架構復雜、聚焦速度慢等狀況，為此提出了一種基于FPGA的紅外鏡頭自動聚焦技術，采用單FPGA實現了紅外圖像處理顯示和自動聚焦的功能。鑒于紅外圖像普遍存在豎條紋噪聲和隨機噪聲等特點，本文在實現聚焦過程中對紅外清晰度評價算法和爬山算法做了改進和優化。實驗結果表明本文提出的算法和實現方式能夠很好地實現紅外鏡頭的自動聚焦，同時具備集成度高、聚焦速度快、成功率高等特點，有比較廣泛的應用前景。

紅外；自動聚焦；FPGA；清晰度評價；爬山算法

0 引言

紅外熱成像技術近些年在國防、戰爭、探測、監測等領域有著十分廣泛的應用。對于應用在邊海防的熱像監控儀來說，使用過程中紅外轉臺需要固定周期的旋轉定位來達到巡視目的，每次轉動到新的位置對應新的場景需要重新聚焦來得到清晰的畫面顯示，因此紅外熱像儀的自動聚焦功能能夠大大方便操作者的觀察和使用。

相比于可見白光成像技術，紅外成像技術根據被觀測物體本身的發熱實現對被觀測物的成像，由于其成像原理跟可見白光成像原理不一致，因此紅外成像技術與白光成像技術在實現上有一定的差異。基于圖像實現自動聚焦技術在白光畫面處理中已經非常成熟了，文獻[1]和文獻[2]中，作者分別使用PC和FPGA完成了基于可見白光畫面的鏡頭自動聚焦。

在實際應用中，由于紅外探測成像儀的性能受到紅外探測器、模數轉換電路、結構散熱、光學鏡頭等諸多因素影響，傳統的白光圖像自動聚焦技術在紅外畫面的自動聚焦上效果很差。因此要針對紅外畫面自身的特點（存在豎條紋現象、噪聲過高等）提出一種自動聚焦技術。本文提出一種基于FPGA的紅外鏡頭自動聚焦技術，相比于文獻[3]，針對紅外畫面豎條紋的特點改進了圖像質量評判的算法，相比于文獻[4]，針對紅外圖像噪聲大的特點優化了爬山算法來實現鏡頭控制，相比于文獻[5]，本文不依賴于上位機的參與，完全由FPGA本身實現圖像采集、圖像優化、圖像清晰度評估、爬山算法實現、電機控制等工作，大大提高了熱像儀整機的集成度。

1 熱像儀組成與自動調焦原理

1.1 熱像儀組成

本文提出的具備自動聚焦功能的熱像儀實物如圖1所示。主要組成部分包括紅外鏡頭、紅外探測器、圖像處理電路、FPGA電路、DDR3、電機驅動電路以及調焦電機和調焦機構（機械齒輪）。

圖1 自動聚焦紅外熱像儀實物圖

1.2 熱像儀工作原理與自動調焦工作原理

紅外熱像儀的主要架構如圖2所示。

圖2 紅外熱像儀主要架構

從圖2中可以看出整個熱像儀的組成架構，熱像儀的工作流程如下。

1）光線通過紅外鏡頭進入到紅外探測器焦平面，紅外鏡頭能夠通過的光譜有效波長為8～12mm，可以將可見白光濾掉。

2）紅外焦平面將紅外光轉化為電信號，本次選用的紅外焦平面能夠成像的有效分辨率為720×576。

3）紅外焦平面輸出的信號為模擬視頻信號，電路中需要將其進行數模轉換，用AD轉換芯片AD9251實現將紅外模擬信號轉換為奇偶各14bit的數字視頻數據。

4）奇偶數據需要在FPGA內部進行重組，然后對紅外畫面進行非均勻校正、圖像增強、去豎條紋、溫度補償等后期圖像處理，這一部分不是本文的重點，不多討論。

這一步中，需要將步驟3）生成的奇偶數據逐行拼接成一幅完整的畫面，圖像中每一行相鄰的兩個像素的灰度值來自不同的源（奇偶通道），在成像中會產生“豎條紋”現象。豎條紋在紅外成像中普遍存在，在本步驟環節FPGA對畫面進行優化處理，消除豎條紋帶來的干擾，使整幀畫面顯示更加平緩流暢。

5）處理好的圖像數據通過外部電路編碼成PAL制視頻格式直接輸出到顯示器，也可以通過網絡壓縮編碼到服務器端進行顯示。

對于自動聚焦來說，需要依賴于這一步生成的圖像數據進行。

6）根據5）生成的圖像，進行圖像清晰度評價。FPGA對并行數據有強大的處理能力，因此選用梯度能量算法進行清晰度評價。常用的梯度能量算法需要對整幅畫面的所有像元做數據處理，計算量比較大，同時處理時間長。本文提出了一種改進的梯度能量算法來評價成像清晰度，具體見第2章。

7）FPGA的PL端將圖像清晰度評價的結果交給下一個環節處理。對于這一步，文獻[5]的設計里整個6）和7）都依賴于上位機的PC實現。本文則是繼續在FPGA內部實現根據清晰度來進行自動調焦。

8）FPGA的PL端根據清晰度評價數據采用爬山算法實現對電機的控制，進而調整鏡頭焦距，最終得到清晰的畫面，完成聚焦。

爬山算法在可見光成像自動聚焦中有比較廣泛的應用，但是由于紅外圖像本身噪聲大，豎條紋多，在爬山過程中會出現“偽山頂”狀態。“偽山頂”的存在會直接導致自動聚焦的失敗，為此本文針對爬山算法做了優化和改進，具體見第3章。

概括起來，自動調焦的實現流程如圖3所示，整個過程是一個閉環反饋的過程，需要反復的調整優化，最終達到圖像的最清晰狀態，即聚焦狀態。

本文采用Xillinx公司的ZYNQ系列FPGA- FXC7Z030-2FBG676實現上述4）～8）步。ZYNQ內部分為PL端和PS端，其中PL端為可編程邏輯門陣列，用來實現圖像處理和清晰度評價，PS端內部為ARM核，用來實現爬山算法和電機控制。同時FPGA外部配置兩片DDR3，型號為Micron公司的MT41J128M16HA，單片容量256MB，兩片容量512MB，用于緩存視頻畫面數據。

圖3 自動聚焦流程

2 紅外圖像質量評判在FPGA中的實現

2.1 清晰度評判算法

文獻[6]中對清晰度評判算法做了全面具體地介紹，結合紅外圖像的特性以及FPGA實現難易程度。本文采用梯度能量算法來對圖像清晰度進行評判。

如圖4所示，對圖像素3×3掩模區域內的像素灰度值做平方差和處理。

圖4 利用3×3掩碼計算梯度能量

對于圖中像素點(,)，定義其能量值為(,)為其周邊8個相鄰像素灰度值與其差的平方和。如公式(1)所示：

(,)＝((－1,－1)－(,))2＋[(,－1)－(,)]2＋[(＋1,－1)－(,)]2＋[(－1,)－(,)]2＋[(＋1,－1)－(,)]2＋((－1,＋1)－(,))2＋[(,＋1)－(,)]2＋[(＋1,＋1)－(,)]2(1)

將所有的像素灰度差方和累計相加得到一幅圖像的梯度能量值為：

對于清晰度高的畫面，由于其圖像細節比較多，因此梯度能量值value會是一個比較大的數值。對于模糊的畫面，每個像素值都差別不大，value的值也很小。對于一幅單像素畫面（所有像素值都一樣）來說，value＝0。

所以，value數值大小能夠反映圖像細節的程度，進而反映出一幅圖像畫面的清晰度。梯度能量算法能夠評價出圖像的清晰度，本文采用該算法評估紅外畫面的清晰度。

2.2 梯度能量算法在紅外圖像清晰度評判中的改進

2.1節中提及的梯度能量對于評價可見白光畫面清晰度有很好的結果，但是由于紅外畫面是奇偶列數據拼接而成（1.2節提及到的第3步），因此左右相鄰像素灰度值差別很大，直接采用傳統的梯度能量評價算法實施的聚焦效果不佳。本文針對這種現象對算法做了一定的改進，使用3×5掩模而不是3×3掩模，這樣能夠避免不同視頻源的畫面像素帶來的差異，將豎條紋帶來的噪聲降到最小。

同時鑒于熱像儀自動聚焦對時間的要求，本文采用的梯度能量計算沒有對整幅畫面像素值進行計算，而是取了中間1/3區域的像素進行計算，這樣計算量為整幅畫面計算量的1/9。經過大量的實驗驗證，采取畫面中心1/3區域計算完成的自動聚焦效果跟整幅畫面計算的效果一致。

改進的掩模與中心區域選擇示意見圖5。

圖5 在1/3中心窗格內選用3×5掩模示意圖

2.3 改進算法在FPGA中的實現

FPGA的PL端使用FIFO和寄存器實現掩模窗口9個數據的緩存。在PL端的程序中需要完成①設計FIFO讀寫控制信號的時序；②緩存3×5掩模的數據；③計算單個像素點3×5掩模的方差和，輸出該數據。

FPGA內部對FIFO讀寫控制示意圖如圖6所示。當第一行數據到來時，將其寫入FIFO1中；當第二行數據到來時，將FIFO1中保存的第一行數據讀出，寫入FIFO2中，同時將第二行數據寫入到FIFO2中；當第三行數據到來時，同時讀出FIFO1和FIFO2中的數據，此時，第三行數據與FIFO1、FIFO2中保存的第一行和第二行數據一同進入其后的寄存器組REG1~REG9。REG1~REG9的數據分別代表3×3掩模內(－2,－1)，(,－1)，(＋2,－1)，(－2,)，(,)，(＋2,)，(－2,＋1)，(,＋1)，(＋2,＋1)9個點。

圖6 利用FIFO和寄存器緩存3×3掩模數據

根據圖6中的REG1～REG9寄存器中的9個數據，FPGA計算REG5中像素點與其余8個寄存器所對應的像素點灰度值的方差（公式(1)）。由于改進算法只對中間1/3區域進行計算，因此程序設置列計數器和行計數器對一幀畫面的行列進行計數，當列計數器計數到241～480以及行計數器計數到193～384的范圍內（此范圍即對于720×576分辨率的畫面，1/3中心區域像素點的范圍）時，認為像素數據可以進行計算。對此范圍內的所有像素點的方差值進行累加，最終得到32bit的梯度能量值（公式(2)）。

按照前面介紹的理論，該32bit數值越大表明圖像越清晰，為后面實現調焦提供爬山依據。

3 改進型爬山算法在FPGA中的實現

3.1 基于爬山算法的自動調焦

文獻[7]中對爬山算法有比較詳細的介紹。如圖7所示，爬山算法的基本原理是不斷逼近最大梯度能量值的一個過程，從圖3自動聚焦流程圖中可以看出，每一次調焦后圖像都會發生變化，梯度能量也隨之變化，在這個不斷的變化過程中，找到最大的梯度能量值，即為圖像最清晰的時刻。這個最清晰畫面對應的鏡頭位置即為聚焦位置。

從圖7的示意中可以看出，聚焦過程共爬山8步。其中前3步一直處于“上山”過程，第4、5步處于“下山”過程，這時畫面已經比之前第3步后變差，因此第6、7步又開始“回頭爬山”。在第7步后已經過了山頂，因此改變步長，最終第8步爬到了“山頂”，完成聚焦工作。

圖7 爬山算法示意

實際工作中，爬山過程往往8次嘗試之內可以完成，期間需要不斷的調整步長來達到聚焦的目的。

3.2 爬山算法在紅外鏡頭自動調焦中的改進與實現

圖7所示為白光畫面下爬山的實現，相對來說是比較理想的一個過程。對于存在比較大噪聲的紅外圖像來說，爬山過程中會出現多個“山頂”的情況，如圖8所示。

圖8 紅外圖像聚焦的爬山示意

圖8中的A、B和D為“偽山頂”，是由紅外圖像中的噪聲引起的。按照爬山的標準流程，從鏡頭初始位置開始爬山，很容易將A初誤判為山頂，這時就無法達到聚焦的目的。為此本文對紅外圖像自動聚焦的爬山算法做了如下優化處理。

1）FPGA的PS端接收PL端傳輸的梯度能量值來判斷是否爬山。為了減少噪聲的影響，每接收3個值做一個平均值作為爬山的依據，即對一個固定畫面計算三次梯度能量值取平均值，這樣能夠減少隨機噪聲對畫面清晰度評判的影響。

2）對于是否“回頭爬山”的判斷機制，判定在當前的步長下，連續兩次都為“下山”則開始回頭。這種機制下，A和B這種比較小的山頂在第二次判定過程中會出現梯度能量值反彈現象，這樣即判斷為是偽山頂，但是這種情況在真山頂C處是不會出現的。

基于上述兩條優化方案，本文基于FPGA的PS端實現自動聚焦的流程如圖9所示。

4 功能實現與性能測試

4.1 聚焦效果

針對本文提出的自動聚焦技術，以及文獻[2]和文獻[4]提出的自動聚焦的方式分別作了復現和對比。如圖10所示。

圖9 本文提出的改進爬山算法在FPGA PS端實現流程

圖10 本文提出的自動聚焦后效果與其他方案效果對比

圖10的4幅紅外圖片可以看出紅外鏡頭的聚焦效果。對于本次聚焦過程來說，由于原始畫面相對已經比較清楚了，因此更加考驗聚焦算法對圖片細節的讀取和處理能力。對(b)(c)(d)(e)四幅畫面客觀地評價其清晰度，采用參考文獻[8]中提出的“灰度方差值”來評價4幅圖片的清晰度。對焦清晰的圖像相比對焦模糊的圖像，它的數據之間的灰度差異應該更大，即它的方差應該較大，可以通過圖像灰度數據的方差來衡量圖像的清晰度，方差越大，表示清晰度越好[8]。

將圖片在MATLAB進行灰度方差值計算，得到結果如表1所示。

表1 四幅畫面的灰度方差值

從圖10的畫面以及表1中可以看出：

原始的紅外畫面(b)沒有經過任何聚焦處理，畫面雖然能夠顯示出對象的畫面，但是肉眼觀測還是有點模糊，其灰度方差值相對不大，表明細節不夠多。

(c)圖片是采用白光圖像聚焦方式處理的，沒有考慮到紅外圖像的豎條紋噪聲特性，因此聚焦效果一般，從其灰度方差值上也能看出來。

(d)圖片的顯示效果較之(c)有一定的改善，但是達不到本文提出的算法(e)的效果。應該是在爬山過程中的優化算法不足夠好。

(e)圖片為本文提出的算法實現的聚焦后的顯示效果，可以明顯看出其顯示效果要優于(d)和(c)。

從表1中4幅畫面的灰度方差值大小也能看出畫面的清晰度質量，其中本文提出的算法聚焦后的畫面最為清晰。表明本文提出的算法在自動聚焦過程有很好的表現和效果。

圖11對比了整幅畫面求梯度能量值和1/3區域求梯度能量值后得到的聚焦顯示畫面。其中圖11的(b)畫面即圖10中的(e)。

圖11 兩種區域像素求梯度能量值的圖像顯示對比

圖11的兩圖對比來看，基本看不出差異來，兩者的灰度均方值差值不到1，說明了本文提出的圖像中心1/3去區域求梯度能量值的方式是可行的。這種優化和改進后的算法優勢在于很大程度地節省了自動聚焦時間和FPGA資源消耗。

4.2 聚焦過程中的爬山曲線

本節分析3種算法在實現自動聚焦過程中的爬山曲線。由于整個爬山是基于電機轉動實現的，所以通過電機轉動的角度可以觀測出整個爬山過程。下面對比了3個算法（文獻[2]、文獻[4]和本文）在自動聚焦過程中，電機轉動的情況以及最終聚焦的情況。經過前期的測試，得出電機從初始位置到聚焦位置需要正向轉動751°，即圖12的水平參考虛線。

從圖12中可以看出：

1）本文提出的爬山算法在前期設置的步長比較大，因此能夠快速地爬到山頂。在第三次爬坡結束已經超過山頂，因此第四次爬坡的步長減少，來判斷是否“偽山頂”；

2）3種算法在對“山頂”的判斷上都比較準確，是因為圖像本身比較干凈，噪聲小，因此本文算法提出的二次爬坡在這里沒有起到作用；

3）本文提出的算法和文獻[4]提出的算法在判斷下坡趨勢上要比文獻[2]提出的算法響應快速，并且控制得好；

4）本文提出算法在第7次爬坡后基本達到了穩定狀態（聚焦結束），在第3s達到聚焦結束，另外兩種在第8次爬坡后達到穩定狀態，其中文獻[2]的算法用時3.6s，文獻[4]的算法用時3.4s；

5）3種算法由于設置步長和每次操作時間上有所差異，因此從圖12中可以看出前期爬坡過程時間上比較一致，后期沒調整一次用時不一致；

6）從最終的聚焦效果來看，本文提出的算法優于文獻[2]和文獻[4]的聚焦效果，其中文獻[2]的聚焦效果最差，這個與圖10所示的聚焦效果示意吻合。

4.3 自動聚焦時間測試

基于FPGA架構的紅外鏡頭自動聚焦系統能夠比較好地完成自動聚焦工作，單CPU工作方式在產品集成度上較其他架構也有很大的優勢，同時本系統在實時性也有比較好的表現。從參考文獻中來看，其他方案對自動聚焦的時間沒有過多闡述，對于本文提出的設計而言，從開始成像到聚焦完成可以控制在5s以內，主要的時間消耗分析如圖13所示。

共計時間為3.55s，這個速度優于市面上大部分紅外相機的自動聚焦時間。

4.4 FPGA資源消耗

本文對梯度能量值計算采用了整幅畫面1/3區域做計算，主要是為了節省FPGA資源以及計算時間。從計算時間上，計算整幅畫面的像素梯度能量和1/3區域計算相差42.84－4.76＝38.08ms。這個時間雖然對于整個聚焦過程所用的4.55s來說很小，但是對于FPGA內部程序運行來說是一個比較長的時間。

圖13 自動聚焦用時分析

對于FPGA內部資源消耗來說，兩者相差也比較大，表2羅列了兩種方式對FPGA資源的消耗情況。

表2 FPGA資源消耗對比

從表2中可以看出，本文采用的自動聚焦方法使用FPGA內部資源不多，即使對整幅畫面做，XC7Z030的資源也足夠使用。但是對于FPGA來說，資源用的越少，程序可控性越強。

5 總結

針對紅外熱像儀成像裝置的鏡頭自動聚焦，本文提出一種基于FPGA的紅外鏡頭自動聚焦技術，相比可見白光的自動聚焦技術和傳統的紅外聚焦技術，本文提出的技術有3大改進：①整機采用單FPGA處理器完成紅外圖像處理顯示和鏡頭聚焦工作，大大地提升了產品的集成度；②針對紅外圖像的特點以及FPGA并行處理數據的優勢，提出一種改進型的梯度能量算法，能夠真實地評價紅外圖像的清晰度；③針對紅外圖像的特點，對爬山算法進行改進和優化，有效地濾掉偽山頂，實現爬山的目的。

本文對上述3個技術改進的地方進行了驗證，結果也驗證了本文提出的算法的優越性。目前本文提出的自動聚焦技術已經成熟地應用在熱像儀產品中，功能和性能都處于業界領先的水平，有比較好的推廣意義。

[1] 趙志彬. 機載光電平臺可見光攝像機自動調焦技術研究[D]. 長春: 中國科學院研究生院（長春光學精密機械與物理研究所）, 2010.

ZHAO Zhibin. Research on Automatic Focusing Technology of Visible Light Camera for Airborne Photoelectric Platform[D]. Graduate School of Chinese Academy of Sciences (Changchun Institute of Optics, Precision Machinery and Physics), 2010.

[2] 倪文佳. 基于FPGA的可自動聚焦視頻監控系統[D]. 武漢: 武漢理工大學, 2012.

NI Wenjia. Auto Focusing Video Monitoring System Based on FPGA[D]. Wuhan: Wuhan University of Technology, 2012.

[3] 李申燕. 基于紅外圖像能量值的自動聚焦算法[J]. 山西電子技術, 2014(4): 6-9.

LI Shenyan. Auto Focusing Algorithm Based on Infrared Image Energy Value[J]., 2014(4): 6-9.

[4] 張博, 張剛, 程永強. 具有自動聚焦功能的視頻處理器的設計[J]. 液晶與顯示, 2010, 25(3): 396-400.

ZHANG Bo, ZHANG Gang, CHENG Yongqiang. Design of Video Processor WithAuto Focus Function[J]., 2010, 25(3): 396-400.

[5] 萬曉帆, 呂耀文, 章冬巖, 等. 在線自動聚焦紅外熱像儀系統設計[J].紅外技術, 2018, 40(8): 743-748.

WAN Xiaofan, LYU Yaowen, ZHANG Dongyan. Design of an Auto-focusing Infrared Thermal Imager Online System[J]., 2018, 40(8): 743-748.

[6] 王健. 基于圖像處理的自動調焦技術研究[D]. 成都: 中國科學院研究生院（光電技術研究所）, 2013.

WANG Jian. Research on Automatic Focusing Technology Based on Image Processing[D]. Chengdu: Graduate School of Chinese Academy of Sciences(Institute of Optoelectronic Technology), 2013.

[7] 徐志麗. 基于FPGA的SEM自動聚焦系統研究[D]. 南京: 東南大學, 2016.

XU Zhili. Research on SEM auto focusing system based on FPGA[D]. Nanjing: Southeast University, 2016.

[8] 陳國金, 朱妙芬, 張克松. 圖像調焦過程的清晰度評價函數研究[J]. 數據采集與處理, 2009, 24(2): 165-169.

CHEN Guojin, ZHU Miaofen, ZHANG Kesong. Study on sharpness evaluation function of image focusing processk[J]., 2009, 24(2): 165-169.

Research and Implementation of Infrared Lens Auto-focus Technology Based on Field Programmable Gate Array

SUN Shaowei，YANG Yuetao，YANG Bingwei，WAN Anjun，ZHONG Hailin

(AVIC Suzhou Changfeng Avionics Co., Ltd., Suzhou 215001, China)

Autofocus technology plays an important role in the field of infrared thermal imager monitoring. At present, there existsome problems withinfrared auto focusing technology, such as low success rate, complex architecture andlow focusing speed. Therefore, this studyproposes an auto focusing technology of infrared lens based on FPGA, which realizes the functions of infrared image processing, display, and auto focusing with a single FPGA. In view of the common characteristics of vertical stripe noise and random noise in infrared images, this studyimproves and optimizes the infrared definition evaluation algorithm and mountain climbing algorithm in the focusing process. The experimental results show that the algorithm and implementation method proposed in this studycan help infocusing on the infrared lens remarkably. Meanwhile, the proposed method has characteristics such ashigh integration, fast focusing speed, and high success rate, and thus haswide application prospects.

infrared, autofocus, FPGA, definition evaluation, mountain climbing algorithm

THB11

A

1001-8891(2021)05-0464-09

2020-11-07；

2021-03-24.

孫少偉（1982-），男，碩士，高級工程師，主要從事圖像處理方面研究。E-mail: shaowei_sun171@sina.com.