基于單FPGA+LPDDR2的高性能低功耗紅外圖像處理技術?

周 燕

（華中光電技術研究所-武漢光電國家研究中心 武漢 430073）

1 引言

在紅外圖像處理領域，為了獲取高質(zhì)量成像，需要具備較高的數(shù)據(jù)帶寬能力、更多的資源、更高的處理速度，如何在較小的尺寸、較低功耗條件下具備更高的圖像處理性能，需要有針對性地研究高性能低功耗的硬件架構，同時需要針對硬件架構特點進行軟件算法處理的適應性迭代升級［1～4］。

本文基于低成本、低功耗單FPGA（內(nèi)嵌軟核處理器）+LPDDR2的主圖像處理架構，持續(xù)研究了高性能低功耗紅外圖像處理技術，主要包含硬件和軟件兩方面技術研究工作。硬件上需要設計高速、大容量、小尺寸、低功耗的高性能紅外圖像處理電路，軟件上不僅需要實現(xiàn)640×512@200Hz的實時紅外圖像處理，包括非均勻校正、壞元處理、圖像濾波、圖像增強、灰度變換、Gamma校正等算法，還要進一步支持1280×1024甚至更高分辨率紅外成像的實時紅外圖像處理功能［5～10］。

2 硬件設計

在整個硬件架構中，核心技術是高速數(shù)字信號處理電路。高性能小尺寸圖像處理電路采用Altera公司的低功耗、低成本Cyclone V系列的FPGA芯片作為處理器，采用單FPGA+單LPDDR2的圖像處理架構進行相關的圖像處理工作，并輔以其它外圍電路完成相應的功能［11～12］，高速數(shù)字信號處理電路原理如圖1所示。

圖1 高速數(shù)字信號處理電路原理框圖

在硬件電路設計上，本文采用基于Cyclone V+LPDDR2的全新圖像處理技術構架，需平衡高性能與低功耗的矛盾，要做好LPDDR2+FPGA的技術設計，因LPDDR2訪問頻率可達數(shù)百兆，要特別注意信號線等長、傳輸匹配、屏蔽干擾等技術細節(jié)［13～14］。

高速數(shù)字信號處理電路按功能劃分主要包括前端接口電路設計、高速數(shù)字信號處理電路設計、模擬視頻輸出電路設計、功能擴展電路設計等功能單元。

2.1 前端接口電路設計

前端接口電路設計主要完成高速數(shù)字信號處理電路與前端模擬電路及紅外探測器之間的接口互連功能。滿足紅外探測器的時序控制需求及接口電平要求，從前端模擬電路讀出探測器輸出的原始圖像數(shù)據(jù)并發(fā)送給數(shù)字圖像處理單元進行圖像處理。

選用的高速數(shù)字信號處理電路與模擬板之間的連接器為高密度、低堆疊高度接插件，減小了占用體積。

2.2 高速數(shù)字信號處理電路設計

高速數(shù)字信號處理電路需要能夠支持原始圖像數(shù)據(jù)緩存、非均勻性校正、壞元處理、圖像濾波、圖像增強、灰度變換等功能的硬件支持。本系統(tǒng)采用的QSYS系統(tǒng)構架相較于廣泛采用的DSP（或單片機）＋FPGA系統(tǒng)構架在硬件電路上更為簡化，在電路板上減少了一片處理器芯片，減少了處理器與FPGA及外部存儲器之間的大量電路導線連接，降低了對FPGA的通用I/O數(shù)量需求。原始圖像數(shù)據(jù)緩存、非均勻性校正、壞元處理等功能需要大容量的存儲器，目前的FPGA主流芯片的片內(nèi)存儲器容量有限，而且在同樣的存儲器容量的情況下FPGA片內(nèi)的存儲器要比單獨的RAM芯片的成本要高的多，因此系統(tǒng)需要在FPGA芯片的外圍擴展RAM和Flash等器件。為了進一步降低電路板功耗、減少電路板面積，采用FPGA+DRAM的圖像處理架構實現(xiàn)所有圖像處理功能，在降低系統(tǒng)體積、成本和功耗的同時，能夠滿足系統(tǒng)的復雜、實時、高速圖像處理任務。

鑒于手持/便攜式中小移動平臺對高性能、低功耗的技術需求，本系統(tǒng)采用單FPGA+LPDDR2的圖像處理方案，LPDDR2存儲器內(nèi)核供電電壓低至1.2V，IO訪問電平標準也為單端/差分1.2V，其功耗與DDR2存儲器相比有明顯降低。

基于QSYS的實時紅外圖像處理系統(tǒng)與基于DSP（或單片機）＋FPGA圖像處理系統(tǒng)在硬件上相比，不同點在于本系統(tǒng)采用單QSYS處理器來替代DSP＋FPGA處理器構架來完成相關的紅外圖像處理任務，采用LPDDR2存儲器大幅度增加了外設內(nèi)存空間，為處理復雜圖像算法提供平臺。

3 軟件設計

本系統(tǒng)的軟件開發(fā)基于高性能小尺寸圖像處理電路，在Quartus II軟件平臺上完成圖像處理模塊的程序設計及QSYS系統(tǒng)的綜合、優(yōu)化、適配、遠程下載和硬件系統(tǒng)調(diào)試，采用HDL語言（硬件描述語言）來完成RTL級程序設計任務。為滿足紅外圖像處理系統(tǒng)的實時性要求，需要采用并行流水線處理的方式來實現(xiàn)某些計算量較大的圖像處理任務。QSYS系統(tǒng)的圖像處理架構框圖如圖2所示。

圖2 QSYS系統(tǒng)的圖像處理框圖

與傳統(tǒng)的基于DSP（或單片機）＋FPGA的圖像處理系統(tǒng)相比，基于QSYS的實時紅外圖像處理系統(tǒng)與在軟件開發(fā)上有三個優(yōu)點。

1）其軟核處理器Nios II的外設配置靈活；

2）對復雜算法采用硬件加速，可以將某些復雜算法生成硬件加速電路，作為Nios II處理器的自定制指令；

3）QSYS系統(tǒng)共用同一套開發(fā)環(huán)境、同一套調(diào)試設備、同一段程序代碼，更有利于系統(tǒng)調(diào)試、升級和維護。

紅外成像組件的圖像處理主要包括圖像采集緩存、總線切換控制、非均勻性校正、壞元處理、時域濾波、豎紋濾波、圖像增強、灰度變換、連續(xù)電子變倍、控制管理等功能［15］。

1）圖像采集緩存

圖像采集單元為模擬板提供AD轉換時鐘源，并按時序驅(qū)動規(guī)則生成LPDDR2乒乓切換地址，將模擬板AD轉換后的原始圖像數(shù)據(jù)按探測器行列輸出順序?qū)⒂行袼財?shù)據(jù)提取出來，將相鄰兩幀紅外圖像乒乓寫入對應的外部LPDDR2地址區(qū)域，供后端圖像處理乒乓讀出使用。

2）非均勻性校正

紅外探測器的圖像即使經(jīng)過再好的前端校正控制也無法使每個像元在各種工作條件下的輸出響應均接近理想值，必須對紅外原始圖像進行后端非均勻性校正。在硬件電路上常用的實時校正方法主要包括一點校正、基于兩點溫度的兩點校正、基于兩點積分時間的兩點校正及相關的改進型校正方法等。

國產(chǎn)紅外探測器的像元響應均勻性較差、噪聲較重，需要使用比較復雜的校正方法才能達到較好的圖像效果。為了用戶體驗使用方便，需對前端校正和后端非均勻性校正進行存表，每次上電、手動校正或工作環(huán)境溫度改變時能夠自動調(diào)取相應的校正表，再執(zhí)行一次校正操作修正偏移量即可。根據(jù)不同的探測器特性可能需要研究更好的校正方法，而且前端校正表和后端校正表為了適應更寬的工作穩(wěn)定范圍可能需要存儲多個校正表。

3）壞元處理

紅外探測器由于制作工藝的原因，原始圖像中會帶有小比例的壞元，本文中，由于壞元數(shù)目教少，壞元簇內(nèi)的壞元數(shù)量一般不超過5個像素，采用領域替代法進行壞元處理，以較小的資源代價取得了較好的壞元處理效果。

4）時域濾波

基于LPDDR2的時域濾波算法，有效抑制橫滾、椒鹽等噪聲，對提升圖像質(zhì)量和NETD等指標有顯著改善效果。

5）豎紋濾波

紅外探測器受限于材料、工藝機理，不可避免地存在時空域的條紋噪聲，本系統(tǒng)所研究的通用型豎紋濾波能有效改善圖像中的豎紋，對提升MRTD指標有一定的作用。

6）圖像增強

紅外圖像數(shù)字細節(jié)增強（DDE）技術通過增強目標與背景之間細微結構（如邊緣、輪廓、紋理等）的對比度來提高對細小目標的探測和識別能力，本文的DDE算法在多種場合均取得較好的圖像增強效果［16～18］。

7）灰度變換

與可見光圖像相比，紅外熱成像系統(tǒng)具有信噪比低、對比度差等特點，針對傳統(tǒng)顯示設備顯示灰度級較小（256級），研究非線性壓縮方法，將空域高動態(tài)范圍（比如14bit）紅外圖像映射到8bit并獲得適合人眼觀察、判斷、識別的顯示。直方圖均衡化（HE）是一種提高圖像對比度的有效方法，它利用變換函數(shù)修正輸入圖像的直方圖，其實質(zhì)是增強占有較多像素的灰度級、抑制占有較少像素的灰度級，占有較少像素的灰度級被合并，灰度范圍縮小，實際有效灰度級必然小于或等于原圖像的有效灰度級［19～21］。

8）全屏連續(xù)變倍

全屏連續(xù)變倍是對圖像的大小進行調(diào)整的過程，需要在處理效率及結果的平滑度、清晰度上做一個權衡。

本文采取雙線性插值的方式進行全屏連續(xù)變倍，實現(xiàn)橫向分辨率獨立調(diào)整、縱向分辨率獨立調(diào)整、電子放大三個功能。

9）控制管理

控制管理單元實現(xiàn)與模擬板、系統(tǒng)通訊功能，對熱像儀的一些參數(shù)進行控制，包括圖像亮度、對比度、圖像極性、濾波方法、增強方法、校正方法、分劃顯隱、通道切換、顯示模式和基本參數(shù)的讀寫等功能狀態(tài)參數(shù)。通過基于QSYS的內(nèi)嵌Nios處理器來實現(xiàn)與系統(tǒng)、模擬板通訊，Nios通過QSYS系統(tǒng)的Avalon總線與FPGA內(nèi)的邏輯單元連接，還可直接訪問LPDDR2和Flash，執(zhí)行實時性要求不太高的復雜算法。

10）菜單字符顯控

小型化低功耗紅外成像組件應用在某些綜合類觀測設備，該觀測設備還包括激光測距傳感器、白光CCD傳感器、北斗定位、數(shù)字羅盤定向等功能模塊，紅外組件不僅要實現(xiàn)紅外成像的基本功能，還要在紅外機芯上按要求同時完成多模塊開機自檢信息顯示、實時狀態(tài)顯示、逐級顯示各級菜單字符界面等功能。

4 結語

本文在硬件設計上采用了單FPGA+LPDDR2的架構，提供了高度、大容量、低功耗的LPDDR2存儲單元，為后續(xù)的算法升級提供了空間。單FP?GA+LPDDR2圖像架構的存儲容量大于2Gb、數(shù)據(jù)吞吐速率大于20Gbps、尺寸小于 3.5×3.5cm2、功耗小于1.6W等。單FPGA+LPDDR2圖像處理平臺已在國產(chǎn)640×512紅外機芯成功應用并得到驗證，不僅實現(xiàn)了原有圖像處理算法，還在該平臺上新增了時域濾波、豎紋濾波、全屏連續(xù)變倍等復雜實時圖像算法，有效提升了圖像質(zhì)量及NETD等關鍵指標。

本文闡述的方案只需少量適應性修改即可推廣到其他產(chǎn)品，也可支持1024甚至更高分辨率的紅外圖像處理，能夠快速提升紅外成像相關產(chǎn)品的圖像質(zhì)量、輕量化和長續(xù)航能力，其采用的電子技術對激光測距、光電導航、吊艙警戒、跟蹤預警等領域的小型化、低功耗設計也有較強的參考價值。