基于TMS320C6455的紅外與可見光實時圖像融合系統硬件設計

王 鵬，李 飚，劉 斐

(國防科技大學ATR國防重點實驗室，長沙 410073)

隨著信息技術高速發展和計算機技術的日新月異，數字圖像處理技術已深入廣泛地應用于各行各業當中，同時也對圖像處理技術提出了更高的要求［1-7］。單一傳感器的圖像處理已經不能滿足現有技術發展，如何實時、快速地將不同傳感器獲得的同一場景的多幅數字圖像融合處理已成為當前圖像處理領域的一大熱門研究課題。但在這些數字圖像處理系統中，一個突出的問題就是數據量龐大，數據處理相關性高，實時實現比較困難。因此，圖像處理速度成為影響實時性的主要因素，這就要求實時圖像處理系統必須具有強大的運算能力。本文主要論述以 TI公司TMS320C6455DSP為處理器的圖像處理系統整體設計方案。

1 圖像融合系統原理及系統硬件設計

圖像處理系統主要用于圖像的預處理、圖像配準、圖像融合等，圖像處理系統的設計理念是基于現有的理論基礎和算法，將其應用于實際中，使理論與實際結合，同時有效地驗證理論與算法的一致性。圖像處理系統主要解決準確性和實時性2個方面的問題。由于高速數字處理技術的日益成熟，DSP芯片的不斷更新，使圖像處理系統的處理速度不斷得到提升，圖像處理系統的準確性和實時性得到進一步完善［8］。可見光與紅外圖像融合系統的重點在于圖像融合系統的設計，圖1是圖像融合系統的原理框圖。

如圖1所示，系統接收到紅外圖像和可見光圖像后，令FPGA數字邏輯對紅外圖像和可將光圖像進行預處理，并通過FrameBaffer對預處理過的可見光圖像和紅外圖像進行幀存，利用DSP對幀存的數字圖像進行提取、配準和圖像融合，并通過DSP系統對圖形進行進一步的目標檢測、識別，并通過通信接口將圖像識別信息輸出。

圖1 圖像融合系統的原理框圖

根據系統原理框圖，本系統的硬件設計主要分為4個模塊:FPGA模塊、程序存儲-引導模塊、圖像存儲模塊、DSP處理模塊。圖2是系統的硬件設計框圖。

圖2 圖像融合系統硬件設計框圖

2 系統中各功能模塊的作用

2.1 DSP 模塊

本系統中的核心器件是DSP，DSP的性能直接影響到圖像處理平臺的性能。由于在進行圖像處理過程中要處理大量的數據且計算復雜，而且要求計算結果精度高，因此，必須依據系統選擇合適的DSP芯片。在選擇過程中主要考慮以下因素:

1)在本設計中主要處理的圖像信號的每個像素的灰度值占用2個字節，即16bit，在數據位數相同的情況下，定點DSP芯片和浮點DSP芯片的運算精度相同，且定點DSP芯片功耗、成本、體積較浮點DSP芯片小，易于實現，穩定性好。因此，本設計中選擇定點DSP芯片完全滿足設計要求［9-10］。

2)選擇具體的DSP芯片。DSP芯片的運算速度是反映DSP芯片性能的重要指標，它也是在選擇DSP芯片時的考慮因素。DSP芯片的運算速度采用DSP的指令周期、單周期的乘加次數或采用數字信號處理中的基準程序。由美國儀器(TI)公司推出的高端芯片TMS320C6455具有較強的運算能力，其主頻達到了1 GHz，具有1 ns的指令周期，每周期執行8條32位指令，最大峰值速度達到8 000 MIPS。TMS320C6455還帶有 Seria/RapidlO(r)總線，互連速率高達25 Gbits/s，實現了極高的多處理性能，降低了系統消耗，比此前的外部存儲器接口快12倍。TMS320CC6455片內是基于C64xx內核的L1/L2存儲結構，片上集成有大量的存儲空間，L1P為32 k字節，L1D為32 k字節，L2為2M字節，比此前C64x器的存儲器容量件翻一番，其中L1P和L2都可直接映射到存儲空間，能滿足本設計的實時性要求［9-10］。

TMS320CC6455的外圍總線包括1個內部集成電路總線(I2C)、2個多路緩沖串口總線(McBSPs)、2個64位通用定時器(可以配置成4個32位定時器)、1個可配置的16位或32位主機接口(HPI16/HPI32)、1個PCI總線、1個16管腳的通用輸入/輸出端口(GPIO)、1個10/100/1000M 以太網媒體訪問控制器(EMAC)、1個32位DDR2 SDRAM接口。

工作原理:DSP經過上電復位后，利用寫事件置位寄存器(ESR)啟動 EDMA，EDMA通過 Pa-RAM獲取地址信號，將所需數據及程序經過EMIF從外設存儲器中讀取并將其送入數據cache(L1D)和程序cache(L1P)中，CPU通過2條地址總線(DA1和DA2)向DMC提交數據訪問申請后，訪問程序cache(L1P)和數據cache(L1D)，并經過取數總線LD1和LD2將數據送入CPU中進行處理;待CPU將數據處理完畢后，CPU通過2條地址總線(DA1和DA2)向DMC提交數據訪問申請后，將所得數據通過存儲總線ST1和ST2將數據寫入數據cache(L1D);通過EDMA將數據傳輸至系統的外設DDR中，供系統下一步的處理工作使用;利用DSP在運行中產生的控制信息和地址信息，將存儲在緩存區的圖像信息進行提取并傳輸至DSP進行處理，通過通信協議將處理過的圖像信息調制傳輸至上位機;傳感器的控制信息由DSP寫入，通過調制后經過高速串行通信鏈路發送至傳感器，實現對傳感器的控制。

2.2 FPGA 模塊

本處理系統中的FPGA選擇使用美國賽靈思(Xilinx)公司的Spartan6系列。Spartan6是第6代Spartan系列產品，基于45 nm技術、9層金屬布線、雙柵極氧化層工藝技術生產，在前幾代Spartan系統的結構基礎上，利用了成熟可靠的Virtex高端系統構架。它提供的資源包括高級功耗管理、高效雙寄存器6輸入LUT、高達150 000個的邏輯單元、片上PCI Express硬件模塊、高級片外存儲器控制器MCB(memory controller block)、250 MHzDSP SLICE和3.125Gbit/s低功耗收發器等。Spartan6 FPGA為能為本系統提供最佳的低風險、低成本、低功耗和高性能的解決方案。

由于系統需要，在FPGA內部需要設計多個FIFO(先進先出寄存器)，即以先讀入的數據先寄存，先讀入的數據先讀取的方式。通過高速串行通信鏈路傳輸至FPGA中，將信號解調為16字節數據，以20 MHz/像素暫存。當FIFO寫滿時，將數據送入圖像緩存，節省了等待和查詢時間，能有效提高傳輸速度。

工作原理:成像曝光控制模塊控制紅外傳感器和可見光傳感器，并對傳感器的曝光參數進行控制;而后傳感器將圖像信號傳出，通過高速串行通信鏈路接收并傳輸至FPGA中;圖像信號通過通信協議(解碼)模塊解調為16字節數據，以20 MHz速率將圖像信息暫存于FIFO中;FIFO的讀出和寫入都是由FPGA來控制，當暫存數據達到N個像元后，FIFO的狀態電路發出1個數據寫滿信號;FPGA根據FIFO的寫滿信號，將FIFO中的數據讀出，按圖像信息存儲器DDR的地址順序將數據寫入進行存儲，FIFO數據傳輸流程如圖3所示。

圖3 FIFO數據傳輸流程

2.3 圖像存儲模塊

本系統的圖像存儲模塊由DDR組成，主要用于對FIFO中的待處理圖像信息的存儲和經過DSP處理后的圖像信息的儲存。圖像存儲模塊則采用Infineon公司的DDR-500 256M系列芯片，它具有2倍的內存預讀寫能力，由于其采用封裝形式，具有良好的電器性能與散熱性，且TMS320C6455帶有的DDR2 SDRAM存儲器接口，可以實現與32位存儲器件的無縫連接。存儲器的運行時鐘直接由PLL2進行控制，時鐘為PLL2輸入時鐘的10倍。DDR的刷新由 TMS320C6455自動控制。

工作原理:DDR通過DMA將信息傳輸至DSP，在傳輸信息之前首先由主控寄存器和副控寄存器設置DMA通道PRICTL寄存器的START=00b及SECCTL寄存器，并對DMA通道源/目的地址寄存器以及傳輸技術寄存器進行設置;然后對主控制寄存器START寫入11b，以自動化方式啟動DMA;圖像數據通過DDR2 SDRAM接口傳輸至DSP的數據cache(L1D)中，供DSP的處理使用;當DSP將圖像信息進行處理之后，已處理圖像信息經過DMA寫入DDR存儲器中進行存儲。

2.4 程序存儲-引導模塊

本系統的程序存儲-引導模塊是由EEROM電子抹除式可復寫只讀存儲器構成。EEROM具有高性能、低功耗的特點。首先，一般的DSP外圍的存儲器的存取時間在70～150 ns，在本系統中直接讓程序在EEROM中運行勢必影響DSP處理器的運行速率和效率，DSP程序需要在速率更快的外部 DDR中運行。其次，當 DSP上電時，會將EEROM的前1k空間的內容復制至片內L2 SRAM中的0x800000到x8003FF地址空間，復制完成后DSP會從0x800000地址處開始運行，但需要搬運的程序的向量表、初始化段等往往超過1k大小，不能有效的在系統上電時自動引導應用程序運行，因此本系統采取DSP處理器的EMIF ROM/Flash boot模式進行DSP啟動。圖4為DSP EMIF ROM/Flash模式的啟動過程。

工作流程:系統上電后固化在DSP內部ROM中的“boot loader”將EEROM的前1k空間的二次引導代碼復制到片內L 2 SRAM的0x8000000到x8003FF地址空間;復制完成后DSP從0x800000地址處開始運行，也就是說DSP運行二次引導，此時，DSP將EEROM空間起始地址為0xB0020000的數據按照section指定的地址復制到DDR;復制完成后，二次引導代碼跳轉到程序初始化入口處(_c_int00)，加載過程結束。

圖4 DSP EMIF ROM/Flash模式的啟動過程

3 結束語

數字圖像處理的廣泛應用及硬件技術的日新月異斷推動數字圖像處理技術的迅速發展，也促使數字圖像處理系統的實時性和準確性得到不斷提升。本文主要使用最新的數字信號處理芯片TMS320C6455，結合可編輯門陣列FPGA，探討了了實時圖像處理系統的設計原理及系統的硬件設計，并介紹了所屬模塊在系統中的功能。

［1］張建勛，謝婷婷.基于小波區域梯度的圖像融合新算法［J］.重慶理工大學學報：自然科學版，2012，26(10)：51-55.

［2］宋英姿.基于第二代Curvelet變換的多聚焦圖像融合［J］.四川兵工學報，2010(3)：115-116.

［3］黃寧寧，賈振紅，何迪，等.改進的模糊熵與圖像局部信息相結合的遙感圖像分割新算法［J］.激光雜志，2010(6)：20-22.

［4］王建，劉肖，王國琿 .基于梯度變換的多傳感器圖像融合算法［J］.重慶理工大學學報：自然科學版，2012，26(10)：62-65..

［5］文江平，胡巖峰，王無敵，等.一種有效的SAR圖像水陸分割方法［J］.四川兵工學報，2010(2)：108-110..

［6］張利紅;梁英波.基于改進小波變換的醫學圖像融合算法研究［J］.激光雜志，2012(5)：23-24.

［7］張蓮，秦華峰，余成波.基于人體手指靜脈圖像分割算法的研究［J］.壓電與聲光，2008(2)：233-235.

［8］李方慧，王飛，何佩琨.TMS320C6000系列DSPs原理與應用［M］.北京：電子工業出版社，2004：60-156.

［9］孫興，李捍東，田申.DSP6416在數字圖像處理中的應用［J］.貴州工業大學學報：自然科學版，2005(6)：67-71.

［10］邢素霞.基于DSP與FPGA的紅外與可將光實時圖像融合系統硬件設計［J］.北京：北京工商大學學報：自然科學版，2008(6)：：44-47.