基于DSP6455實時紅外圖像處理仿真平臺設計

李 聰,黃成章,安成斌

(華北光電技術研究所,北京 100015)

1 引 言

高性能的DSP6455芯片在紅外圖像處理中得到了很好的運用,但是在實際工程中,整個紅外圖像處理系統十分復雜,項目耗時久。而圖像處理算法的調試工作是在整個系統搭建后才能進行,最后調試算法的時間非常有限,嚴重影響項目的效率和進度[1]。傳統的仿真都是在MATLAB上進行,完全不依賴硬件,由于實時性和硬件資源等問題,仿真效果和實際效果可能相差很多。

為了解決這個問題,設計了一種基于DSP6455的紅外圖像處理仿真平臺,該平臺主要組成是DSP和上位機。上位機的作用是通過千兆以太網和DSP連接,按照一定的幀頻發送圖像至DSP,由于常用的圖像處理平臺架構都是FPGA+DSP,其中FPGA主要完成一些圖像的預處理工作,所以上位機除了發送圖像外,還要對圖像進行簡單的預處理(二值化、直方圖等),以及對DSP處理結果的回傳顯示,從而更接近實際紅外系統的真實效果。DSP端采用兩塊DSP6455芯片設計,其中DSP1負責網絡通信傳輸圖像,DSP0用來對圖像進行處理,驗證實際紅外圖像處理算法。通過該平臺,只要預先采集某些場景的紅外圖像,就可以完成算法的仿真驗證工作。

2 系統介紹

2.1 硬件平臺

仿真平臺的硬件組成如圖1所示,采用TI公司的兩片TMS320C6455芯片,峰值處理能力為2×8000MIPS。DSP之間的互聯采用新型串行點到點高速傳輸協議Serial RapidIO協議[2],四個 1×串行高速 IO(Serial RapidIO)(或一個 4×):消息傳遞,支持 DirectIO,最高通信速率為3.125G×4 bps。采用256 kb(32 kB)L1P程序緩存(專用),256 kb(32 kB)L1D數據緩沖器,16 Mb(2096 kB)L2 緩存器。同時具備千兆網接口,十分方便用于和上位機進行通信。DSP外掛128MByte×2 DDRII內存,這些存儲容量可用于大量的數據存儲,適合大圖像的處理。

圖1 硬件平臺

2.2 軟件平臺

該系統軟件平臺主要包括兩部分,第一部分是上位機軟件平臺,第二部分是DSP軟件平臺。

2.2.1 上位機軟件平臺

上位機軟件平臺主要是MFC+OpenCV。MFC(Microsoft Foundation Classes )微軟基礎類庫是一個微軟公司提供的類庫,以C++形式封裝了Windows API,并包含一個應用程序框架,以減少應用程序開發人員的工作量。其中包含大量的Windows句柄封裝類和很多Windows的內建控件和組件的封裝類[3]。本系統設計用MFC編程實現上位機通過TCP發送圖像至DSP1。

OpenCV是一個基于C/C++語言的開源圖像處理函數庫,其代碼都經過優化,可用于實時處理圖像,具有良好的可移植性。

2.2.2 DSP軟件平臺

主要包括DSP/BIOS、CSL、NDK和DDK。

DSP/BIOS是一個簡易的嵌入式操作系統,主要是為需要實時調度、同步以及主機與目標系統通訊和實時監測等應用而設計的。DSP/BIOS 系統本身僅占用很少的資源,并且是可以剪裁的,它只把直接或間接調用的模塊和API鏈接到應用目標文件中。

CSL(芯片支持庫)提供了一個用于配置和控制片上外設的C語言接口。它有各個分立的模塊組成,并被編譯成庫文件。

NDK(Network Development Kit):為了加速DSP的網絡化進程,TI結合其C6000系列推出了TCP/IP NDK開發包采用緊湊的設計方法,實現了利用極少資源支持TCP/IP。

DDK是TI為簡化驅動設計開發為TMS320系列DSP及其EVM板等提供的驅動程序開發套件。該套件為TMS320C6000系列中外圍器件提供完整的標準化驅動程序模型,使得驅動程序可以很方便的移植到其他應用中,大大提高驅動程序開發的效率。

3 系統設計

本系統設計的目標是能夠完成任意分辨率,小于等于50 Hz幀頻的紅外圖像的傳輸,并且要求系統能實時處理圖像處理算法。如圖2所示,實現流程是上位機通過網絡(TCP/IP)將提前采集到的視頻圖像按照一定的幀頻,逐幀發送至負責通信的DSP1芯片,DSP1接收到圖像后將圖像傳至DSP0,DSP0將傳來的圖像通過處理后,將結果回傳至DSP1,DSP1再將結果傳至上位機,這樣就完成了一個圖像處理算法驗證仿真流程。

圖2 系統流程圖

實現這些功能主要包括:上位機與DSP之間網絡傳輸用于傳輸圖像和回傳結果,上位機MFC編程實現界面化控制傳輸圖像和對圖像的預處理,DSP網絡編程和任務分配用于實現與上位機之間實時傳輸圖像并完成算法仿真。

3.1 上位機與DSP之間網絡傳輸

上位機與DSP通過網絡連接,網絡協議選擇為TCP/IP。TCP是一種面向連接的、可靠的、基于字節流的傳輸層通信協議。當客戶和服務器彼此交換數據前,必須先在雙方建立一個TCP連接,之后才能傳輸數據。TCP提供超時重發,丟棄重復數據,檢驗數據,流量控制等功能,保證數據能從一端傳到另一端[4]。實現TCP/IP協議一般通過socket編程,網絡上的兩個程序通過一個雙向的通信連接實現數據的交換,這個連接的一端稱為一個socket[5]。兩個端口分別稱為客戶端和服務器端。在編程前必須設定兩個端口是客戶端還是服務器端。本系統將上位機設為服務器端,將DSP1設為客戶端。

上位機端的網絡是用套接字(socket)編程。VC++的MFC提供了兩個Socket類,即CAsyncSocket類和CSocket類。CAsyncSocket類在較低級別上封裝了WinSock API函數,可以使用面向對象的方式進行Socket編程,函數是非阻塞的,函數調用后立即返回并反饋信息,支持異步操作。

3.2 上位機MFC編程

上位機主要功能是人機交互以及網絡編程,第一步就是初始化并開啟監聽窗口,所有初始化的操作都由OnInitDialog完成,包括初始化網絡,初始化菜單,初始化圖像及幀頻。采用時鐘驅動的方式實現功能以下功能:

3.3 DSP的網絡編程實現及任務關系

按照NDK的機制,將用于實現上述功能的驅動函數整合在HAL.LIB中,用C語言或匯編語言實現。這些驅動函數的函數名和參數結構屬于NDK的標準API,由上層協議棧及NDK控制層規定其需要實現的功能。驅動函數的內部實現與具體的硬件環境有關,需要自行編制。

對網絡初始化完成后就要socket編程實現TCP/IP協議,本系統設計將DSP設為客戶端。

step1:創建socket:stcp=socket(AF_INET,SOCK_STREAM,IPPROTO_TCP);

step2:設置服務器端端口信息:包括端口(與服務器端一致),ip地址。

step3:建立連接:connect(stcp,(PSA)&sin1,sizeof(sin1)。

除學習科目外，學院在課程設置的其他方面也對學生提出了相應的要求和規范。例如：積極鼓勵學生參加各種類型的學術會議以及與本學科專業相關的大型會議，參加會議可跟隨導師，也可自行參加。在學術討論上，學生可以與導師提前聯系溝通，在時間允許的情況下，可進行同“師門”的學術研討與匯報等。

step4:接收圖像數據,要設置為阻塞模式:recv(stcp,temp,length,MSG_WAITALL );

step5:接收成功后利用SRIO發送至負責處理算法的DSP0。

step6:將處理結果發送至DSP1。

step7:DSP1通過TCP將處理結果回傳至上位機。

DSP端程序主要是通過任務將整個程序串聯起來。

DSP1主要任務:

①網絡初始化及配置(TASK0):該任務由DSP/BIOS靜態創建,是網絡傳輸任務的主線程,主要完成網絡初始化、網絡參配置。配置完成后啟動NDK調度器。

②網絡接收(TASK1):該任務負責接收服務器發送的預處理結果,并將接收的數據發送至DSP0。

③中斷(HWI):接收完成后發送DOORBELL中斷。

④結果回傳任務(TASK2):接收DSP0回傳的處理結果并發送至上位機。

DSP0主要任務:

①DOOEBELL中斷服務函數

②處理任務(TASK0)；接收到的圖像預處理數據進行處理并發送DSP1處理結果。

4 紅外單幀檢測算法實現

本文設計的仿真平臺基于640×512分辨率、50 Hz幀頻的紅外圖像,數據源為16bits,只要預先采集某些場景的紅外圖像,在滿足系統帶寬的情況下就可以對紅外圖像實時算法仿真。TCP帶寬決定上位機能否在滿足系統實時性的情況下發送圖像用于算法仿真。紅外單幀檢測算法用于驗證仿真平臺的實時性和算法仿真性能的評估。

4.1 TCP網絡性能

工程建立后利用jperf-2.0.0工具對DSP與上位機之間網絡連接進行測速,jperf-2.0.0是一種網絡性能測試工具,可以測量TCP最大可帶寬。分別設置TCP傳輸緩存和L2Cache大小,TCP網速如表1所示。

表1 網絡性能

結果可知在TCP Transmit Buffer Size為最大8192和L2Cache Size最大為256k時,網速最快可以達到400Mb/s,完全滿足圖像傳輸帶寬要求。

4.2 紅外單幀檢測算法流程

本文仿真的紅外單幀檢測算法主要分為四部分,如圖3所示。首先是將原始圖像分別進行中值濾波、形態濾波和匹配濾波,都是采用3×3的濾波器。將得到的3個結果分別賦予適應環境的閾值就可以得到候選目標,將候選目標進行融合和剔除就可以得到算法實際的檢測結果。此算法流程圖如3所示。

圖3 算法流程圖

4.3 算法仿真效果

將采集好的紅外圖像有上位機發送至DSP進行算法仿真,實際效果如圖4所示。

圖4 原始圖像

圖5 仿真后結果

4.4 仿真性能評估

為了驗證仿真平臺的實時性,在該仿真平臺中實現紅外單幀檢測的算法,同時在Intel Core i7-2600 3.4 GHz,4G內存的PC機上,基于MATLAB實現同樣的算法進行對比,分別測試算法處理一幀以及TCP傳輸一幀圖像所需要的事件。分析結果如表2所示。因此本仿真平臺可以實施處理分辨率為640×512、50幀頻的紅外視頻流。采用該仿真平臺可以實現20倍的加速比,為實時處理紅外圖像、算法硬件調試提供有利保障。

表2 仿真及傳輸時間

5 結束語

通過上位機與DSP之間網絡通信,DSP之間級聯,充分利用上位機資源,使硬件仿真變得方便靈活,算法調試更早進行,從而縮短項目研發周期。今后還要繼續優化并改善軟件框架,提高算法可移植性。

參考文獻:

[1] WANG Ke,MA Li,et al.Real-time simulation platform for airborne image processing engine[J].Journal of System Simulation,2011,23(9):1832-1836.(in Chinese)

王科,馬麗,等.機載圖像處理引擎實時仿真平臺[J].系統仿真學報,2011,23(9):1832-1836.

[2] LIANG Ji,JIN Hengke,XU Weimin.Design and implementation of high performance interface based on rapidIO[J].Computer Application And Software,2009,26(7):43-45.(in Chinese)

梁基,金亨科,徐煒民,等.基于RapidIO 的高性能接口的設計與實現[J].計算機應用與軟件,2009,26(7):43-45.

[3] YAO Lingtian.Proficient in MFC programming[M]. Beijing:Post & Telecom,2007.(in Chinese)

姚領田.精通MFC 程序設計[M]. 北京:人民郵電出版社,2007.

[4] Kevin R Fall,W Richard Stevens. TCP/IP Illustrated. Machinery Industry Process[M].Beijing：China Machine Press, 2016.(in Chinese)

Kevin R Fall,W Richard Stevens.TCP/IP詳解[M].吳英,張玉,譯.北京:機械工業出版社,2016.

[5] SONG Jingbin.Linux network programming[M].2nd.ed.Beijing:Tsinghua University Process,2014.(in Chinese)

宋敬彬. Linux網絡編程[M].2版.北京:清華大學出版社,2014.