基于達芬奇技術的日面活動圖像處理與識別系統

 收稿日期：2007-10-15；

修回日期：2008-02-14

基金項目：國家重點基礎研究發展規劃項目(2006CB806301); 國家自然科學基金資助項目(60673158)



作者簡介：胡新華(1978-)，女，遼寧沈陽人，工程師，博士，主要研究方向為圖像采集與處理系統的設計與應用、數字圖像處理與識別算法的高性能DSP和FPGA實現(hhflower22@gmail.com);鄧元勇(1965-)，男，研究員，博士，主要研究方向為太陽物理、天文儀器;王先平(1977-)，男，高級工程師，碩士，主要研究方向為嵌入式系統架構及其應用.

（1. 中國科學院 國家天文臺 北京 100012； 2.中國科學院 研究生院 北京 100049； 3.北京芯系嵌入式系統設計室 北京 100012）

摘要：針對日面活動的多樣性和復雜性，采用高性能的數字視頻處理技術——達芬奇技術設計了日面活動圖像處理與識別系統（SIPRS）。首先從SIPRS的系統架構出發，對系統的硬件設計進行了分析，特別是對DM6437與數字相機MDC1004之間的接口進行了詳細的分析；在軟件上按系統功能需求規劃出八個核心任務，實現了SIPRS基于Web的遠程系統配置及日面活動圖像的預處理、處理和識別功能。整個系統采用高性能數字媒體處理器、優化的實時操作系統和優化的圖像處理與識別算法，完全滿足太陽望遠鏡終端實時圖像處理的要求。

關鍵詞：達芬奇技術； DM6437； 數字相機； MDC-1004； 日面活動圖像處理與識別系統； 日面活動； 圖像處理與識別

中圖分類號：TP391.4; TH751

文獻標志碼：A

文章編號：1001-3695(2008)10-3165-04

Image processing and recognition system

based on DaVinci technology for solar activities

HU Xin-hua1，2 DENG Yuan-yong WANG Xian-ping3

(1.National Astronomical Observatories，Chinese Academy of Sciences Beijing 100012 China; 2.Graduate School Chinese Academy of-Sciences Beijing 100049 China; 3.Beijing Xinxi Embedded System Design House Beijing 100012 China)

Abstract:This paper designed an solar activities image processing and recognition system (SIPRS) for the diversity and complexity of the solar activities based on high-performance digital video processing technology: DaVinci technology. First analyzed system hardware design particularly analyzed the interface between digital cameras MDC1004 and DM6437. Second abstracted eight core tasks according to the demand of the system in system software design. Third implemented the Web-based remote system configuration and the image preprocessing processing and recognition on solar activities for the SIPRS. Experiments show that by using a high-performance digital media processor optimized real-time operating system and optimized algorithm of image processing and recognition the entire system can perfectly meet the requirements of the real-time solar image processing.

Key words：DaVinci technology; DM6437; digital cameras; MDC-1004; SIPRS; solar activities; image processing and re-cognition

0引言

在天文觀測領域中，根據不同的觀測內容要求望遠鏡系統具有不同的觀測能力。對于太陽表面和太陽大氣層中各種電磁活動現象[1]的研究，需要針對各種爆發現象的特點提出相應的觀測方法。日面爆發性活動各有特點，如太陽耀斑爆發，它不同于太陽表面的其他電磁活動現象，是太陽色球層中局部小區域的突然發亮，并迅速增強的現象，也是各種太陽活動中對日地空間和地球環境影響最大的、最為劇烈的電磁活動現象。雖然耀斑可持續存在幾個小時，但在它最開始迅速形成的過程中（幾分鐘至十幾分鐘）蘊涵著關鍵物理信息，可為耀斑機制的理論研究提供重要依據。由于太陽耀斑爆發沒有固定的位置和形態，也很難從太陽物理學上尋找其與日面其他電磁活動現象的關系，耀斑爆發難以預測，造成在實際觀測中常常漏掉爆發活動的最初始階段，為理論研究帶來不便。目前，國內外天文學界仍沒有一套準確預報耀斑發生位置、高度、大小及其后隨效應的理論體系，因此觀測系統自動識別耀斑爆發、并準確記錄耀斑迅速形成過程，將對太陽耀斑機制的研究和太陽活動預報具有極其重要的意義。

國家天文臺懷柔太陽觀測基地[2]擁有一套高時空分辨率、高靈敏度、適當光譜分辨率和高科學含量的綜合望遠鏡系統，能同時測量太陽上不同層次、不同尺度的視頻矢量磁場、速度場，以及通過光譜掃描獲得光譜線輪廓和Stokes參數輪廓，主要用于太陽物理的基礎研究、日地關系應用基礎研究以及太陽活動對空間環境和通信干擾預報等應用研究。其中口徑為14 cm、觀測波段為6 563 的Hα全日面望遠鏡，可在日常觀測中對日面爆發性活動進行監測，如對耀斑爆發進行監測。為滿足實時處理與識別的需求，Hα全日面望遠鏡的終端圖像處理系統要具有以下功能：a)實時耀斑圖像采集，并對觀測圖像進行分析與預處理；b)實時耀斑特征提取與識別；c)圖像的壓縮、存儲和傳輸。

針對上述太陽望遠鏡終端圖像處理系統的需求，本文采用TI公司最新一代高性能的數字視頻處理技術——達芬奇技術[3]研制了一套日面活動高速圖像處理與識別系統（high-speed solar activities image processing and recognition system，SIPRS）。達芬奇技術是針對數字視頻進行優化，包括高性能數字信號處理片上系統、多媒體編解碼器、嵌入式實時操作系統和應用程序框架構成的一整套開放的數字音頻、圖像及視頻處理平臺。

1硬件設計

1.1系統框圖

太陽光經過Hα全日面望遠鏡在CCD相機上成像，相機選用IMPERX公司型號為MDC-1004的CCD相機，SIPRS通過串口（集成在Camera Link中）配置MDC-1004的各種工作模式和參數控制MDC-1004的電子快門和曝光，然后將MDC-1004采集所得的全日面圖像通過Camera Link讀入，再進行圖像預處理、分析、耀斑特征提取和識別，并將原始圖像和結果圖像通過以太網傳送到高速存儲和回放系統中。SIRPS還可接收遠程Web瀏覽器的訪問、配置和控制。系統框架如圖1所示。

1.2DM6437達芬奇處理器簡介

SIPRS的核心是DM6437達芬奇處理器[4，5]。DM6437作為TI公司新一代高性能的數字媒體處理器，擁有以下出色的性能：

a)采用高性能的C64x+內核、高達600 MHz的主頻、短至1.67 ns的指令周期，每個時鐘周期可并行執行8個32 bit的C64x+指令，性能高達4 800 MIPS。

b)VelociTI.2超長指令體系結構，擁有8個獨立的功能單元，即6個ALU單元和2個乘法單元，非對齊的load-store存取架構，支持字節尋址（8/16/32/64 bit的數據操作），支持位提取、置位和清零；靈活的尋址方式有力地支持了數字信號處理。

c)雙級緩存，32 KB的L1P程序緩存、80 KB的L1D數據緩存、128 KB統一編址的L2可靈活分配的緩存，可極大地提高程序性能。

d)功能豐富的視頻處理子系統。前端子系統支持CCD和CMOS圖像傳感器接口，實時圖像處理預覽引擎，對通用視頻解碼器的無縫接口，直方圖模塊，自動曝光、自動白平衡和自動對焦模塊，縮放模塊；后端子系統支持硬件在屏幕顯示（OSD），4個54 MHz的DAC支持復合NTSC/PAL視頻、S-video輸出和YPbPr及RGB分量輸出，8/16位YUV和24位RGB數字視頻輸出，HD分辨率，支持2個視頻窗口。

e)外部存儲器接口支持256 MB的DDR2 RAM內存，64 MB的NOR Flash，可用于存儲和運行實時嵌入式操作系統DSP/BIOS，復雜的音頻、圖像和視頻處理算法，復雜的用戶程序。

f)支持2個UART，可用于控制數字CCD相機，1個高端CAN用于構建現場總線網，3個PWM輸出用于控制云臺的運動，多達111個GPIO引腳可用于特殊的控制，如數字相機的異步觸發，10/100 Mbps的以太網控制器用于與互聯網通信，實現SIPRS的數據傳輸、遠程配置和操作。

DM6437功能框圖[4，5]如圖2所示。

1.3SIPRS硬件框圖

SIPRS的核心子系統由一個主頻為600 MHz的DM6437達芬奇處理器，兩片MT47H64M16構成的32位256 MB的DDR2 RAM，一片S29GL512N構成的8位NOR Flash構成。其功能子系統由兩部分組成：a)通過Channel Link芯片DS90LV048和LVDS收發器DS90C031BTM、DS90LV019TM構成的Camera Link接口以及相機觸發輸入和脈沖輸出的兩條GPIO線，用于配置和控制MDC-1004并從中獲取圖像和狀態信息；b)采用以太網PHY DM9161A和帶隔離變壓器的RJ45 HR911105A構成的10/100 Mbps以太網接口，用于向Big River TK200高速存儲回放系統發送圖像數據，接收Web瀏覽器的遠程訪問、配置和操作。SIPRS的硬件框圖如圖3所示。

1.4MDC-1004接口設計

限于篇幅，本文省略了SIPRS中DDR2 RAM、NOR Flash、以太網PHY、電源時鐘和復位等常見設計，只對SIPRS中的視頻接口——DM6437的視頻前端（VPFE）與MDC-1004數字相機之間的接口設計進行闡述。

MDC-1004[6]具有以下優秀的性能和靈活的配置：

a)7.4×7.4 μm2的矩形像素大小，1004×1004像素高分辨率的逐行掃描單色CCD相機。

b)12 bit數字輸出，標準的Camera Link接口，最大分辨率下幀速可高達48 fps。

c)可編程的工作模式和工作參數，包括分辨率、幀速、曝光時間、電子快門、長積分時間、Gamma校正、外部觸發、脈沖輸出、動態范圍控制、增益和補償以及內建的測試模式。

MDC-1004與SIPRS的接口有兩個，即相機數字信號接口和IO接口。其中，相機數字信號接口遵循基本Camera Link標準，提供視頻數據、同步信號、控制和串行通信；IO接口提供LVDS差分方式的一路觸發輸入和一路脈沖輸出。由于DM6437的視頻前端的可配置性[7]，MDC-1004與VPFE之間的連接映射[8]比較直接，如圖4所示。

圖4中的虛線箭頭表示對應的信號需要按Camera Link規范采用Channel Link芯片和LVDS收發器進行信號轉換后對應連接；實線箭頭表示直連。其中，+TRIGGER IN與GP[50]之間需要串聯一個300 Ω的電阻；GP[51]需要用1 kΩ的電阻上拉，－TRIGGER IN和－STROBE OUT接地，這些IO接口信號在相機內部已經采用了光耦隔離，因此外部無須再采用隔離措施。

2軟件設計

SIPRS軟件開發在CCS(code composer studio)3.2集成開發環境中進行，采用與CCS無縫集成的DSP/BIOS[9]實時操作系統作為軟件運行平臺，采用Framework Components作為應用程序框架，采用XDAIS Developer’s Kit 和 Codec Engine 作為圖像處理和識別算法框架，采用BIOS/DDK[10]開發外設驅動程序，采用NDK(network developer’s kit)開發Web服務程序[11]。運用這些經過TI公司針對其DSP特別優化的軟件模塊，增強了SIPRS軟件的性能、可移植性和可維護性。

2.1SIPRS任務規劃

針對SIPRS的應用需求，采用OOA（面向對象分析）和OOD（面向對象設計）方法將SIPRS的實際任務映射到BIOS中的具體任務，結合Framework Components規劃出如表1所示的八個任務。

表1SIPRS任務描述

任務名稱任務描述

tskInitSIPRS系統初始化，讀取系統Flash配置區域，對各部件進行配置，特別是MDC-1004的工作模式和工作參數；創建其余任務，然后刪除自己

tskCapture控制MDC-1004進行太陽觀測，獲取全日面太陽圖像

tskPreprocess圖像預處理，去除圖像中的隨機噪聲和幾何畸變，提高信噪比，盡可能去除成像中的圖像退化，使圖像接近其真實對象

tskProcess圖像處理，直方圖統計，時域頻域信息分析

tskPattenRec太陽活動現象自動識別：耀斑特征提取與識別

tskHTTPHTTP服務器遠程交互信息處理，如SIPRS的遠程訪問、配置和操作

tskCompress去除圖像像素間的相關性或冗余，對觀測所得的圖像進行無損壓縮

tskSend將觀測所得的原始壓縮圖像、識別處理后的圖像信息一起打包發送給Big River TK200高速存儲回放系統

上述八個任務占用三個優先級。其中，tskInit優先級為7最高，tskHTTP優先級為5最低，其余六個任務優先級居中為6。太陽觀測圖像和相關信息以同步傳輸隊列和同步傳輸消息的形式在任務間進行傳遞，任務通過BIOS驅動程序來操作相應的硬件，如MDC-1004、串口和以太網。

2.2Web配置設計

NDK包含硬件抽象層、網絡控制模塊、TCP/IP協議棧、DSP/BIOS操作系統抽象層和網絡工具五個庫，支持核心TCP/IP協議如TCP、UDP、ICMP、IGMP、IP、ARP及PPP，還支持HTTP、TELNET、TFTP、DHCP、DNS高層協議服務，采用Berkeley套接字做應用程序編程接口，方便網絡應用程序開發。

采用NDK的HTTP高層協議服務，在SIPRS內構造了一個微型的Web服務器，通過Web瀏覽器如IE、Navigator和Firefox等即可遠程訪問、配置和操作SIPRS。其中的網頁以嵌入式文件系統存于NOR Flash中，tskHTTP作為CGI函數，處理來自瀏覽器的Post和Get請求，完成相應的功能。為了使SIPRS更具有適應性，盡可能將其有實用價值和可配置的參數提取出來，如表2所示。

表2SIPRS配置參數

配置對象配置參數參數取值范圍及說明

MDC-1004輸出模式單輸出或雙輸出

數字相機分辨率最低1個像素，最高1 004×1 004

幀速a)一般情況下為曝光時間倒數，frame rate[fps]=1/exposure time [sec]

b)采用垂直圖像窗，可提高幀速，FR[fps]=1/[(7.2×10-6×(1010-WS))+60.83×10-6+(WS×TL)]。其中：WS為垂直窗尺寸；TL為有效行持續時間

c)長時間積分，幀速＝1/積分時間

鏡像是否，僅對單輸出模式有效

垂直圖像窗垂直窗尺寸＝末行－起始行

水平圖像窗水平窗尺寸＝末列（末像素）－起始列（起始像素）

垂直2:1并行是否

水平2:1并列是否

電子快門1/16 000~1/30 s

長積分時間40 ms~10 s

外部觸發硬件觸發或軟件觸發，可靈活控制幀速和曝光時間以及照相同步

增益0~1 023

偏移0~255

動態噪聲修正是否

Gamma修正是否

測試模式是否

啟動模式用戶設置或工廠設置

以太網IP地址獲取方式動態或靜態

IP地址由實際網絡情況決定

子網掩碼

網關

主要域名服務器

次要域名服務器

管理者名字缺省值admin

管理者密碼缺省值admin

表中的MDC-1004數字相機的設置由tskHTTP調用UART0的驅動程序來完成，通過特定的格式實現對MDC-1004里面的寄存器的訪問和修改。串口通信格式為8 bit數據位，1 bit停止位，無奇偶校驗，缺省波特率為9 600。MDC-1004中寄存器的具體讀寫格式如下：

a)8 bit寄存器寫，0xA5+寄存器地址+0x5A+要寫的數據；

b)16 bit寄存器寫，0xA5+寄存器地址低字節+0x5A+要寫的數據低字節+0xA5+寄存器地址高字節+0x5A+要寫的數據高字節；

c)8 bit寄存器讀，0xA5+寄存器地址+0x55+0x55，相機通過串口返回被讀寄存器數據；

d)16 bit寄存器讀，0xA5+寄存器地址低字節+0x55+0x55，相機通過串口返回被讀寄存器數據低字節；0xA5+寄存器地址高字節+0x55+0x55，相機通過串口返回被讀寄存器數據高字節。

3日面活動圖像處理與識別

3.1圖像預處理

tskPreprocess任務是實現日面活動觀測圖像的預處理。由于下列因素的影響，如望遠鏡對太陽的跟蹤誤差、風等因素使望遠鏡產生的抖動以及光學系統離焦等，觀測所得的圖像會產生幾何畸變，即圖像發生退化。圖像預處理的目的是去除噪聲提高信噪比，盡可能去除成像中的圖像退化，使圖像接近其真實對象。根據圖像退化的原因進行相應的預處理[12]：

a)去除圖像中的隨機噪聲，可采用圖像積分、加長曝光時間或多幀累加的方法提高信噪比；

b)去除圖像幾何畸變，采用三次卷積法、雙線性內插法和最鄰近內插法等內插方法進行幾何畸變失真校正。

對于原始觀測所得日面圖像的預處理部分，為了獲得高速實時預處理速度并為后續處理留有余地，SIPRS采用計算量較小的最鄰近內插法作圖像預處理，每處理一幀圖像后采用幀數可調、多幀累加法累加多幅圖像，這些預處理被封裝在一個CODEC內實現，構成圖像預處理CODEC。

3.2圖像特征提取與處理

由于太陽耀斑爆發沒有固定的位置和形態，也很難從太陽物理學上尋找耀斑爆發與日面其他電磁活動現象的關系，造成耀斑爆發最初階段難以識別。根據日面活動的特點，除耀斑爆發外，其他日面大尺度特征的壽命相對較長、短期變化不明顯，在短時間（如1 h）的采像過程中可將除耀斑外的日面看做寧靜的背景，識別的目的則是在寧靜的背景中分割出活動的耀斑區域[13]。本系統根據日面圖像灰度變化率特征進行圖像分割，選擇合適的灰度閾值，將日面圖像分割成耀斑爆發區域與太陽背景兩部分。算法上采用Ostu灰度閾值分割方法，即最大類間方差法[14，15]，其基本原理為將直方圖在某一閾值處分割成兩組，當被分成的兩組方差為最大時以決定閾值。觀測實驗表明該方法可快速有效地將耀斑從太陽背景中分割出來。

3.3日面活動識別

Hα望遠鏡終端實時采集所得的圖像，經過閾值分割處理后，可根據檢測結果得出是否有耀斑爆發。由于耀斑爆發時圖像局部區域亮度明顯增加，為了不使CCD局部像素飽和造成亮度值溢出，一旦確認有耀斑爆發現象發生時，系統將調用CCD曝光控制以減少曝光時間和采像時間間隔。圖5是識別程序的流程圖（圖中虛線部分是基于歷史觀測資料進行的離線處理，進行分類器設計，將設計好的分類器運用到SIPRS中）。

閾值的選取對于耀斑的識別性能至關重要。在實際測試中，該系統對耀斑發生區域的圖像灰度變化非常敏感。由于目前國內地基式太陽望遠鏡尚未有耀斑自動識別處理功能，需要在日常觀測中對耀斑識別結果進行統計分析，再進行反復的分類器訓練，以期待得到更恰當的灰度閾值。

4結束語

SIPRS的核心——達芬奇處理器DM6437以600 MHz的時鐘高速運行，控制數字CCD相機MDC1004在其最高分辨率1 004×1 004下以幀速48 fps進行太陽圖像采集與處理。實時獲取的日面圖像在針對達芬奇處理器特別優化的實時操作系統DSP/BIOS的控制下，以同步傳輸隊列的方式流經圖像預處理、圖像處理、日面活動識別和圖像壓縮四個經過算法優化的任務的實時處理，最后通過以太網以最高100 Mbps的速率傳送給高速存儲和回放系統。整個系統完全滿足太陽觀測、處理和存儲的嚴格實時要求。尤其是耀斑識別功能，填補了目前國內這一領域的空白，對天文學理論研究具有重要的意義。同時，這項技術可為我國正在推進的空間科學項目，如空間太陽望遠鏡、夸父、SMESE等的太陽活動爆發現象的觀測積累技術和經驗。

參考文獻：

[1]HAHN M GAARD S JIBBEN P，et al. Spatial relationship between twist in active region magnetic fields and solar flares[J].The Astrophysical Journal，2005，629(2):1135-1140.

[2]北京天文臺懷柔太陽觀測基地[EB/OL].http://sun.bao.ac.cn/index1.html.

[3]DaVinci technology digital video innovation product bulletin(Rev. D)[R]. Chicago: Texas Instruments Incorporated 2007.

[4]TMS320DM6437 data sheet[R]. Chicago: Texas Instruments Incorporated，2007.

[5]Overview of DaVinciTM TMS320DM643x digital media portfolio(Rev.B)[R]. Chicago: Texas Instruments Incorporated 2007.

[6]MDC-1004 and MDC-1004C-1 mega pixel 12 bit Camera Link digital Cameras user’s manual[K]. Boca Raton: IMPERX Incorporated 2004.

[7]TMS320DM643x DMP video processing front end(VPFE) user’s guide[K]. Chicago: Texas Instruments Incorporated 2007.

[8]Specifications of the camera link interface standard for digital cameras and frame grabbers[S].[S.l.]:Camera Link Incorporated，2004.

[9]DSP/BIOS device driver developer’s guide[R]. Chicago: Texas Instruments Incorporated 2002.

[10]TMS320 DSP/BIOS user’s guide[R]. Chicago: Texas Instruments Incorporated 2002.

[11]TMS320C6000 network developer’s kit(NDK) software program-mer’s reference guide(Rev.D)[K]. Chicago: Texas Instruments Incorporated 2007.

[12]何斌 馬天予. Visual C++數字圖像處理[M]. 北京:人民郵電出版社 2001.

[13]耿則勛 王振國. 改進的天文斑點圖像高清晰重建方法[J]. 光學精密工程，2007，15(7):1151-1156.

[14]林國余 張為公. 基于進化規劃的最大類間方差的圖像分割算法[J]. 傳感技術學報 2006，19(1):179-182.

[15]孔明 孫希平 王永驥. 一種改進的基于類間方差的閾值分割法[J]. 華中科技大學學報:自然科學版，2004，32(7):46-47.