高分多模衛(wèi)星相機(jī)圖像高速實時判讀快視系統(tǒng)設(shè)計

尤佳 倪琳娜 王闊 董天舒 郝志雅

(1 中國空間技術(shù)研究院遙感衛(wèi)星總體部，北京 100094)(2 北京空間飛行器總體設(shè)計部，北京 100094)

在遙感相機(jī)的研制過程中，為了對相機(jī)成像質(zhì)量、整機(jī)傳遞函數(shù)以及相機(jī)圖像信噪比等作出評價，需要采用快視系統(tǒng)對相機(jī)輸出圖像數(shù)據(jù)進(jìn)行實時顯示和大容量記錄存儲，并通過在線和離線數(shù)據(jù)分析來測試相機(jī)性能。作為光、機(jī)、電一體化技術(shù)高密集型產(chǎn)品的遙感相機(jī)，隨著觀察視場和分辨率指標(biāo)要求的不斷提高，目前大都采用高速多通道并行輸出結(jié)構(gòu)，這使得數(shù)字化后圖像數(shù)據(jù)量急劇增長，從而給快視系統(tǒng)的研制帶來了極大的挑戰(zhàn)[1-2]。

針對此項技術(shù)，國內(nèi)外許多學(xué)者做了大量的研究工作，目前大致有以下兩種解決方案：一是基于總線接口標(biāo)準(zhǔn)外設(shè)組件互連標(biāo)準(zhǔn)(PCI)或高速串行計算機(jī)擴(kuò)展總線標(biāo)準(zhǔn)(PCIE)的數(shù)據(jù)采集卡系統(tǒng)架構(gòu)，由數(shù)據(jù)采集卡完成數(shù)據(jù)接收，通過PCI或PCIE總線傳送給計算機(jī)內(nèi)存，再由計算機(jī)自帶的集成開發(fā)環(huán)境(IDE)接口將數(shù)據(jù)寫入硬盤[3-4]；二是在方案一的基礎(chǔ)上，采用計算機(jī)集群的系統(tǒng)架構(gòu)，每臺計算機(jī)只完成某一通道的數(shù)據(jù)顯示與記錄[5]。然而，由于遙感相機(jī)數(shù)據(jù)率呈井噴式增長，上述方案皆存在各式各樣的問題。方案一雖然簡單、可靠，但由于計算機(jī)系統(tǒng)的帶寬限制，無法實現(xiàn)高速數(shù)據(jù)顯示及處理。方案二系統(tǒng)結(jié)構(gòu)復(fù)雜、質(zhì)量大、不夠靈活、對環(huán)境的適應(yīng)性不好，通道之間顯示較難同步。針對上述系統(tǒng)方案的不足，本文在參考國內(nèi)外相關(guān)技術(shù)的基礎(chǔ)上，提出并構(gòu)建了基于實時接口現(xiàn)場可編程門陣列(FPGA)并行處理技術(shù)的快視系統(tǒng)。該系統(tǒng)可直接控制大容量串口硬盤(SATA)陣列實現(xiàn)高速海量存儲。預(yù)處理單元實時對高速海量圖像數(shù)據(jù)進(jìn)行縮放、輔助數(shù)據(jù)判讀和“花塊”檢測等操作，克服傳統(tǒng)快視系統(tǒng)無法高速實時處理海量圖像數(shù)據(jù)的技術(shù)瓶頸，圖像異常檢測率高達(dá)95%，可實現(xiàn)總速率高達(dá)80 Gbit/s的圖像數(shù)據(jù)實時顯示及判讀。

1 系統(tǒng)組成及工作原理

文本中數(shù)據(jù)接收存儲服務(wù)器接收從萬兆網(wǎng)傳輸過來的數(shù)傳綜合處理設(shè)備的原始數(shù)據(jù)，并將數(shù)據(jù)進(jìn)行分路，一路進(jìn)行短時存儲，另一路通過PCIE總線傳送至硬件加速模塊中FPGA硬件加速設(shè)備進(jìn)行處理。FPGA硬件加速設(shè)備對數(shù)據(jù)進(jìn)行圖像的縮放、關(guān)鍵特性計算以及數(shù)據(jù)判讀等各種處理，并將處理之后的數(shù)據(jù)及信息傳送至圖像顯示及綜合判讀終端，其處理過程如圖1所示；圖像顯示及綜合判讀終端則對用戶感興趣的信息進(jìn)行提取、判讀和分析。

注：MTF為調(diào)制傳遞函數(shù)。圖1 FPGA硬件加速處理設(shè)備FPGA處理流程圖Fig.1 Processing diagram of hardware acceleration device

其中，F(xiàn)PGA硬件加速設(shè)備采用Altera FPGA Stratix V GX產(chǎn)品型號作為主控制器實現(xiàn)。圖2為FPGA硬件加速設(shè)備功能框圖，從圖2中可以看出每臺硬件加速設(shè)備構(gòu)建了兩個高速數(shù)據(jù)處理模塊，該處理模塊的具體功能如圖3所示，快視設(shè)備中目前所涉及的基本圖像分析算法(灰度最大值、灰度最小值、灰度均值、灰度方差、灰度直方圖、信噪比、MTF等)均在該高速數(shù)據(jù)處理模塊中實現(xiàn)。多個通道的圖像數(shù)據(jù)完全并行處理，各個通道的圖像數(shù)據(jù)處理模塊均工作在流水線狀態(tài)下，利用FPGA來構(gòu)造硬件協(xié)處理器，并行高效的完成圖像抽樣顯示、處理計算、統(tǒng)計判讀等[6-8]。

圖2 FPGA硬件加速處理設(shè)備功能框圖Fig.2 Block diagram of hardware acceleration functions

此外，F(xiàn)PGA硬件加速處理設(shè)備中還構(gòu)建了NiosII處理器，該處理器主要用于接收和解析千兆網(wǎng)絡(luò)過來的命令，并將板卡的一些相應(yīng)狀態(tài)發(fā)送至上位機(jī)。遠(yuǎn)程升級模塊主要用于對FPGA程序進(jìn)行在線修改，使得該設(shè)備可加載不同的配置文件完成相應(yīng)的任務(wù)。看門狗模塊使得該設(shè)備總是處于正常狀態(tài)。

2 系統(tǒng)軟件設(shè)計

圖像顯示及綜合判讀終端軟件主要功能是接收集群管理服務(wù)器的指令，根據(jù)指令調(diào)度管理“數(shù)據(jù)接收存儲服務(wù)器”、“FPGA硬件加速設(shè)備”和“多路復(fù)接設(shè)備”。圖像顯示及綜合判讀終端軟件功能模塊示意如圖4所示。軟件通過PCIE光纖卡[9]接收硬件協(xié)處理板處理后的通道圖像數(shù)據(jù)、通道圖像分析數(shù)據(jù)和硬件處理狀態(tài)，通道圖像數(shù)據(jù)按內(nèi)部協(xié)議格式解析后重組為各通道圖像數(shù)據(jù)，圖像數(shù)據(jù)送至圖像顯示進(jìn)行圖像量化值、曲線、表格、圖像等方式進(jìn)行顯示；圖像數(shù)據(jù)并行進(jìn)行傳函、信噪比等算法分析[10-11]；通道圖像分析數(shù)據(jù)按協(xié)議解析后進(jìn)行顯示和保存。根據(jù)軟件需求，軟件可對圖像判讀日志、輔助數(shù)據(jù)判讀日志、圖像分析結(jié)果日志、硬件處理器單元日志和集群管理通信日志進(jìn)行統(tǒng)一的顯示和存儲。軟件需要具備良好的可配置性，軟件包含通道圖像數(shù)據(jù)格式配置、輔助數(shù)據(jù)格式配置、通道圖像顯示方式配置。

圖4 圖像顯示及綜合判讀終端軟件功能模塊示意圖Fig.4 Schematic diagram of fast-view system

3 系統(tǒng)功能實現(xiàn)

3.1 集群管理服務(wù)器通訊

建立傳輸控制協(xié)議(TCP)的服務(wù)端，監(jiān)聽集群管理服務(wù)器發(fā)起的連接：接收集群管理服務(wù)器軟件指令，向集群管理服務(wù)器上傳通道圖像判讀信息、輔助數(shù)據(jù)判讀信息、衛(wèi)星服務(wù)數(shù)據(jù)信息和工作狀態(tài)。與數(shù)據(jù)接收存儲服務(wù)器建立網(wǎng)絡(luò)連接，向數(shù)據(jù)接收存儲服務(wù)器發(fā)送指令并接收數(shù)據(jù)接收存儲服務(wù)器上傳的工作日志狀態(tài)。

根據(jù)網(wǎng)絡(luò)或用戶指令選擇工作模式，管理調(diào)度硬件處理控制單元和輔助數(shù)據(jù)管理單元。在網(wǎng)絡(luò)模式下，執(zhí)行集群管理服務(wù)器通訊模塊發(fā)送的指令，并根據(jù)指令產(chǎn)生對應(yīng)的控制指令發(fā)送給前端數(shù)據(jù)接收存儲服務(wù)器。在本地模式下，根據(jù)用戶操作并根據(jù)指令產(chǎn)生對應(yīng)的控制指令發(fā)送給前端數(shù)據(jù)接收存儲服務(wù)器；在網(wǎng)絡(luò)和本地模式下，對硬件處理控制單元發(fā)送指令，控制通道抽樣比例、選擇通道圖像、設(shè)置圖像分析算法配置參數(shù)(均值、最大/小值、直方圖、噪點)。

與硬件協(xié)處理板建立網(wǎng)絡(luò)連接，并向硬件協(xié)處理板發(fā)送指令；配置管理PCIE光纖卡，接收解析硬件協(xié)處理板處理后的圖像數(shù)據(jù)、圖像分析數(shù)據(jù)、輔助數(shù)據(jù)和硬件狀態(tài)信息。

3.2 圖像數(shù)據(jù)顯示

圖像顯示方式：對通道圖像進(jìn)行抽樣、放大顯示；根據(jù)屏幕刷新率，對一次或幾次刷新周期內(nèi)接收的圖像數(shù)據(jù)，在抽樣后進(jìn)行圖像幅間的算法合并；合并刷新周期次數(shù)可選，最小為一個刷新周期，算法為平均、取最大、取最小等方式，方法可選；上述算法處理可在保留有效信息的情況下降低顯示數(shù)據(jù)率，方便人眼觀測；同時顯示各通道圖像縮略圖，用戶可選通道圖像顯示擺放方式。

軟件可實現(xiàn)對某通道圖像進(jìn)行全屏放大顯示，顯示內(nèi)容為原始圖像幅，放大情況下可不對其他圖像進(jìn)行顯示；通過鼠標(biāo)拖放選擇一個圖像區(qū)域，對該區(qū)域進(jìn)行放大顯示，放大顯示占用圖像所在區(qū)域顯示，可同時支持多路放大區(qū)域的顯示，提供快捷鍵或菜單操作取消某個放大區(qū)域或全部放大區(qū)域的放大顯示，恢復(fù)正常抽樣顯示；將圖像顯示為灰度值矩陣，將圖像以灰度值表格的形式顯示，灰度值可以為16 bit、8 bit、十進(jìn)制、十六進(jìn)制方式；可將制定的一行或多行圖像以灰度值曲線的方式進(jìn)行顯示，灰度值可量化為8 bit或16 bit，多行圖像時取平均值；提供快捷鍵，在圖像、表格和曲線顯示方式間切換。

3.3 圖像分析及花塊檢測

系統(tǒng)通過解析硬件協(xié)處理板處理的各通道圖像處理數(shù)據(jù)，對處理數(shù)據(jù)按圖像檢測算法需要配置分析。對圖像數(shù)據(jù)進(jìn)行算法處理如傳函計算、信噪比計算等。對圖像進(jìn)行異常檢測判讀。在整星測試過程中，相機(jī)在成像過程中其每幅圖像的直方圖應(yīng)該是完全一樣的，故可直接比對直方圖檢測圖像的“花塊”異常，如有差異按余弦距離計算其相似度。

1)直方圖相似度比對判讀方法

(1)計算當(dāng)前幅圖像與前一幅圖像直方圖的相似度；

(2)計算直方圖相似度比對的判讀閾值；

(3)將相似度計算結(jié)果與計算閾值比較，大于閾值圖像異常；小于閾值圖像正常。

2)直方圖相似度計算公式

(1)直方圖計算公式為

(1)

式中：n(r)表示灰度值為r的像素點個數(shù)，N表示一幅圖像像素點總數(shù)，p(r)表示一幅圖像中灰度值r出現(xiàn)的概率。

(2)直方圖相似度計算指計算圖像直方圖的相關(guān)值，計算公式為

(2)

式中：N表示像素比特位數(shù)，Pcur表示當(dāng)前幅圖像灰度值出現(xiàn)概率，Pfro表示當(dāng)前幅前一幅圖像灰度值出現(xiàn)概率。

4 測試結(jié)果

4.1 顯示性能測試

圖像顯示及綜合判讀終端界面主要功能是將各通道圖像、輔助數(shù)據(jù)、解析結(jié)果、判讀結(jié)果呈現(xiàn)出來，但CCD圖像通道多、幅面寬，無法一一顯示，為了兼顧整理瀏覽和局部細(xì)節(jié)查看兩種功能，顯示界面整體上分為兩個部分。一邊為縮略顯示區(qū)，可以將各通道圖像縮略顯示，如果通道數(shù)量太多造成各通道圖像顯示區(qū)太小，可以將各通道圖像分頁顯示，縮略顯示區(qū)的左上角有縮略顯示切換菜單。另一邊為局部細(xì)節(jié)顯示區(qū)，局部細(xì)節(jié)顯示區(qū)功能分為5個區(qū)域，分別是通道選擇區(qū)、日志信息顯示、當(dāng)前通道日志、輔助數(shù)據(jù)曲線顯示和輔助數(shù)據(jù)源碼、解析結(jié)果顯示。系統(tǒng)具有按照測試需求進(jìn)行顯示模式切換的功能，具體測試結(jié)果如圖5至圖7所示。

圖5 全縮略顯示圖Fig.5 Thumbnail display images

圖6 輔助數(shù)據(jù)曲線放大顯示圖Fig.6 Enlarged display images by auxiliary data

圖7 單通道分屏顯示圖Fig.7 Display diagram of fast-view system in two channels

4.2 圖像異常檢測測試結(jié)果

當(dāng)圖像數(shù)據(jù)為相機(jī)真實測試數(shù)據(jù)時，圖像會因為積分時間增益等發(fā)生變化，即使成像條件不變，也會因為相機(jī)CCD的傳感器采樣發(fā)生微小變化即相機(jī)圖像出現(xiàn)“花塊”異常(見圖8)。直方圖會表現(xiàn)出明顯差異，圖9是實際測試中的相機(jī)數(shù)據(jù)。

圖8 遙感相機(jī)異常圖像Fig.8 Abnormal image of sensing satellite camera

圖9 相機(jī)異常圖像的直方圖Fig.9 Histogram of abnormal camera image

圖像的直方圖已經(jīng)由圖像硬件協(xié)處理器計算完成，軟件針對直方圖進(jìn)行比對，比對算法規(guī)則如下。

(1)計算直方圖中主峰的區(qū)域，記錄主峰的左右像素值為Hright和Hleft，主峰應(yīng)包含絕大部分像素，比例記為Mmost；

(2)判斷前后兩幅圖像的主峰比例Mmost，如果有差異，則判為有“花塊”，若主峰比例相同則進(jìn)入下一步進(jìn)一步判斷；

(3)對兩幅圖像主峰內(nèi)直方圖信息進(jìn)行相似度計算，如相似度超過閾值則判為無花塊，否則認(rèn)為有花塊。

按照上述算法規(guī)則，真實遙感衛(wèi)星相機(jī)異常圖像經(jīng)過快視系統(tǒng)接收處理后輸出“花塊”檢測結(jié)果如圖10所示。

圖10 判讀出異常花塊的顯示定位結(jié)果Fig.10 Locating result of abnormal detection

實際測試結(jié)果表明：該系統(tǒng)的圖像“花塊”檢測率高達(dá)95%，目前已經(jīng)成功運用于高分多模衛(wèi)星相機(jī)的整星測試中，在顯著提高相機(jī)數(shù)據(jù)質(zhì)量評估效率的同時也節(jié)約了測試人力的成本。

5 結(jié)束語

為解決遙感相機(jī)輸出通道多、數(shù)據(jù)率高和像素灰度量化位數(shù)高等問題，本文提出了一種基于FPGA的快視系統(tǒng)架構(gòu)。系統(tǒng)充分利用FPGA的并行處理能力，首先由FPGA直接對多塊SATA硬盤進(jìn)行控制，解決了傳統(tǒng)方案中存儲容量與存儲速度不可兼得的問題；并首次在快視系統(tǒng)中提出硬件數(shù)據(jù)預(yù)處理概念，由FPGA直接對高速海量CCD圖像數(shù)據(jù)進(jìn)行縮放、平移和數(shù)據(jù)融合等操作，克服了計算機(jī)處理高速海量圖像數(shù)據(jù)的技術(shù)瓶頸；最后采用多臺12位顯示器進(jìn)行大幅面、高灰階無縫顯示，彌補了以往快視系統(tǒng)只能截斷與抽樣顯示大幅面高灰階遙感圖像的缺陷。本系統(tǒng)能對遙感相機(jī)輸出的多通道高速圖像數(shù)據(jù)進(jìn)行實時快視、記錄和事后回放，可對遙感相機(jī)的成像質(zhì)量和各種性能參數(shù)做出準(zhǔn)確的評價，給遙感相機(jī)的研制人員帶來了極大的方便。目前本系統(tǒng)已成功應(yīng)用于高分多模衛(wèi)星測試項目，系統(tǒng)運行可靠，性能穩(wěn)定。實驗測試結(jié)果顯示：該系統(tǒng)存儲容量可達(dá)100 TB，可對18通道CCD圖像數(shù)據(jù)進(jìn)行記錄與實時顯示，每通道CCD輸出時鐘頻率為140 MHz，像元數(shù)為8192，數(shù)據(jù)為12位量化，總速率高達(dá)80 Gbit/s。如果處理的通道數(shù)需要增加，只需增加相應(yīng)的單元即可，具有良好的擴(kuò)展性。