一種無(wú)人機(jī)動(dòng)態(tài)監(jiān)測(cè)遙感數(shù)據(jù)快速處理方法

張春曉，文高進(jìn)，王洪民，尚志鳴

(北京空間機(jī)電研究所，北京 100191)

Fast Aerial Image Processing for UAV Dynamic Monitoring

ZHANG Chunxiao，WEN Gaojin，WANG Hongmin，SHANG Zhiming

?

一種無(wú)人機(jī)動(dòng)態(tài)監(jiān)測(cè)遙感數(shù)據(jù)快速處理方法

張春曉，文高進(jìn)，王洪民，尚志鳴

(北京空間機(jī)電研究所，北京 100191)

Fast Aerial Image Processing for UAV Dynamic Monitoring

ZHANG Chunxiao，WEN Gaojin，WANG Hongmin，SHANG Zhiming

摘要：針對(duì)無(wú)人機(jī)遙感平臺(tái)進(jìn)行動(dòng)態(tài)監(jiān)測(cè)要求快速檢索、快速處理航拍圖片的需求特點(diǎn)，提出了一種快速處理策略。通過(guò)對(duì)下傳實(shí)時(shí)視頻的內(nèi)容理解在航拍圖片采集時(shí)執(zhí)行分類(lèi)標(biāo)記，并由此進(jìn)行篩選分類(lèi)，從而在時(shí)間軸上實(shí)現(xiàn)了待處理航拍圖片的快速索引；通過(guò)構(gòu)建拼接壓縮圖和原始航拍圖的關(guān)系，對(duì)低分辨率拼接圖上的任意區(qū)域均可關(guān)聯(lián)到包含該區(qū)域的高分辨率原始圖片，從而兼顧拼接圖概貌展示處理的快速性和原有信息的細(xì)節(jié)展示性。依據(jù)該策略設(shè)計(jì)了一套低失真、快速地面信息處理流程，解決了海量數(shù)據(jù)檢索盲目性和大數(shù)據(jù)處理復(fù)雜性問(wèn)題，符合無(wú)人機(jī)動(dòng)態(tài)監(jiān)測(cè)的應(yīng)用需求，具有廣闊應(yīng)用前景。

關(guān)鍵詞：無(wú)人機(jī)；動(dòng)態(tài)監(jiān)測(cè)；遙感圖像；快速處理

一、引言

無(wú)人機(jī)作為一種新型遙感平臺(tái)，具有體積小、重量輕、造價(jià)低、適應(yīng)危險(xiǎn)環(huán)境、避免機(jī)載人員傷亡等優(yōu)點(diǎn)，在情報(bào)、偵察、監(jiān)視等領(lǐng)域有廣泛的應(yīng)用價(jià)值[1-3]。無(wú)人機(jī)動(dòng)態(tài)監(jiān)測(cè)要求數(shù)據(jù)顯示、存儲(chǔ)的快速性和處理的時(shí)效性，以支持快速?zèng)Q策和及時(shí)響應(yīng)[4-5]。動(dòng)態(tài)監(jiān)測(cè)數(shù)據(jù)處理基本可以分成兩類(lèi)：視頻信號(hào)的實(shí)時(shí)處理和航拍運(yùn)動(dòng)圖片的事后處理。視頻信號(hào)經(jīng)無(wú)線傳輸至地面基站，進(jìn)行實(shí)時(shí)顯示，甚至目標(biāo)跟蹤等視頻處理；航拍運(yùn)動(dòng)圖片在飛行任務(wù)結(jié)束后從存儲(chǔ)器中導(dǎo)入工作站，進(jìn)行常規(guī)的拼接、定位等操作[6]。由于航拍運(yùn)動(dòng)圖片相對(duì)視頻有更高的地面分辨率，往往包含更多的目標(biāo)信息，在航空偵察領(lǐng)域應(yīng)用更為廣泛[7-9]。

對(duì)航拍運(yùn)動(dòng)圖片快速處理體現(xiàn)在快速檢索和快速處理兩個(gè)方面，數(shù)據(jù)存儲(chǔ)器讀取速度的提升只能有限程度地加快檢索，從存儲(chǔ)器中讀取海量數(shù)據(jù)、分類(lèi)篩選有用信息仍是非常耗時(shí)的工作。由于數(shù)據(jù)采集和數(shù)據(jù)處理兩個(gè)過(guò)程互不相干，采集過(guò)程不能為航拍圖片的事后處理提供任何檢索信息，這種完全隔離的處理模式不利于數(shù)據(jù)的快速檢索；但若在飛行任務(wù)執(zhí)行時(shí)完成數(shù)據(jù)處理，又大大增加了機(jī)載數(shù)據(jù)快速處理的軟硬件實(shí)現(xiàn)難度，對(duì)無(wú)人機(jī)有限容量也提出了極大挑戰(zhàn)。

實(shí)現(xiàn)快速處理(如圖像拼接)通常采用高性能的服務(wù)器集群并行運(yùn)算，造成了資源的過(guò)度浪費(fèi)[10]。動(dòng)態(tài)監(jiān)測(cè)中的拼接不是為了生成測(cè)繪產(chǎn)品，而是提供整個(gè)測(cè)區(qū)的概貌，無(wú)須在原始分辨率上進(jìn)行精細(xì)操作，但對(duì)于感興趣的區(qū)域卻要支持原始分辨率的觀察。因此，在降低分辨率加快拼接速度的同時(shí)，要保證不損失原有細(xì)節(jié)信息，從而用較少的計(jì)算資源實(shí)現(xiàn)態(tài)勢(shì)觀察與局部詳察的自如切換。

針對(duì)上述問(wèn)題，本文設(shè)計(jì)了一套無(wú)人機(jī)動(dòng)態(tài)監(jiān)測(cè)遙感數(shù)據(jù)快速處理策略，具體包括：在數(shù)據(jù)采集過(guò)程中引入檢索信息，以加快數(shù)據(jù)篩選分類(lèi)；在拼接過(guò)程中構(gòu)建原始圖片和降分辨率拼接圖的相互關(guān)系，以兼顧數(shù)據(jù)壓縮處理快速性和原有信息的細(xì)節(jié)展示性。本文第2章介紹用于獲取遙感數(shù)據(jù)的無(wú)人機(jī)動(dòng)態(tài)監(jiān)測(cè)系統(tǒng)的組成及作業(yè)流程，這里以快速拼接為作業(yè)目的；第3章闡述快速處理策略的信息處理流程；第4章結(jié)合Qt開(kāi)發(fā)平臺(tái)展示了軟件實(shí)現(xiàn)界面。

二、系統(tǒng)組成及作業(yè)流程

為了在數(shù)據(jù)采集時(shí)引入分類(lèi)信息，考慮到實(shí)時(shí)視頻和數(shù)據(jù)采集是同步進(jìn)行的，可以通過(guò)對(duì)下傳實(shí)時(shí)視頻的內(nèi)容理解執(zhí)行分類(lèi)標(biāo)記，依據(jù)標(biāo)記信息，在時(shí)間軸上索引航拍圖片進(jìn)行篩選分類(lèi)。因此，在進(jìn)行動(dòng)態(tài)監(jiān)視時(shí)，同時(shí)執(zhí)行視頻采集和航拍圖片的拍攝。整個(gè)系統(tǒng)組成如圖1所示。

圖1　無(wú)人機(jī)動(dòng)態(tài)監(jiān)測(cè)系統(tǒng)組成示意圖

圖2　工作流程圖

無(wú)人機(jī)動(dòng)態(tài)監(jiān)測(cè)系統(tǒng)主要分為空中和地面兩大部分?？罩胁糠钟蓹C(jī)載調(diào)頻電臺(tái)接收地面發(fā)送的飛機(jī)導(dǎo)航指令和云臺(tái)角度控制指令，將其傳送到相應(yīng)的控制電路，同時(shí)在機(jī)載主控電路的管理下，將每幀航拍時(shí)的飛機(jī)、云臺(tái)位姿信息通過(guò)電臺(tái)下傳至地面；機(jī)載主控控制光學(xué)遙感器按照指定方式拍照，并導(dǎo)入大容量存儲(chǔ)器，而取景器中的視頻經(jīng)實(shí)時(shí)采集由機(jī)載視頻發(fā)射電臺(tái)發(fā)送至地面。地面部分通過(guò)地面調(diào)頻電臺(tái)接收無(wú)人機(jī)、云臺(tái)的狀態(tài)信息到飛控計(jì)算機(jī)，不僅用于實(shí)時(shí)監(jiān)視飛機(jī)、云臺(tái)狀態(tài)，而且也幫助生成分類(lèi)標(biāo)記中的部分信息，飛控計(jì)算機(jī)將飛控指令和手柄對(duì)云臺(tái)的控制指令傳至無(wú)人機(jī)；地面視頻接收電臺(tái)將下傳的視頻接收并傳至顯示器，地面操作人員可以觀看視頻，并對(duì)感興趣的內(nèi)容作標(biāo)記，幫助生成分類(lèi)標(biāo)記中的另一部分信息；對(duì)于每幀航拍圖片飛控計(jì)算機(jī)都記錄了一個(gè)分類(lèi)標(biāo)記信息，包括拍照時(shí)刻的飛機(jī)、云臺(tái)狀態(tài)，以及內(nèi)容理解信息，當(dāng)飛行任務(wù)結(jié)束后，僅通過(guò)分類(lèi)標(biāo)記信息即可對(duì)航拍圖片進(jìn)行快速分類(lèi)，圖像處理工作站依據(jù)分類(lèi)檢索出待處理的圖片進(jìn)行拼接等事后處理，并將其中重要的結(jié)果通過(guò)電臺(tái)發(fā)送至指揮大樓。整個(gè)作業(yè)流程如圖2所示。

三、系統(tǒng)信息處理流程

上述系統(tǒng)對(duì)應(yīng)的地面數(shù)據(jù)處理分成了飛行任務(wù)執(zhí)行時(shí)的視頻顯示與分類(lèi)標(biāo)記軟件和事后分析的航拍圖像快速瀏覽與拼接軟件。視頻顯示與分類(lèi)標(biāo)記軟件是與飛機(jī)飛行同步的實(shí)時(shí)處理軟件，以視頻流、位姿數(shù)據(jù)流為輸入，通過(guò)人工交互實(shí)現(xiàn)對(duì)興趣圖片的內(nèi)容標(biāo)記，并生成標(biāo)記文件，以便于飛行結(jié)束后對(duì)航拍圖片快速檢索。快速瀏覽與拼接軟件是完成飛行任務(wù)即拿到所有拍攝航拍圖片后執(zhí)行快速瀏覽和拼接的軟件，以航拍原始圖像數(shù)據(jù)和標(biāo)記文件為輸入，以拼接文件為輸出，并可支持對(duì)拼接文件的讀入與顯示。兩個(gè)軟件均需用戶界面的人工交互，可以獨(dú)立使用，也可捆綁在一起完成一個(gè)處理流程。

1. 視頻顯示與分類(lèi)標(biāo)記信號(hào)處理流程

視頻顯示與分類(lèi)標(biāo)記的信號(hào)流程如圖3所示。從圖傳電臺(tái)輸出的模擬視頻信號(hào)經(jīng)過(guò)圖像采集卡變成數(shù)字信號(hào)，調(diào)用采集卡開(kāi)發(fā)包的函數(shù)可以方便地將視頻圖像顯示在軟件的視頻顯示窗口。從數(shù)傳電臺(tái)得到的位置、姿態(tài)數(shù)據(jù)經(jīng)串口讀入，將實(shí)時(shí)更新云臺(tái)拍攝示意圖窗口、地圖顯示窗口，以及分類(lèi)標(biāo)記文件寫(xiě)入模塊。云臺(tái)拍攝示意圖窗口實(shí)時(shí)反映了在三維空間下云臺(tái)的拍攝角度。地圖顯示窗口將更新當(dāng)前位置在地圖上的顯示。標(biāo)記文件寫(xiě)入模塊負(fù)責(zé)位置、姿態(tài)數(shù)據(jù)的記錄和興趣模式標(biāo)識(shí)。機(jī)載主控在拍攝并存儲(chǔ)每幀圖片時(shí)就此時(shí)飛機(jī)、云臺(tái)的位姿信息及拍照時(shí)刻信息打包為一個(gè)單元，通過(guò)電臺(tái)下傳并寫(xiě)入標(biāo)記文件。由于機(jī)載存儲(chǔ)器可以按存儲(chǔ)時(shí)間進(jìn)行數(shù)據(jù)管理，即使無(wú)線鏈路由于某種不明原因中斷，也不會(huì)出現(xiàn)標(biāo)記文件和圖片對(duì)不上的情況。

圖3　視頻顯示與分類(lèi)標(biāo)記信號(hào)流程

標(biāo)記文件內(nèi)容組成如圖4所示。當(dāng)用戶在視頻顯示窗口觀察到感興趣圖片時(shí)，打開(kāi)感興趣內(nèi)容標(biāo)記窗口，可以選擇一個(gè)或多個(gè)感興趣模式，然后標(biāo)記文件的“興趣標(biāo)識(shí)模式”隨之更新。當(dāng)完成整個(gè)飛行任務(wù)時(shí)，標(biāo)識(shí)文件完成寫(xiě)入，自動(dòng)生成后綴為MARK的文件。

圖4　分類(lèi)標(biāo)記單元內(nèi)容組成

2. 快速瀏覽與拼接信號(hào)處理流程

快速瀏覽與拼接軟件是完成飛行任務(wù)后，即拿到所有航拍圖片后執(zhí)行快速瀏覽和拼接的軟件，圖5為快速瀏覽與拼接信號(hào)處理流程。這里支持兩種監(jiān)視模式下的圖像瀏覽與拼接，分別是定點(diǎn)懸停全景拍攝模式的拼接和固定視場(chǎng)角以一定速度推進(jìn)的巡航拍攝模式的拼接。除了拼接圖片外，還記錄了生成拼接圖的原圖圖號(hào)、尺寸壓縮比、拼接過(guò)程中間處理結(jié)果(如計(jì)算得到的原圖之間相對(duì)位置關(guān)系，各原圖4個(gè)角點(diǎn)在拼接圖上的位置)。

圖5　快速瀏覽與拼接流程

完成飛行任務(wù)后，讀入分類(lèi)標(biāo)記文件，根據(jù)記錄內(nèi)容的“興趣標(biāo)識(shí)模式”和“監(jiān)視模式”，以及它們的時(shí)空連續(xù)性，將所有的航拍圖片按時(shí)間順序和興趣內(nèi)容分成若干處理群，如巡航拼接處理群和全景拼接處理群。由標(biāo)記文件中的拍攝時(shí)刻信息可以快速檢索到待處理的航拍圖片，并開(kāi)辟足夠的內(nèi)存空間。為了滿足快速響應(yīng)的要求，高分辨率航拍圖片先按一定的尺寸比例進(jìn)行縮小，再進(jìn)行拼接處理。快速瀏覽實(shí)現(xiàn)了縮小圖片的縮略圖顯示，雙擊選中某張縮略圖也可顯示對(duì)應(yīng)的原始圖片。

拼接過(guò)程采用成熟的航拍圖片拼接方法和全景圖拼接方法，求解各圖片間的相互位置關(guān)系，并得到各圖片4個(gè)角點(diǎn)在拼接圖中的位置，從而可以確定是哪些圖片確定了拼接圖中某個(gè)像素。用戶選擇拼接圖片上任意一點(diǎn)，會(huì)顯示生成該點(diǎn)的所有相關(guān)圖片，選擇某張?jiān)紙D片進(jìn)行顯示，以觀察局部細(xì)節(jié)。

四、軟件實(shí)現(xiàn)界面

在Qt開(kāi)發(fā)平臺(tái)上實(shí)現(xiàn)上述信息處理過(guò)程，圖6是視頻顯示與分類(lèi)標(biāo)記軟件界面。標(biāo)記文件經(jīng)內(nèi)部歸類(lèi)后，若要實(shí)現(xiàn)某處的全景拼接，該處所有航拍圖片被快速檢索出來(lái)，可以進(jìn)行縮略圖瀏覽，低分辨率的拼接圖片和拼接過(guò)程文件可一起保存下來(lái)。點(diǎn)擊拼接圖片的任意一點(diǎn)，可索引到包含該區(qū)域的原始圖片，如圖7所示，選擇感興趣的一張進(jìn)行細(xì)節(jié)顯示。

圖6　視頻顯示與標(biāo)記軟件界面

圖7　快速瀏覽與拼接軟件界面

五、結(jié)束語(yǔ)

本文提出了一種無(wú)人機(jī)航拍圖片快速處理流程，可有效解決無(wú)人機(jī)遙感平臺(tái)用于動(dòng)態(tài)監(jiān)測(cè)面臨的海量數(shù)據(jù)檢索人工量巨大，大數(shù)據(jù)處理計(jì)算復(fù)雜、耗時(shí)長(zhǎng)的問(wèn)題。將飛行時(shí)的數(shù)據(jù)采集過(guò)程和飛行后的數(shù)據(jù)處理過(guò)程通過(guò)分類(lèi)標(biāo)識(shí)關(guān)聯(lián)起來(lái)，極大地方便了航拍數(shù)據(jù)的快速檢索；同時(shí)，通過(guò)構(gòu)建高分辨率航拍圖片和低分辨率拼接圖片的相互關(guān)系，既保證了拼接處理的快速性，又保留了原有細(xì)節(jié)信息。整個(gè)信號(hào)處理流程滿足無(wú)人機(jī)動(dòng)態(tài)監(jiān)測(cè)數(shù)據(jù)快速處理的需求，可應(yīng)用于安全維穩(wěn)、防災(zāi)減災(zāi)、環(huán)境監(jiān)測(cè)、特殊行業(yè)巡檢等相關(guān)領(lǐng)域，具有廣闊的市場(chǎng)前景。

參考文獻(xiàn)：

[1]FAN B J, DU Y K, ZHU L L, et al. The Registration of UAV Down-loking Aerial Images to Satellite Images with Image Entropy and Edges[C]∥Proceedings of ICIRA 2010, Part I, LNAI 6424. Berlin:Springer,2010: 609-617.

[2]金偉，葛宏立，杜華強(qiáng)等. 無(wú)人機(jī)遙感發(fā)展與應(yīng)用概況[J]. 遙感信息，2009，88(1)：88-92.

[3]韓杰，王爭(zhēng).無(wú)人機(jī)遙感國(guó)土資源快速監(jiān)察系統(tǒng)關(guān)鍵技術(shù)研究[J].測(cè)繪通報(bào)，2008(2)：4-6.

[4]劉剛，許宏健，馬海濤,等. 無(wú)人機(jī)航測(cè)系統(tǒng)在應(yīng)急服務(wù)保障中的應(yīng)用與前景[J]. 測(cè)繪與空間地理信息，2011， 34(4)：177-179.

[5]許輝熙，敬小東. 基于無(wú)人機(jī)遙感和GIS技術(shù)的土地利用快速詳查方法研究[J]. 測(cè)繪與空間地理信息，2013， 36(9)：11-14.

[6]崔紅霞，林宗堅(jiān)，孫杰. 無(wú)人機(jī)遙感監(jiān)測(cè)系統(tǒng)研究[J]. 測(cè)繪通報(bào)，2005(5)：11-14.

[7]王洛飛. 無(wú)人機(jī)低空攝影測(cè)量在城市測(cè)繪保障中的應(yīng)用前景[J]. 測(cè)繪與空間地理信息，2014，37(2)：217-222.

[8]王國(guó)洲. 無(wú)人機(jī)航攝系統(tǒng)在貴州地質(zhì)災(zāi)害應(yīng)急中的應(yīng)用[J]. 地理空間信息，2010，8(5)：1-3.

[9]李建華，邊馥苓，馬敏. 空間數(shù)據(jù)存儲(chǔ)管理中間件并行控制研究[J]. 測(cè)繪通報(bào)，2004(11)：8-11.

[10]劉紅漫，晉燕利. 國(guó)外軍用無(wú)人機(jī)任務(wù)系統(tǒng)及其發(fā)展研究[C]∥尖兵之翼-2006中國(guó)無(wú)人機(jī)大會(huì)論文集. 北京：中國(guó)航空學(xué)會(huì)，2006:467-473.

作者簡(jiǎn)介：張春曉(1984—)，女，博士，工程師，主要從事遙感器總體、遙感圖像處理及應(yīng)用方面的研究。E-mail: chunxiaozhang@163.com

基金項(xiàng)目：國(guó)家自然科學(xué)基金(41401522)

收稿日期：2014-07-24

中圖分類(lèi)號(hào)：P237

文獻(xiàn)標(biāo)識(shí)碼：B

文章編號(hào)：0494-0911(2015)01-0050-05