大區(qū)域無人機影像數(shù)據(jù)的快速幾何處理

孫　磊，郭海濤,，李傳廣，李海濱，姜春雪

(1.信息工程大學，河南 鄭州 450052；2.海軍海洋測繪研究所，天津 300061；3.北京東方泰坦科技股份有限公司，北京 100083)

?

大區(qū)域無人機影像數(shù)據(jù)的快速幾何處理

孫磊1，郭海濤1,2，李傳廣3，李海濱2，姜春雪1

(1.信息工程大學，河南 鄭州 450052；2.海軍海洋測繪研究所，天津 300061；3.北京東方泰坦科技股份有限公司，北京 100083)

摘要：無人機遙感影像快速幾何處理被廣泛應用于災害應急監(jiān)測與評估、軍事偵察等領(lǐng)域。針對目前多數(shù)商業(yè)軟件所依賴的硬件平臺成本昂貴、軟件開發(fā)過程復雜等問題，面向通用硬件平臺，提出一種大區(qū)域無人機影像數(shù)據(jù)的快速幾何處理方法。對制約處理效率的各關(guān)鍵算法進行優(yōu)化和改造，實現(xiàn)大區(qū)域無人機影像數(shù)據(jù)的快速幾何處理；在影像連接點匹配、正射糾正和影像鑲嵌的處理過程中，均應用基于多核CPU并行處理技術(shù)，提高整體處理效率。多組無人機影像數(shù)據(jù)處理試驗表明，該方法能夠大幅提高處理效率，對硬件平臺要求低，具有推廣應用價值。

關(guān)鍵詞：無人機；影像匹配；空中三角測量；影像鑲嵌；多核CPU

無人機遙感具備靈活機動、響應迅速、成本低等眾多優(yōu)勢，廣泛應用于地形測繪、環(huán)境保護、戰(zhàn)場檢測、災害監(jiān)測與災情評估等眾多領(lǐng)域，其在釣魚島地形測繪和四川蘆山地震災害遙感監(jiān)測與災情評估中發(fā)揮重要作用，無人機數(shù)據(jù)處理技術(shù)成為研究的熱點[1-4]。災情面前，時間就是生命；在軍事偵察領(lǐng)域，戰(zhàn)場環(huán)境瞬息萬變。這些都對無人機數(shù)據(jù)處理的效率提出更高的要求。影像匹配、區(qū)域網(wǎng)空中三角測量等是無人機數(shù)據(jù)處理中的關(guān)鍵步驟，由于算法本身比較復雜，使得計算資源消耗多、運行速度慢，在大區(qū)域、大規(guī)模、多像幅無人機影像處理中難以滿足應急保障的需求。

近年來的并行處理技術(shù)為影像數(shù)據(jù)處理效率的大幅提高提供技術(shù)支撐，典型的商業(yè)系統(tǒng)有像素工廠、INPHO’s Photogrammetric System、Pix4Dmapper和PixelGrid等，但是這些系統(tǒng)所依賴的硬件平臺成本昂貴、軟件開發(fā)過程復雜，無法滿足多數(shù)通用硬件平臺的要求[5-7]，不利于系統(tǒng)的廣泛應用。

當前大部分的計算機均已采用多核CPU處理器，如果程序算法僅利用一個處理核，其它處理核則處于閑置的狀態(tài)，這將造成處理器資源的極大浪費[8]。面向當前通用硬件平臺，為了提高無人機影像數(shù)據(jù)處理效率，本文主要從兩個方面進行考慮，一是針對無人機影像處理的關(guān)鍵算法，進行改進和優(yōu)化，提高算法的運算速度；另一方面是引入多核處理器并行處理的思想，充分利用已有的計算資源，來提高處理效率。

1大區(qū)域無人機影像數(shù)據(jù)的快速幾何處理方法

在無人機影像數(shù)據(jù)處理的過程中，提出綜合應用多種提高計算效率的方法，實現(xiàn)大區(qū)域無人機影像數(shù)據(jù)的快速幾何處理，具體表現(xiàn)在：①在影像連接點匹配中，采用基于幾何約束條件下的影像匹配算法，提高匹配速度；②在進行POS數(shù)據(jù)輔助下的快速區(qū)域網(wǎng)平差時，引入稀疏矩陣技術(shù)，從而實現(xiàn)高效存儲、快速解算；③在進行正射糾正時，采用連接點地面坐標內(nèi)插的方式快速獲取測區(qū)的DEM，對大區(qū)域多像幅無人機影像進行正射糾正；④在進行正射影像鑲嵌時，采用基于面Voronoi圖的影像鑲嵌方法，減少鑲嵌時重疊區(qū)域的數(shù)據(jù)冗余，實現(xiàn)快速自動鑲嵌；⑤在影像連接點匹配、正射糾正和影像鑲嵌的整個過程中，都應用基于多核CPU并行處理技術(shù)，提高整體處理效率。整個處理流程如圖1所示。

圖1　無人機影像快速幾何處理流程

1.1基于幾何約束條件的無人機影像匹配

針對SURF算法在大區(qū)域、多像幅的無人機遙感影像匹配處理中，效率不高、多度連接點匹配穩(wěn)定性差等問題，采用基于幾何約束的連接點影像多核CPU并行匹配方法，該方法首先進行SURF影像初匹配，即在兩張影像的金字塔頂層進行SURF特征匹配，降低計算量，縮小搜索范圍，提高匹配速度；接著利用基于多項式的隨機采樣法(RANSAC)進行粗差剔除，該方法能夠較好地剔除較大粗差點；然后把匹配結(jié)果映射到影像底層，利用匹配點對建立起影像間的像方空間仿射變換關(guān)系——幾何約束條件，從而大大縮小后續(xù)影像精匹配的搜索范圍，為后續(xù)提高匹配速度打下基礎(chǔ)。同時在影像連接點匹配時引入多核CPU并行處理的思想，在匹配過程中引入由粗到細的金字塔分層匹配策略，逐級優(yōu)化匹配結(jié)果，最終實現(xiàn)連接點影像的快速準確匹配。

1.2基于稀疏矩陣技術(shù)的快速區(qū)域網(wǎng)平差

為了快速完成大區(qū)域多像幅無人機影像的控制定位、生成測區(qū)的正射影像圖，采用POS數(shù)據(jù)輔助下的區(qū)域網(wǎng)平差方法，進行無控條件下的自由網(wǎng)平差。這種方法無需進行外業(yè)控制點測量，并且整個區(qū)域網(wǎng)空中三角測量過程是全自動的，能夠快速完成大區(qū)域多像幅無人機影像定位，非常適合于無人機影像的快速應急處理。

在大區(qū)域多像幅無人機影像區(qū)域網(wǎng)平差中，未知數(shù)即為每張像片的外方位元素和連接點的地面三維坐標，其個數(shù)是非常大的，若直接求解法方程或者無稀疏矩陣存儲的改化法方程，將消耗大量內(nèi)存，解算速度也非常慢，在一般的計算機上甚至無法解算。而光束法區(qū)域網(wǎng)平差關(guān)聯(lián)到的系數(shù)矩陣一般都為稀疏矩陣，因此可以引入稀疏矩陣技術(shù)對系數(shù)矩陣組建并存儲，達到高效存儲、快速解算的目的[9-11]。

1.3正射影像快速生成

影像正射糾正之前，需要生成該區(qū)域的DEM。考慮到傳統(tǒng)獲取DEM方式獲得的數(shù)據(jù)盡管精度較高，但是周期較長、非常繁瑣、往往需要較多的人工干預，不能滿足無人機影像快速應急處理的需求。

考慮到在進行區(qū)域網(wǎng)空中三角測量之后，每張影像的外方位元素和影像上匹配像點所對應的地面點坐標是已知的，故可以采用連接點地面坐標內(nèi)插的方式快速獲取測區(qū)的概略DEM，然后再應用基于多核CPU并行處理技術(shù)進行影像正射糾正。

1.4基于面Voronoi圖的正射影像快速鑲嵌方法

實現(xiàn)遙感影像自動快速鑲嵌的關(guān)鍵是自動生成接邊線、消除鑲嵌時的數(shù)據(jù)冗余，在大區(qū)域、高重疊度、高分辨率、大數(shù)據(jù)量的無人機影像鑲嵌處理時，這點尤為突出。為了能夠快速完成大區(qū)域無人機正射影像自動鑲嵌，采用顧及重疊的面Voronoi圖[12-13]接縫線網(wǎng)絡(luò)自動生成方法。該方法首先生成全體影像的初始接縫線網(wǎng)絡(luò)，再根據(jù)重疊區(qū)的影像對初始網(wǎng)絡(luò)進行優(yōu)化。優(yōu)化后的接縫線網(wǎng)絡(luò)包含測區(qū)內(nèi)的全部正射影像，并且將各正射影像覆蓋范圍劃分成沒有冗余的、唯一的和無縫的有效鑲嵌多邊形，避免中間結(jié)果的產(chǎn)生，與影像的順序無關(guān)，更利于并行算法的設(shè)計，非常適合大范圍的無縫影像鑲嵌處理。

1.5基于多核CPU并行處理算法設(shè)計

在無人機影像數(shù)據(jù)處理過程中，很多算法在每張影像上完成相同的計算，為并行化數(shù)據(jù)處理提供可能。為此，對無人機影像匹配、影像正射糾正、影像鑲嵌等算法進行并行化設(shè)計。

1)影像連接點匹配并行化。無人機影像連接點匹配算法的并行化設(shè)計主要涉及到確定匹配任務單元和制定并行策略。

為此提出一種基于POS數(shù)據(jù)的匹配任務單元確定方法。該方法根據(jù)每張影像對應的POS數(shù)據(jù)和地區(qū)平均高程，通過共線條件方程，求得影像4個角點的概略地面坐標，通過計算每兩張影像的地面范圍交集確定其重疊度，設(shè)定重疊度閾值，滿足閾值的影像作為鄰接影像，遍歷所有影像，得到每張影像所有的鄰接影像。匹配單元即為一幅影像與其鄰接的多幅影像的匹配任務，這些匹配單元之間是相互獨立的，形成多個匹配任務單元。

任務并行執(zhí)行的策略是：首先確定CPU處理核的個數(shù)，開辟相同個數(shù)的處理線程，并將各線程關(guān)聯(lián)到對應的CPU處理核上，各線程按順序選擇匹配單元并同時執(zhí)行匹配任務。當其中任意匹配任務執(zhí)行完畢時，則選擇下一匹配單元并執(zhí)行任務，直到所有任務完成。匹配模型如圖2所示。

圖2　連接點并行匹配模型

2)正射糾正并行化。利用連接點內(nèi)插生成概略DEM之后,對各張影像進行正射糾正，算法本身就是獨立的，不同影像正射糾正的任務之間互不相關(guān)，即每張影像的糾正過程是一個獨立的處理任務，因此，可以按照并行匹配的處理策略，執(zhí)行影像的并行正射糾正。

3)影像鑲嵌并行化。在接縫線網(wǎng)生成之后，每個Voronoi多邊形對應著唯一的一幅正射影像，因此，在鑲嵌該多邊形區(qū)域的過程中，讀取正射影像和寫入數(shù)據(jù)的過程和其他影像互不相關(guān)，是獨立的任務執(zhí)行單元，同樣可以按照上面的并行處理策略，執(zhí)行并行鑲嵌。但是由于現(xiàn)有的硬盤對同一文件的并行寫入不能較好地支持，故在并行處理策略上改為利用一個處理核專門負責數(shù)據(jù)寫入任務，其他處理核則按Voronoi多邊形的順序選擇對應的正射影像同時執(zhí)行讀取任務，當其中的任一讀取數(shù)據(jù)的處理核，所讀數(shù)據(jù)被寫入任務處理核執(zhí)行完畢時，則選擇下一任務單元執(zhí)行任務，直至所有任務完成。

2試驗與結(jié)果分析

上述算法采用c++語言全部在Visual Studio 2010下編程實現(xiàn)。實驗選取兩套無人固定翼飛機航拍數(shù)據(jù)。數(shù)據(jù)一：平均航高為430 m，影像大小5 616像素×3 744像素，影像的航向重疊度為70%～80%，旁向重疊度為30%～40%，包含航拍影像時的POS數(shù)據(jù)，其精度在10~12 m，部分航帶內(nèi)影像旋偏角較大，測區(qū)主要為城區(qū)人工建筑物；數(shù)據(jù)二為大關(guān)地區(qū)無人機航拍影像，平均航高600 m，影像大小5 616像素×3 744像素，航向重疊度為65%～75%，旁向重疊度為30%～40%，測區(qū)為丘陵地區(qū)，地形地貌復雜。兩套數(shù)據(jù)相機象元大小均為0.006 41 mm。試驗平臺選擇普通的臺式機，硬件配置情況如表1所示。試驗數(shù)據(jù)的詳細情況如表2所示。

表1　實驗平臺硬件配置

表2　實驗數(shù)據(jù)

為了驗證上述方法中各個算法的可靠性和處理精度，對數(shù)據(jù)一、數(shù)據(jù)二進行無人機數(shù)據(jù)快速處理試驗，并對匹配結(jié)果、平差情況和鑲嵌結(jié)果進行統(tǒng)計分析，如表3所示。圖3和圖4分別為數(shù)據(jù)一和數(shù)據(jù)二的正射影像鑲嵌結(jié)果，圖5為局部接邊效果。目視判讀來看，兩套數(shù)據(jù)整體的接邊效果較好，平均接邊誤差在1～2個像素，在局部高差大的區(qū)域，接邊誤差在3～4個像素；為了概略分析無控條件下無人機數(shù)據(jù)處理結(jié)果的絕對定位精度，分別從Google Earth上量測15個檢查點，和其鑲嵌結(jié)果影像上的地理位置做比較，得到正射影像在X,Y方向上的定位精度，處理結(jié)果的定位精度和POS數(shù)據(jù)本身的定位精度相當。

實驗可以看出，本文方法匹配正確率高、在無控制條件下的定位精度較高、鑲嵌接邊效果好，能夠較好地滿足無人機快速應急處理的需要。

表3　實驗統(tǒng)計結(jié)果

圖3　數(shù)據(jù)一鑲嵌結(jié)果效果

圖4　數(shù)據(jù)二鑲嵌結(jié)果效果圖

圖5　局部接邊效果圖

為了分析該方法的處理效率，利用數(shù)據(jù)二在不同處理條件下進行實驗，得到統(tǒng)計分析結(jié)果如表4所示。表4中區(qū)域網(wǎng)平差解算加速比指的是平差過程不做稀疏矩陣改化處理與做稀疏矩陣改化處理之間的加速比。從表4可知，影像多核并行匹配算法的加速比達到3.92，與處理核的個數(shù)成近線性的關(guān)系；而影像正射糾正和影像鑲嵌的并行處理加速比分別為2.35和1.89，之所以影像正射糾正和影像鑲嵌的加速比沒有影像匹配的加速比高，是因為在此數(shù)據(jù)處理過程中，主要是數(shù)據(jù)的讀寫操作，硬盤的讀寫速度限制了加速比；在進行算法改造和多核并行設(shè)計之后，231張無人機影像整個處理過程耗時2 667.46 s，加速比達到了3.10。綜上所述，在特定的硬件環(huán)境下，該方法和常規(guī)串行方法相比，在處理效率有大幅提升。

表4　數(shù)據(jù)二在不同處理條件下的時間和加速比統(tǒng)計表

3結(jié)束語

本文對無人機遙感影像處理過程的各個環(huán)節(jié)進行分析論述，針對制約處理效率的關(guān)鍵算法進行優(yōu)化和改造，研究提出一種大區(qū)域多像幅無人機影像數(shù)據(jù)的快速幾何處理方法。實驗表明，該方法能夠大幅提高無人機影像的幾何處理效率；同時，在無控制條件下，該方法的定位精度較高、影像接邊效果好，能夠滿足無人機快速應急處理的要求，為大區(qū)域無人機影像快速處理提供一條有效的技術(shù)途徑，在災害應急監(jiān)測與災情評估、軍事偵察、戰(zhàn)場監(jiān)測、打擊效果評估等眾多領(lǐng)域具有重要的應用價值。

參考文獻：

[1]胡慶武，艾明耀，殷萬玲，等.大旋角無人機影像全自動拼接方法研究[J].計算機工程，2012，38(15)：152-155.

[2]李軍，李永樹，蔡國林.利用無人機影像制作地震災區(qū)三維景觀圖[J].測繪工程，2012，21(1)：50-53.

[3]張萬強，趙俊三，唐敏.無人機影像構(gòu)建三維地形研究[J].測繪工程，2014,23(3)：36-41.

[4]魯恒，李永樹，何敬.無人機低空遙感影像數(shù)據(jù)的獲取與處理[J].測繪工程，2011，20(1)：51-54.

[5]李勁澎，龔志輝，張婷.無人機影像SIFT特征匹配的集群并行處理方法[J].測繪科學技術(shù)學報，2012，26(6):440.

[6]仝紅菊，李浩，趙海強，等.無人機航攝影像的RANSAC自動定向方法研究.[J].測繪與空間地理信息，2015，38(4)：50-52.

[7]紀松.多視匹配策略與優(yōu)化方法研究[D].鄭州:信息工程大學，2012.

[8]李秀芳.基于多核的多線程算法并行優(yōu)化[D].鄭州：鄭州大學，2010．

[9]鄒亞未，劉玉紅.基于多核CPU的無人機影像連接點并行匹配方法[J].測繪通報，2014(3)：32-36.

[10] TRIGGSB,MCLAUCHLANP,HARTLEYR,etal.Bundle Adjustment-A Modern Synthesis[A]．TRIGGSW ZISSERMANA,and SZELISKI R.Vision Algorithms:Theory and Practice,LNCS[C].[s.l.]:Springer Verlag,2000.298-375.

[11] 詹總謙，張祖勛，張劍清.基于稀疏矩陣技術(shù)的光束法平差快速算法設(shè)計[J].測繪通報，2006(12):5-8.

[12] 潘俊，王密，李德仁.基于顧及重疊的面Voronoi圖的接縫線網(wǎng)絡(luò)生成方法[J].武漢大學學報(信息科學版)，2009，34(5):518-521.

[13] 潘俊，王密，李德仁.接縫線網(wǎng)絡(luò)的自動生成及優(yōu)化方法[J].測繪學報，2010，39(3):289-292.

[責任編輯：張德福]

Quick geometric processing of large area unmanned aerial vehicle images

SUN Lei1,GUO Haitao1,2,LI Chuanguang3,LI Haibin2,JIANG Chunxue1

(1.Information Engineering University,Zhengzhou 450052, China； 2.Navel Institute of Hydrographic Surveying and Charting,Tianjin 300061, China; 3.Beijing Oriental TITAN Technology Co.,Ltd,Beijing 100083, China)

Abstract：Unmanned aerial vehicle images (UAV) rapid geometric processing is widely used in disaster emergency monitoring and evaluation,military reconnaissance,and the like.The hardware platform on which most present business softwares depend is expensive,and the software development process is complex. A quick geometric processing method of large area UAV images for general hardware platform is proposed.The key algorithms which restrict the efficiency are optimized and modified and the rapid geometric processing of large area UAV images is implemented.In the process of join points image matching,ortho-rectification and image mosaic,the multi-core CPU parallel processing technology is applied and the efficiency of the whole process is improved.Multiple sets of UAV image data processing results show the method has a great potential in the field of application for its improved efficiency and low requirements for hardware platform.

Key words：unmanned aerial vehicle；image matching；aerial triangulation；image mosaic；multi-core CPU

中圖分類號：P237

文獻標識碼：A

文章編號：1006-7949(2016)03-0035-06

作者簡介：孫磊(1989-)，男，碩士研究生.

收稿日期：2014-11-17；修回日期：2015-06-18