航空面陣數字影像多基線立體匹配及協同處理

張 麗，湯曉濤，李 綱

1.信息工程大學地理空間信息學院，河南 鄭州，450052；2.西安測繪研究所，陜西 西安，710054；3.地理信息工程國家重點實驗室，陜西 西安，710054

?

航空面陣數字影像多基線立體匹配及協同處理

張 麗1,2,3，湯曉濤2,3，李 綱1,2,3

1.信息工程大學地理空間信息學院，河南 鄭州，450052；2.西安測繪研究所，陜西 西安，710054；3.地理信息工程國家重點實驗室，陜西 西安，710054

多基線立體匹配技術是獲取可靠DSM產品的有效手段之一。本文針對面陣航空數字影像設計了多基線立體匹配的技術流程，根據算法特點提出了基于GPU-CPU的協同處理方案；利用構建的專業級GPU并行計算平臺，對協同處理方案進行了實驗驗證。結果表明，提出的方案在保證DSM產品高精度的同時，大幅提高了多基線立體匹配的計算效率和整體處理能力。

多基線立體匹配；GPU-CPU；協同處理；計算效率

1 引 言

多基線立體匹配技術由于增加了多余觀測量，較好地解決了影像的誤匹配問題[1,2]，從而成為提高DSM/DEM精度以及生產自動化程度的有效手段之一。然而，多基線立體匹配在提高匹配可靠性的同時，由于影像數量的增加、多種匹配策略的應用等也帶來了計算量的大幅增加，使其并行實現成為當前一個重要的研究方向。其中，利用GPU處理平臺提高影像匹配的計算效率引起了廣大學者和研究人員的關注[3-7]。他們的研究實踐證明，利用GPU處理平臺對于提高多基線立體匹配這種數據密集型和計算密集型任務的效率，效果是非常明顯的。

為此，本文結合具體項目要求，重點對航空面陣數字影像多基線立體匹配技術進行研究，設計了多基線立體匹配的技術流程，提出了基于GPU-CPU的協同處理技術方案，并利用構建的高性能GPU并行計算平臺，驗證了算法和方案的處理精度、計算效率和處理能力。

2 航空面陣影像的多基線立體匹配技術

2.1 多基線立體匹配的技術流程

利用航空面陣光學遙感影像多基線匹配進行快速提取同名匹配點的技術流程如圖 1所示，主要包括預匹配處理、多基線立體匹配模型構建、輔助約束算法的使用、GPU并行解算等四個部分。

①對影像進行分析，為多基線立體匹配與DSM自動提取過程提供數據支持、匹配初值支持。

②構建多基線立體匹配模型，將不同視角下的多張目標區重疊影像納入同一匹配系統，利用信息互補技術，減少信息盲區，降低誤匹配率，提高匹配可靠性；篩選重疊影像，降低計算冗余，提高匹配效率。

③充分利用輔助信息數據、多種約束策略和優化措施，進一步提高多基線立體匹配的可靠性和精度。

④根據GPU-CPU并行處理平臺，對多基線立體匹配任務和數據進行劃分，實現粗粒度并行，縮短匹配處理的整體運算周期；針對GPU硬件特性，對多基線立體匹配算法進行并行化分析與集成，實現多基線立體匹配的GPU細粒度并行解算，提高多基線立體匹配的計算效率。

圖1 光學遙感影像多基線立體匹配流程圖

2.2 影像預匹配處理

影像預匹配處理內容主要包括：航帶分析與排序、多基線匹配立體構建、影像金字塔制作、SIFT特征點提取與匹配等四個過程。

①航帶分析與排序

一個測區由多個航帶構成，由于影像分布于不同的航帶，且各張影像并非按順序讀取，因此，在多基線立體匹配提取DSM之前，需要對載入的影像數據進行航帶分析與排序。具體步驟如下：

步驟一：根據影像的四個角點的像坐標、測區平均高程、外方位參數，計算各張影像四個角點的地面坐標；

步驟二：根據影像四個角點的地面坐標，分析影像的航帶數目，并將載入的影像數據進行排序。

②多基線匹配立體構建

根據航帶分析與排序后的影像，分別以每一張影像為基準(不包括航帶首張影像和末張影像)，計算相鄰影像的重疊度，創建多基線匹配立體系統；由于航空影像數據的航向重疊與旁向重疊一般較高，每一個影像立體中可能有10張以上的影像與基準影像重疊，為了降低多基線立體匹配的計算量，匹配時使用重疊度最高的前5張重疊影像。

③影像金字塔制作

為了縮短匹配時間，匹配過程采用由粗到精的匹配策略，且從上層金字塔影像匹配獲得的高程信息用于約束和引導下一層金字塔影像的匹配。本文采用3像元平均的方式制作影像金字塔，金字塔層次包括最底層為4層。

④SIFT特征點提取與匹配

通過SIFT特征匹配，在基準影像和搜索影像上提取空間尺度不變的特征點，建立基準影像和搜索影像的相互關系，為多基線密集匹配提供初值。

2.3 航空面陣數字影像的多基線立體匹配模型及策略方法

針對航空面陣數字影像，普遍采用的立體匹配模型分為基于單立體匹配與融合的多視匹配模型和基于多立體整體匹配的多視匹配模型兩類。本文采用基于單立體匹配與融合的多視匹配模型，該模型的具體匹配過程如圖 2所示[8]。其基本思想是：在一組重疊影像中，取中央影像作為基準影像，其余的待搜索影像分別與之構成立體像對；先利用帶幾何約束條件的相關系數法對各立體像對進行匹配；再利用松弛法整體影像匹配技術，進一步確定基準影像上的特征點在搜索影像上的同名點；然后通過帶選權迭代粗差檢測功能的多光線前方交會方法，實現各立體像對匹配結果在物方空間的融合，從而獲得準確的高程信息。

圖2 基于單立體像對匹配結果的物方融合的流程圖[8]

文獻[3]把用來提高多基線匹配可靠性、精度和效率而利用的輔助數據、匹配策略和匹配方法等歸結為多基線匹配的策略方法體系，并研究構建了多基線匹配的策略方法體系，給出了多光線前方交會的基本思想和解算方法。本文在多基線立體匹配過程中使用的策略與方法如圖3所示，各項措施的實施過程如下所述。

幾何約束Ⅰ：制作金字塔影像，利用特征點提取算子，在原始影像上提取特征點，進行影像金字塔預匹配和多基線立體匹配，保留精確的匹配成果，構建不規則三角網TIN；以每一個三角形為匹配面元，由該面元的三個頂點高程值，內插每一個匹配基元的高程初值，確定匹配的搜索范圍。

輔助數據約束Ⅱ、幾何約束Ⅲ：利用GPS/IMU數據，根據影像的構像方程，實時計算每一個匹配基元的核線影像，將多基線匹配從二維空間變為一維搜索空間，提高匹配速度。

幾何約束Ⅳ：根據匹配基元的高程初值，變換匹配窗口的幾何屬性，包括大小、位置、形狀等，盡量保持匹配窗口內容的一致性。

幾何約束Ⅴ、Ⅵ：通過概率松弛約束條件，對匹配結果進行檢查；在多基線最小二乘匹配過程中，加入共線條件方程和直線匹配走向幾何約束，將匹配結果的精度提高到子像素級。

圖3 多基線立體匹配策略方法的使用

2.4 基于GPU-CPU的協同處理方案

GPU-CPU協同處理的關鍵是合理分配二者的計算任務。其中，流程控制等順序型任務由CPU來完成，而針對大數據量執行的相同操作則交給GPU來并行執行。對于處理算法中數據并行程度高且計算密集的部分，將其改寫為能夠在GPU上執行的“核”函數；然后通過配置語句由CPU端主程序調用該“核”函數，從而實現GPU內部的超多線程細粒度并行處理，充分發揮GPU的并行計算優勢。對于多基線立體匹配任務，通過分析各個步驟的算法特點，確定其處理模式如圖4所示。其中，航帶分析與排序、多基線匹配立體構建采用單CPU處理模式；影像金字塔制作，采用多CPU并行處理模式；SIFT特征點提取與匹配和多基線立體匹配過程中涉及到的匹配測度計算、像點灰度值內插，最小二乘解算計算量最為集中，采用多CPU、多GPU協同處理模式。

圖5給出了多基線立體匹配過程的GPU-CPU整體處理模式，具體步驟包括：

①對于構建的多個多基線匹配立體系統，采用粗粒度數據并行的方式，按照GPU節點(GPU卡)的數量對構建的多基線立體系統進行平均分配或近似平均分配。

②對于單個多基線匹配立體系統，把基準影像中的所有像點對應于一個GPU線程格網，而其中的多個像點組成一個線程塊，且每個線程塊中的像點利用一個線程來計算。該過程中單個像點的多基線匹配工作利用一個線程來完成，并且一個線程塊同時處理多個像點，整體上屬于細粒度算法并行計算模式，而對于GPU則屬于基于GPU的粗粒度并行模式。

圖4 多基線立體匹配處理的并行模式

圖5 多基線立體匹配GPU-CPU協同處理整體模式

3 實驗分析

3.1 實驗數據與實驗參數

實驗采用兩套航空面陣影像數據來驗證本技術方案的處理效率和精度。數據一為UCD面陣數字相機獲取的江蘇寶應地區的航空影像，影像獲取時間為2006-11-06；數據二為Z/I DMC面陣數字相機獲取的河南某地區的航空影像，影像獲取時間為2009-12-19。具體參數見表 1。

表1 實驗數據參數

3.2 實驗平臺

實驗平臺主要由1個管理/存儲節點、三個計算節點和相應的網絡設備組成。其中，每個計算節點配置2塊專業級高性能GPU顯卡，形成6個計算節點，具體配置見表2。

表2 實驗平臺硬件配置

序號功能型號配置數量1GPU計算節點Xr2201GE5-2620?2，8GB?8，K20?2，Intel240GBSSD?1，32管理/存儲節點Xr22301E5-2620?2，8GB?8，240GBSSD?2，Quadro2000?1，2TB?10134網絡部分H3CH1224RH3C24port千兆交換機1mellanxIS5023IB40GB18PortsSwtich15HCAcardmellanxMHQH19B-XTR1Port40Gb/sQSFPInfiniBandNetworkAda?ptorCard5

3.3 實驗結果

①處理效果和精度

UCD影像和DMC影像生成的DSM局部放大圖分別如圖 6和圖 7所示，87個控制點統計的UCD影像、17個均勻分布的控制點統計的DMC影像的DSM點云精度結果見表3。從圖 6可以看出，雖然UCD影像中建筑物比較密集，但從影像中自動提取的DSM點云較好地保持了實驗區中實際地物的形狀；從圖 7可以看出，雖然實驗區屬于山地、且山腳下建筑物比較密集，但從影像中自動提取的DSM點云仍然較好地保持了實驗測區中實際山地的地形地貌和建筑物的形狀。精度統計結果和直觀的影像處理結果表明了本文所采用技術方法的有效性。

圖6 UCD影像多基線立體匹配點云局部放大圖

圖7 DMC影像多基線立體匹配點云局部放大圖

表3 DSM點云精度分析表

影像類型最大殘差絕對值(m)最小殘差絕對值(m)中誤差(m)XYZXYZXY平面ZUCD0．320．260．530．0340．0320．0570．0710．0430．0830．092DMC0．830．711．060．120．090．160．170．140．220．27

②處理效率和能力

基于GPU-CPU的多基線立體匹配協同處理內容及其處理時間如表 4所示。從表中可以看出，164張UCD影像構建的154個、203張DMC影像構建的189個多基線立體系統近乎平均地分配至6個GPU計算節點。

表4 多基線立體匹配協同處理內容及時間

影像類型GPU節點編號計算硬件處理像對數重疊度(張)匹配點數(萬個)內插格網間距(m)DSM點云大小(MB)處理時間(s)UCD影像節點1GPU26≈202500×26×50．52．7×2662820節點2GPU26≈202500×26×50．52．7×2662820節點3GPU26≈202500×26×50．52．7×2662820節點4GPU26≈202500×26×50．52．7×2662820節點5GPU25≈202500×25×50．52．7×2560410節點6GPU25≈202500×25×50．52．7×2560410DMC影像節點1GPU32≈152600×32×51．057．0×3286025節點2GPU32≈152600×32×51．057．0×3286025節點3GPU32≈152600×32×51．057．0×3286025節點4GPU31≈152600×31×51．057．0×3183400節點5GPU31≈152600×31×51．057．0×3183400節點6GPU31≈152600×31×51．057．0×3183400

表5 遙感影像多基線立體匹配協同處理的處理能力

影像類型測區大小(km2)匹配時間(h)匹配點數(億)影像數量(張)協同處理平臺計算能力按面積計(km2/h)按點數計(108point/h)按影像計(image/h)UCD4．9517．45192．51640．2811．039．40DMC129．9523．90249．62035．4410．448．49

表 5為處理能力的統計結果：對于地面分辨率為0.1m的UCD面陣航空影像，每小時能夠處理9.40張影像上的11.03億個像點，獲取0.28km2范圍內(整個測區長4.15km，寬1.91km)的地面DSM點云。對于地面分辨率為0.25m的DMC面陣航空影像，每小時能夠處理8.49張影像上的10.44億個像點，獲取5.44km2范圍內(整個測區長11.5km，寬11.3km)的地面DSM點云。

表6 多基線立體匹配時間對比

影像類型匹配點數單GPU-CPU處理時間(s)單CPU處理時間(s)UCD影像4000×4000×5148030500DMC影像4000×4000×5156031220

表 6為GPU-CPU混合協同處理模式與單CPU處理模式下耗用時間的對比。可以看出，與單CPU相比，CPU-GPU協同處理的加速比達到了20倍以上。

4 結 論

本文對航空面陣數字影像的多基線立體匹配的技術流程和策略方法進行了簡要闡述，重點給出了GPU-CPU協同處理方案，并通過實際數據驗證了本文的技術方法、計算效率和整體處理能力。結果表明，本文提出的協同處理方案在保證DSM產品高精度的同時，能夠大幅提高多基線立體匹配的計算效率。與單CPU處理模式相比，采用專業級的單GPU，多基線立體匹配的計算加速比達到了20倍；采用3個計算節點的GPU-CPU混合集群遙感影像協同處理系統，多基線立體匹配的整體處理能力大大躍升。

[1]張力，張繼賢．基于多基線影像匹配的高分辨率遙感影像DEM的自動生成[J]．武漢大學學報·信息科學版，2008，33(9)：943-946.

[2]張永生，范大昭，紀松．用于ADS40傳感器的多視覺立體匹配算法模型[J]．測繪科學技術學報，2007，24(2)：83-86．

[3]紀松．多視匹配策略與優化方法研究[D]．鄭州：信息工程大學，2012．

[4]張麗，湯曉濤，戴晨光．多視匹配方法的計算任務分析及其GPU并行實現[J]．測繪科學技術學報，2013，30(5)：480-483．

[5]楊靖宇．攝影測量數據GPU并行處理若干關鍵技術研究[D]．鄭州：信息工程大學，2011．

[6]肖漢，張祖勛．基于GPGPU的并行影像匹配算法[J]．測繪學報，2010，39(1)：46-51．

[7]田斐，崔玉連.快速互信息匹配及GPU實現[J].電光與控制，2010，17(2)：63-67.

[8]袁修孝，明洋．一種綜合利用像方和物方信息的多影像匹配方法[J]．測繪學報，2009，38(3)：216-222．

Multi-baseline Stereo Matching and Cooperative Processing for the Digital Aerial Frame Image

Zhang Li1,2,3,Tang Xiaotao2,3, Li Gang1,2,3

1. Institute of Geospatial Information, Information Engineering University, Zhengzhou 450052, China 2. Xi’an Research Institute of Surveying and Mapping, Xi’an 710054, China 3. State Key Laboratory of Geo- information Engineering, Xi’an 710054, China

Multi-baseline stereo matching is one of the most effective methods to generate reliable DSM. This paper designs the multi-baseline stereo matching technique flow in view of the digital aerial frame image and proposes the cooperative processing scheme based on the characteristic of the multi-baseline stereo matching algorithm. Besides the paper tests and verifies the scheme by the professional GPU parallel computing platform. The results show that the scheme ensures DSM high accuracy and at the same time it greatly improves the computational efficiency and entirety processing capacity of multi-baseline stereo matching.

multi-baseline stereo matching； GPU-CPU；cooperative processing； computational efficiency

2014-12-24。

張麗(1973—)，女，副研究員，主要從事攝影測量方面的研究。

P231

A