一種基于GPU并行計算的無人機影像快速鑲嵌方法

李朋龍， 丁 憶， 胡 艷， 羅 鼎， 段松江， 舒文強

(1.重慶市地理信息中心,重慶 401121; 2.重慶市遙感中心,重慶 401121)

一種基于GPU并行計算的無人機影像快速鑲嵌方法

李朋龍1,2， 丁 憶1,2， 胡 艷1,2， 羅 鼎1,2， 段松江1,2， 舒文強1，2

(1.重慶市地理信息中心,重慶 401121; 2.重慶市遙感中心,重慶 401121)

提出了一種從勻光后無人機影像出發，以Voronoi圖為鑲嵌線網絡，基于GPU并行計算的無人機影像快速鑲嵌方法。首先，通過Wallis濾波處理影像間色彩不一致問題; 然后,以測區影像位置自動生成Voronoi圖鑲嵌線網絡; 最后，基于GPU并行計算將無人機影像快速正射糾正并鑲嵌。通過對230張空間分辨率為0.1 m的無人機影像進行快速糾正鑲嵌，實驗結果表明，該方法較傳統方法效率有很大提升。

影像勻光； 無人機影像； 正射糾正； 影像鑲嵌； GPU并行計算

0 引言

無人機等低空遙感系統以其機動性強、獲取影像空間分辨率高、硬件價格低廉及維護成本低等優勢，在應急測繪等領域中扮演著重要的角色[1]。無人機影像具有空間分辨率高、框幅小、重疊度高等特點，在利用大序列無人機影像來制作測區數字正射影像(digital orthophoto map，DOM)時，如果依舊按照傳統先正射糾正再鑲嵌的作業模式，將會產生巨大的數據冗余和時間開銷。正射影像鑲嵌是DOM制作中最為重要的一環，而鑲嵌線的選擇更是影像鑲嵌中的重中之重，鑲嵌線的優劣直接影響DOM的質量。因此國內外學者在鑲嵌線的選擇上做了大量的研究，Kerschner[2]利用twin snakes 算子在2張正射影像之間選擇鑲嵌線，并在林區取得較好效果； Davis[3]利用Dijkstra算法在重疊區域構成的差異影像上尋找最優鑲嵌線; Chon等[4]和袁修孝等[5]改進了Dijkstra算法抑制了局部最大灰度，并提高了鑲嵌線的搜索效率。以上方法在兩兩鑲嵌中成功選擇了繞過建筑物的鑲嵌線，但算法復雜度較高，很難實現測區整個鑲嵌線網絡的自動選擇，同時也沒有考慮到中心投影投影差從影像中心向四周逐步增大的特點。潘俊等[6]提出了顧及重疊面Voronoi圖鑲嵌線網絡，避免了影像重疊度低時鑲嵌結果不完全覆蓋的問題； 李爍等[7]提出了基于常規Voronoi圖生成鑲嵌線網絡，并基于成像區域對鑲嵌線網絡進行優化，進而保證鑲嵌結果完全覆蓋。但是先對測區內所有影像進行正射糾正，然后對所有影像進行邊緣提取、生成鑲嵌線網絡，再進行鑲嵌的傳統方法會造成巨大數據冗余和時間開銷，很難滿足應急測繪的需求。

2007年，NVIDIA推出的統一計算設備結構(compute unified device architecture，CUDA)，使越來越多的學者將GPU強大的并行能力成功地運用于遙感數據的快速處理中，逐漸形成了GPU-CPU協同處理技術。侯毅等[8]基于GPU對航空影像進行正射糾正，驗證了GPU計算結果的可靠性，并取得了3～5倍的加速； 李朋龍等[9]利用GPU-CPU協同處理對航空影像進行正射糾正，達到了52倍的加速； 楊靖宇等[10]和方留楊等[11]在光學衛星影像的幾何糾正中利用CPU-GPU協同處理，最高取得了110倍的加速。

為了將GPU-CPU協同處理成功應用于復雜程度更高的正射影像鑲嵌中，縮短應急測繪響應時間。本文提出了一種從勻光后影像出發，自動生成測區Voronoi圖鑲嵌線網絡，將正射糾正嵌入影像鑲嵌過程中，且只對每張影像有效區域進行糾正的GPU-CPU協同無人機影像快速鑲嵌方法。

1 影像勻光及鑲嵌線網絡自動生成

1.1 影像間Wallis勻光

在航空影像拍攝過程中，由于受到相機內部和外部因素的影響，會造成影像之間色彩的不一致，如影像的亮度、色調等。影像之間的色彩不一致直接影響鑲嵌后正射影像的質量，因此需要通過影像間勻光的方法來減弱色彩的差異[14]。

Wallis濾波器是一種線性濾波函數，其原理是通過局部影像變換，使影像內部不同區域或不同影像之間的灰度均值和方差達到近似。Wallis變換可以表示為

(1)

式中：g(x,y)為原始影像的灰度值；f(x,y)為經過Wallis變換后影像的灰度值；mg和sg分別為原始影像的局部灰度均值與方差；mf和sf分別為目標影像的局部灰度均值和方差； c為影像的方差擴展常數；b為影像亮度系數，且b和c大小均在[0,1]。式(1)可以線性表示為

f(x,y)=r0g(x,y)+r1,

(2)

(3)

r1=bmf+(1-b-r0)mg,

(4)

式中： 參數r0和r1為線性變換的乘性系數和加性系數。

本文基于基準色調的Wallis方法對影像間進行勻色處理(圖1)。首先，選擇一幅標準模板影像，統計其均值和標準差，作為Wallis濾波處理時灰度均值和標準差變換的目標值； 然后，統計待勻光影像的均值和標準差，以目標值為基準，來調整待勻光影像的灰度分布，對所有影像進行Wallis勻光處理[13]。

圖1 影像間Wallis勻光流程Fig.1 Flowchart of Wallis dodging between images

1.2 測區鑲嵌線網絡自動生成

中心投影的成像方式必然會造成高出地面的地物在影像上具有一定的投影變形，且距離影像中心越遠，投影變形越大。無人機遙感影像有很高的重疊度，在重疊區域合理地選擇像素來源能有效地減小拼接結果的投影變形，保證DOM精度。Voronoi圖是計算幾何中基于散點最鄰近原則的空間劃分方法。如果以每張影像像底點組成散點集生成Voronoi圖對平面進行劃分，那么理論上拼接后DOM中每一點的投影變形最小。

傳統鑲嵌模式是先將測區影像糾正成正射影像，然后通過邊緣提取獲得每張正射影像的成像區域，最后獲得成像區域中心位置生成測區Voronoi圖網絡。而本文從測區影像定向結果出發，利用公式將影像的像主點投影到地面得到像底點(如圖2所示)，然后以測區所有鑲嵌點組成散點集，利用生長法生成以測區所有影像像底點為剖分中心的Voronoi圖鑲嵌線網絡[16]。Voronoi圖鑲嵌線網絡中以影像像底點為中心的多邊形即為該影像對應的鑲嵌后正射影像中的有效區域多邊形，公式為

圖2 像底點的獲取Fig.2 Photographic nadir

(5)

式中: (X，Y，Z)為地面點的物方坐標； (x,y,z)為對應地面點在像方坐標系中的坐標； (Xs,Ys,Zs)為影像外方位元素中的線元素；f為相機的焦距；a1,a2,a3,b1,b2,b3,c1,c2,c3是根據影像外方位元素中3個角元素計算得到的旋轉矩陣中的9個參數。

2 GPU-CPU協同正射影像快速鑲嵌

2.1 GPU-CPU協同處理原理

在CUDA架構下，CPU被視為主機，GPU被視為供主機調配的設備，它們都有自己的存儲地址空間并能互相通信協同，CPU負責邏輯運算和少量的串行計算，而GPU則負責大量高度并行化的運算。CUDA將程序單次編譯后，將計算任務映射為大量可以并行執行的線程，在GPU段Kernel函數是由線程格網單元進行執行。如圖3所示，每個線程格網(grid)由多個線程塊(block)組成，各個線程塊并行執行，且不能相互通信； 而每個線程塊又由多個線程(thread)組成，線程之間并行執行，同屬于相同線程塊的線程之間可以相互通信。在CUDA架構下，GPU不僅具有良好的線性結構，還提供了6種容量、特點和讀寫效率都不一樣的存儲器模型： 寄存器、局部存儲器、共享存儲器、全局存儲器、常數存儲器和紋理存儲器，使GPU具有了多層次性存儲的特點。

圖3 線程組織結構Fig.3 Thread organization pattern

GPU-CPU協同處理就是將CPU看作控制中心負責數據的準備、傳輸、GPU的調度和邏輯性強的串行計算，而GPU則負責接收CPU分配的耗時巨大、高度并行的大規模運算，并將結果反饋給CPU。

2.2 GPU-CPU協同影像正射糾正

航空影像的正射糾正是利用影像的內外方位元素和數字高程模型(digital elevation model,DEM)，基于構像方程將中心投影的原始影像糾正為正射影像的過程。傳統正射糾正是將全幅影像按照反解法數字微分糾正基于CPU串行逐像素進行糾正。基于CPU串行的全幅糾正不僅會造成巨大的數據冗余和時間開銷，還會造成內存資源的浪費。為此，本文根據已生成的鑲嵌線網絡，確定每張影像在鑲嵌后影像中的有效部分，只對該部分進行正射糾正，并將糾正后的結果直接賦給結果影像，同時將正射糾正計算過程在GPU上運行進一步提高效率。GPU-CPU協同影像有效部分的糾正過程如圖4所示。

圖4GPU-CPU協同正射糾正流程

Fig.4FlowchartofGPU-CPUcooperationorthographicrectification

1)由Voronoi圖鑲嵌線網絡得到當前影像的有效區域范圍(該影像對應的Voronoi多邊形)，設Rec為該多邊形的最小外接矩形。

2)根據Rec計算該區域覆蓋的DEM范圍，再根據公式(6)將Rec投影到原始影像上得到其對應的紋理范圍，將原始影像局部紋理、局部DEM和外參數等從內存拷貝到顯存，即

(6)

3)根據Rec的長寬與DOM地面空間分辨率的關系設置線程塊的大小和數目，每一個線程對應一個像素。

4)根據線程索引，每條線程計算出對應像素的地面坐標(X,Y)，判斷該像素是否在有效多邊形內部，若在則內插高程Z，根據公式(6)計算其在原始影像的位置，內插并進行灰度賦值； 若不在，則該像素不做任何處理。

5)將GPU計算的結果從顯存傳到內存，并寫到硬盤上。

2.3 CUDA程序性能優化

將傳統的CPU程序，按照CUDA的語法轉換成可在GPU上執行的程序，并不能很好的發揮GPU的高性能處理能力，還需要根據GPU硬件和CUDA的優化策略對GPU程序進行性能優化。CUDA的基本思想就是最大程度的線程并行化,程序在執行時線程塊被映射到流多處理器中調度執行。麥克斯韋架構中，滿足以下條件時，流多處理器的調度性能最優: ①線程塊中線程數的大小不大于1 024; ②每個流多處理器中的線程數最大為2 048; ③一個流多處理器，最多可以同時調用16個線程塊。綜合以上條件，當線程塊大小為1 024時，流多處理器的調度性能最優。

CUDA模型中提供的每種存儲器的大小和訪問速度不同，合理有效地利用GPU層次性存儲的特點將極大提高程序執行效率。本文根據數據的大小和用途作以下優化：

1)對于數據量不大且每個像素都要做只讀訪問的影像定向參數、DEM文件參數，將其用常數存儲器存儲可以減少大量訪問造成的時間開銷。

2)對于頻繁用于灰度內插的原始影像紋理信息和用于高程內插的DEM柵格數據，將其存儲于紋理存儲器之上，可以有效利用紋理存儲器的緩存加速和局部數據快速訪問的特點。

3)對于同一線程塊內所有線程都要頻繁訪問的數據，可以存儲在該線程塊速度極快的共享存儲器上。

4)寄存器雖然有很高的訪問速度，但是每個線程的寄存器數量非常有限，如果線程中定義的變量過多，過多的變量將會存儲于訪問效率低下的全局存儲器，因此在每個線程中盡可能少的定義變量也有助于提高程序的執行效率。

2.4 GPU-CPU協同無人機影像快速鑲嵌

為解決傳統正射影像鑲嵌方法自動化程度低、耗時長、數據冗余大和硬件內存開銷大的問題，本文提出了一種GPU-CPU協同無人機影像快速鑲嵌的方法，該方法以測區所有影像像底點為散點集，自動生成測區Voronoi圖鑲嵌線網絡； 從勻光后影像出發將正射糾正的過程嵌入影像鑲嵌中，只對每張影像有效貢獻區域進行正射糾正直接賦值給鑲嵌后的DOM； 同時將GPU-CPU協同處理技術運用于影像正射糾正和鑲嵌過程，快速獲取測區全景DOM影像圖。GPU-CPU協同無人機影像快速鑲嵌流程如圖5所示。

圖5 GPU-CPU協同無人機影像快速鑲嵌流程Fig.5 Flowchart of GPU-CPU cooperation rapidly mosaicking of UAV images

3 實驗與分析

為驗證本文方法的有效性，以某地6個航帶共230張空間分辨率為0.1 m、航向重疊約為70%，旁向重疊約為45%、大小為3 744像元×5 616像元的無人機影像進行實驗。

實驗環境為： 64位的Windows7系統，CPU為英特爾 i5-3470，主機內存為16 GB； GPU為麥克斯韋架構下的Nvidia Geforce GTX970，擁有2 496個計算核心，顯存為4 GB。

3.1 勻光處理

圖6給出了影像間勻光的結果，可以看出在勻光前目標影像與模板影像之間存在著明顯的色彩差異，模板影像色彩均勻，整體色調偏淺綠，而目標影像整體色調偏暗，經過Wallis勻光后，結果影像的整體色調和模板影像基本趨于一致。

(a) 模板影像 (b) 目標影像 (c) 結果影像

圖6Wallis勻光處理結果

Fig.6ResultsofWallisdodging

3.2 鑲嵌結果

圖7給出了用本文方法自動生成的鑲嵌線網絡和測區鑲嵌后DOM全景圖。其中圖7(a)是將測區所有像主點投影到地面得到的像底點分布； 圖7(b)則是以測區所有像底點為散點集自動生成的Voronoi圖鑲嵌線網絡，網絡中每一個多邊形對應一張影像的有效區域； 圖7(c)和7(d)是鑲嵌之后測區全景DOM圖，鑲嵌后DOM大小為76 104像元×66 850像元。從圖7看出本文方法快速獲得的DOM全景圖沒有拼接漏洞，實現了無縫鑲嵌。

(a) 測區像底點分布(b) 測區鑲嵌線網絡 (c) 帶鑲嵌線DOM (d) 不帶鑲嵌線DOM

圖7快速鑲嵌結果

Fig.7Resultsofrapidmosaicking

圖8則給出了測區DOM全景圖的鑲嵌細節。

(a) 山地鑲嵌細節

(b) 平地鑲嵌細節

(c) 低層建筑物鑲嵌細節圖8 DOM鑲嵌細節Fig.8 Mosaicking details of DOM

測區內地形和地物豐富，從圖8中可以看出，基于DEM進行糾正的DOM不僅在測區平坦區域可以實現無縫鑲嵌，在起伏較大的山地區域也沒有紋理錯位； 由于DEM不包含建筑物等信息，因此當鑲嵌線穿過建筑物時會有幾何錯位，本文使用Voronoi圖鑲嵌線網絡每張影像的有效部分的投影變形都在理論上最小，因此在鑲嵌線穿過非高層建筑時，也能取得較好的鑲嵌效果。

3.3 鑲嵌效率

從GPU-CPU協同對影像有效區域正射糾正和整個鑲嵌過程對本文方法進行效率分析。由于每張影像的有效區域大小不一，因此耗時也不同。對一張影像的有效區域正射糾正包括硬盤讀取、數據傳輸、糾正計算和寫回硬盤4個部分，對硬盤的讀寫時間占據了整個過程的很大比重。為了更好地分析GPU-CPU協同計算的效率，本研究將整個過程分為數據傳輸及計算、硬盤讀寫2個部分進行效率分析。

圖9(a)為經過選擇配置和存儲器優化之后GPU-CPU協同和基于CPU對有效區域正射糾正耗時對比。基于CPU平均耗時為3 610 ms，基于GPU-CPU協同經過選擇配置優化后平均耗時為167 ms，再進行存儲器優化之后平均耗時進一步減少到149.8 ms，較基于CPU串行計算效率平均提升25.8倍。影像的內部讀寫有3種格式，按照行存儲的BIL格式、按照像素存儲的BIP格式和按照波段存儲的BSQ存儲，大多影像默認為BIL格式。圖9(b)為3種方式存儲格式下，對相鄰15張影像有效區域讀取和結果寫入的耗時情況。圖9(c)為基于GPU-CPU協同且運用BSQ存儲策略下與傳統基于CUP串行且BIL存儲策略下對有效區域糾正并存儲整個過程的耗時比較。傳統方法對15張影像有效區域正射糾正平均耗時為14 389 ms，而本文方法平均耗時僅為4 958 ms，平均加速比為3.2倍。

(a) 計算時間效率對比 (b) 硬盤讀寫效率對比 (c) 全程效率對比

圖9影像有效區域正射糾正效率分析

Fig.9Efficiencyofortho-rectificationofthevalidarea

利用本文GPU-CPU協同無人機影像處理方法對230張無人機影像進行快速正射糾正處理直接輸出測區DOM全景圖只需耗時28.4 min。如果采用文獻[7]和文獻[14]等的方法，先對測區所有影像進行全幅正射糾正，再進行鑲嵌線網絡選擇進而進行影像鑲嵌的傳統方法，在全區影像全幅正射糾正上不僅耗費巨大的時間，而且還會造成巨大的數據冗余，不利于縮短應急測繪的響應時間。

4 結論

本文方法先通過將測區影像像主點投影到地面，自動生成了測區Voronoi圖鑲嵌線網絡； 然后基于GPU-CPU協同處理技術將正射糾正嵌入到影像鑲嵌過程中且只對影像有效區域進行糾正，直接輸出測區DOM全景圖。本文方法中只對有效區域進行糾正，不僅避免了巨大的數據冗余也極大減少了計算時間。對230張空間分辨率為0.1 m的無人機影像進行快速糾正鑲嵌只需28.4 min，較傳統方法有極大的效率提升。

由于Voronoi圖是對平面的幾何劃分，并沒有考慮到建筑物等目標，當鑲嵌線穿過高層建筑物區域時仍會存在紋理錯位，下一步將研究如何優化鑲嵌線使其自動繞過建筑物。

[1] 孫家抦.遙感原理與應用[M].武漢:武漢大學出版社,2003.

Sun J B.Principles and Applications of Remote Sensing[M].Wuhan:Wuhan University Press,2003.

[2] Kerschner M.Seamline detection in colour orthoimage mosaicking by use of twin snakes[J].ISPRS Journal of Photogrammetry and Remote Sensing,2001,56(1):53-64.

[3] Davis J.Mosaics of scenes with moving objects[C]//Processing of 1998 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Santa Barbara,CA,USA:IEEE,1998.

[4] Chon J,Kim H,Lin C S.Seam-line determination for image mosaicking:A technique minimizing the maximum local mismatch and the global cost[J].ISPRS Journal of Photogrammetry and Remote Sensing,2010,65(1):86-92.

[5] 袁修孝,鐘 燦.一種改進的正射影像鑲嵌線最小化最大搜索算法[J].測繪學報,2012,41(2):199-204.

Yuan X X,Zhong C.An improvement of minimize local maximum algorithm on searching seam line for orthoimage mosaicking[J].Acta Geodaetica et Cartographica Sinica,2012,41(2):199-204.

[6] 潘 俊,王 密,李德仁.基于顧及重疊的面Voronoi圖的接縫線網絡生成方法[J].武漢大學學報(信息科學版),2009,34(5):518-521.

Pan J,Wang M,Li D R.Generation of seamline network using area Voronoi diagram with overlap[J].Geomatics and Information Science of Wuhan University,2009,34(5):518-521.

[7] 李 爍,王 慧,程 挺,等.顧及有效區域的Voronoi圖的正射影像拼接[J].測繪科學技術學報,2014,31(5):519-523.

Li S,Wang H,Cheng T,et al.Orthoimage mosaicking based on Voronoi diagram with valid area[J].Journal of Geomatics Science and Technology,2014,31(5):519-523.

[8] 侯 毅,沈彥男,王睿索,等.基于GPU的數字影像的正射糾正技術的研究[J].現代測繪,2009,32(3):10-11.

Hou Y,Shen Y N,Wang R S,et al.The discussion of GPU-based digital differential rectification[J].Modern Surveying and Mapping,2009,32(3):10-11.

[9] 李朋龍,鄧 非,何 江,等.GPU-CPU協同航空影像快速正射糾正方法[J].測繪地理信息,2016,41(2):44-47.

Li P L,Deng F,He J,et al.GPU-CPU cooperate processing of aerial image rapid ortho-rectification[J].Journal of Geomatics,2016,41(2):44-47.

[10] 楊靖宇,張永生,李正國,等.遙感影像正射糾正的GPU-CPU協同處理研究[J].武漢大學學報(信息科學版),2011,36(9):1043-1046.

Yang J Y,Zhang Y S,Li Z G,et al.GPU-CPU cooperate processing of RS image ortho-rectification[J].Geomatics and Information Science of Wuhan University,2011,36(9):1043-1046.

[11] 方留楊,王 密,李德仁.CPU和GPU協同處理的光學衛星遙感影像正射校正方法[J].測繪學報,2013,42(5):668-675.

Fang L Y,Wang M,Li D R.A CPU-GPU co-processing orthographic rectification approach for optical satellite imagery[J].Acta Geodaetica et Cartographica Sinica,2013,42(5):668-675.

[12] 韓宇韜.數字正射影像鑲嵌中色彩一致性處理的若干問題研究[D].武漢:武漢大學,2014.

Han Y T.Research on Key Technology of Color Consistency Processing for Digtial Ortho Map Mosaicing[D].Wuhan:Wuhan University,2014.

[13] 李德仁,王 密,潘 俊.光學遙感影像的自動勻光處理及應用[J].武漢大學學報(信息科學版),2006,31(9):753-756.

Li D R,Wang M,Pan J.Auto-dodging processing and its application for optical RS images[J].Geomatics and Information Science of Wuhan University,2006,31(9):753-756.

[14] 于 涵,李朋龍,胡馮偉.基于Voronoi圖無人機影像快速拼接方法研究[J].地理空間信息,2016,14(4):27-29.

Yu H,Li P L,Hu F W.UAV images rapid mosaic method based on Voronoi diagram[J].Geospatial Information,2016,14(4):27-29.

AmethodforrapidUAVimagesmosaickingbasedonGPUparallelcomputing

LI Penglong1,2, DING Yi1,2, HU Yan1,2， LUO Ding1,2, DUAN Songjiang1,2, SHU Wenqiang1,2

(1.ChongqingGeographicInformationCenter,Chongqing401121,China; 2.ChongqingRemoteSensingCenter,Chongqing401121,China)

A method for rapid mosaicking UAV images is introduced, which is based on Voronoi network and GPU parallel computing. Firstly, the radiometric difference between the images is solved by Wallis dodging. Then the seamline network based on Voronoi diagram is created by the locations of all UAV images. At last, the UAV images are ortho-rectified and mosaicked rapidly based on the GPU parallel computing. Experimental results indicate that the method’s efficiency has increased by several times compared with the traditional methods by mosaicking 230 UAV images whose resolution is 0.1 meter. The mere rectification of the valid area of every UAV image and the application of GPU parallel computing not only avoid the huge data redundancy but also greatly reduces the computation time.

image dodging; UAV images; ortho-rectification; image mosaicking; GPU parallel computing

10.6046/gtzyyg.2017.04.10

李朋龍，丁憶，胡艷，等.一種基于GPU并行計算的無人機影像快速鑲嵌方法[J].國土資源遙感，2017，29(4)：57-63.(Li P L,Ding Y,Hu Y,et al.A method for rapid UAV images mosaicking based on GPU parallel computing[J].Remote Sensing for Land and Resources,2017,29(4):57-63.)

P 231

A

1001-070X(2017)04-0057-07

2016-07-24；

2016-11-20

重慶市科學技術委員會社會事業與民生保障科技創新專項項目“基于傾斜攝影技術的重慶市城鄉規劃公眾服務平臺建設與應用”(編號： cstc2017shmsA30011)和住房和城鄉建設部科學技術項目“基于多源異構遙感影像的輔助城鄉規劃督察信息化平臺建設及應用研究”(編號： 2017-K8-046)共同資助。

李朋龍(1991-)，男，碩士，工程師，主要從事攝影測量與遙感、GPU高性能計算等方面的研究。Email： penglongli@whu.edu.cn。

(責任編輯：李瑜)