基于無人機系統的應季救援正射影像快速生產方法初探

林火鍛 張志林

摘要：在應急救援中，需要快速了解和掌握搜救區域的實際情況。本研究提出了一套基于無人機系統快速獲取搜救區域正射影像的處理流程和方法，通過影像序貫平差、基于CPU-GPU異構并行的正射糾正以及影像快速拼接，得到搜救區域無明顯拼接縫的正射影像。

關鍵詞：無人機;序貫平差;正射糾正;影像拼接

中圖分類號：P231?文獻標識碼：A

文章編號：0439-8114（2020）07-0204-03

DOI：10.14088/j.cnki.issn0439-8114.2020.07.042

Abstract： In the emergency rescue，it is necessary to quickly understand the actual situation of the search and rescue region. A fast approach for ortho image generation of the search and rescue region based on unmanned aerial vehicle system was put forward，through image sequential adjustment，ortho rectification based on CPU-GPU，and fast image mosaic，ortho image of the search and rescue region without-obvious seam-line was obtained.

Key words： unmanned aerial vehicle; sequential adjustment; ortho rectification; image mosaic

無人機系統具有實時性強、機動靈活、受天氣影響小、使用成本低廉等優點，且可以在高危地區作業，非常適合于各種自然災害和傷員的救援工作。由于無人機搜救與傳統人力、通用有人航空飛機方式相比具有突出的優勢，近年來國內外出現了一些無人機搜救系統，并逐漸應用于應急救援中。美國的快速醫療兵“影子無人機”，采用交互式傷員搜尋模式，可對傷員進行精確定位;韓國的Camcopter S-100無人機系統可以進行實時空中監測，獲取災區的實景影像圖并搜尋傷員[1]，中國航天科工集團研制的搜救機器人，可利用定位搜救，通過交互的方式搜索傷員。在應急救援中，搜救區域實景影像圖的獲取能夠使救援人員迅速了解和掌握搜救區域的地形地貌，科學組織傷員的搜尋和運送工作，這對復雜環境下的應急救援工作具有重大意義。現有的無人機搜救系統在這方面略顯不足，不能高效、及時地獲取具備地理定位信息的搜救區實景影像圖，影響了應急救援指揮工作。針對這一問題，本研究提出一套快速獲取搜救區域正射影像的處理流程和方法。

正射影像改正了由像片傾斜以及地形起伏引起的投影差，同時具有地圖的幾何精度和影像視覺特征，已成為地理信息系統數據庫中的重要組成部分[2]，廣泛應用于地形測繪、環境保護、應急救援、災害監測與災情評估等眾多領域。通過無人機系統快速獲取具備定位信息的正射影像，可作為搜救工作的地理底圖，用于發現傷員并定位傷員地理位置。

1?無人機正射影像快速獲取基本框架

近年來，國內外的一些商業軟件都支持無人機數據的快速處理，比較典型的有像素工廠（Pixel Factory）、INPHO、Pix4D Mapper和Pixel Grid。然而，這些系統所依賴的硬件平臺成本昂貴、軟件開發過程復雜，無法滿足多數通用硬件平臺的要求，且無法滿足應急測繪對移動性的要求。本研究提出的無人機正射影像快速獲取系統的基本框架如圖1所示。

無人機正射影像快速獲取系統主要由無人機遙感平臺、無人機有效載荷和地面處理系統3個部分組成。利用無人機搭載光學成像設備、定位測姿系統（Position and Orientation System，POS）等，按照飛行路線規劃，對任務區域進行序列成像，對獲取的數據進行在線處理，或回傳至地面處理系統進行處理;通過對影像連接點進行提取與匹配，進而實施光束法平差，求解拍攝時刻影像的外方位元素;利用已有的地面高程模型數據，或通過光束法平差時求解地面點進行內插得到地面高程模型，對影像進行正射糾正，得到單張正射影像;對得到的正射影像進行無縫拼接，獲取任務區域的正射影像。

2?無人機正射影像快速獲取的關鍵技術

從無人機影像的獲取到最后正射影像的輸出是一個連續緊密的過程，中間涉及影像空中三角測量、正射糾正、影像拼接等多個關鍵步驟。下面將對無人機正射影像快速獲取過程中的幾項關鍵技術進行分析，并提出相應的解決方案。

2.1?影像序貫平差

在應急響應情況下，需要無人機動態獲取影像數據，同時對影像數據進行實時或近實時處理，得到地球參考坐標系下的DSM和正射影像[3，4]。而在災害救援等情況下，依靠地面布設控制點的方法是行不通的，在無人機上安裝輕巧型POS系統獲取曝光時刻相機的空間位置和姿態數據進行直接定位是一種解決方案。但已有試驗表明，直接利用POS系統獲取的影像外方位元素進行立體測繪，其精度特別是高程精度難以滿足大比例尺地形測圖的精度要求，因此需聯合POS系統測定的影像外方位元素和觀測值像點觀測值進行平差計算（POS輔助光束法區域網平差）以提高精度[5]，這是一種數據后處理提高精度的方法，并不滿足應急情況下的需求。為實現數據實時或近實時的處理，就必須采用一種序貫處理的思路改進POS輔助空中三角測量。無人機影像序貫平差以時間和精度的平衡為原則，解決了應急條件下對動態獲取無人機影像進行快速平差的問題。

圖2為無人機影像外方位元素高精度實時賦值的全過程。當獲得新的影像后，采用序貫平差的方法進行處理，不僅要更新當前影像的外方位元素，還要更新之前影像的外方位元素。序貫平差處理憑借對數據間相關信息的挖掘和平差信息的重復利用[6]，實現了比POS輔助光束法區域網平差更快的速度。

無人機影像序貫實時平差的方案分為2個階段。首先是初始化階段，對一定數量的影像進行POS輔助空中三角測量;然后是序貫平差階段，計算與新影像相關的已經平差的影像，新影像與其相關影像一起序貫平差。

2.2?基于CPU-GPU異構并行的影像正射糾正

在獲取影像的位置和姿態信息后，就可以利用數字高程模型對影像進行糾正，獲取帶定位信息的正射影像。在應急響應條件下，數字高程模型可通過2個途徑來獲取，一是利用測區已有的數字高程模型;二是利用上述序貫平差時獲得的物方點坐標進行內插，得到數字高程模型。目前，全國大部分地區已進行了1∶500 00地形圖的覆蓋和定期更新，甚至更大比例尺的地形圖數據覆蓋。全球30 m甚至更高分辨率的數字高程模型也已公開。通常，地球表面地形的變化不大，在應急條件下，可調用這些數據進行處理。

近年來，并行處理技術的出現使得計算機程序運行效率大大提升。單單利用CPU并行，效率的提升并不顯著。隨著可編程GPU構架的出現，充分發揮兩者特點的CPU-GPU異構并行方式成為研究的熱點。GPU計算能力的不斷提升，使得CPU-GPU異構并行的小型化系統具備與以往大規模集群系統相媲美的計算能力，非常適合于對小型化、移動化要求高的應急場合。

正射糾正的主要計算任務是坐標變換系數的求解和灰度內插2個部分。影像灰度內插操作是典型的計算密集型模塊，其處理過程相對固定，對每一個像點的計算形式一致，像點之間相互獨立，具有內在的并行性，因此非常適合GPU并行處理。由于遙感影像處理的數據量通常較大，與計算坐標變換系數相比，灰度內插所占據的時間更多，所以正射糾正并行優化的重點應該是灰度內插操作的并行化。由以上正射糾正并行化分析可見，正射糾正中的灰度重采樣操作適合進行GPU并行處理。利用反解法基于CPU-GPU異構并行的正射糾正并行處理流程如圖3所示。其主要步驟包括①讀取影像與參數;②進行CUDA初始化;③分配設備端內存及由主機內存向設備端內存進行數據傳輸;④調用反解法數字微分糾正的內核Kernel函數進行并行計算;⑤設備端內存向主機內存傳輸計算結果;⑥重采樣影像保存。

2.3?影像拼接

在得到單張正射影像后，需要將這些單張正射影像進行拼接以獲取大區域的正射影像。這就需要選擇合適的鑲嵌線，對于待拼接的影像，其具備一定重疊度，鑲嵌線就是在重疊區域內生成的一條合理分割重疊區的全局最優路徑，鑲嵌線應能很好地繞開建筑物等高出地面的物體[7，8]。拼接的主要任務就是消除拼縫，實現灰度融合，即使拼接后的影像灰度在接縫處光滑自然。然而在無人機低空遙感數據正射影像的無縫拼接上，其主要集中于重疊區影像鑲嵌線的自動尋找上[9]。本研究采用一種數學形態學結合Dijkstra算法的最優路徑搜索算法，其流程如圖4所示。

3?結果與分析

試驗數據為2014年9月4日在南京某地區獲取的無人機遙感影像，共獲取了85張原始影像。搭載的相機為索尼a7R，其像幅為7 360×4 912像素，像素大小為4.88 um，CCD大小為35.9 mm×24 mm，焦距為35.95 cm。飛行高度為300 m，測區地面起伏較小，包含部分建筑物。圖5是飛行獲取的原始影像。對傳輸回來的原始影像進行連接點提取和匹配，在獲取一定數量的影像（10張以上）后，進行序貫平差。后續的影像傳輸回來后，通過計算其與之前影像的相關程度。設定一個相關程度的閾值ε，相關程度大于閾值ε的影像將參與隨后的序貫平差，這樣就可以獲得與新獲取影像一同參與序貫平差的影像。之前獲取的相關程度小于閾值ε的影像則可以輸出至下一步正射糾正過程，這樣可以實現處理流程上的并行，進一步提高系統效率。圖6是經上述處理流程后獲得的測區正射影像。由圖6可見，通過無人機系統快速獲取的正射影像無明顯拼接縫，影像色彩較一致，能夠反映測區地形地貌的概況，可作為應急救援的地理地圖，應用于組織傷員的搜尋和運送工作中。

4?小結

采用了兼顧測量精度與平差速度無人機影像序貫平差方法，在精度滿足應急響應要求的前提下，其平差速度得到了很大提升。正射糾正過程中的灰度內插操作是密集計算區域，在分析了其并行性的基礎上，提出了一種基于CPU-GPU異構并行的處理算法，實現了其并行化運算，提高了算法的運行效率。在正射影像拼接過程中，拼接線要避開人工建筑物。本研究采用了一種數學形態學結合Dijkstra 算法的最優路徑搜索算法，結果表明，該方法能避開地面建筑物，獲得無明顯拼接的正射影像。該處理流程和方法在實際應用中具有一定的參考意義。

參考文獻：

[1] CHOI K，LEE I. A UAV-based close-range rapid aerial monitoring system for emergency responses[J]. ISPRS-international archives of the photogrammetry，remote sensing and spatial information sciences，2012，XXXVIII-1/C22（1）：247-252.

[2] 朱?慶，于?杰. 城區真正射影像處理方法綜述[J]. 中國科技論文，2011，4（18）：1680-1685.

[3] 于?英. 無人機動態攝影測量若干關鍵技術研究[D]. 鄭州：解放軍信息工程大學，2014.

[4] 薛?武. 無人機視頻地理信息定標與直播處理技術[D]. 鄭州：解放軍信息工程大學，2014.

[5] 袁修孝. 當代航空攝影測量加密的幾種方法[J]. 武漢大學學報（信息科學版），2007，32（11）：1001-1007.

[6] 馮永興. 論測量平差中的序貫平差[EB/OL]. 中國科技論文在線[2010-10-28]. http：// www.paper.edu.cn.

[7] 莫德林. 基于GPU的遙感影像真正射糾正技術研究[D]. 鄭州：解放軍信息工程大學，2014.

[8] 劉?彬，陳向寧，郭連朋. 基于無人機遙感影像的三維戰場構建技術研究[J]. 系統仿真學報，2015，27（6）：1268-1273.

[9] 馮圣峰. 無人機正射影像無縫拼接的研究[D]. 南昌：東華理工大學，2013.