無人機偵察圖像實時展示方法研究

徐曉婷 滕杰

摘? 要：為提升圖像分析人員判讀無人機偵察圖像的效率，該文提出一種輔助圖像分析人員實時判讀的無人機偵察圖像展示方法。該方法基于無人機位姿數據，實現偵察圖像的實時地圖疊加顯示，有效地解決圖像重復判讀、拼接失敗圖像展示等問題，為圖像分析人員提供更加豐富的圖像關聯信息及地理信息，真正實現發現即定位。

關鍵詞：無人機；偵察圖像；情報；圖像拼接；瓦片地圖

中圖分類號：TP751.1? ? ? 文獻標志碼：A? ? ? ? ? 文章編號：2095-2945（2024）05-0137-04

Abstract： In order to improve the efficiency of image analysts in interpreting UAV reconnaissance images， this paper proposes a UAV reconnaissance image display method which assists image analysts in real-time interpretation. Based on the position and attitude data of UAV， this method realizes the real-time map overlay display of reconnaissance images， effectively solves the problems of image repeated interpretation and splicing failure image display， and provides more abundant image correlation information and geographic information for image analysts， the real discovery is location.

Keywords： drone; reconnaissance image; intelligence; image mosaic; tile map

近年來，無人作戰系統快速發展，無人作戰向體系化、集群化發展。無人機承擔著偵察、打擊等多種作戰任務，通過無人機收集的偵察圖像數據呈爆炸式增長，如何高效地從圖像中獲取目標信息，是困擾圖像分析人員的重要問題。

吳蔚等[1]通過對圖像情報處理系統的分析，提出了一種滿足實時作業和離線管理的圖像情報處理方法；宋朱剛等[2]通過對高空長航時無人機的作戰應用需求分析，提出了高空長航時無人機在情報偵察中的關鍵技術；吳婷等[3]根據C4ISR系統中無人機偵察圖像信息的處理架構，提出了偵察圖像處理、分發、分析的關鍵技術和解決方案。

隨著人工智能技術的發展，基于深度學習的目標識別技術被廣泛應用于圖像目標檢測領域。張玉蓮[4]提出了一種適合艦船目標檢測與識別的深度學習網絡模型，針對1 920×1 080的大尺寸圖像，在嵌入式硬件系統中艦船檢測識別的準確率高于85%。嚴開忠[5]設計了一個基于YOLOv3的無人機航拍圖像檢測模型，該模型在測試數據集上的mAP超過84%。雖然基于深度學習的目標檢測與識別技術在圖像自動化判讀上取得極大的進步，但是該技術地有效運行依賴于大量訓練數據，當前在無人機偵察領域尚難以滿足。因此，本文從圖像數據的合理展示入手，輔助圖像分析人員提高圖像判讀效率，加速情報處理閉環。

1? 圖像情報處理流程

1.1? 典型流程

圖像情報處理典型流程包括圖像解析、圖像預處理、圖像顯示、判讀整編和情報分發等步驟，如圖1所示。

圖像解析模塊接收無人機下傳的原始遙測信息，經過解析后獲得偵察圖片及其附加信息，其中附加信息包括成像瞬間無人機的位置、姿態信息及傳感器的姿態、成像參數信息；圖像預處理模塊根據圖像特性及成像效果執行幾何校正、灰度校正等操作；圖像顯示模塊主要完成圖像數據的顯示，供圖像分析人員進行目標判讀；判讀整編模塊則為提供必要的檢測、標注、定位工具，供圖像分析人員完成目標信息的整編；成果上報則將整理的情報數據分發至相關系統。

1.2? 圖像顯示

在圖像顯示階段，通常具有3種顯示方式：滾動顯示、拼接圖顯示及地圖顯示。

滾動顯示是在完成圖像解析與預處理后，通過圖像顯示窗口依次顯示偵察圖像，分析人員可通過執行暫停、播放、調整播放速度、圖像縮放等操作進行圖像判讀。為了保證偵察圖像對偵察區域的覆蓋性，相鄰圖像間通常有一定的重疊率，單純的滾動顯示方式會造成分析人員的重復判讀；同時由于偵察圖像分辨率通常較大，直接顯示在屏幕上通常會執行縮放操作，可能造成小目標的判讀遺漏。

拼接圖顯示首先創建一張全景畫布，以第一張圖片為基準，依次將后續圖像拼接校正后依次顯示于全景圖上。全景圖的顯示形式規避了對同一區域重復判讀的問題。但是由于拼接算法的不確定性，圖片存在無法拼接的可能，拼接失敗的圖片如何展示在全景畫布上成為制約拼接圖顯示的主要難題。同時，拼接圖顯示還需解決拼接累積誤差、拼接圖縮放、目標標注等問題。

地圖顯示首先根據圖像附加信息對圖像進行幾何校正和地理編碼，然后依據圖像地理位置將圖像疊加于地圖進行顯示。地圖顯示可有效解決重復判讀、拼接失敗的圖像展示等問題。

2? 地圖顯示

地圖顯示處理流程包括4步：①幾何校正；②瓦片生成；③瓦片融合；④二維地圖顯示。如圖2所示。

幾何校正模塊接收原始圖像及成像附加信息，完成圖像的地理編碼并執行圖像變換生成校正圖；瓦片生成模塊接收校正圖，依據校正圖構造切割圖像金字塔并完成各層級圖像瓦片切割；瓦片融合模塊接收圖像瓦片，對于同一層級、同一行列號的瓦片執行像素融合，生成唯一的該層級該行列號地圖瓦片；二維地圖顯示模塊利用地圖引擎加載瓦片進行顯示。

2.1? 幾何校正

幾何校正由絕對校正和相對校正兩階段完成，主要完成原始圖像的地理編碼及幾何校正。幾何校正階段決定了圖像在地圖上的展示位置。

2.1.1? 絕對校正

圖像絕對校正首先利用無人機位姿信息及傳感器成像參數計算圖像對應的地理坐標，進而對圖像進行校正，將其還原為實際照射范圍的形狀為Plefttop（左上點）、Pleftbottom（左下點）、Prighttop（右上點）、Prightbottom（右下點）這4個點所包絡的形狀，如圖3所示。無人機位置信息包括無人機經度、緯度、高度，姿態信息包括無人機橫滾角、俯仰角、航向角，傳感器成像參數包括傳感器方位角、俯仰角、視場角。

在圖像對應的地理坐標解算過程中，由于一副圖像包含一定矩形區間范圍內的像素，數量較多，考慮到歐式變換中主要以旋轉、平移為主，基本上屬于可逆的線性變換機制，因此，只需要利用一副圖像中的4個角點即可計算出圖像在地面的空間分布范圍。在成像瞬間，相機攝影中心S、圖片中某像點a、像點a對應的實際景物點A 3點共線，基于此可采用共線方程計算圖像四個角點對應的物點經緯度。共線方程實際上描述的是像點、物點、攝影中心在大地輔助直角坐標系中的空間位置關系，如下式所示

式中：（XA，YA，ZA）為物點A在地輔系中的坐標；（Xa，Ya，Za）為像點a在地輔系中的坐標；（XS，YS，ZS）為攝影中心S在地輔系的坐標；L為像點a到物點A的距離。

2.1.2? 相對校正

由于相鄰圖片間通常具有一定的重疊率，為了更好的可視化效果，將圖像相對上一幀圖像進行配準校正，本文基于特征點配準完成相鄰圖像的匹配校正。圖像配準就是將不同視角的兩幅圖像進行匹配疊加的過程，本質上是在變換空間中尋找最優的圖像變換方式，以獲得正確匹配結果。圖像配準通常有3類方法：基于灰度信息方法、基于變換域方法和基于特征方法。基于灰度信息方法是直接根據圖像或圖像塊灰度信息進行像素上的對齊，該方法主要思想是直接最小化圖像信息差異；基于變換域的方法將圖像轉化到變化域進行對齊配準；基于特征方法則在特征空間完成圖像配準。由于航拍圖像面臨著天氣變化、成像角度多樣等挑戰，本文采用基于特征方法進行圖像配準，基于特征的圖像配準流程包括基準圖像、待配準圖像特征提取、特征匹配、變化矩陣解算和待配準圖像校正等步驟，如圖4所示。

基于特征的配準方法可以分為基于點特征配準、基于線特征配準、基于面特征配準3類。點特征通常包含角點、端點及極值點等，基于特征點的圖像配準方法適用于角點明顯、高曲率點及邊緣端點等特征明顯的圖像；線特征通常指圖像的邊緣和構成邊緣的線，基于線特征的圖像配準方法使用于道路、海岸線、建筑輪廓等場景；面特征通常指一個區域內的顯著特征，適用于多光譜成像場景。由于點特征具有較強的適應性與魯棒性，本文采用點特征進行圖像配準，特征點提取結果如圖5所示。

2.2? 瓦片生成

瓦片生成主要包含2個步驟：①圖像金字塔生成；②瓦片切割。

數字地圖引擎通常采用了以瓦片機制驅動的地圖內容服務，其中最常見的是瓦片金字塔結構。為了適應地圖引擎的需求，根據所需顯示的瓦片層級，將圖片以2的次方進行采樣，獲取圖像金字塔。

地圖瓦片通常為固定分辨率（如256像素×256像素）的圖片，根據地圖引擎的標準，將各個層級的圖片切割為固定尺寸的地圖瓦片，切割結果如圖6所示。

2.3? 瓦片融合

瓦片融合是對不同圖片產生的同一層級、同一行列號的瓦片進行灰度值處理的過程，本文直接采用后生成瓦片的灰度值。常用的融合方法包括加權平均法、金字塔融合法、梯度域融合法等，由于融合效果主要影響視覺效果，對圖像判讀影響不大，故本文采用加權平均法對同名瓦片進行融合處理（圖7）。

2.4? 二維地圖顯示

為了更好地表征圖像所在的地理位置及圖像間的相對位置關系，本文采用瓦片地圖對圖像進行展示。在進行地圖展示時，瓦片地圖通過2種方式刷新瓦片顯示：①人工操作觸發，當判讀人員執行地圖平移、縮放等操作時，刷新顯示瓦片；②切割瓦片主動推送，當瓦片切割模塊生成圖像瓦片時，若該瓦片位于當前顯示區域，刷新顯示瓦片。

通過以上2種刷新機制，保證了瓦片地圖的合理顯示，便于分析人員判讀分析。

3? 技術展望

為了進一步提升偵察圖像判讀效率，一方面需繼續豐富偵察圖像顯示方式，另一方面須加強在小樣本下的目標自動判讀技術。

3.1? 基于slam的實時三維顯示

隨著slam技術的快速發展，基于slam的實時三維重建技術[6]得到更多研究。在保證偵察圖像重疊率的情況下，可以結合slam技術完成地面數據實時三維重建，為圖像分析人員提供高度方向的信息，增加圖像分析人員的判讀信心。

3.2? 小樣本目標自動判讀技術

在體系化作戰下，圖像數據將進一步增加，單純依靠人工判讀難以保證情報生成的時效性。雖然圖像數據急劇增加，但是包含特定目標的圖像數據卻極為稀少，為了應對小數據集下深度學習識別模型的性能缺陷問題，需加強研究小樣本目標自動判讀技術[7]，輔助圖像分析人員完成目標判讀。

4? 結束語

為了提升圖像分析人員的判讀效率，本文提出了一種無人機真偵察圖像展示方法。該方法通過幾何校正、瓦片生成、瓦片融合等處理流程，將偵察圖像實時疊加于瓦片地圖進行顯示，展示了偵察圖像的位置信息及依賴關系。本方法時效性強，可視化效果好，可有效輔助圖像分析人員進行判讀分析。在偵察圖像急劇增加、分析人員有限的背景下，為進一步提升圖像分析效率，還需大力發展無人機偵察圖像自動判讀能力，進而加速作戰行動的感知、決策、行動閉環。

參考文獻：

[1] 吳蔚，李曉冬，許鶯.無人機偵察圖像情報處理與運用關鍵技術研究[C]//中國指揮與控制學會.第四屆中國指揮控制大會論文集.中國電子科技集團公司第二十八研究所信息系統工程重點實驗室，2016：4.

[2] 宋朱剛，蔣盤林.高空長航時無人機在情報偵察中的軍事應用與關鍵技術[J].通信對抗，2010（3）：4.

[3] 吳婷，朱美正.圖像情報處理系統的研究與實現[J].計算機工程與設計，2011，32（11）：3925-3928.

[4] 張玉蓮.光學圖像海面艦船目標智能檢測與識別方法研究[D].北京：中國科學院大學（中國科學院長春光學精密機械與物理研究所），2021.

[5] 嚴開忠.基于深度學習的無人機目標檢測與跟蹤算法研究[D].南京：南京理工大學，2021.

[6] 萬剛.無人機測繪技術及應用[M].北京：測繪出版社，2015.

[7] 劉春磊，陳天恩，王聰，等.小樣本目標檢測研究綜述[J].計算機科學與探索，2023，17（1）：53-73.