基于決策融合的多無人機協同目標檢測識別算法

李洪瑤, 李小強, 韓心中, 謝學立, 席建祥,*

(1. 火箭軍工程大學導彈工程學院,西安 陜西 710025; 2. 火箭軍研究院,北京 100094)

0 引 言

無人機(unmanned aerial vehicle, UAV)智能巡視隨著UAV工藝和人工智能發展而興起,在道路交通監控、電力線路安全巡檢、關鍵區域巡視等領域具有廣泛應用。在進行較大范圍區域巡視時,由于區域環境復雜、區域內目標較多、UAV硬件限制,單架次UAV巡視方案不能滿足實際需求,此時一般需要采用多UAV進行巡視。

當前的多UAV巡視方案大都將大范圍的巡視區域劃分為多個小區域進行單架次巡視,即一個UAV負責巡視一個小區域,但是在巡視過程中各UAV相互獨立、缺少協同,無法充分發揮多UAV系統級優勢。采用多架UAV協同巡視,不僅能夠增大單次飛行的巡視范圍,提高巡視效率,而且能夠通過融合多機巡視信息,增強巡視結果可信度。此外,多UAV系統還具有單架UAV所不具備的容錯能力和魯棒性,有利于巡視任務順利有效完成。多UAV協同巡視是未來UAV大范圍智能巡視的發展趨勢。

多UAV協同目標檢測與識別是多UAV協同巡視的關鍵技術,通過融合多機信息對地面目標的位置、形狀和類別進行感知。技術實現途徑主要包括3個步驟,即目標檢測、目標關聯與目標融合。

目標檢測是完成巡視任務的前提基礎,檢測信息的全面性和準確性關系著后續態勢理解、預測和評估的可靠性。隨著深度學習的發展,目標檢測與識別技術取得很大的突破,出現了如快速區域卷積神經網絡(faster-region convolutional neural network, Faster-RCNN)算法、YOLO V3算法、Retinanet等優秀的目標檢測算法。對其性能進行比較分析,YOLO V3算法屬于單階段算法,檢測速度最快,但定位精度受限;Faster-RCNN算法屬于兩階段算法,目標檢測精度最高,但運行速度較慢;而Retinanet算法能在保持準實時基礎上,達到近似兩階段檢測算法的精度,相比于前兩種算法,更適用于航拍圖像的目標檢測。

目標關聯匹配是進行目標融合的基礎,目標關聯的精度直接影響圖像拼接與后續數據融合的準確性,因此較多研究圍繞目標關聯開展。其中,Tang等學者利用低復雜度概率數據關聯(probabilistic data association,PDA)方法,在低信噪比或強雜波的情況下完成目標軌跡初始化。同時,將聯合PDA(joint PDA,JPDA)應用于同時跟蹤多目標場景,彌補了快速簡單逼近算法與高效優化算法在計算負荷和精度上的差距。Sinha等學者基于分配的全局最近鄰跟蹤器的跟蹤質量度量密度,提出了一種適用于目標暫時無法檢測的多目標關聯跟蹤方法。PDA主要處理雜波環境中單目標關聯問題,JPDA多用于雜波與目標較少的多目標關聯場景,最近鄰算法則適用于回波環境較為稀疏的場景中。

隨著社會的發展,環境日益復雜,多傳感器應用已逐漸成為主流,能在復雜的應用背景中對目標進行有效識別成為關鍵步驟,從而使目標融合即數據融合的研究有重要意義。Lee等學者基于貝葉斯推理,提出了一種新的信息融合和狀態估計算法用于擴展目標跟蹤, Koch等學者基于擴展卡爾曼濾波系統在完成非均勻圖像信息融合問題上有一定突破,基于擴展卡爾曼濾波的多模型庫被開發出來并應用于對非均勻圖像進行識別和恢復過程。Miao等學者基于一種似是而非和自相矛盾推理的信息融合算法DSmT(dezert-smarandache theory)的快速質量收斂函數收斂算法的序列圖像完成決策級的融合,可以顯著提高航空影像的目標識別與融合的效果。本文研究的多UAV協同目標融合中,多UAV航拍圖像獲取的目標信息可能具有較強的沖突性,對目標融合算法有一定要求。

綜合本文研究的問題,從數據處理方式考慮,此問題可看作多傳感器信息融合問題。多傳感器信息融合是形成系統級優勢的關鍵技術,受到學者廣泛關注。王琪龍等學者采用聯邦卡爾曼濾波算法融合雙目視覺傳感器和激光測距傳感器的信息,設計了目標跟蹤系統,提高了跟蹤的量測精度。陸峰等學者提出一種用于自動駕駛的多視角融合目標檢測識別方法,利用目標框位置信息對多傳感器信息進行目標關聯,并使用證據推理有效地融合了激光雷達和可見光傳感器信息,提高了對道路目標的檢測精度。這也是目前多傳感器目標檢測的主流算法框架之一。Chavez等學者提出一種基于證據推理的完整感知融合架構,通過集成復合表示和不確定性管理解決運動物體檢測和跟蹤問題,提高了檢測跟蹤的效率與準確率。相比地面的多傳感器系統,多UAV傳感器的空間位置分布更加靈活、距離目標更遠、圖像目標尺度更小、目標分辨率更低。

結合目前研究現狀總結得出,目前研究針對多UAV協同定位、協同跟蹤問題較多,但對底層的多UAV協同目標檢測與識別的研究較少。針對當前環境目標復雜、環境區域大的情況,加大多UAV協同目標檢測與識別的研究力度具有較為重要的意義,優勢主要體現在兩方面。第一,耗時更短。多UAV協同檢測識別可根據獲取的視圖不同進行實時任務分配,可使每架UAV最高效完成相應任務。第二,容錯性更強。單UAV進行目標檢測識別時存在的誤差來源較多,影響任務的因素較多。多UAV協同進行圖像檢測識別工作時,有效保證檢測識別任務的穩定性。增強機間協同作用,能夠實時進行任務分配調節,對于誤差因素的影響可有效降低。在研究過程中的主要難點有3點,包含航拍圖像信息特征提取的有效性、多UAV目標關聯的二義性和多源信息融合算法的魯棒性。

本文采用決策級融合結構,設計多UAV協同目標檢測與識別方案。首先采用改進的Retinanet對單個UAV圖像進行目標檢測與識別,得到各圖像中目標的位置坐標和類別概率分布;并行地,使用加速魯棒特征(speeded-up robust features, SURF)算法進行多UAV圖像配準,獲取多機圖像之間的幾何變換矩陣,并利用幾何變換矩陣將多機檢測結果投影至同一坐標系。在同一坐標系下,綜合位置信息和屬性信息構建目標關聯概率矩陣,并基于最近鄰匹配策略選擇目標關聯對;最后采用動態切換機制在兩種信息融合算法中實時依據情況選擇證據推理理論(dempster-shafer theory, DST)和DSmT對關聯的目標信息進行決策融合。

1 協同目標檢測與識別算法介紹

多UAV協同目標識別主要是UAV搭載的多傳感器的協同。主要對多個UAV在不同視角對目標感知的圖像信息進行融合,提高多UAV的感知視場范圍和準確度。以3架UAV為例,進行多UAV協同目標識別策略研究。考慮到多UAV系統的個體差異和帶寬限制,提出基于決策融合的多UAV協同目標識別算法,算法總體方案如圖1所示。算法主要分為單架UAV航拍圖像的目標檢測、多UAV目標關聯和多UAV決策融合目標識別3個階段。首先,單個UAV對各自巡視區域進行目標檢測與識別。然后,將不同UAV圖像進行空間配準,將多個UAV探測結果投影至同一坐標系下,并完成目標關聯。最后通過決策級融合,將不同UAV對同一目標的檢測與識別的結果進行融合。

圖1 多UAV協同目標檢測與識別總體框架圖Fig.1 General framework of cooperative object detection and recognition for multiple UAVs

1.1 基于改進Retinanet的單機目標檢測

本文采用深度卷積網絡作為單UAV圖像的目標檢測與識別方法。考慮到UAV航拍圖像小目標分布較多,本文選用Retinanet來檢測航拍圖像地面目標。通過調整anchor box參數適應航拍圖像目標檢測。

1.1.1 Retinanet簡介

Retinanet主要結構如圖2所示。采用ResNet構建特征金字塔提取網絡(feature pyramid networks,FPN),并在殘差網絡(residual network, ResNet)-FPN的基礎上,增加了、輔助檢測層,構建了～的5層檢測特征層。為解決限制單階段檢測器精度的類別不平衡問題,提出Focal Loss函數作為分類損失函數,在交叉熵損失函數中添加動態調節因子,用來減小易分類樣本loss權重,增大難樣本loss權重,從而引導優化器更關注于難樣本的優化。Focal Loss定義為

()=-(1-)log()

(1)

(2)

式中:為標簽值；為模型預測值；為線性調節因子；為指數調節因子。

圖2 Retinanet結構圖Fig.2 Structure of Retinanet

1.1.2 改進措施

Retinanet采用分層檢測的思想設計anchor box,在低特征層上用小尺度anchor來檢測小目標,隨著層級升高,逐級增大anchor尺度使之更適合更大目標的檢測。為保證anchor box的采樣密度和與目標box的匹配率,在每個層級內設置多種尺度和長寬比的anchor box。根據UAV航拍圖像目標分布特性,為匹配更多的小目標,本文將anchor box的base_size設置為16,同時設置在特征各像素點生成長寬比為{0.5,1,2,3},尺度比為{2,2,2}的anchor box共12個,增大anchor的采樣密度。對Retinanet的anchor box匹配策略進行修改,保證每個anchor box匹配到量測標準值(intersection over union,IOU)最大的真值框。為進一步提高anchor box對小目標的召回率,將正樣本閾值下調為0.4,負樣本閾值調整為0.3。Focal Loss參數設為=025,=2.0。

此外,由于UAV空間分布不同,采集的圖像在尺度、旋轉和視角上存在一定差異。為提高目標檢測器對多機圖像的魯棒性,在Retinanet訓練階段進行數據增強,對圖像進行隨機的水平翻轉、尺度放縮[0.75,1,1.25]和角度旋轉(-π/36,π/36)。并采用遷移學習思想進行Retinanet訓練,首先加載具有COCO預訓練權重的Retinanet,在VISDrone數據集上進行初步訓練,然后利用在VISDrone數據集上訓練的權重,在自己數據集上進行適應性訓練。通過遷移學習的方法,增加了參與訓練的數據量,有利于提高檢測器的性能。

將Retinanet輸出的結果經過非極大值抑制(non-maximum suppression,NMS)后,得到單機圖像的檢測結果,為了便于后續多機融合,保留Retinanet對每個框所屬目標類別預測的全部概率分布。檢測結果如圖3所示。

圖3 單UAV目標檢測結果Fig.3 Object detection results of single UAV

1.2 綜合位置信息和屬性信息的多機目標關聯

多機目標關聯是進行多機決策融合的關鍵環節,關聯效果的好壞關系著整個系統的準確性與可靠性,以往大部分文獻主要根據目標的位置信息進行關聯,這種方法在目標密集的情況下容易出現誤關聯。為克服關聯的二義性,本文綜合目標位置信息和屬性信息,構建關聯概率矩陣,并采用具有全局優化的最近鄰匹配算法進行關聯分配。本文采取的多UAV目標關聯算法如圖4所示。

圖4 多UAV目標關聯算法框圖Fig.4 Flow chart of multiple UAVs object association algorithm

1.2.1 基于特征配準的目標坐標空間一致性處理

多UAV位于空間不同位置,對場景的成像角度和方向存在差別。為便于后續多UAV目標關聯,本文采用圖像配準,找出同一場景在不同成像傳感器下的圖像之間的空間轉換關系,將各成像傳感器的圖像轉換到同一坐標系中,實現多UAV目標信息坐標統一。

具有加速穩健特征的算法是圖像配準常用的特征描述子之一,是尺度不變特征變換算法(scale-invariant feature transform,SIFT)的一種改進,其在保持SIFT算法優良性能基礎上,加快了特征提取計算速度。

首先利用SURF算法提取三幅圖像特征描述點,保證匹配特征點對的數量和質量。然后采用基于平衡二叉樹k-d樹的最近鄰近似匹配規則,實現快速的特征點匹配。最后利用隨機一致性采樣算法(random sample consensus,RANSAC)進行特征點對的精匹配,并求解出最優的坐標變換矩陣。

本文選取投影變換模型進行圖像變換,其幾何變換矩陣為

(3)

式中:,為原坐標；為線性調節因子；′,′為變換后的坐標；為矩陣的元素。可以看出,矩陣具有8個參數,故至少需要4對匹配特征點才能求解。基于實驗獲取的數據,使用上述方法進行實驗驗證,最終獲取多UAVs圖像特征精匹配結果如圖5所示。

圖5 多UAV圖像特征精匹配結果Fig.5 Fine matching results of multiple UAVs image

選取中間的UAV航拍圖像作為參考圖像,左、右UAV的航拍圖像作為待配準圖像,按左、中、右位置順序分別記為、、。利用坐標轉換矩陣,將各UAV檢測的結果對齊至同一坐標系中。為了直觀表示投影后檢測框之間的關系,以圖像為參考圖像做圖像拼接,多UAV檢測框投影至同一坐標系的結果如圖6所示。

圖6 多UAV圖像拼接與檢測結果投影Fig.6 Image mosaic of multiple UAVs and projection of detection results

1.2.2 位置信息和屬性信息的關聯概率矩陣構建

在統一的坐標系下,對各UAV投影的目標檢測框,選取Jaccard overlap作為位置信息相似性度量準則。Jaccard overlap定義為

(4)

式中:,分別表示兩個多邊形包含像素點集合；∩表示集合和的交集；∪表示集合和的并集；表示多邊形面積。

針對各UAV單機檢測獲取的目標類別概率分布,選取Hellinger距離作為屬性信息相似性度量。Hellinger距離同Jaccard overlap一樣具有歸一化性質,便于后續融合處理。Hellinger距離越小,說明目標屬性越接近。定義為

(5)

式中:,表示兩個目標框的離散概率分布。

為全面考慮目標位置信息和屬性信息給目標關聯帶來的影響,采用加權平均的方式構建綜合關聯度量準則:

=-

(6)

式中:表示綜合信息度量值;表示位置信息的權重;表示屬性信息的權重。此處和更傾向于位置信息的度量、故取23和13。

此時,圖6中目標檢測框來源存在7類可能情況,如表1所示,表中“1”表示是,“0”表示否。

表1 多UAV檢測目標框來源

(7)

式(7)中,3個關聯概率矩陣僅能表示表1的前6種情況。當出現第7種情況——目標被3架UAV同時檢測,若直接考慮3個檢測框之間的Jaccard overlap,會弱化關聯概率對三框的位置分布的約束,造成度量失準。因此采用加權融合方式進行“三框關聯”概率賦值為

(8)

式中:、和表示加權權重,本文認為兩架UAV的可靠程度相等,本文均取1/3。

1.2.3 基于最近鄰的多目標關聯判定算法

由于各UAV在航拍時飛行高度,姿態,攝像機參數等數據存在差異性,所以獲得的場景存在著視角與視場的不同,可能會出現以下情況:

(1) 同一目標同時被3架UAV檢測到;

(2) 同一目標被其中2架UAV檢測到;

(3) 目標僅被1架UAV檢測到。

圖7 過渡框沖突示意圖Fig.7 Schematic diagram of transition box confliction

對存在關聯項的檢測框,先考慮兩架UAV之間的關聯情況,當滿足第7種情況賦值條件時,再進行3架UAV之間的關聯。本文借鑒最近鄰思想,提出一種具有全局優化的關聯判定算法,算法流程步驟如下所示。

算法旨在生成雙框關聯和三框關聯的檢測框集合。

輸入3個關聯概率矩陣。

對矩陣的行和列進行初始化編號,與檢驗框的序號對應。

進行預處理,選取關聯閾值th,將概率矩陣小于th的元素置0,然后剔除矩陣全0行和全0列。

求解剩余矩陣所有元素中的最大值,得到最大元素對應的檢測框編號,生成一對關聯框,并刪去所在行與列。

判斷剩余矩陣是否為空,若否則重復步驟5,直至矩陣行或列為空,得到所有雙框關聯集合。

在雙框關聯集合中判斷情況7成立的條件,并對三框關聯概率進行閾值篩選。

去除雙框關聯集合中可能存在的過渡框沖突,如圖7所示,取關聯概率更大的關聯對。

1.3 基于動態切換機制的多機融合識別

多架UAV在空間的不同位置,以不同視角對同一目標進行感知,目標在各相機坐標系中的成像存在差異。將不同航拍場景的目標檢測數據投影至拼接場景后,同一待檢測目標可能會擁有多組檢測數據,而這多組數據對目標的位置和類別置信度的反映存在偏差。為利用多視角帶來的信息互補性和冗余性,提高多UAV系統的感知效益,需對多組數據進行融合,得到一組最準確的檢測數據。

經過多機目標關聯,場景內的目標會存在3種關聯情況:① 不存在關聯;② 雙框關聯;③ 三框關聯。不存在多機關聯的目標則不進行融合,直接取單機檢測識別的結果。對存在關聯的目標,進行融合處理,即將不同UAV的檢測識別結果作為不同的證據源,完成證據推理決策融合過程。

在多UAV飛行過程中,單架UAV對同一目標,可能會給出不同的類別預測概率,甚至是不同的類別判定。針對多機決策的不確定性問題,本文采用基于DST和DSmT的動態選擇方法進行類別概率融合。DST推理框架相對計算簡單有效,但在強沖突條件下會陷入悖論;DSmT建立了更廣泛的理論框架,具有處理強沖突證據的能力,但隨著目標類別增多,計算量會迅速增長。采用動態切換機制,根據證據沖突程度來選擇融合方式,從而充分發揮兩種融合方法的優勢。

根據目標分類,定義目標識別框架根據={0,1,2,…,},其中0到代表目標的類別。將UAV給出的目標所屬類別的置信度作為基本概率賦值:{(0),(1),…,()},∈{,,}表示來源于不同UAV的識別結果。針對兩個證據源和,DST采用Dempster規則進行融合:

(9)

式中:()表示融合后的概率分布。

對于具有較強沖突的證據,DSmT發展了PCR～PCR共6種組合規則。本文選擇被廣泛使用的PCR規則進行證據融合。由于多目標識別框架中目標類別具有互斥性,自由DSmT模型將被約束為Shafer模型,此時PCR組合規則定義為

(10)

動態切換的時機由證據沖突的強弱決定。本文采用Jousselme距離衡量證據之間的沖突程度,Jousselme距離越大,說明證據間沖突越強。其中Jousselme距離定義為

(11)

式中:矩陣中的元素為

3個證據間的沖突程度選定為兩兩沖突中的最大值為

(,,)=max(++)

(12)

通過計算兩個證據間的Jousselme距離,將其視為沖突系數,當沖突系數超過設定閾值,則認為兩個證據具有較強的沖突性,此時采用DSmT進行證據推理,而當小于時,則采用計算復雜度較小的DST進行證據融合。本文設定=0.45。從表2可以看出,經過多項決策信息融合,多UAV系統對目標類別的預測置信度分布,更加集中于多項證據最支持的類別,并給予較大的置信度,使判讀更加肯定。表3反映了在強沖突證據下,DST會發生誤判,而DSmT仍能正確判定。

表2 弱沖突證據下DST與DSmT的推理結果

表3 強沖突證據下DST與DSmT的推理結果

進行多機目標關聯后,有多個檢測框表示同一個目標的情況,不利于目標位置判定,因此需進行檢測框合并,確定最合適的位置檢測框,本文借鑒非極大值抑制思想,選擇關聯的3個檢測框中預測概率最大的作為最終的檢測結果。以三框融合為例,設、、為3架UAV對同一目標的位置檢測結果,、、為UAV對檢測框的類別預測概率,則合并后的目標框為

(13)

通過多框融合,確保了只有一個最高置信度的檢測框與目標匹配。提高目標匹配的精度,更好地服務于多UAV巡視。其中,以一組實驗圖為例,基于多UAV目標位置信息和屬性信息的融合結果如圖8所示。

圖8 融合結果展示圖Fig.8 Fusion result display diagram

2 分析與討論

實驗平臺操作系統為Windows 10,實驗設備性能配置如下:中央處理器:Xeon E5-1650 v4,3.6 GHz;圖形處理器:TITAN-X,12 GB;運行內存32 GB;固態硬盤容量512 GB。算法采用python 3.6實現,目標檢測算法Retinanet使用pytorch-0.4進行搭建,并利用GPU進行加速。

為驗證本文所提算法的有效性和可行性,在構建的多UAV航拍數據集上進行測試。數據集由不同位置的UAV下視圖像構成,圖像來源于高精度的UAV傾斜攝影三維模型和大疆“悟1”UAV實拍圖像,相鄰UAV圖像的重疊度大于35%。標注的目標類別包括小車、貨車、障礙物和人等共7類。多UAVs協同目標檢測數據集部分樣本如圖9所示。數據集使用有兩種情況:① 不分為所屬UAV,全部圖像用于訓練和測試,稱為“全部數據集”;② 根據UAV方位不同,每組圖像具有3幅圖像、、,稱為“分組數據集”。

圖9 多UAV協同目標檢測數據集部分樣本Fig.9 A part of samples of multiple UAVs cooperative object detection dataset

2.1 單UAV目標檢測對比實驗

為驗證改進策略的有效性,設置了性能對比實驗,將改進的Retinanet算法同原算法、YOLO v3、Faster R-CNN和SSD進行性能對比。用于目標檢測的數據集不用細分所屬UAV,直接使用全圖像的70%做遷移訓練,用剩余30%做測試。從表4中可以看出,改進anchor參數和訓練策略的Retinanet算法在測試集上精度最高,單張圖像平均檢測時間約為85 ms。在增加少量計算時間基礎上,精度獲得較大提升,滿足正常目標檢測需求。

表4 目標檢測算法性能對比

2.2 多UAV協同目標檢測與識別實驗

2.2.1 多機圖像配準對比實驗

為兼顧配準時間和配準準確度,選擇使用SURF特征描述子進行特征匹配,同時選用k-d樹最近鄰匹配規則進行匹配,選擇最近距離與次近距離比在0.75以內的匹配點對進行單應性矩陣的求解。在測試集上進行實驗測試,測試集中3張不同方位的UAV航拍圖像作為一組。將UAV圖像、對于UAV圖像的配準結果的均值進行對比,圖像大小為512×304。評價指標包括特征點匹配對數、匹配后對應坐標點之間的均方誤差和運算時間。表5對比了本文配準方案與其他相關方案,本文方案在匹配點對數、均方根誤差和計算時間上得到較好的均衡。

表5 多UAV圖像配準方案性能對比

2.2.2 多機目標關聯對比實驗

在分組測試集中,通過人工標記真值關聯對,驗證本文關聯算法的準確率,并與相關算法進行對比。從表6可以看出本文采取的最近鄰多目標關聯方案,在保證了一定準確率的基礎上,運算時間最快。因為本文關聯的對象是目標檢測器生成的檢測框,其經過了非極大值抑制處理,抑制了最高置信度檢測框附近其他檢測框的響應,且關聯算法也進行了再次閾值抑制,經過閾值篩選后,所得圖像中檢測框的分布相對稀疏,雜波干擾也較少,在此情況下,最近鄰關聯算法也能表現出較好的性能。

表6 多目標關聯算法性能對比

2.2.3 多機融合檢測與識別對比實驗

為驗證經過多機決策融合,多機檢測系統能提高對待檢目標的檢測可靠性,設計對比實驗。選取融合前后的mAP變化和運算時間作為性能指標。為驗證所提出的動態切換策略的有效性,將其與單一DST和DSmT進行對比。

測試時,首先將圖像、、中關聯的目標框信息進行融合,根據規則選取融合后的檢測框序號和預測類別概率,然后對原圖像、、單機檢測結果的相關信息進行篩選與替換,最后計算測試集所有圖像結果的mAP。

設定動態切換閾值=0.45,對4種融合算法進行對比。從表7可以看出,采用動態切換策略的多機系統獲得了最高的檢測精度,保證了檢測系統的可靠性。動態切換策略一定程度避免了DST在強沖突證據推理上易產生悖論和DSmT計算復雜的缺點,相較于單一使用DSmT或DST,采用動態切換機制具有更好的性能。

表7 多UAVs目標檢測決策融合算法性能對比

對動態切換融合策略效果高于純DSmT進行分析。由于DSmT對沖突信息處理較DST更敏感,在處理沖突時會對沖突信息進行加權分配,當在弱沖突情況下進行融合時,雖然DST和DSmT的融合判定一致,但DSmT合成的置信度會低于DST,而mAP與類別預測置信度大小呈正相關關系。當沖突加大時DST易發生誤判,而DSmT對沖突信息處理得更好,因此在強沖突情況下DSmT發揮出更好的性能。動態切換策略在測試集中較好地利用DST和DSmT各自的優點完成決策融合,因此性能指標mAP超過了單一使用DSmT。

2.2.4 多機協同目標識別檢測實驗圖

這部分將展示實驗圖,其中包含對每架UAV拍攝圖按照分類標準及要求分別進行的目標識別檢測結果如圖10所示,與對多目標進行信息決策融合的結果如圖11所示。基于實驗過程圖,更為直觀地展現出多UAV識別檢測的結果。實驗驗證本文提出的多UAV協同目標檢測與識別算法能夠在目標較為密集的復雜情況下,能夠高效地完成多UAV協同巡視任務。

圖10 L、M、R單UAV目標檢測部分樣本Fig.10 Part of samples of L, M and R single UAV target detection

圖11 決策融合結果Fig.11 Decision fusion results

3 結 論

針對UAV巡視過程中單架UAV不能高效完成較大范圍區域巡視的問題,提出了一種基于決策融合的多UAV協同目標檢測與識別算法。采用了Retinanet進行單UAV圖像目標檢測,通過改進anchor box參數和訓練策略提高航拍圖像目標檢測準確率;使用SURF算子進行多機圖像配準,獲取幾何變換矩陣,完成多機檢測信息坐標的統一;采用Jaccard overlap和Hellinger距離構建目標關聯概率矩陣,使用具有全局優化的最近鄰匹配規則求得最佳關聯對;采用基于Jousselme距離的動態切換策略,結合DST和DSmT的優點進行了多UAV檢測結果決策融合。實驗結果表明,所提算法在數據集上具有較好的性能表現,多機融合后的檢測精度提升了12.83%。但此算法對視角變換較大的多UAV圖像檢測性能有待進一步提高。下一步計劃采用深度卷積神經網絡提取高質量配準特征點,并融合時序信息,充分發揮多UAV系統的優勢。