基于層間分類一致性準則的艦船目標細粒度識別方法

張拯寧,張林,王鉞,李云飛,楊云超

1.清華大學 電子工程系,北京 100084 2.清華大學 深圳國際研究生院,深圳 518055 3.航天恒星科技有限公司,北京 100086

1 引言

基于光學遙感圖像的艦船目標識別技術廣泛應用于軍事和民用領域,例如海上態勢評估、重要港口和目標監視、海事救援、非法捕魚管理等。近年來,遙感衛星的空間分辨率、光譜分辨率和輻射分類率、重訪周期等主要技術指標都大幅度提升,能夠提供關于艦船目標結構和紋理的精細信息,這些信息為實現細粒度艦船目標識別創造了條件。

當前基于圖像的通用目標識別方法已經取得很大進展,識別精度已經得到很大提升。通用目標識別方法主要解決類間差異性顯著的圖像分類問題,例如區分貓和狗、飛機和汽車等。細粒度目標識別的任務是進一步確定目標所屬的子類信息[1],例如識別不同型號的汽車、不同種類的船等。實現細粒度識別的難點在于模型必須能夠從總體上高度相似的目標特征之中提取到足以區分各子類的精細局部特征。

更進一步,如果細粒度識別是由粗到精、層次化的,則有助于快速、準確地獲取關于目標更豐富的屬性信息。面向各類軍民用需求,對艦船目標細粒度識別的進一步要求是希望得到逐步細化、具體化的分類結果,也即一種由粗到精、層次化而非扁平化的分類結果。

層次化分類的隱含要求是分類器在各分類層級上輸出的分類結果是相互一致的,不應出現矛盾和沖突。如果某一船舶目標在較粗的分類層級被分類為民用船舶,但卻在更精細的分類層級被進一步細分為驅逐艦,則該層次化分類結果就不是相互一致的。實現一致性分類不僅在科學上具有重要意義,在工程上也有重大的實際應用價值。當遙感衛星圖像的空間分辨率不足以完成滿足一定識別精度要求的細粒度分類時,一個合理而且自然的選擇是給出其在更粗分類層級的最大似然估計,這比只給出在當前分類層級一個置信度很低的分類結果具有更大的實用價值。例如,如果能夠將一張圖片中的艦船目標按某種層次化的分類體系識別為“軍艦大類中的驅逐艦子類,型號是阿利伯克級”,就比只把該目標簡單識別為“一艘船”更有價值。

現有細粒度目標識別方法主要包括三種類別:

1)局部特征法:利用部件標注信息或使用注意力機制等手段提取局部關鍵特征,實現細粒度識別[2-5]。

2)端到端特征編碼法[1]:采用高階特征交互,設計新的損失函數等方法提升模型對細粒度特征的表示能力[6-8]。

3)外部信息輔助法[1]:利用圖像之外的額外信息,例如拍攝地點、文本描述等,協助實現細粒度識別[5,9]。

局部特征法一般需要數據集對目標部件有精細標注或引入注意力機制,在無需額外標注的前提下實現局部特征的定位和提取。外部信息輔助法所需的外部輔助信息常常難以獲取。這些方法都是針對有效定位和提取局部關鍵特征的角度提出的,并沒有利用艦船目標分類體系中本身所蘊含的類別隸屬信息提高細粒度識別精度。人類在執行圖片分類任務時,如果目標類別標簽是有意義的文字,則對比無意義的符號,錯誤率會降低。這說明目標標簽的語義信息及其背后所蘊含的先驗知識對于提高分類精度有很大價值。上述觀察啟發我們,如果艦船目標數據集的分類體系是層次化的,且分類標簽之間具有一致性,就可以利用該先驗知識引導分類器訓練,使得其向一致性的層次化分類優化,理應可以提高艦船目標的識別精度。

基于上述動機,本文提出一種層間分類一致性的度量函數并基于該函數構建了多層級兼容艦船目標細粒度識別網絡。該一致性度量函數能夠定量描述層次化分類結果之間的一致性程度,同時它是可導的,可以作為損失函數用于優化目標識別網絡,從而提高細粒度識別精度。該方法本質上屬于端到端特征編碼法類別。

2 目標層次化細粒度識別相關工作

2.1 層次化分類問題

機器學習中分類任務的目的是建立一個分類模型,將目標與一組不相交類中的一個類建立關聯。多數研究工作中,一個目標只被賦予一個類別標簽,并假設類別標簽之間是無關的,因此分類算法無需考慮類別之間可能存在的聯系,這就是單標簽分類問題(single-label classification,SC)。現實世界中的分類任務要更復雜,一個目標可能同時屬于多個類別,也即它將被同時賦予多個標簽,這就是多標簽分類問題(multi-label classification,MC)。單標簽分類問題中的分類體系是扁平化的,或者說非層次化(non-hierarchical)的。但是在多標簽問題中,分類體系中的各類別可能存在明確的顯性隸屬關系,也即分類體系是層次化的,每一個目標可以被分配層次化分類體系中的多個路徑,稱為層次化多標簽分類任務(hierarchical multi-label classification,HMC)。各類別之間也可能只存在隱性的隸屬關系[10],此時分類體系依然是非層次化的。在更普遍意義上,單標簽分類問題是層次化分類退化為只有一級分類時的一種特殊情況,而隱性的多標簽分類也可以視為層次化分類擴展為類間具有某種概率聯系的特殊情況。

層次化分類問題按照類別間隸屬關系可以分為分類樹(tree)和有向無環圖(directed acyclic graph,DAG)兩種類型。如果分類體系中,任一類別只有唯一的父類,這就是一個分類樹問題,如圖1所示;否則,如果一個類別可以有多個父類,那么該層次化分類問題就是有向無環圖問題,如圖2所示。

圖1 分類樹

圖2 有向無環圖

圖3 層間弱一致性分類準則的不足

關于層次化分類問題,研究較多的應用主要是針對文本分類[11-13]和蛋白質功能預測[14-15]等,但在圖像分類和目標識別領域,該問題研究的還不夠深入。

2.2 層次化分類的一致性

層次化分類問題的嚴格數學定義建立在偏序集的基礎上。所謂偏序是指在集合C上的一個二元關系≤滿足自反性、反對稱性和傳遞性要求,也即:

由C和≤組成的二元組H=〈C,≤〉滿足:

1)自反性:對于任意元素p∈C有p≤p。

2)傳遞性:對于任意元素p,q,r∈C,如果p≤r,r≤q,則p≤r≤q。

3)反對稱性:對于任意元素p,q∈C,如果p≤q,q≤p,則p=q[16]。

給定偏序關系≤,如果p≤q且p≠q,則稱p

在定義偏序關系≤、偏序集H后,Kosmopoulos A等對層次化分類任務給出以下定義[12]:

定義1(層次化分類任務):給定一個預先定義的類別集C以及定義在其上的偏序集H=〈C,≤〉,當所有目標實例組成的集合為O時,將下述任務稱為層次化分類任務,將布爾值賦予由?oi∈O和?cj∈C組成的所有二元組〈oi,cj〉。

給定層次化分類任務后,可以進一步定義層次化分類的一致性。需要指出的是,如果該層次化分類任務是一個在有向無環圖上的層次化分類任務,則一個類別可以有多個父類,因此將定義在DAG上的層間一致性稱為層間弱一致性分類準則。Kosmopoulos A等給出的層次化分類一致性定義就是一種層間弱一致性分類準則[12]。

定義2(層間弱一致性分類準則):當分配給一個目標實例oi∈O的分類結果Ci∈C滿足下述條件時,稱該分類結果與給定的層次化分類體系具有弱一致性對于?ck∈Ci,Ci都包括了其完整的祖先集A(ck)[12]。

由于任何類別都必然屬于一個分類體系的根節點,因此上述定義中的C不包括根節點。

2.3 類別重加權損失函數

如果從損失函數設計的角度看待層次化一致性分類問題,那么也可以認為所謂層次化一致性分類就是賦予不同分類層級不同權重。因此,基于層次化分類一致性損失函數的細粒度識別方法也可以視為一種類別重加權方法。加權方法中應用最廣泛的是 Tsung-Yi Lin 等提出的 Focal Loss[17],該方法的核心思路是:因為類別不平衡分布導致尾部類別的預測難度提高,那么就可以通過反向利用尾部類別的預測概率給損失函數加權,從而抵消長尾效應。在 Focal loss 的啟發下,后續又發展出了 equalization loss[18],balanced softmax loss[19]等方法。GHM(gradient harmonizing mechanism)loss[20]是在 Focal loss 基礎上的改進型重加權損失函數,它的核心思路是:對于特別難以分類的樣本也不應賦予過大權重,應予以適當抑制。Jiangmiao Pang等提出了 balanced L1 loss 函數用于平衡分類損失和目標位置回歸損失[21]。此外,為解決尾部類別正負樣本的梯度比例不均衡問題,Jiaqi Wang等提出了 seesaw loss[22],用于動態抑制尾部類別的負樣本梯度,同時還增加了對錯誤分類樣本的懲罰。上述各類損失函數,通過重新調整不同類別或不同類型樣本的權重,以較小的資源消耗在不同程度上提升了目標識別精度。Junran Peng等針對多標簽圖像分類方法提出了 concurrent softmax 損失函數[10],用于處理多標簽問題可能導致的預測值競爭問題,也可以認為是一種特殊類別重加權方法,它顯著提升了多標簽圖像分類任務的平均分類精度。

3 層間分類一致性準則及其度量方法設計

3.1 層間一致性分類準則

定義 2給出的“層間弱一致性分類準則”要求分類結果中只要出現某一類別,則應同時包括該類別的所有父類和子類,從而與原分類體系保持一致。該定義并不限制分類器給出一致性分類路徑的數量,因此該定義相當寬松。即使出現多組實質上相斥的分類結果,也符合層間弱一致性分類準則,但這顯然不合理。因此,可以進一步加強限制,如果分類器在層次化分類體系的某一層出現多個分類結果,那么它們之間必須能夠不經過根節點而連通。

圖 3中所示的層次化分類體系,如果分類器同時給出 0-2-3.1 和 0-3-3.1 兩種結果,按照層間弱一致性分類準則,分類結果是一致的。但這并不恰當,因為在分類體系的第 2 層,類別 1 和類別 2、類別 3 并不連通(不考慮根節點時),也即該結果存在矛盾。

基于上述分析,進一步定義給出層間強一致性分類準則如下。

定義3(層間強一致性分類準則)。當分配給一個目標實例oi∈O的分類結果Ci∈C滿足下述條件時,稱該分類結果與給定的層次化分類體系具有強一致性:對于?ck∈Ci,Ci都包括了其完整的祖先集A(ck),且對于Ci的任何一層,如果該層的節點數量n>1,則該層的所有節點在C中應可以不經過根節點而連通。

對于分類樹任務,由于不存在多個父類的情況,因此上述定義與下述定義等價。

定義4(分類樹任務的層間強一致性分類準則)。當分配給一個目標實例oi∈O的分類結果Ci∈C滿足下述條件時,稱該分類結果與給定的層次化分類體系具有強一致性:對于?ck∈Ci,Ci都包括了其完整的祖先集A(ck),且Ci的度為1。

換言之,對于分類樹上的層次化分類任務,層間強一致性分類準則要求分類器在分類樹的每一層,都給出且僅給出一個分類結果;同時,不同層分類結果組成的路徑,上一層節點必須是下一層節點的父類。

基于上述層間強一致性分類準則的定義,可定義層間一致性分類任務。

定義5(層間一致性分類任務)。分類器對給定層次化分類任務產生的任何一組標簽分配結果都應與該任務對應的層次化分類結構滿足層間強一致性分類準則的要求。

3.2 層間一致性分類度量函數設計

(1)分類器設計

層次化分類算法主要包括局部性和全局性兩類算法。局部性算法自上而下實現層次化分類,能夠保證分類結果滿足層間一致性分類準則,但復雜度高,而且容易出現誤差傳播,并不適合多層級的艦船目標細粒度識別任務。全局性方法在分類器的復雜度方面比局部性方法更低,也不存在誤差傳播問題。對于基于光學遙感圖像的艦船目標細粒度識別任務,需要同時完成目標分類以及定位。當艦船目標類別較多時,如采用全局分類器,就需要同時對全部層級的所有類別分類,在分類精度較低時,可能對目標定位回歸任務產生不良影響,同時識別網絡的設計也將變得更加復雜。基于上述分析,采用混合性方法是較好的策略,理由如下:

1)在分類樹的每一層分別實現一個多分類器,模型復雜度低;

2)在分類樹上,由最深一級的任一個類別標簽,可以唯一映射得到在其它級別的所屬父類;

3)各層使用獨立的分類器,可以將分類器與目標識別網絡的其它部分相互隔離,特別是對艦船目標識別網絡中的定位框回歸部分不會產生影響;

4)各層使用獨立的分類器,可以靈活輸出所需層級的分類結果,方便使用;

5)各層使用獨立的分類器,整個識別網絡便于實現,同時容易推廣應用于各類一階段和多階段目標識別方法。

(2)層間一致性度量函數設計要求

一個適用于目標識別網絡優化過程的層間一致性度量函數,應滿足以下4項基本要求:

1)適用性:適合目前常用的目標識別模型和優化算法,便于集成。

2)準確性:能夠定量描述各層級分類結果之間的一致性。

3)魯棒性:應能夠對訓練初始過程可能出現的分類不一致情況保持一定容忍度,避免溢出或導致需要采用更復雜的訓練策略。

4)高效性:當分類層級增加時,一致性度量的算法復雜度應線性增加。

(3)單標簽層間一致性度量函數

不妨設分類器得到在分類樹上各分類層級的分類結果為ck,k=0,…l-1,其中l為分類樹的最大深度。對應該層分類器的交叉熵損失函數為Lk。

在神經網絡訓練過程中,Li表征了第i層分類器輸出的預測值ci與真實標簽yi之間的相符程度。定義單標簽層間一致性度量函數如式(1)所示。

(1)

式中:pt-k為當前所關注的分類層級(即t層,不加說明時,均指分類樹上的最深一層)與第k層的轉移概率。單標簽層間一致性度量計算過程如算法1所示。

算法1:單標簽層間一致性度量算法

輸入:當前分類層級分類結果ct與真實標簽yt,保持層間分類一致的其它分類層級分類結果ck,k∈[0:l-1]

輸出:單標簽層間一致性度量指標Lc(t)

1)根據yt映射得到其它分類層級的真實標簽yk

2)根據ct和yt計算當前分類層級的交叉熵損失Lt

3)for每一個k∈[0,l-1]do

4)根據ck和yk計算當前分類層級的交叉熵損失Lk

5)End for

由于訓練集樣本在各分類層級的標簽都是層間一致的,因此,所有各層分類器的交叉熵損失函數之和Lc(t)就表征了在整個分類樹上,神經網絡預測結果與整個真實分類路徑的相符程度。如果在某一層的預測值與真實標簽不符,則交叉熵比相符時必然增大,換言之,Lc(t)定量描述了層間一致性程度。

算例:不妨設兩個分類層級Level 3和Level 2的類別標簽及神經網絡全連接層輸出的預測值如圖4所示。

圖4 單標簽層間一致性度量函數算例

當Level 3及Level 2層的實際預測值保持層間一致時,也即神經網絡輸出的類別預測結果與類別標簽均保持一致時:

不妨設p3-2=1,則:

Lc(3)=L3+p3-2L2

當層間一致性被破壞時,L2=1.1003,Lc(3)=2.5445,損失函數Lc(3)增大,因此,神經網絡將向層間一致方向優化。

(4)多標簽層間一致性度量函數

單標簽層間一致性度量函數雖然可以定量描述不同分類層之間的分類一致性,但由于計算 Softmax 函數時并未考慮任意兩標簽之間的關聯,結果不夠準確。為進一步提升層間一致性度量函數的準確性,需要將其擴展到多標簽。由于可以方便地由一個分類樹的最深一級類別標簽映射得到其他分類層級的類別標簽,同時也可以將不同分類層對應全卷積層輸出的預測值拼接為一個向量,因此可將多個單標簽分類任務轉化為一個多標簽分類任務,如圖5所示。

圖5 單標簽分類問題轉化為多標簽分類問題

當單標簽分類任務轉化為多標簽分類任務后,每個目標實例對應的類別標簽就不再是獨熱(one-hot)類型了,而是會出現組有效標簽,如圖6所示。

圖6 多標簽分類問題標簽級聯

Junran Peng等已證明,對于多標簽分類問題,如果采用標準Softmax激活函數計算交叉熵損失函數,則可能出現預測值競爭問題,導致網絡向錯誤方向優化[10]。

定義集合K={k∣k∈C,yk=1},則當樣本標簽i∈K時,yi=1。

根據上式可知,如果樣本i∈K,且mσi>1時,則這些樣本產生的梯度反而小于i?K樣本產生的梯度,這就產生了前述的預測值競爭問題。

為避免預測值競爭,在激活函數中引入懲罰項,當各有效標簽具有父子關系時,將該項預測值置零,只計算沒有類別隸屬關系的標簽預測值。定義一種新的多標簽層間一致性度量函數如式(2)所示。

(2)

式中:Lmlc為多標簽層間一致性度量函數,σ′為帶有懲罰項的激活函數。

多標簽層間一致性度量計算方法如算法2所示。

算法2:多標簽層間一致性度量算法

輸入:當前分類層級分類器的預測值zt與真實標簽yt,保持層間分類一致的其他分類層級分類器預測值zk,k∈[0:l-1]

輸出:多標簽層間一致性度量指標Lmlc

1)根據yt映射得到其他分類層級的真實標簽yk

2)將zt與zk,k∈[0:l-1]拼接為zi,i∈[0:C′]

3)for每一個i∈[0,C′]do

5)end for

6)for每一個i∈[0,C′]do

8)end for

求導可得:

Lmlc相比Lc度量層間一致性程度更準確,但它存在一個潛在的魯棒性問題。由于Lmlc考察了所有分類層之間的一致性,在網絡訓練初期,分類一致性很差,這就導致全連接層輸出的預測值zi較大。無論是Softmax函數σ還是加入懲罰項的Softmax函數σ′,都需要進行大量指數運算,因此很容易溢出,而這將造成網絡的訓練過程不穩定。

Lmlc存在的另一個問題是計算復雜度較高。不妨設分類樹共有l層,每層的類別數量均為C個,Lmlc的計算復雜度為O(l2C2)。當分類層級增加時,Lmlc的計算量將迅速增加。

(5)多標簽層間一致性度量函數

為提高Lmlc的計算效率和魯棒性,可以不把所有分類層合并為一個統一的多標簽問題,而只兩兩合并,從而降低計算復雜度。因此,對于一個l層的分類樹,在考察最深一層的層間分類一致性時,只需要計算l-1個多標簽層間一致性函數。定義改進的多標簽層間一致性度量函數如式(3)所示。

(3)

式中:M為與當前層兼容的其他層級總數;Lmlc(m)為當前層與第m分類層級的多標簽層間一致性度量函數;γ(m)為當前所關注的分類層級的一致性權重。

4 多層級兼容艦船目標細粒度識別網絡設計

為驗證層間一致性度量函數作為損失函數可以提升艦船目標細粒度識別精度,基于兩階段目標識別網絡Faster-RCNN[23]實現多層次分類,并將層間一致性度量函數作為分類損失函數納入總的損失函數中,用于優化網絡。由于該艦船目標識別網絡可以實現多層級兼容的細粒度識別,將其命名為“多層級兼容的艦船目標細粒度識別網絡(multi-level consistent ship detection network,MLCDet)”。MLCDet的網絡結構如圖7所示。

圖7 多層級兼容艦船目標細粒度識別網絡結構

MLCDet的總體結構與Faster-RCNN網絡完全相同,由骨架網絡(backbone)、特征金字塔(FPN)、候選區推薦網絡(RPN)和分類及回歸頭(RoI head)組成。骨架網絡采用殘差網絡(residual network,ResNet)[24]。特征金字塔的作用是融合多尺度特征,同樣為驗證層間一致性損失函數的作用,沿用通用方案,不做特別改動。

在上述網絡結構中,骨架網絡、特征金字塔模塊與是否為層次化分類并沒有直接關系。是否包含候選區推薦網絡是區分一階段和多階段網絡的關鍵,在該模塊中也會計算針對正負樣本的分類和損失函數,通常使用交叉熵函數作為分類損失函數,使用SmoothL1函數作為回歸損失函數。這兩個損失會被傳遞到分類和回歸頭模塊,計入總的損失函數進行訓練,從而不斷優化網絡。需要指出的是RPN網絡中的分類任務僅僅為了區分是否為目標,因此無需考慮多層次分類的一致性問題。

根據上述分析,為實現多層兼容的一致性分類,只需要在分類和回歸頭模塊按照3.2節給出的分類器設計思路實現多個層級的分類器即可。RoI head模塊接收到RPN網絡輸出的2000個RoIs,由于其數量太多,先通過非極大值抑制算法(non-maximum suppression,NMS)將數量減少為128個,再通過RoI pooling操作將其池化為相同尺寸,便于后面輸入全連接進行分類和位置回歸。

L=αLRPN+βLreg+γLconsisitent

5 試驗結果

5.1 數據集設置

對于細粒度艦船目標識別任務,主要有3個代表性數據集,分別是 HRSC2016[25],FGSD[26]和ShipRSImageNet[27]。其中ShipRSImageNet是迄今為止最大規模的艦船目標細粒度識別光學遙感圖像數據集,共有3435 張圖像和17573個目標實例,提供了精確的水平矩形框和旋轉矩形框標注。由于該數據集包括 4個層級(Level 0～Level 3),總共50類別目標。其中Level 0表示是否為艦船目標;Level 1級進一步區別目標大類,是軍艦還是民用船舶;Level 2級為子類,例如軍艦大類包括潛水艇、航母、驅逐艦等子類;Level 3級為型號,例如航母子類包括尼米茲號、企業號等。本文所開展的艦船目標細粒度識別指Level 3級的識別。

ShipRSImageNet數據集的不同層級之間的標注信息符合層間強一致性分類準則,因此適用于驗證本文提出的方法和網絡模型。

5.2 試驗設置

(1)試驗設計

為充分驗證方法的有效性,分析在不同層級之間的類別依存關系下,使用層間分類一致性準則對艦船目標細粒度識別精度的影響,共設計了4組試驗。

1)試驗1:分別針對ShipRSImageNet數據集的Level 3與Level 0、Level 3與Level 1、Level 3與Level 2以及Level 3同時與Level 0～Level 2保持一致,共4種情況;使用單標簽一致性度量函數作為損失函數Lc,所有損失函數權重均取2.5開展試驗。

3)試驗3:針對Focal loss等類別重加權損失函數開展細粒度識別的對比試驗。

4)試驗4:損失函數權重的消融試驗,針對試驗1和試驗2,損失函數權重γ取1或0.5開展對比試驗。

(2)超參數設置

所有的試驗均使用PyTorch框架[28]和MMdetection toolkit[29]實現為加速模型訓練,MLCDet的骨架網絡加載在ImageNet上的預訓練權重文件作為初始值。所有試驗均基于Faster R-CNN模型框架,骨架網絡均使用ResNet50,骨架網絡之后均使用特征金字塔(FPN)。模型訓練時均采用SGD優化算法,初始學習率為0.001,在初始時的500次迭代中學習率(learning rate)按步(step)線性增加。最大迭代次數均為100個循環(epochs),在第80～90個循環時,降低學習率。動量因子(momentum)取0.9,權重衰減因子(weight decay)取0.0001。未說明的其他訓練參數均使用MMdetection提供的默認參數。

(3)性能評價準則

為評價艦船目標細粒度識別精度,同時便于和同類方法比較,采用MS-COCO數據集所提出的平均精確率均值(mAP)作為主要考察指標,綜合考察模型對所有類別目標實現的識別精度。

5.3 在ShipRSImageNet數據集的定性試驗結果

在ShipRSImageNet數據集中隨機取樣開展定性試驗,結果如圖8所示。試驗使用多標簽一致性度量函數,與Level 0分類級別保持一致時訓練得到的模型。圖8上左為近岸民用船舶,圖8上右為密集排列多尺度船舶,圖8下左為海面小目標,圖8下右為海面軍艦4種典型場景和目標的試驗結果。在上述場景中,本文提出的方法均可以有效識別各類艦船目標。

圖8 ShipRSImageNet典型場景和目標定性識別結果

5.4 在ShipRSImageNet數據集的定量試驗結果

按照5.2節給出方案進行試驗,試驗1和試驗2結果分別見表1和表2,加粗字體表示性能最優值。

表1 單標簽一致性度量函數(試驗1)結果

表2 多標簽一致性度量函數(試驗2)結果

多層兼容艦船目標細粒度識別網絡與其他類別重加權損失函數的對比試驗結果如表3所示。

表3 MLCDet與其他方法的性能比較

對比基準方法,多層兼容艦船目標細粒度識別網絡的總參數量僅增加0.02%,推斷速度不變,詳見表4。

表4 MLCDet的總參數量與推斷速度

使用不同損失函數權重時的消融試驗結果見表5。

表5 消融試驗(試驗4)結果

根據上述試驗結果,可以得到以下主要結論。

1)改進多標簽一致性度量函數作為損失函數時,模型識別精度顯著優于單標簽一致性度量函數;

2)改進多標簽一致性度量函數和單標簽一致性度量函數都可以提升模型識別精度,但單標簽一致性度量函數帶來的性能增益并不顯著,而改進多標簽一致性度量函數可以顯著提升mAP;

3)使用改進多標簽一致性度量函數時,選取Level 0作為分類一致層級,取得最佳結果,mAP提高了1.3%;

4)同時與多個層級保持分類一致性,將會引入更多約束,同等訓練時間情況下,帶來的mAP增益低于只與一個層級保持分類一致性的結果;

5)損失函數權重γ的取值對模型性能有較大影響;

6)改進多標簽一致性度量函數性能優于類別重加權損失函數Focal loss,seesaw loss,balanced l1 loss,比GHM loss性能略低。

選用不同一致性度量函數或損失函數權重對模型復雜度和推斷速度無影響。根據試驗,模型總參數量對比faster R-CNN基準網絡,增加0.02%,推斷速度不變。

6 結論

本文針對艦船目標的層次化分類問題,建立了數學模型,提出了層間分類強一致性分類準則,設計了單標簽一致性度量函數和多標簽一致性度量函數。以兩階段目標識別網絡Faster R-CNN為基礎框架,構建了多層級兼容艦船目標細粒度識別網絡(MLCDet)。在ShipRSImageNet數據集上開展了充分試驗,證明了應用層間強一致性分類準則,可以將層次化分類體系中蘊含的各類別隸屬關系信息作為先驗知識用于提高艦船目標細粒度識別精度。本文所提出的算法在無需部件級標注信息的前提下,將mAP提高了1.3%,與此同時,模型總參數量僅增加0.02%,推斷速度不變。綜上所述,利用層間分類強一致性分類準則,通過將層間一致性度量函數納入損失函數,可以將關于目標層次化分類的先驗知識引入神經網絡的訓練優化過程,有助于提升目標識別精度。其他類似的細粒度目標識別任務也可根據已知多層級分類信息建立分類樹,應用層間分類強一致性分類準則和本文提出的方法以很小的資源代價,有效提高識別精度。