基于遷移學(xué)習(xí)的SAR圖像目標檢測

，

( 1.航天工程大學(xué)研究生院， 北京 101416； 2.航天工程大學(xué)光電裝備系， 北京 101416)

0 引言

近年來，合成孔徑雷達(Synthetic Aperture Radar，SAR)在軍事和民用領(lǐng)域的應(yīng)用越來越廣泛，需要處理的SAR的數(shù)據(jù)量也越來越多，這使得對SAR圖像處理與解譯技術(shù)的需求更加迫切。SAR圖像解譯的一個主要應(yīng)用是圍繞如何從含有背景雜波的圖像中檢測地面機動目標[1-2]，如坦克、車輛、飛機等。

當前深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolutional Neural Network，DCNN)在圖像處理領(lǐng)域取得了較好的結(jié)果，借鑒光學(xué)圖像的成功應(yīng)用，深度卷積網(wǎng)絡(luò)在SAR目標分類開展了一些研究并取得了不錯的成果[3-4]，但在SAR目標檢測中才處于起步階段，尤其是當訓(xùn)練樣本數(shù)量有限情況下對復(fù)雜場景多目標檢測還存在一定的難度。首先，DCNN往往需要大數(shù)據(jù)來驅(qū)動，利用大量已標注的圖像樣本進行有監(jiān)督的訓(xùn)練，目前雖然存在如Imagenet[5]，Pascal VOC[6]等大型通用圖像數(shù)據(jù)集，但對于一些特定領(lǐng)域的圖像數(shù)據(jù)集，樣本數(shù)量仍然不足以驅(qū)動DCNN的訓(xùn)練與學(xué)習(xí)；其次，由于DCNN需要訓(xùn)練的參數(shù)數(shù)量十分龐大，即便使用GPU加速也會花費較長的訓(xùn)練時間，同時網(wǎng)絡(luò)的訓(xùn)練技巧與方法需要依靠經(jīng)驗和大量的調(diào)試。針對上述兩個問題，學(xué)者提出了遷移學(xué)習(xí)的方法[5-8]，通過把在大型通用數(shù)據(jù)集上預(yù)訓(xùn)練得到的網(wǎng)絡(luò)和參數(shù)遷移并應(yīng)用到新的領(lǐng)域，有效解決了DCNN在小樣本條件下的訓(xùn)練樣本不足問題，同時大幅度減少網(wǎng)絡(luò)的訓(xùn)練開銷，使得DCNN的應(yīng)用領(lǐng)域更加廣泛。Zeiler等[7]利用ImageNet預(yù)訓(xùn)練后的網(wǎng)絡(luò)在Caltech-101進行遷移訓(xùn)練和測試，使得圖像分類精度提高了40%。Kang等[8]利用CIFAR-10預(yù)訓(xùn)練的網(wǎng)絡(luò)提高了該網(wǎng)絡(luò)在TerraSAR數(shù)據(jù)集上的分類精度。除了遷移學(xué)習(xí)的直接應(yīng)用，Yosinski等[9]還對卷積神經(jīng)網(wǎng)絡(luò)不同層次特征的遷移學(xué)習(xí)效果進行了探索。Zhou等[10]提出不同領(lǐng)域的相關(guān)性對卷積神經(jīng)網(wǎng)絡(luò)的遷移學(xué)習(xí)具有一定的影響。

上述遷移學(xué)習(xí)方法在各自領(lǐng)域獲得了成功應(yīng)用，但對于不同的源域和目標域之間，遷移的方式和技巧會有所差異，尤其是圖像特點之間的差異較大時。借鑒上述遷移學(xué)習(xí)的經(jīng)驗，本文針對SAR目標檢測網(wǎng)絡(luò)訓(xùn)練樣本不足的問題，利用遷移學(xué)習(xí)方法將Pascal VOC數(shù)據(jù)集上預(yù)訓(xùn)練的網(wǎng)絡(luò)和權(quán)重參數(shù)輔助檢測網(wǎng)絡(luò)的訓(xùn)練。考慮到領(lǐng)域的相關(guān)性，本文逐層對每個卷積塊的權(quán)重進行遷移與分析，并通過不同的訓(xùn)練方式使得源域任務(wù)更好地擬合目標域任務(wù)。同時根據(jù)SAR目標檢測任務(wù)的需求，對遷移網(wǎng)絡(luò)進行改進，降低網(wǎng)絡(luò)的訓(xùn)練時間和網(wǎng)絡(luò)參數(shù)數(shù)量。

1 遷移學(xué)習(xí)在目標檢測網(wǎng)絡(luò)中的應(yīng)用

近年來，遷移學(xué)習(xí)引起了廣泛的關(guān)注和研究，在維基百科中的定義是:遷移學(xué)習(xí)是運用已存有的知識對不同但相關(guān)領(lǐng)域問題進行求解的一種新的機器學(xué)習(xí)方法。在卷積神經(jīng)網(wǎng)絡(luò)中其訓(xùn)練所獲得的知識體現(xiàn)于網(wǎng)絡(luò)的權(quán)重參數(shù)中，而卷積神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)的一個優(yōu)勢是經(jīng)過預(yù)訓(xùn)練的網(wǎng)絡(luò)模型可以實現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)與網(wǎng)絡(luò)權(quán)重的分離，并分別以配置文件的方式進行保存，只要遷移的網(wǎng)絡(luò)結(jié)構(gòu)不改變，就可以利用在大型數(shù)據(jù)集上訓(xùn)練好的權(quán)重參數(shù)初始化目標網(wǎng)絡(luò)，這一特點極大地提高了網(wǎng)絡(luò)模型和權(quán)重(知識)遷移的可操作性。

1.1 遷移學(xué)習(xí)的基本概念與優(yōu)勢

在遷移學(xué)習(xí)中，有兩個概念：域(Domains)和任務(wù)(Task)。一個域D可以表示為D=X,PX,其中X是特征空間，PX是基于X的邊緣概率分布，X={X1，X2，…,Xn}∈X。一般來說，兩個不同的域的特征空間或概率分布是不一樣的。給定一個域D=X,PX，任務(wù)可以表示為T={Y，f(·)}，其中Y是標簽空間，f(·)是預(yù)測函數(shù)，可以通過訓(xùn)練集{xi，yi}學(xué)習(xí)而來，xi∈X，yi∈Y。從概率論的角度來看，fx相當于Py|x，即輸入x被預(yù)測為各類的概率。遷移學(xué)習(xí)一般涉及兩個域：源域(Source Domain)DS和目標域(Target Domain)DT，因而遷移學(xué)習(xí)可以定義為：給定一個源域DS和學(xué)習(xí)任務(wù)DT，一個目標域DT和學(xué)習(xí)任務(wù)TT，遷移學(xué)習(xí)的目的是使用DS和TS中的已有知識，其中DS≠DT和TS≠TT，幫助提高目標域DT中目標預(yù)測函數(shù)f(·)的學(xué)習(xí)，即完成目標域任務(wù)TT。

作為一種新的機器學(xué)習(xí)方法，遷移學(xué)習(xí)與傳統(tǒng)的機器學(xué)習(xí)方法相比，主要存在3個方面的優(yōu)勢[11]：一是不要求訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)滿足獨立同分布的條件；二是不需要足夠的訓(xùn)練樣本就能學(xué)習(xí)到一個好的分類模型；三是不需要對每個任務(wù)分別建模，可以重用之前任務(wù)的模型。

1.2 SAR目標檢測網(wǎng)絡(luò)

1.2.1 網(wǎng)絡(luò)模型遷移

本文中SAR目標檢測網(wǎng)絡(luò)采用基于VGGNet網(wǎng)絡(luò)模型的FCN-8[12]，該網(wǎng)絡(luò)在Pascal VOC數(shù)據(jù)集中實現(xiàn)對20類不同目標的像素分類，檢測出的目標具有較好的區(qū)域整體性和邊緣輪廓性，因此本文對其網(wǎng)絡(luò)進行遷移用于SAR圖像的二值檢測，遷移學(xué)習(xí)過程如圖1所示。由于源域任務(wù)TS中涉及的像素類別有21類，目標任務(wù)TT中SAR圖像像素類別只有2類，因而對遷移的網(wǎng)絡(luò)模型的輸出端進行修改，分類器只需對像素是否為目標進行判別。

圖1 遷移學(xué)習(xí)過程示意圖

1.2.2 網(wǎng)絡(luò)權(quán)重遷移與訓(xùn)練

網(wǎng)絡(luò)權(quán)重遷移要求源域DS的網(wǎng)絡(luò)結(jié)構(gòu)和目標域DT一致時才能進行遷移，對于修改部分的網(wǎng)絡(luò)權(quán)重采用隨機初始化；同時根據(jù)源域任務(wù)與目標任務(wù)之間的差異，可以只對網(wǎng)絡(luò)前端的部分層權(quán)重進行遷移，具體遷移多少層的權(quán)重最符合目標任務(wù)的需求需要通過實驗來驗證。

遷移權(quán)重對網(wǎng)絡(luò)參數(shù)進行初始化后，網(wǎng)絡(luò)對遷移權(quán)重訓(xùn)練時有微調(diào)和凍結(jié)[9]兩種方式。微調(diào)時反向傳播經(jīng)過所有層，會對所有層的權(quán)重進行調(diào)整；而凍結(jié)時不進行反向傳播，遷移層權(quán)重始終保持不變，只對未遷移的層進行訓(xùn)練；同樣可以根據(jù)目標任務(wù)的特點將兩種方式進行結(jié)合。具體訓(xùn)練方式如圖2所示。具體使用哪一個方式需要考慮學(xué)習(xí)任務(wù)之間的相關(guān)性，當遷移領(lǐng)域比較接近的情況，為了避免網(wǎng)絡(luò)的過擬合，往往采用凍結(jié)權(quán)重訓(xùn)練的方式；當遷移領(lǐng)域差異較大時，微調(diào)訓(xùn)練方式能使源域知識更好擬合目標任務(wù)的需求。

圖2 遷移權(quán)重再訓(xùn)練方式示意圖

1.3 目標檢測網(wǎng)絡(luò)的改進

深度卷積網(wǎng)絡(luò)通過增加網(wǎng)絡(luò)層數(shù)能有效地提高分類器的精度，同時也增加了網(wǎng)絡(luò)訓(xùn)練的開銷。文獻[13]指出網(wǎng)絡(luò)訓(xùn)練時間主要消耗在卷積層，全連接層和池化層計算時間占總時間的5%～10%，其中卷積操作的時間復(fù)雜度表示如下：

式中，d為網(wǎng)絡(luò)卷積層的總層數(shù)，nl為本層特征圖個數(shù)，nl-1為上一層特征圖個數(shù)，也可以稱作nl層的輸入通道數(shù)，sl為filter的尺寸，ml為輸出特征圖的尺寸。上述時間復(fù)雜度只是理論上的，真實的計算時間和部署方式、硬件有一定的關(guān)系。

考慮學(xué)習(xí)任務(wù)之間的相關(guān)性，SAR目標檢測網(wǎng)絡(luò)的像素類別只有2類，對分類器進行訓(xùn)練時所需要的特征組合不需要光學(xué)圖像那么多，因此本文對conv6和conv7替換，替換為conv_new，具體修改如圖3所示。可以看出，conv_new首先將conv6的特征圖的數(shù)量減少了一半，其次由于conv7卷積操作未改變特征圖的大小，直接將其刪除，修改后的網(wǎng)絡(luò)減少了網(wǎng)絡(luò)訓(xùn)練和測試的時間，提高了檢測的時效性，其次也大大減少了網(wǎng)絡(luò)需要存儲的參數(shù)數(shù)量，降低了對硬件的要求。

圖3 檢測網(wǎng)絡(luò)的改進

2 實驗結(jié)果與分析

2.1 數(shù)據(jù)集樣本檢測標簽制作及實驗設(shè)置

本文數(shù)據(jù)集來自MSTAR數(shù)據(jù)庫，目前國內(nèi)外對SAR圖像地面目標進行的研究也大多以該數(shù)據(jù)集作為實驗數(shù)據(jù)。該數(shù)據(jù)集包含大量地面目標切片和少量大場景雜波圖像。

制作標簽樣本時，需要對目標像素進行標記，不同于光學(xué)圖像的標記，SAR圖像受相干斑噪聲等成像機制的影響，目標、陰影與背景區(qū)域之間的過渡區(qū)域很難分離，對其進行手工標注具有很大的主觀性和隨機性。本文利用MSTAR目標的3D模型進行成像仿真[14]，利用真實目標切片獲取的俯仰角和方位角信息對目標模型進行仿真，生成三維目標對應(yīng)的二維圖像，得到目標所在區(qū)域，從圖4展示的BMP2(裝甲車)目標切片的仿真標注結(jié)果來看，仿真結(jié)果能較好地與實測數(shù)據(jù)擬合，因而采用仿真結(jié)果作為實測目標切片的標簽數(shù)據(jù)。

圖4 SAR目標標簽仿真過程

根據(jù)實驗需求，在網(wǎng)絡(luò)的訓(xùn)練階段設(shè)置兩個數(shù)據(jù)集，分別對應(yīng)不同的實驗，其中數(shù)據(jù)集二只在復(fù)雜場景多目標檢測實驗中采用，各數(shù)據(jù)集具體說明如下：

數(shù)據(jù)集一：采用MSTAR數(shù)據(jù)集中目標切片樣本，其中訓(xùn)練集包含有1 285張BMP2目標在15°和17°俯仰角下采集的圖像，驗證集為495張BTR70目標在15°和17°俯仰角下采集的圖像，圖像大小都為128×128像素。

數(shù)據(jù)集二：在數(shù)據(jù)集一的基礎(chǔ)上進行擴充，對MSTAR數(shù)據(jù)集中復(fù)雜場景(1 487×1 784大小)隨機裁剪與目標切片大小一致的背景切片作為負樣本，共400張，如圖5所示，分別在數(shù)據(jù)集一的訓(xùn)練集和驗證集中加入360張和40張。

圖5 MSTAR復(fù)雜場景切片圖

在實驗訓(xùn)練與驗證階段，評價指標采用FCN中的候選區(qū)域重和度 (mean_IU)，用正確分類的候選區(qū)域(R)與實際區(qū)域(R′)的交集除以候選區(qū)域像素面積與實際區(qū)域面積之和得到的交并比：

實驗中每次訓(xùn)練統(tǒng)一迭代5 000次，每迭代500次對驗證集進行一次驗證。實驗使用的硬件平臺為CPU：Intel i7-7700 K@4.x20 GHz,GPU:GTX TITAN X。此處的GPU主要強調(diào)圖形加速器功能，用于網(wǎng)絡(luò)訓(xùn)練過程中并行化處理,CPU和GPU之間并不沖突和矛盾。

2.2 實驗結(jié)果分析

2.2.1 遷移網(wǎng)絡(luò)與訓(xùn)練方式實驗結(jié)果與分析

在對檢測網(wǎng)絡(luò)進行訓(xùn)練時，本實驗對遷移的權(quán)重分別采取凍結(jié)、微調(diào)、凍結(jié)與微調(diào)結(jié)合三種訓(xùn)練方式進行實驗。具體實現(xiàn)說明如下：

1) 凍結(jié)：依次對conv1～conv6-7權(quán)重進行遷移，訓(xùn)練時保持遷移權(quán)重固定不變；

2) 微調(diào)：依次對conv1～conv6-7權(quán)重進行遷移，訓(xùn)練時采用反向傳播算法對遷移權(quán)重進行微調(diào)；

3) 凍結(jié)與微調(diào)結(jié)合：首先將conv1～conv6-7全部權(quán)重進行遷移，然后依次從conv1～conv6-7凍結(jié)權(quán)重，未凍結(jié)的層采用反向傳播進行微調(diào)。

分別利用以上3種方式對網(wǎng)絡(luò)進行訓(xùn)練，其訓(xùn)練時的驗證結(jié)果如圖6所示。采用訓(xùn)練結(jié)束后的權(quán)重對驗證集進行5次驗證，并取5次結(jié)果的平均值，其結(jié)果如圖7所示。根據(jù)實驗結(jié)果可以得出以下結(jié)論：

1) 卷積網(wǎng)絡(luò)從各層提取到的圖像特征的表示能力逐步加強，conv1和conv2提取的淺層特征更具一般性與通用性，遷移的權(quán)重對目標任務(wù)的實現(xiàn)沒有幫助；conv3～conv5提取的為深層特征，遷移的權(quán)重有利于目標任務(wù)的完成，其中conv4和conv5提取的高級特征能捕獲更復(fù)雜的模式，這些模式一般只對訓(xùn)練集有效，對其他數(shù)據(jù)集并不具有泛化能力，對目標任務(wù)的貢獻更加明顯；對于conv6-7的遷移，在微調(diào)訓(xùn)練中反而使得精度下降了。

2) 由于目標數(shù)據(jù)集(SAR圖像)與源域數(shù)據(jù)集(光學(xué)圖像)的差異較大，而且像素分類類別也不一樣，微調(diào)方式比凍結(jié)方式能更好地擬合目標域數(shù)據(jù)集的特點，而且微調(diào)方式得到的權(quán)重參數(shù)在驗證集上的5次結(jié)果波動更小，更有利網(wǎng)絡(luò)測試的穩(wěn)定性。

(a) 凍結(jié)權(quán)重訓(xùn)練

(b) 微調(diào)權(quán)重訓(xùn)練

(c) 凍結(jié)與微調(diào)結(jié)合權(quán)重訓(xùn)練圖6 不同遷移方式訓(xùn)練結(jié)果對比

圖7 5次驗證結(jié)果及其平均值

2.2.2 改進的檢測網(wǎng)絡(luò)實驗結(jié)果與分析

根據(jù)對網(wǎng)絡(luò)訓(xùn)練方式的實驗結(jié)果的分析，利用圖3改進的網(wǎng)絡(luò)進行訓(xùn)練時，凍結(jié)conv1和conv2的權(quán)重，微調(diào)conv3～conv5的權(quán)重，隨機初始化conv_new的權(quán)重。同時對未改進的網(wǎng)絡(luò)進行對比實驗，其中凍結(jié)conv1和conv2的權(quán)重，微調(diào)conv3～conv5的權(quán)重，隨機初始化conv6-7。為進一步驗證改進網(wǎng)絡(luò)的有效性，對2.2.1節(jié)中不同訓(xùn)練方式的最佳結(jié)果進行對比，實驗結(jié)果如表1所示，檢測結(jié)果如圖8所示。結(jié)果表明，改進的網(wǎng)絡(luò)在保證檢測準確度的同時，減少了網(wǎng)絡(luò)的訓(xùn)練時間和網(wǎng)絡(luò)參數(shù)，提高了檢測的時效性。目標檢測能較準確獲得目標區(qū)域，沒有檢測出孤立點，避免了后續(xù)的形態(tài)學(xué)處理，簡化了檢測的流程。

圖8 檢測結(jié)果對比

2.2.3 復(fù)雜場景多目標檢測實驗結(jié)果與分析

在MSTAR數(shù)據(jù)集包含的復(fù)雜大場景圖像中，由于背景雜波對目標檢測的干擾，采用數(shù)據(jù)集二對改進的檢測網(wǎng)絡(luò)重新進行訓(xùn)練，訓(xùn)練過程采用遷移學(xué)習(xí)中最佳的訓(xùn)練方式，其他實驗條件保持不變。利用訓(xùn)練得到的檢測網(wǎng)絡(luò)對3幅不同場景圖像進行二值檢測，對檢測的結(jié)果剔除面積小于25個像素點的區(qū)域，然后利用Matlab中rectangle函數(shù)定位到目標位置以及設(shè)置區(qū)域大小為80×80像素，檢測結(jié)果如圖9所示。

(a) 場景一 (b) 場景二 (c) 場景三圖9 復(fù)雜場景多目標檢測結(jié)果

檢測方法總目標個數(shù)檢測到的目標個數(shù)虛警目標個數(shù)本文方法373713雙參數(shù)CFAR3737117

(a) 場景一 (b) 場景二 (c) 場景三圖10 雙參數(shù)CFAR檢測結(jié)果

3 結(jié)束語

本文引入遷移學(xué)習(xí)的方法解決了深度卷積神經(jīng)網(wǎng)絡(luò)在SAR目標檢測網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)集樣本不足的問題，利用對比實驗確定目標域遷移權(quán)重的訓(xùn)練方式，針對SAR目標檢測的時效性對網(wǎng)絡(luò)進行了改進，在單個簡單背景目標檢測的基礎(chǔ)上，在訓(xùn)練集中引入復(fù)雜背景雜波切片，使得檢測網(wǎng)絡(luò)有效學(xué)習(xí)到背景雜波的先驗信息，從而在多目標檢測中有效避免了雜波的干擾。與CFAR方法相比，降低虛警率的基礎(chǔ)上避免了人工參數(shù)的設(shè)置與后續(xù)形態(tài)學(xué)處理，簡化了檢測的流程，為下一步利用檢測到的目標進行識別打下基礎(chǔ)。