基于DiMP模型遷移重組的RGBD目標跟蹤

邱守猛，谷宇章，袁澤強

1.中國科學院 上海微系統與信息技術研究所 仿生視覺系統實驗室，上海 200050

2.中國科學院大學，北京 100049

目標跟蹤是計算機視覺領域中十分重要的研究方向之一。其在安防監控、人機交互、無人駕駛等諸多領域都有著廣闊的應用空間。近些年來，隨著深度學習技術的發展與應用，這一領域取得了非常巨大的進步。但是，當前算法的性能與人們的期望仍然存在著一定的差距。深度信息可以提供目標在運動時的三維空間狀態信息，對目標狀態的估計非常有幫助。但基于深度學習的模型需要大量的數據進行訓練，而目前可用于RGBD跟蹤器訓練的數據集非常缺乏，因此無法直接將深度學習模型應用到RGBD輸入下的跟蹤任務上來。

目前大多數基于RGBD的目標跟蹤算法都是在后期或者邏輯層面上進行融合[1-4]，即將RGB圖像和深度圖分別進行處理并獲得對應的結果，然后對兩路結果進行融合。或者利用深度信息對RGB支路的跟蹤結果進行約束和修正。Wang等人[1]提出了一種融合多種信息的目標跟蹤算法，包含了RGB、深度和光流信息。算法使用光流粗略估計目標的位置信息，然后利用RGB和深度信息對目標所在位置進行精確定位。Shi等人[2]提出了一種基于深度梯度信息融合的目標跟蹤算法，算法使用深度圖的梯度信息對目標的位置進行檢測，并最終將檢測結果和基于RGB圖像上的跟蹤結果進行融合。Xiao等人[3]提出了一種雙階段跟蹤融合模型，包含了全局匹配模塊和局部匹配模塊，全局匹配模塊同時使用RGB和深度信息對目標進行定位，如果定位結果之間的歧義較大，則使用塊匹配方案進行進一步的精確定位。Zhang等人[4]提出了一種實時的基于RGBD信息融合的目標跟蹤算法，算法使用兩個基于KCF[5]的跟蹤器分別在RGB和深度圖上進行獨立的跟蹤，最后通過對兩個KCF跟蹤器的輸出加權獲得最終的跟蹤結果。

近年來，一些研究者開始嘗試將深度學習技術應用到RGBD目標跟蹤任務中來。Zhang等人[6]提出了一種基于孿生神經網絡遮擋注意的RGBD目標跟蹤算法，根據目標區域中深度信息的分布情況來判斷是否出現了遮擋。Zhao等人[7]提出了一種基于SiamRPN++[8]的深度信息融合跟蹤算法，主要包括掩模生成器和基于深度信息的目標包圍框微調模塊。其中掩模生成器利用深度信息對目標可能出現的位置進行過濾篩選。基于深度信息的包圍框微調模塊使用RGB和深度圖的融合特征對目標的狀態估計結果進行修正，文中使用在RGBD室內分物體割數據集上微調的AlexNet[9]預訓練模型提取深度圖特征。但由于訓練數據集規模的限制，只能使用如AlexNet較淺的網絡進行微調，無法有效利用更深網絡來進一步提升性能。另外，因為需要對模型重新微調訓練，不夠靈活。

本文提出一種無需重新微調訓練的模型遷移重組算法。通過將不同模型在知識層面進行對齊完成模型間的遷移重組，可以方便地將在其他RGBD任務上訓練得到的模型遷移到基于DiMP[10]的跟蹤算法上來。對于不同的跟蹤對象時，不需要重新計算遷移參數。此外，提出了一種自上而下的深度圖平滑算法，可以有效減輕深度圖不穩定帶來的問題。

1 問題描述

本文考慮將在其他RGBD任務上獲得的模型遷移到DiMP跟蹤器上。DiMP系列目標跟蹤算法是目前性能非常優異的算法，算法首先使用高效的判別器進行前背景的分類，完成目標位置的大致定位，接著使用IouNet[11]完成目標包圍框的精確回歸。算法本身并不針對具體的跟蹤對象而訓練，因此在跟蹤前需要根據跟蹤目標進行初始化，非常靈活。而模型初始化時的訓練過程可以有效應對遷移融合后特征變化的影響。需要注意的是，本文中的遷移任務和常規的模型遷移問題存在著一定的差異。在本文任務中，已經存在兩個在不同域上訓練好的網絡，算法的目的是將兩個模型進行重組利用。下面對本文中提出的算法做具體的介紹。

2 本文算法

2.1 模型遷移分析

DiMP模型中使用ResNet[12]作為特征提取網絡，這里以常用的ResNet50網絡為例進行本文算法的介紹。考慮任意一個在其他RGBD任務上訓練得到的模型，其使用網絡M作為特征提取網絡。由于兩者訓練時針對的具體任務不同，因此學到的特征表達方式存在差異，無法將在DiMP中訓練得到的ResNet50直接替換網絡M。但根據卷積神經網絡的一般理論，淺層一般提取到的是具有共性的低級特征信息，高層提取到的是具有任務特異性的高級語義信息，因此，如果要利用網絡M中提取到的RGBD信息，可以在具有共性信息的淺層上進行遷移。

不失一般性，下面對在ResNet50結構上的第l層和網絡M中的第k層上的遷移重組過程進行分析。首先將ResNet50和網絡M分別以第l層和k層為分界點，將模型分解為Rb、Rt和Mb、Mt，其中Rb表示l層及以下的部分，Rt表示l層以上的部分，Mb和Mt的含義類似。經過ResNet50的前l層和RGBD網絡M的前k層進行特征提取后，得到的特征分別為：

其中，Mf中包含了RGB融合深度后的信息，相比于單獨RGB輸入下得到的Rf信息更加豐富。但無法直接將該特征輸入Rt中進行目標跟蹤任務，因為Rf和Mf來自兩個不同的網絡，其各自對應的訓練任務也不同，兩者的特征分布模式并不一致。對此，本文考慮設計一遷移函數φ()，通過將遷移函數作用于Rf，使其在特征屬性、數值分布上均與Mf保持一致。至此，問題的關鍵就轉化為如何設計有效的轉移函數φ()。

2.2 傳統算法問題分析

函數φ()的一種實現方案是文獻[13]中提出的特征對齊算法。由于該算法與本文提出的算法存在一定的相似之處，因此下面對其進行簡要的介紹。假設Mf∈Rcm×hm×wm,Rf∈Rcr×hr×wr。其中cm(cr)表示特征圖的通道數，hm(hr)和wm(wr)分別表示特征圖的高和寬。在卷積神經網絡中，每一通道上的信息是由同一個卷積核在上一層特征圖上進行卷積得到的，因此可以被認為包含著同一屬性或語義類別的信息。將Mf和Rf在通道維度上進行分解（為了去除特征幅值大小和偏置的影響，這里假設Mf和Rf已經進行均值方差歸一化），分別得到：

圖1 加權重組對齊方案Fig.1 Reorganization alignment algorithm

其中W∈Rcm×cr表示對齊矩陣，對齊后的特征為：

式中*表示矩陣相乘。要使得Rf和Af的分布一致，W可通過下式求得：

但是，上述算法存在一定的問題，由于Mf本身包含的信息比Rf更加豐富，因此上述對齊方式會造成信息的丟失。具體的，考慮圖2中出現的情況。

圖2 特征屬性分布圖Fig.2 Feature attribute distribution map

在圖2中，假設圖（a）和圖（b）分別對應從RGB和RGBD中獲得的特征信息。并且兩路特征在屬性上已經進行對齊（橫坐標a1,a2,…,an分別表示不同的屬性），由于原始輸入不同，因此最終得到的特征在不同屬性上的信息量分布存在著差異（比如利用深度信息，可以獲得更加豐富的物體輪廓信息）。如果直接使用特征對齊的方式進行強制對齊，就會破壞由于增加了深度信息導致的特征在不同屬性上信息量分布差異。對于目標跟蹤任務，特征遷移和融合的最終目的是通過深度信息來增強特征信息的豐富程度，從而更好地對目標狀態進行估計，而不是將特征的分布轉化到相同的分布上來，因此文獻[13]中的方法與通過融合深度信息來豐富特征的目的是不一致的。

2.3 本文方案

針對傳統特征對齊方式存在的問題，本文提出了基于知識對齊的遷移方案，該方法不僅解決了傳統方案破壞信息分布的問題，并且計算出的遷移參數具有普適性，因此對于不同的跟蹤對象，不需要重新計算遷移參數。

對于卷積神經網絡中的不同卷積核，其代表著從數據集中學到的不同的知識，比如對邊緣或角點特征的提取。由于模型訓練完成后參數就固定下來，因此這一知識非常穩定。此外，不同卷積核只是對應著不同屬性的特征，和該屬性下特征的分布情況無關（比如當前圖像中存在多少邊緣信息并不影響邊緣提取卷積核的參數），這就很好地解決了圖2中存在的問題。基于此，本文提出一種根據模型知識進行特征對齊的算法，假設Rt和Mt中第一層卷積核的參數分別為Wr和Wm，對齊矩陣W計算為：

可以看出，對齊矩陣W不在提取到的特征上進行計算，而是在兩個不同網絡的權重參數上計算獲得。由于網絡參數保持不變，因此對齊參數只需要計算一次，對不同的跟蹤對象同樣適用，實際應用中更加方便。

通過在模型知識上計算對齊矩陣解決了不同模型特征之間的屬性匹配問題，但對齊后的特征在數值上的分布可能并不一致。為解決這一問題，這里考慮數值分布的兩個常用指標，均值和方差。因此特征的數值分布對齊算法非常簡單，記Rf中每一通道的均值和方差分別為，特征加權重組后的Af中每一通道的均值和方差分別為。特征分布自適應算法計算如下：

可以看出，上式的運算和神經網絡中BN（batch normalization）的計算方式十分相似，不同之處在于上式中的均值和方差是根據利用Rf和Af共同計算獲得。但僅使用某一輸入下的Rf和Af信息不具有代表性，進一步，考慮到本文進行遷移的網絡在輸出之前都經過BN層，因此這里的均值和方差可以利用l層和k層中BN層中的均值和方差參數。即當網絡層中存在BN層時，特征分布自適應的計算過程如下：

記網絡M第k層中通道間的相關性矩陣為Ψ：

其中cij，i,j∈{1,2,…,cm}的計算不是通過計算不同通道之間特征圖的相關性獲得的，而是通過計算生成特征圖的卷積核之間的相關性獲得的，由上面的分析可知，基于卷積核（知識）的計算結果更加準確和穩定。對于生成特征圖的卷積核wi和wj，其相關性計算為：

V*的正確計算公式為：

至此，兩個模型不同層之間的特征遷移完成。

2.4 深度圖預處理

與RGB圖像不同，由于獲取方式和技術的原因，深度圖中會存在大量的不準確值，這在物體的輪廓處尤其明顯。另外，相鄰幀之間的深度信息不夠穩定，如圖3所示。特征的不穩定會對跟蹤器的性能產生重要影響。對此，本文提出一種簡單高效的深度圖平滑穩定算法，可以有效抑制異常值帶來的干擾，并同時增強相鄰幀之間深度圖的連續性。

圖3 深度圖預處理Fig.3 Depth map preprocessing

考慮到現實場景中物體的深度具有一定的連續性，實際處理中并不需要十分精確的深度信息，本文首先將原始深度圖像D進行下采樣得到Dd，以加快處理速度。為了抑制圖中的異常值，對下采樣后的圖像進行平滑濾波，得到圖像，這里選用簡單的均值濾波。然后根據與Dd之間的差異計算對異常值的抑制矩陣：

其中，δ為控制抑制程度的超參數。用上式中得到的抑制矩陣對Dd中的像素進行加權濾波，最后將圖像上采樣到原圖大小。通過圖3可以看出（第一行為未經處理的深度圖，第二行為平滑后的深度圖，視頻序列選取VOTRGBD數據集[14]中的box_darkroom_noocc_6序列），經過本文平滑算法處理后的深度圖相鄰幀之間的不穩定峰值噪聲從4 000左右降低至400左右，下降了一個數量級。

本文提出的算法整體結構如圖4所示。

圖4 本文算法整體流程圖Fig.4 Algorithm flow chart of this article

3 實驗結果與分析

3.1 實驗環境及參數設定

本文算法運行平臺配置：CPU為8核3.00 GHzi7-9700，內存16 GB，顯卡為RTX2060，操作系統為Ubuntu 18.04，編程環境為Python3.6。本文選擇對兩個不同的RGBD網絡進行遷移，以驗證算法的有效性。跟蹤模型選擇DiMP50，其他RGBD任務上的模型分別選擇用于室內物體分割的RedNet[15]和ACNet[16]。上述三個模型都使用ResNet50作為Backbone進行特征提取。由于訓練任務的不同，只使用遷移后的特征不能夠滿足跟蹤任務的需要。對此，本文將遷移后的特征作為RGB特征的補充，將遷移后的特征和原來的RGB特征進行簡單的線性加權融合：

其中，frgbd表示最終的融合特征，η表示融合系數。

特征遷移時，選擇在網絡的哪一層進行遷移非常重要。對此，這里將ResNet50按照Block進行分塊，對不同Block后進行遷移的效果進行了實驗。如圖5所示，從左至右（a）、（b）、（c）分別表示從ResNet50的第一個Block前、第二個Block前和第三個Block前進行遷移（融合系數選取一致，設置為0.3），由于Block的第一層為起到維度升降作用的1×1卷積層，只涉及到特征的融合重組，并不涉及特征提取，因此，具體遷移時是在后面卷積核大小為3×3的卷積層。其中紅色標注表示響應圖上的最大響應值（在相同的初始化條件下，認為其可以表示特征的可判別性）。可以看出，當遷移層數過淺時（圖（a）），由于深度信息還沒有經過RGBD網絡充分的融合和處理，所以最大響應值低于在第二個Block層前進行遷移。當遷移層數過深時（圖（c）），由于涉及到了具體任務相關的信息，而這可能與跟蹤任務不適配，因此響應效果也低于在第二個Block層前進行遷移。進一步的，對整個數據集中所有視頻序列的第一幀判別性進行了統計（對第一幀的判別器響應圖記錄其峰值信息并求平均），并與文獻[12]中的方法進行了對比，結果如表1所示。

圖5 不同Block層遷移下的第一幀判別器響應圖（boxes_humans_room_occ_1序列）Fig.5 Response map at first frame under different block layer transfer learning

表1 不同Block層遷移下判別性統計信息Table 1 Distinguish statistical under different block transfer

通過表1中的結果可以看出，由于SA[13]特征對齊算法只是讓特征分布趨于一致，并沒有充分利用到深度圖帶來的額外信息，而本文算法在遷移時則充分提取了所有屬性的信息。所以，融合后的效果要優于SA中的特征對齊方案。

因此，本文選擇在ResNet50的第一個Block結束后進行遷移。實驗中，融合系數取0.3。

3.2 實驗數據集介紹

為驗證本文提出算法的有效性，算法在VOT目標競賽中使用的RGBD數據集上進行驗證。VOTRGBD數據集中一共包含80個不同的視頻序列，視頻中的所有RGB和深度圖像都進行了對齊。為了考察跟蹤器在不同使用不同方式獲取的深度圖下的泛化能力。其中12個視頻的深度信息是通過Kinect相機采集獲得的，58個視頻中的深度圖是通過TOF（飛行時間技術）技術獲得，剩下的10個視頻序列中的深度信息是通過雙目立體視覺來獲得。因此與其他RGBD數據集相比，該數據集更能有效衡量跟蹤器在不同深度信息輸入下的泛化能力。該數據集上使用的評價指標為Pr、Re和F。其中Pr是準確率，Re表示召回率，F是考慮到準確率和召回率的綜合指標，其中Pr的計算方式如下：

其中：

式中，Gt表示目標狀態的真值，At(τθ)是跟蹤器預測的結果，t表示當前的時間幀下，τθ是跟蹤器對結果的置信度，Np表示預測結果不為空的視頻幀數，即At(τθ)≠?。Ω(At(τθ),Gt)表示預測結果和真值之間的交并比，計算公式如下：

Re的計算方式如下：

其中：

式中，Ng表示視頻中不存在目標的幀數，即Gt≠?。

F的計算方式為：

由于不同的τθ下計算得到的F指標會存在差異，為了避免這一參數變化帶來的影響，計算F指標時會自動尋找可以最大化F指標的τθ，并將此時的F值作為最終指標。

3.3 結果與分析

本文算法在VOTRGBD數據集上和多種先進的跟蹤算法進行比較，如AlphaRef[20]、OceanPlus[21]、RPT[22]等。表2為不同算法在VOTRGBD數據集上的跟蹤性能表現，可以看出，在融合RedNet模型提取的深度特征后，跟蹤性能在Pr、F指標上分別提升了11.5%和2.6%，在Re指標上有所下降。在融合ACNet模型提取的深度特征后，跟蹤性能在Pr、Re、F指標上分別提升了3.0%、1.9%和2.6%。

表2 在VOTRGBD數據集上的實驗結果Table 2 Experimental results on VOTRGBD dataset

為了更加直觀地分析融合深度信息前后（融合模型為RedNet）跟蹤算法在一些具體視頻序列上的性能變化情況，接下來對部分視頻序列上的跟蹤結果進行可視化分析，結果如圖6所示。可以看出，在跟蹤過程中，當在RGB信息中目標和背景比較相似（如圖6（a）bag_outside），或者光照條件比較暗時（如圖6（b）box_darkroom_noocc_1、（c）box_darkroom_noocc_3），當背景顏色和目標顏色相近時，只用RGB信息很難定位到目標的具體輪廓信息。而由于深度信息不受光照變化的影響，因此該情境下可以對目標定位提供非常重要的幫助。另外，當目標發生較大的外觀變化時（圖6（d）boxes_humans_room_occ_1），跟蹤器如果無法快速適應變化后的目標，就會跟蹤失敗，但是如果這時目標沒有發生快速的運動，其深度信息依然是相對穩定的，因此根據深度信息依然可以有效地對目標進行跟蹤。

圖6 在數據集VOTRGBD上的定性評測結果Fig.6 Qualitative evaluation results on VOTRGBD dataset

3.4 消融實驗

表3中通過比較使用深度圖預處理前后（+D表示直接使用深度圖，+D+P表示使用了本文提出的深度圖平滑處理算法）的跟蹤性能可以看出，對深度圖進行預處理后，跟蹤性能有了進一步的明顯提升，在F指標上相較于基礎算法提升了2.6%，相較于不使用深度圖預處理的改進后算法提升了1.6%。在Pr指標上相較于基礎算法提升了11.4%，相較于不使用深度圖預處理的改進后算法提升了9.5%。對于Re指標，使用深度信息后有所下降，這是因為在單獨RGB圖像輸入時，目標的外觀特征在一定時間內具有一定的連續性，當因為遮擋等問題暫時造成目標丟失時，后面有一定的概率可以恢復。但當RGB和深度信息同時輸入時，目標定位錯誤時的深度信息可能和真實的目標深度存在著較大的差別，不利于后續跟蹤的恢復。

表3 在VOTRGBD數據集上的消融實驗Table 3 Ablation study on VOTRGBD dataset

4 結語

本文提出一種基于模型遷移重組的深度信息融合目標跟蹤算法，解決了當前由于RGBD跟蹤數據集缺乏，無法有效訓練基于RGBD的深度學習目標跟蹤器的問題。相比于傳統基于特征的遷移方法更加穩定高效。此外，提出了一種高效的深度圖平滑算法，降低了深度圖中異常值的干擾。在VOTRGBD數據集上的實驗結果表明，使用本文提出的遷移融合算法后，可以豐富特征信息，提升目標和背景信息的判別性，最終提高跟蹤性能。但是，不同情景下深度信息對跟蹤器的作用應該是不同的，如何在算法中考慮這一因素將會是接下來的研究方向。