基于軟遷移和漸進式學習的人體行為識別方法

張 鵬，王 莉，梅 雪，袁申強

(南京工業大學 電氣工程與控制科學學院，江蘇 南京 211816)

0 引 言

近年來，許多科研人員將深度學習應用于動作識別領域的研究中，涌現出一大批高效的網絡結構，如C3D[1]、I3D[2]、P3D[3]、R(2+1)D[4]、ECO[5]、TSN[6]等。雖然這些網絡模型在結構上互不相同，但是對視頻數據均具備較高的建模能力，能有效區分自然場景下不同的人體行為。理論上，不同網絡模型所獲的特征描述向量都對類別信息敏感(以分類任務為例)，并在網絡的輸出層變得線性可分，即便來自不同的建模過程，得到的特征向量應該是相似的。不同網絡結構獲取的知識能否被學習和共享是一個值得討論的問題。Chen等[7]增加原始網絡的寬度和深度，利用原始參數的分解或單位矩陣初始化權重參數，實現了跨結構的遷移學習。Ali等[8]利用了2D網絡去監督3D網絡的輸入和輸出，讓3D網絡擬合2D網絡的輸出特征分布，間接實現了跨結構學習。受此啟發，本文進一步放寬模型結構的限制條件，在結構差異更大的兩個網絡之間，采用有效度量策略[9,10]，實現了更一般意義上的遷移學習，稱之為軟遷移。

本文基于DenseNet[11]基本模塊設計了MDN(modified DenseNet)的新型網絡結構，并使用軟遷移技術學習繼承I3D和R(2+1)D網絡的視頻特征建模能力，其中不同網絡模型在結構上互不相同。記MDN-I3D為一個半監督式的“學習者-監督者”組合。受到GoogleNet[12]多階段監督的啟發，本文提出了三階段的漸進式監督策略對學習者執行有效的監督。最后，在UCF101和HMDB51數據集上進行實驗，成功地將監督者的建模能力遷移到了學習者身上，驗證了軟遷移學習方法的可行性。

1 方 法

為實現不同結構模型之間的知識遷移，本文提出了軟遷移學習方法。本文改進了密集連接網絡將其輕量化并適應視頻數據，并使用多階段監督學習的方法來加快網絡收斂，以此實現跨結構的遷移學習。

1.1 改進的密集鏈接網絡

圖1為MDN網絡結構示意，圖中 (7,7,7), (2,2,2) 表示3D卷積核的尺度和步長。

圖1 MDN網絡結構

為體現MDN結構上與監督網絡(I3D和R(2+1)D) 的不同，采用了密集連接的設計方案。但對比原始的3D DenseNet 121[13]做了一些改進：密集連接層數縮減，DenseLayer具有的3D卷積核被拆分為(2+1)D，從而使模型輕量化；為了適應變長時間序列圖像，采用全卷積和全局池化生成固定維度的視頻描述向量，網絡模型共計17層。在輸入為25×112×112×3的情況下，計算量為48.54 Gflops，高于I3D(28.9 G),但低于R(2+1)D (76.8 G)。網絡具體的細節參數見表1。

表1 MDN網絡的詳細結構參數

1.2 多階段監督學習

MDN網絡隨機初始化會造成輸出與監督網絡之間的偏差過大，不利于收斂，尤其是在和監督網絡結構上差異十分明顯的情況下，極有可能不收斂。因此僅僅在最后的輸出層進行監督是不夠的，需要采用漸進的階梯式監督策略，在網絡底層開始增強網絡監督，以保證MDN網絡順利找到優化方向。在網絡最終的輸出層位置，限制MDN生成與監督網絡分布相近的特征空間，構成第二階段的監督，顯式地擬合特征分布，實現監督者對學習者的知識“傳授”。

前面兩個監督步驟并未用到標簽信息，嚴格意義上屬于無監督學習。最后，進行有監督訓練來利用數據的標簽信息，讓學習者不僅與監督者輸出相近的特征，且該特征對于分類有效。由此構成三階段監督策略，加快網絡的收斂。

1.2.1 余弦相似度損失

卷積神經網絡中越接近網絡底層，數據特征越一般化，與具體任務無關。此時可使用比較嚴格的損失度量函數，使學習者與監督者至少在淺層特征上保持一致，將網絡的輸出值鉗制在一定范圍內波動。余弦相似度可作為第一階段的損失度量函數。圖2表示的是在I3D和MDN中間層中設置的監察點，I3D網絡的“Mixed_3c”層輸出特征為grids∈Rd×h×w×480， MDN網絡的“Transition1”層輸出特征為gridt∈Rd×h×w×480， 視頻特征由N=d×h×w個規則排列局部時空胞元g(g∈R1×480) 構成，N對胞元 (gsj,gtj) 的余弦相似誤差反映了兩個網絡特征的失配程度。式(1)描述了相似度損失函數的計算過程，其中 <,> 表示內積操作，在計算之前，預先對grids和gridt做通道維的歸一化，余弦相似度計算可簡化成內積運算

圖2 中間層特征監督

(1)

1.2.2 最大均值差異損失

最大均值差異損失(maximum mean discrepancy，MMD)在數據跨域適應的研究中十分有效，常用作度量特征分布的距離，主要思想是將原域和目標域的特征通過希爾伯特空間單位球內的函數映射到無窮維度，計算無窮維特征的均值誤差[14]。在監督網絡I3D與學習網絡MDN頂層輸出端，選擇歐式距離(類似文獻[8])這樣的強約束，并不利于網絡的遷移，結構上的巨大差異使得網絡輸出層特征受到輸入數據和網絡結構雙重影響，波動過大，約束條件過于嚴格會導致網絡不收斂。MMD方法僅僅度量了特征之間分布的相似性，通過多高斯核將約束變得更加靈活，比較適用于這種弱監督場景。Long等[15]在缺少數據標簽的情形下，用MMD約束不同源數據呈現相似的特征分布。這些情景與本文目的類似，不需要目標特征與參考特征完全一致，獲取相似的特征分布便可認為知識已經發生了轉移，進一步的分類任務由最后的全連接完成

(2)

式(2)定義了最大均值差異損失，其中φ(·) 即為隱式的映射函數。在實際應用中通常通過樣本的無偏估計來做具體計算，Nx和Ny表示兩個特征集的樣本量， k(xi,yj) 表示核運算，將特征維度映射和內積計算一次性完成

(3)

如式(3)所示，利用K個高斯核，其中Ny×Nx等于批量隨機梯度下降優化的batch_size，σk∈[10-6,10-5,…,105,106]，xi∈R1×1024， MDNout=(x0,x1,…,xN-1)，yi∈R1×1024, I3Dout=(y0,y1,…,yN-1)

argminΘF(Θ)=J(Θ)+γ1Similarityloss+γ2MKMmdloss
where J(Θ)=Entropyloss(Θ,clip,label)

(4)

式(4)形式化地定義了軟遷移學習方法的整體損失函數， Entropyloss(·) 表示交叉熵分類損失，γ1和γ2作為兩個超參數用以調節不同階段監督作用的強弱。

2 實 驗

本文1.2節以改進的MDN與監督網絡I3D之間的遷移學習為例，描述了本文所提出的跨結構遷移方法的計算細節。為驗證算法的有效性，本章增加了以R(2+1)D為監督網絡的對比實驗，設計了3個實驗組： 學習者-監督者=[①MDN-I3D,②MDN-R(2+1)D,③I3D-R(2+1)D]。 R(2+1)D采用了文獻[7]的 R(2+1)D-18網絡結構，其中間層’conv_4x’的輸出特征為grids∈Rd×h×w×256， R(2+1)Dout=(y0,y1,…,yN-1) 為輸出層的特征yi∈R1×512， 實驗②、實驗③中根據監督網絡輸出特征維度對學習網絡做結構上的調整用以互相匹配。

2.1 實驗配置

軟件環境為Ubuntu16.04LTS版操作系統，GPU版tensorflow深度學習框架的Python3 API，硬件環境為CPU i7-7800X 3.50 GHz 16 GB,兩個GPU GTX1080Ti11GB獨立加速顯卡。為了加速訓練，實驗中采用了數據并行的多GPU聯合訓練架構,初始學習率設為0.1，采用指數衰減調整學習率，衰減系數設為0.95；數據集為UCF101和HMDB51，分別包含13 320和6766個視頻片段，常被用作動作算法評估的基準。由于3D網絡對于GPU內存要求過高，為了提高訓練效率，預先使用I3D和R(2+1)D對兩個數據集進行特征提取，將數據集的中間層特征和輸出層特征保存至本地，在訓練MDN時直接讀取監督信息。這種離線的方法大大降低了多階段監督訓練的時間和空間復雜度，不必動態地運行一個監督網絡。計算機底層對隱藏層的反向誤差和導數的數值運算過程基本與原分類網絡一致，增加的計算量主要來自式(1)、式(3)對損失值的計算，在輸入數據大小一定的情況下，增加的時間和空間復雜度均為O(1)，為常數復雜度。

2.2 實驗結果及分析

表2展示了不同的網絡結構在UCF101和HMDB51數據集上的表現。前兩行數據是在參數遷移的情況下記錄的，完全使用了原始的網絡結構與預訓練參數，僅在新數據集上微調得到的結果。后三行是利用本文提出的軟遷移方法間接學習得到的結果，其中I3D和MDN作為待學習網絡，使用Xavier隨機初始化方法。可以看出參數遷移在精度上是領先的，雖然軟遷移方法在精度上沒有達到與硬遷移相同的水平，但是相比不使用監督網絡從頭開始訓練的情況，確有較大的提升。表3記錄了多階段監督對網絡最終收斂精度的影響，*標記表示不添加監督網絡的約束，即γ1=γ2=0的情況下，在UCF101上從頭訓練得到的結果。如表3前兩行所示，MDN*和I3D*沒有利用遷移學習的情況下，在UCF101數據集上的驗證精度為62.1%和82.5%，而在受到監督作用時分別達到了85.4%和94.7%，這個結果初步驗證了軟遷移方法的可行性。

表2 UCF101和HMDB51上的實驗結果

表3 監督不同階段的結果對比

由表3可以看出，γ1，γ2對網絡性能的影響十分明顯。在僅有中間層監督或僅有輸出層監督的情況時，MDN精度的提升十分局限，而當γ1和γ2同時作用，MDN精度提高了20%左右。其中頂層的監督對MDN網絡的作用最為顯著，在MDN-I3D的訓練中，50 k次迭代后分類損失函數就停止了下降，而此時mmd損失停留在0.15左右，當增大γ2到0.75時，網絡開始了繼續優化并促使最終的驗證精度達到了80.3%。

實驗中，MDN在R(2+1)D網絡的監督下相比I3D監督，出現了更快的收斂速度與更高的驗證精度。在UCF101訓練集上，MDN-I3D與MDN-R(2+1)D訓練精度首次達到80%用到的迭代次數分別為48 k和41 k，而從最終的驗證精度上看，后者比前者高了3.1%，這種差異現象是監督網絡與學習網絡的結構相似性程度的不同造成的。MDN采用了殘差跳躍連接結構，對3D卷積核也進行了拆分，這種方式與R(2+1)D在結構上的相近，而與I3D網絡采用的inception結構差異較大，因此在遷移過程中MDN需要搜索更大的參數空間來學習I3D的結構信息。通過參數組合彌補結構差異是本文軟遷移方法的核心思想，也是最難的部分。極端情形下，完全相同的結構是最容易實現知識軟遷移的，算法會退化成為純參數學習。

此外，學習者自身的可塑性對本文方法有較大影響，學習能力越強遷移效果越好。如圖3(a)～圖3(c)所示，I3D在結構上與R(2+1)D差異很大的情況下實現了快速收斂，僅僅在10 k次迭代之后，網絡就開始趨于穩定。圖3(d) ～圖3(f)為MDN的訓練過程，由于MDN對DenseNet在層數上進行了大幅縮減，減少網絡層數弱化了殘差網絡的優勢，使得其學習能力下降。相比DenseNet121(UCF101 87.6)，MDN的精度下降了25.5%。本文的主要目的是驗證跨結構遷移的可行性，僅僅考慮了學習者結構上與監督者的差異性，沒有更進一步的精細化調整，整體上較為粗糙，而I3D網絡結構是經過精心設計與驗證的。由此可以看出，雖然跨結構遷移方法形式上可以做到結構無關，但是要求學習者本身具備良好的建模能力。

圖3 不同網絡在數據集UCF101的訓練過程

2.3 可視化分析

為了進一步觀測MDN對監督網絡的學習，本文做了補充實驗，查看學習者對監督者建模能力的繼承情況。理論上，監督網絡在大數據集上訓練過，都具備很強的泛化能力，假設在監督網絡的影響下，MDN對沒訓練過的數據集也產生了一定的泛化性，那么可以認為其學到了監督網絡某些有效的連接特性。以MDN-I3D為例，檢驗MDN-I3D對Kinetic中視頻數據的泛化性能(本文所用I3D預訓練模型是在Kinetic-400上訓練的)。由于Kinetic-400數據集過于龐大，僅從驗證集的216類樣本中選擇2500個視頻進行實驗，其中2000個用于訓練，500個用于驗證。訓練在2.2節的基礎上進行，分別利用MDN-I3D和MDN*的學習參數對MDN網絡初始化。

圖4展示了訓練迭代20 k步時，不同初始化方式對500個驗證視頻提取特征的分布情況,可以看到圖4(b)中大部分數據點已經變得離散，意味著不同類別的數據經過MDN產生了不同的響應，而圖4(a)中數據點依然緊緊的聚集在一起，表示MDN此時還無法對這些視頻進行區分。這一結果表明I3D參數對Kinetic-400數據集的泛化性通過監督-學習機制一定程度上被MDN繼承了，因此才會在對Kinetic中的數據訓練過程中更快找到不同類別視頻間的差異信息。而從頭開始訓練的MDN網絡參數僅僅學到了UCF數據集的數據建模知識，數據量太小，難以對Kinetic數據集產生泛化性。因此在短時間內很難對來自Kinetic數據集的數據產生明顯的分辨效果，出現了圖4(a)、圖4(b)之間的顯著差異。

圖4 MDN對500個Kinetic-400視頻的特征提取

3 結束語

本文提出了一個神經網絡遷移學習的新問題，嘗試利用網絡的學習能力去間接學習異構網絡內部的連接特性，擬合監督網絡的輸出特征分布。區別于傳統的基于參數的硬遷移方法，引出了基于間接學習的軟遷移方法，設計了一種監督者-學習者機制，研究神經網絡跨結構相互學習的可行性。通過將監督網絡I3D和R(2+1)D的泛化能力遷移具有到不同結構的學習網絡MDN中，驗證了跨結構學習是可行的。對比不同階段監督情況，驗證了多階段漸進式監督策略的必要性；討論了模型結構對軟遷移效果的影響，發現在監督網絡與學習網絡具有相似的結構時，網絡更容易收斂。此外R(2+1)D與I3D兩個基準網絡間的成功遷移，表明學習者自身的表達能力對軟遷移效果具有決定性影響，結構上具有的較大差異的網絡在學習能力足夠強的情況下也能通過軟遷移學到監督者的能力，進一步驗證了模型結構精細化設計的重要性。最后，本文提出的軟遷移方法拓展了傳統遷移學習的范圍，突破了模型結構的制約，提高了已有動作識別模型的適用性。