基于組約束深度神經網絡的航運監控事件識別

明道睿，張 鴻

(1.武漢科技大學 計算機科學與技術學院，湖北 武漢 430065；2.武漢科技大學 智能信息處理與實時工業系統湖北省重點實驗室，湖北 武漢 430065)

0 引 言

航運監控是智能視頻監控[1]系統的一個重要應用，即是將船只上安裝的攝像頭所拍攝到的視頻流實時傳回到后臺控制系統的識別模型當中，經過視頻數據的預處理提取出連續的視頻幀輸入到識別模型當中，從而得到該視頻流所對應的事件內容。智能視頻監控從根本上解決了人力監控工作所可能導致的疏漏，實現了全天候對監控區域的實時監控，能夠對視頻內容進行及時準確的分析并且報告異常事件，這極大地提升了視頻監控的安全級別的同時也降低了人力成本，從而成為當前的一個極具挑戰性的前沿課題[2]。智能視頻監控的核心就是能夠對視頻內容進行準確識別，所設計的模型需要從視頻資源中提取數據的時空特征，并且還會因為大風、大霧、攝像頭抖動等意外因素影響數據質量，這使得智能視頻監控成為一項具有相當挑戰性的工作。

近幾年深度學習[3-5]技術獲得了長足發展，計算機視覺的各個領域均開始引入深度學習的方法，尤其對于一些結構復雜、訓練量巨大的神經網絡模型，有著傳統算法無法相比的優勢。目前的圖像分類、識別以及目標檢測等領域已經獲得了長足的技術發展，但它們只能用來識別靜態性質的圖片數據集，相同類別的圖片之間也無法挖掘出時空序列的相關性，而近年來熱門的AlexNet[6]、VGG[7]、GoogleNet[8]都無法解決此類問題，它們并不能用于處理視頻數據，因為視頻幀的預測需要提取視頻幀數據的時空特征，二維的卷積神經網絡無法做到，視頻數據的識別問題因此成為計算機視覺領域多年來的一個技術難題。如今視頻識別領域的研究學者們以深度學習思想為核心開始設計出一些契合視頻數據特點的新模型，比較有代表性的有三維卷積神經網絡[9]以及雙通道網絡[10]等。本文充分調研了該領域最新技術成果的架構思想，依據視頻數據時空特征的特殊性設計一種端到端神經網絡模型，在實際的航運視頻數據集中得到了理想的效果。

1 相關工作

隨著近年來深度學習技術的推廣，眾多學者們在視頻識別的領域提出一系列新的算法或者較之以前有所改進的算法，推動了視頻識別技術的高速發展，它們以是否將深度學習作為核心策略被區分開來。

1.1 傳統方法

傳統的機器學習方法需要經歷數據的預處理、特征提取、特征選擇等過程，最后使用機器學習領域的相關分類方法對事件內容進行分類得到最終的結果。此類方法對于解決視頻問題通常的切入點是檢測數據的時空興趣點(STIP)[11-13]，常用的算法比如DT[14]算法，它是通過構建視頻數據的光流場來獲取運動目標的軌跡序列，接著使用Fisher Vector[15]算法以矢量量化的策略構建視覺詞典，將之前提取到的視頻數據的HOF等4種特征進行編碼，最后使用SVM[16]分類器輸出最終結果。IDT[17]算法是對DT算法的一個優化策略，主要是通過消除相機運動對于算法過程的負面影響來提升算法效率。

1.2 深度學習方法

深度學習的基本思想在于對目標對象能夠構建出不同的契合于原理、特征或相關概念的表達層次，層次本身有著較高和較低的區別，較低層次可以作為基礎架構推導出較高層次的定義，相對地，較高層次也能夠分解為不同的較低層次概念。深度學習最關鍵的兩個方面：①由多層或多個階段的非線性信息處理組成的模型；②擁有更高更抽象層次表達的特征能夠更好地應用于自適應類型的學習方式。由于深度學習能夠直接利用原始數據，可以為識別行為提供更高效的特征表達，因而在視頻識別領域，基于深度學習的方法也取得了一定的進步，例如基于單幀識別的方法以及構建三維卷積的識別方法。基于單幀識別的方法采用直接對從視頻流中截取的單幀圖像進行特征學習的策略，但這種方法完全無法利用視頻幀的時序信息，因而效率較低。該方法可以做進一步的優化，比如采用間隔取幀的策略，每跳過一定數量的視頻幀再進行取幀，最后將所有學習到的圖像特征送往全連接層進行特征融合[18]。為了解決二維卷積無法有效提取視頻數據的時序信息的問題，提高訓練效率，Heskes將二維卷積擴展到三維，利用高維去表示低維的計算特征，采用第三個維度去表達視頻數據的時序特征，有著非常不錯的識別能力。

Clark提出了一種時空雙流神經網絡(two-stream neural network，TSNN)，該模型由兩組并列的卷積神經網絡構成，兩組網絡分別以視頻數據的光流圖片和等間隔抽樣視頻幀作為輸入，提取視頻數據的時空特征信息，最后將時序特征和空間特征進行融合。雖然該模型分離了時序特征和空間特征的識別，但特征提取的充分性仍然不夠，準確率并未達到理想的程度。

為了解決上述問題，本文設計一種組約束深度神經網絡模型(group-constrained deep neural network，GCDNN)進行時空特征的提取，首先是采用與Inception模型相結合的VGG-16模型提取視頻幀序列的空間特征，之后采用優化LSTM單元的深層雙向循環神經網絡(DBO-LSTM)提取視頻幀序列的時序特征，以端到端的方式將兩個模型連接，并利用稀疏組套索算法(sparse group lasso，SGL)[19]實現網絡中變量組級的稀疏化達到網絡的修剪效果，充分訓練之后使用隨機森林算法[20]實現分類輸出。本文的GCDNN模型基于時空特征的特殊性采取對應的網絡結構進行提取，取得了對比模型中最高的識別精度，驗證了所提模型的有效性。

2 航運監控事件識別

本文基于實際的航運監控項目撰寫，是針對航運過程中船舶的各類事件進行識別，基于項目的推進不斷地優化模型。由于船舶體積較為龐大，攝像頭所拍攝的短時間內的連續視頻幀無法提取到有效的反映船舶運動軌跡的時序信息，因而本文將提取間隔設置為5 min，以連續的6幀視頻幀作為模型輸入數據，實現監控事件的識別過程。

2.1 模型整體架構設計

本文所設計的GCDNN模型包括以端到端的方式連接的處理視頻數據空間類型特征的經過改進的VGG-16、處理視頻數據時序特征的優化LSTM單元的深層雙向循環神經網絡(DBO-LSTM)，以及最后的網絡修剪層和輸出層。模型的整體架構如圖1所示。

圖1 GCDNN整體架構

2.2 拓展的VGG-16提取視頻幀的空間特征

卷積神經網絡對于提取數據的空間特征有著最好的效果，因此本文的GCDNN模型將其作為第一部分，結合第二部分的DBO-LSTM共同提取視頻幀數據的時空特征。圖2展示了航運中船舶卸貨過程的特征提取過程。

圖2 GCDNN的時空特征提取建模

VGG模型為了加深增寬模型的架構，并減輕計算壓力，采用小規格的池化核和卷積核，分別用以減小模型的寬高尺度以及增加網絡的通道數量，但因此限制了網絡的整體深度。為了提高網絡的特征提取能力，同時避免網絡結構過于復雜，提升訓練速度，本文將InceptionV4中的第3個模塊Inception-C加入到VGG-16的卷積層之后。Inception是Google在2014年的ILSVRC比賽中取得優異表現的CNN模型，從InceptionV1發展到InceptionV4。Inception模塊是做一個卷積分解，采用兩個結構簡單的一維卷積構成原有的多維卷積，例如一個5*5的卷積塊可以由5*1和1*5兩部分構成。這種拆分方式可以通過拓展模型非線性的表達能力來降低過擬合現象的發生幾率，并且可以較大程度地減少網絡參數，提升模型效率。因此這種非對稱的卷積拆分策略可以取得更加優秀的性能。但為了避免網絡結構過深出現梯度彌散而導致模型性能下降，本文將V4模型中表現最佳的一個模塊Inception-C添加到VGG模型中。

本文所拓展的VGG模型包括5個卷積層(convolution)、5個最大池化層(max pooling)、ELU(exponential linear unit)激活層、LRN(local response normalization)以及Inception-C等結構，由于高維特征在經過池化操作之后會產生特征的分離，原有的時序類信息將會丟失而只留存下數據的空間特征，因此模型去掉最后的全連接層以及分類層以避免這種現象的發生，卷積層的輸出將作為DBO-LSTM的輸入。前兩層卷積層均連續進行2次卷積，后三層則均連續進行3次卷積，卷積層之后都會跟上相應的最大池化層。網絡結構如圖3所示。

圖3 拓展的VGG-16網絡模型

模型的輸入是VGG的標準輸入224×224，模型中每個卷積塊均進行3×3的卷積操作，前3個卷積層的卷積核分別設置為64、128、256個，后兩個均設置為512個，頂層的移動步長設為4個像素，后4個卷積層的移動步長均設置為1個像素，模型的激活層采用ELU(指數線性單元)激活函數，該函數左右兩側具備不同的飽和性，左側的軟飽和特性可以讓函數的抗干擾能力得到較大提高，并且可以促使經過函數之后的輸出均值接近零，因而具有更快的收斂速度。在前4個池化層的每一層后面均增加局部響應歸一化(local response normalization，LRN)[21]層，提升模型的泛化能力，最后的Inception-C模塊則用于增加網絡深度和寬度，提升網絡的性能，卷積的結果將輸入到DBO-LSTM中進行下一部分的訓練。

2.3 DBO-LSTM提取視頻幀的時序特征

序列數據通常是指沿著時間軌跡所提取的數據，而用以操作序列數據的模型則是RNN(recurrent neural network)，此類數據反映了某些現象、事物等隨時間的變化程度或狀態，RNN的網絡架構通過模塊的循環完成信息從上到下的逐層傳輸，信息流從輸入單元依次流向隱藏單元以及輸出單元，網絡模塊的隱含層每個時刻的輸出都依賴于以往時刻的信息，在提取數據時序特征方面，RNN有著比卷積神經網絡更好的效果，因此本文設計一種優化LSTM單元的深層雙向RNN來提取數據的時序特征。

本文的DBO-LSTM是一個深層雙向的RNN，將每一步的輸出與后續的序列聯系起來，每個序列向前和向后呈現到兩個單獨的LSTM，最后的輸出結果將為正向反向過程輸出的串聯向量。由于實際航運視頻監控項目的數據量較大，需要網絡有更強大的表達與學習能力，因此DBO-LSTM將每一個RNN的隱含層增加至三層，加深網絡結構，使其能夠在高層更抽象地表達特征，較好提升網絡性能。DBO-LSTM的網絡結構如圖4所示。

圖4 DBO-LSTM網絡結構

LSTM是RNN模型的一種特殊結構形式，對于具有長期依賴特征的問題具備較好的解決能力，針對連續時間軌跡點之間的延遲和間隔都較長的事件類型，LSTM使用軟門這一獨特結構來處理，軟門本身通過激活RNN來建模，共分為輸入門、忘記門、輸出門3種，軟門通常被用來調整模型中的細胞狀態，通過其相應的門激活與相應動作有關的激活之間的乘積來進行狀態的調節。

本文對LSTM單元做出優化，將LSTM單元的忘記門和輸入門進行耦合。模型在任一時刻狀態中需要丟棄的信息由忘記門決定，會讀取ht-1和xt，ht-1表示上一個細胞的輸出，xt表示的是當前細胞的輸入，忘記門通過輸出一個0到1之間的數值給每個在細胞狀態Ct-1中的數字來決定信息的取舍，其中，1和0分別代表著保留數據和舍棄數據的含義，具體輸入到細胞狀態中的信息數量由輸入門決定，常規的單元結構是分開確定丟棄和添加信息的時刻，將兩種軟門耦合之后，新單元將會統一決定信息的流通，優化后的LSTM單元僅會當將要輸入在當前位置時忘記，實時更新細胞中信息的存在狀態，對于時序類信息的處理會更加高效。優化后的LSTM單元結構如圖5所示。

圖5 優化的LSTM單元結構

ft=σ(Wf[ht-1,xt]+bf)

(1)

it=σ(Wi[ht-1,xt]+bi)

(2)

(3)

(4)

(5)

(6)

(7)

2.4 網絡的修剪和分類輸出

在處理高維數據時，需要構建出輸入數據當中擁有最多有效信息的最小子集，以此完成特征選取這一關鍵步驟。而網絡中不斷輸入的特征數據通常需要增加隱層神經元數量支撐，這就需要進行網絡的修剪，在這方面目前常見的是l1和l2正則化，但在應用到深度神經網絡中時，移除神經元必須當它的所有輸入和輸出權值一致為零時才可以辦到，因而網絡的修剪效果并不太理想。本文利用稀疏組套索(SGL)正則化算法, 將一個神經元的所有輸出權值視為一組,在組套索項的約束下同組的變量同時為零或同時不為零，進而可以將它們同時移除，不同位置的神經元被移除將會有著不同的作用：輸入層神經元被移除相當于一次特征選擇過程，隱層神經元被移除可以起到簡化網絡的作用。

SGL的核心策略是采取組級稀疏的思想將每一個神經元的全部輸出交互統一置為零或非零，詳細來說就是，SGL中不同的組級稀疏效果分別由3個不同的變量組實現：

(1)輸入組Gin：組中一個元素gi∈Gin，i=1,…,d,它是網絡中第i個輸入神經元所有輸出連接構成的向量，即矩陣W1轉置的第一行；

定義所有的組為

G=Gin∪Gh∪Gb

(8)

組稀疏正則化可被寫為

(9)

RSGL(w)Rl2,1(w)+Rl1(w)

(10)

利用此SGL公式的任意一項就能獲得最優解，達到最佳的修剪效果可以使GCDNN獲得最高的組稀疏性，并得到一個非常緊湊和高效的神經網絡。

網絡的最后輸出層，采用隨機森林(random forest)算法完成輸出過程。隨機森林算法由LeoBreiman提出，利用隨機策略構建出一個由眾多決策樹[22]組成的森林結構，決策樹(decision tree)也是樹結構，它的葉子結點和非葉子節點分別存儲目標數據的類別屬性和相應屬性測試的結果，而對于該屬性在所屬范圍內的輸出存儲則是由決策樹的分支來完成。決策樹之間不會有任何相關性，每當森林中進來了一個輸入樣本，所有的決策樹都會對其類別進行判斷，每一個判斷過程都是獨立的。最終被選擇最多的類別，就被預測為樣本的分類結果。本文采用隨機森林算法的原因在于，RF在處理高維數據方面有著優秀的表現，它不用做特征選擇，對數據集的適應能力很強，并且由于隨機性的引入，使用RF作為分類器不容易發生過擬合現象，抗噪聲能力優秀。

3 實驗與分析

3.1 數據集

本文實驗所采用的數據集是在整個項目進程中所積累下來的數據，船只上安裝的攝像頭將所拍攝的監控視頻上傳到服務器，對視頻進行截幀處理后完成數據集的分類下載。視頻數據本身是全天時段的，因此需要從中刪除掉夜晚時段的數據。由于監控視頻的拍攝可能會受到各種干擾因素的影響，比如攝像頭晃動、硬件設施故障等因素，所以在數據集的篩選過程當中，需要去除掉那些質量不佳的圖像，對數據進行統一的歸類收集，其中對于受到比如大霧天氣影響的模糊數據則保存下來并統一收集，用于進行相關的測試。

截止到本文撰寫階段，所采集的數據包含25 500個視頻片段，截幀處理后相當于153 000張圖像，一共分為8個事件類別，分別為裝船、卸船、空倉、正常行駛、雨布吹飛、停泊、未蓋布行駛、攝像頭遮擋，按照9∶1的比例建立訓練集與測試集。圖6為數據集事件樣例展示。

圖6 數據集樣例展示

數據集中的8個類別是應項目需求所劃分，需要模型實時準確地給出每一個事件的識別結果并由識別系統的前臺將事件類型劃分，對于其中的異常事件將發出預警交由管理人員給出解決方案。其中雨布吹飛、空倉、未蓋布行駛等事件容易互相識別錯誤，它們的識別準確率彼此之間也有著不小的差距，原因在于不同事件中時間軌跡特征的區分難度不同，這些事件當中，雨布吹飛和未蓋布行駛屬于識別事件當中的異常事件，因此非常需要模型擁有更高更全面的特征提取能力，根據視頻幀的背景移動狀況以及船面的空間特征變化來準確地做出識別。

3.2 模型訓練與實驗結果分析

本文實驗的硬件平臺為：Intel(R)Core(TM)i7-8700k CPU,NVIDIA GeForce GTX 1070GPU,在此平臺上將GCDNN模型與其它用于視頻識別的主流模型作相關對比。首先是雙流神經網絡模型(TSNN)，該模型輸入數據的標準格式為256*256，由于模型是基于雙通道識別思想的，所以需要先提取數據的空間類型特征，之后利用另一個相同規格的卷積神經網絡提取時序特征，需要以光流信息作為輸入，所以首先用OpenCV獲取每兩幀之間提取的所有點的光流信息輸入到第二個卷積神經網絡中，得出識別結果，最后使用SVM融合兩者的結果得到最終結果。實驗中的學習率設置為0.001，丟失率設為0.9，batch_size設為32，訓練10 000次。之后本文將TSNN的卷積神經網絡結構更換成更深的VGG-11，訓練次數設置為10 000次進行相同的對比實驗。

對于3D卷積神經網絡，由于基礎的網絡結構較為簡單識別率不甚理想，難以達到實際需求的標準，因此本文首先對基于VGG-11網絡結構的三維卷積模型進行訓練，由于輸入數據的格式不匹配，所以需要將輸入的連續視頻幀數據縮放為224*224以契合VGG-11的輸入數據標準格式[23]，實驗中的學習率設置為0.0001，丟失率設為0.8，batch_size設為8，訓練10 000次，接著將VGG-11網絡替換為VGG-16網絡，訓練次數設置為12 000次。實驗部分將統一展示每一個對比模型在8個事件類別上的識別準確率，并且添加了平均準確率作為參考，并添加了每個類別單張圖片的識別速度作為比對參考。

對于本文的GCDNN模型，實驗將會對兩部分網絡結構的優化效果進行測試，分別將卷積神經網絡部分的VGG-16拓展前后的識別能力做出對比，以及循環神經網絡部分，采用LSTM與優化后的DBO-LSTM做出對比，丟失率設置為0.8，batch_size為8，學習率設置為0.0001，訓練次數為10 000次。而對于網絡的修剪以及分類輸出性能，實驗將本文所用稀疏組套索正則化(SGL)與L1和L2正則化之間的訓練效果進行對比，設置相同的正則項參數，利用softmax和RF進行分類輸出，并對于不同的正則化算法和分類算法的組合進行了對比。表1為各模型在各事件上的測試結果匯總。

從表1中可以看出，采用TSNN模型在應對大數據量的識別任務時效果并不理想，識別的平均準確率在所有對比模型中最低，并且識別速度也相對較慢，將TSNN的卷積模型更換成VGG-11之后，各個類別的識別準確率均有了明顯的提高，平均準確率從0.839提高到0.875，提高了3.6%，但仍未達到實際項目需求的標準，且處理速度更慢，因此需要尋找更有效的模型。

3D卷積神經網絡在測試中擁有著較好的表現，基于VGG-11的3D卷積模型在每個類別的識別準確率上均有了較大幅度的提升，平均識別準確率較之TSNN提高了5.2%，比TSNN(VGG-11)提高了1.6%，初步達到了項目需求的準確率水平，且處理速度只有很短的0.411 s，主要是因為3D卷積神經網絡模型的復雜度大大減小，且能較好地在卷積操作之后保存時序特征，因而整個網絡的性能得到了較大提升。在將VGG-11更換為VGG-16之后，3D卷積神經網絡的識別準確率得到了進一步提升，從0.891提升到了0.913，且處理速度只增加了0.037 s，取得了不錯的效果。

表1 不同模型在不同類別數據集上的測試結果

表1的數據顯示，未改動VGG的GCDNN識別準確率已經達到0.920，相比VGG-16的3D卷積神經網絡提高了0.7%，但處理速度由于模型的復雜性降低了0.678 s。而循環神經網絡部分則是將常規的LSTM網絡改進為DBO-LSTM，網絡的性能得到了較大提高，平均識別準確率從0.911提高到0.940，取得了對比模型中最好的效果，滿足了項目的實際業務需求，但處理速度不可避免地降低到1.472 s，相當于以識別速度的犧牲換取更高的識別精度，在實際業務中，可以根據不同的需求來對模型做出調整，在識別速度和識別精度兩方面做出權衡。

本文對于常用的L1和L2正則化進行了測試實驗，并與本文的SGL進行了比對，圖7展示了3種稀疏算法的稀疏性對比，橫軸為正則項參數，縱軸為稀疏度,稀疏度通過零權重相對于連接總數的百分比來計算。可以看出L2正則化的效果非常的差，無法滿足復雜網絡的稀疏要求，而L1和SGL則達到了不錯的效果，SGL更優。

圖7 稀疏性比較

表2展示了對于GCDNN模型，3種正則化算法和分類算法即softmax與RF的識別效率對比，不同的正則化算法和分類算法的組合有著顯著的網絡修剪性能差異。

表2 修剪輸出能力對比

從表2中可以看出，SGL在3種算法中有著最優的輸出性能，以softmax為分類器時，平均準確率已經達到0.935，相比L1和L2分別提升了1.3%和2.1%，處理速度也較快，而與RF的組合則是達到了最優結果。

本文在進行模型訓練以及對比實驗時，去除掉了一些嚴重受到天氣影響的數據，是為了最大程度保證訓練效果，但在實際應用中，除開硬件設備出現問題導致的圖像質量差之外，天氣原因也是一個不可避免的因素，但它具有一定的研究價值，本文實驗收集了一部分受到大霧天氣影響導致的停泊事件類別圖像模糊數據集，樣例如圖8所示。

圖8 停泊事件模糊數據樣例

模糊數據更考驗模型對于圖像特征的提取能力，本文實驗將GCDNN與其它實驗相關模型在此事件數據集上進行了比對實驗，結果見表3。

表3 模糊數據集上的模型識別結果

項目的實際運作中，遇到特殊天氣時會增加人力因素的投入，以保證航行的順利進行，但仍需要智能識別系統的數據作為參考，實驗部分的對比模型在特殊數據集下識別率均有了較大程度的下滑，但本文的GCDNN模型仍取得了最高的識別率，達到了0.795，且處理速度未有較大變化，可以作為航運監控數據的有效參考。

4 結束語

本文針對現有深度學習模型面對大數據量的航運監控視頻數據時識別準確率不高的問題，提出一種組約束深度神經網絡模型，利用拓展的VGG-16模型和DBO-LSTM分別提取視頻幀數據的空間特征和時序特征，最后利用稀疏組套索算法進行網絡修剪并采用隨機森林算法實現分類輸出。在實際的航運監控數據集上的對比實驗結果表明，本文所提模型取得了最佳的識別準確率，驗證了模型的有效性。但在識別速度上，由于模型的復雜性，識別速度較低，有較大的提升空間，并且模型本身的網絡結構也有得到更佳優化的可能性。視頻識別是深度學習的一個前端領域，有著廣闊的應用前景，未來將在現有工作的基礎上，進一步調整網絡結構，結合領域前沿的網絡模型取得更強的識別能力。