基于FCN不確定性特征的鐵路入侵異物檢測算法

胡行濤 劉大明 虞發桐

(上海電力大學計算機科學與技術學院 上海 201300)

0 引 言

隨著高鐵建設的新發展,中國鐵路正逐步上升為國家的標志和形象。做好路軌安全管理是中國鐵路發展的基礎工作,為此鐵路安全研究也成為社會熱點。異物侵限是指落石、行人、牲畜等鐵路異物,因外力作用或誤入鐵路限界,對鐵路軌道或運行列車造成安全隱患的行為。傳統的鐵路入侵異物檢測算法[1-4]存在實時性差、檢測精確率低等缺點,因此基于卷積神經網絡的鐵路軌道入侵異物檢測成為當下人工智能領域研究的重點問題,在國內外很多學者不斷改進創新中已經獲得了較好的研究成果[5-7],由于卷積神經網絡的局限性,入侵異物的檢測精確率仍然很低。

針對此問題,本文提出一種基于FCN不確定性特征的鐵路軌道入侵異物檢測,由于不確定性是任何檢測系統的一個自然屬性,因此在網絡模型中引入FCN不確定性特征至關重要,合理的概論解釋可以為物體預測提供關系置信度,并使檢測系統更加穩健[8]。因此FCN不確定性特征的引入提高了檢測系統的穩定性和準確性。因此本文在具體的卷積層中引入一個修改后的Dropout(R-Dropout)來構造不確定性卷積特征。而為了減少卷積過程中引起的圖像偽影現象,本文提出一種新的混合下采樣方法,可以有效解決偽影現象。本文的突出優點有:

(1) 與現有的檢測方法不同,本文的網絡模型十分簡單。它由一個編碼器FCN、一個解碼器FCN、一個像素級的分類器組成。編碼器FCN從原始圖像中分層學習視覺特征,而解碼器FCN逐步將編碼特征通過上采樣映射到像素級分類的圖像大小。

(2) 網絡模型中引入了不確定性卷積特征來實現更準確的入侵異物檢測。主要是通過在特定的卷積層中引入一個修改后的Dropout(R-Dropout)來構造不確定性卷積特征,不需要額外的參數就可以構建不確定性卷積特征。

(3) 提出一種新的上采樣算法來減少卷積過程中產生的圖像偽影現象。新的上采樣方法有兩個明顯的優勢:它可以從提取卷積特征中分離出上采樣操作從而生成更高分辨率的特征映射;它與常規反卷積兼容。

(4) 不確定卷積特征的構建和入侵異物檢測在編碼器和解碼器網絡架構中統一,所提出的網絡模型每個層的權重和偏差參數通過端到端的梯度學習來聯合訓練。

經過實驗表明,本文提出的基于FCN不確定性特征的鐵路軌道入侵異物檢測能夠獲得更精確的物體檢測效果,提高了鐵路軌道入侵異物檢測的魯棒性。

1 基于FCN不確定性特征的網絡模型

1.1 網絡模型結構

本文根據堆疊去噪自動編碼器的模型特征[9],把自動編碼的網絡模型結構運用到本文算法的網絡模型中,生成了一種全卷積編碼器-解碼器網絡模型。形成了一種新的混合FCN模型,由用于提取高級特征的全卷積編碼器網絡、用于重構低級信息的全卷積解碼器網絡,以及用于檢測物體的像素分類器構成,整體網絡模型如圖1所示。可以看出,FCN編碼器網絡由多個批標準化(BN)的卷積層、修正線性單元(ReLU)和不重疊的池化層組成。同時在FCN解碼器網絡中為了實現從低分辨率到高分辨率的特性映射,引入優化后有利于減少偽影的混合上采樣操作。在該網絡模型中引入Softmax分類器來實現像素級的物體檢測,同時使用R-Dropout來構造不確定性特征。

圖1 網絡模型

1.2 構造不確定性特征

Dropout[10]的引入是為了防止FCN過程擬合從而來提高網絡檢測效率,主要通過在網絡訓練過程中,按照一定的概率把神經網絡單元暫時從網絡中丟棄。大部分研究都是在全連接層中引入Dropout,但是缺乏對其他層(如卷積層)使用Dropout的研究。本文在卷積層之后使用修改后的Dropout(R-Dropout)來構造不確定性卷積特征。

假設3D張量X∈RW×H×C,f(X)是FCN的卷積算子,通過參數W和b將X投影到RW′×H′空間:

f(X)=WX+b

(1)

g(f)=g(WX+b)

(2)

(3)

g((M?W)X+M⊙b)=g(SX+M⊙b)

(4)

由于本文的網絡模型是由交替的卷積層和池化層組成,因此本文的模型中存在兩個典型的結構。為了更簡單地描述結構,接下來的描述中暫時不討論批標準化(BN)。

(1) Conv+R-Dropout+Conv:如果在引入的R-Dropout后面添加一個卷積層,則輸入的正向傳播表示為:

(5)

(6)

gl+1=g(fl+1)

(7)

(2) Conv+R-Dropout+Pooling:如果在引入的R-Dropout后面添加一個池化層,則輸入的正向傳播表示為:

(8)

(9)

(10)

(11)

式中:P0表示所有在池化層的激活函數均被丟棄。

第二種結構Conv+R-Dropout+Pooling通過在卷積層中引入R-Dropout來展現出構建不確定性的有效性,因此本文采用第二種結構來構建網絡模型。

1.3 混合上采樣

本節首先通過反卷積算法[11]解釋了產生偽影的原因,并且提出一種新的上采樣算法,盡可能地減少網絡訓練和卷積過程中偽影現象。

假設一個n×n的輸入圖像塊,卷積核矩陣大小為k×k,采樣尺度矩陣為s×s,零填充矩陣大小為p×p。由于本文的目標主要是實現上采樣操作,因此采樣尺度s≥2,則卷積運算符C可以描述為:

O=C(I,F)=I*F

(12)

基于上述問題,本文提出兩種避免反卷積時產生偽影的解決方法。第一種是限制過濾器的大小k,需要確保濾波器大小k是采樣尺度s的倍數,從而避免像素值重疊問題。即:

k=λsλ∈N+

(13)

而對于插入零元素后的圖像輸入問題,反卷積采用等價卷積來處理,從而得到平滑的輸出。然而這種方法只關注于改變輸出圖像像素的接受域,而不能改變插入零元素后輸入圖像的頻率分布,因此在多種極端情況下,此種上采樣解決方法還是會使卷積后的輸出圖像存在偽影現象。因此本文提出另一種解決方法,通過從等價卷積中分離出上采樣操作。首先,通過插值將輸入圖像調整為所需的大小,然后執行一些等價卷積操作。雖然這種方法可能會影響FCN的網絡特征,但是經過實驗發現通過迭代堆疊上采樣產生的高分辨率圖像可以有效地減少偽影現象。為了充分利用這兩種上采樣方法的優勢,本文結合這兩種上采樣方法,引入混合上采樣方法來有效地減少卷積后存在的偽影現象。圖2中說明了這種混合上采樣方法。在這種混合上采樣方法中,使用雙線性(或最近鄰域)插值算法,由于這種插值方法是線性運算,可以作為有效的矩陣,通過乘法嵌入到FCN模型中去。

圖2 混合上采樣

1.4 網絡訓練

由于缺乏足夠的目標檢測數據來從頭開始訓練網絡模型,因此本文利用VGG-16模型[12]的前端作為編碼器FCN模型(13個卷積層和5個池化層預先在ILSVRC 2014進行訓練用于圖像分類)。解碼FCN網絡與編碼器網絡相關聯,包含卷積層、上采樣操作和分類器。批標準化(BN)被包含到每個卷積層的輸出中去,同時在特定的卷積層之后添加(p=0.5)R-Dropout。對于物體檢測,本文隨機地初始化解碼器FCN的權重并且微調MSRA10K數據集上的整個網絡,該數據集在物體檢測上被廣泛使用。將數據集中每幅圖像的ground-truth圖轉換成0-1的二值圖。根據下面的Softmax的交叉熵損失函數從背景(鐵路軌道)中分離出前景物體:

(14)

式中:lm(lm=0,1)是圖像中像素m的標簽;qm是像素m是前景物體(輸電線路缺陷)的概率,qm的值是從網絡的輸出中得到的。在將訓練的圖像輸入到網絡模型中之前,先將每幅圖像減去訓練數據集的平均值并重新縮放到相同的尺寸(448×448),對于數據集中0-1二值圖像調整至相同的大小。本文模型的訓練通過小批量隨機梯度下降(SGD)實現網絡訓練。

1.5 前景目標物體的提取

因為本文的網絡模型是完全卷積神經網絡,所以在測試時可以將任意大小的圖像作為輸入。因此網絡的輸出是由區分出來的前景目標物體(入侵異物)和背景物體(鐵路軌道)組成,通過前景物體和背景物體之間的差異,并剪切負值來提取最終的前景目標物(入侵異物)。

Sal=max(Mfe-Mbe,0)

(15)

式中:Mfe為前景目標物體(入侵異物);Mbe為背景物體(鐵路軌道)還捕獲了上下文的對比度信息,提高了前景物體檢測的性能。

2 實驗結果與分析

本文使用改進的Caffe框架實現了基于MATLAB R2014b平臺的方法。在配備i7-4790 CPU(16 GB內存)和一個NVIDIA Titan X GPU(12 GB內存)的四核PC機上運行本文算法。本文的網絡模型訓練過程需要近23 h,并在最小批量SGD的20萬次迭代后收斂。

2.1 實驗結果

數據集來自鐵路軌道監控視頻。總共截取了4 000多幅不同分辨率的圖像,其中:2 500幅圖像作為訓練集;1 500多幅圖像作為測試集。在訓練集中總共標注了3種不同的樣本,分為A、B、C類。A是已經進入鐵路軌道區域的動物;B是已經進入鐵路軌道區域的行人;C是已經進入鐵路軌道區域的障礙物。

圖3為本文算法實現效果圖,可以將鐵路軌道中的入侵異物有效地檢測提取出來。

2.2 算法對比與分析

本文使用三種廣泛使用的指標來衡量所有算法的性能:PR曲線、F-measure和平均絕對誤差(MAE)。

RP(Precision-Recall)曲線主要是描述Recall(查全率)和Precision(查準率)之間關系的曲線。

(16)

式中:β為參數,取值范圍為0到1。

準確率和召回率目前已經被廣泛地使用在分類領域作為有效的度量值來評價結果的質量。其中,準確率衡量的是檢索系統的查準率;召回率衡量的是檢索系統的查全率。

(17)

式中:W和H為框的寬和高;S(x,y)為(x,y)處的像素值。

為了評價檢測出來的物體與Ground truth之間的誤差,使用平均絕對誤差來衡量。

(18)

式中:G(x,y)為S(x,y)周圍背景的像素平均值。

為了衡量本文算法的性能,本文采用6個廣泛使用的數據集DUT-OMRON[13]、ECSSD[14]、HKU-IS[15]、PASCAL-S[16]、SED[17]、SOE(文獻[14])并與6種深度學習算法進行比較其中包含DCL[18]、DS[19]、LEGS[20]、MDF(文獻[15])、RFCN[21]等。

從表1和圖4中可以看出。(1) 本文算法在F-measure和MAE上優于ECSSD和SED數據集上的其他算法。(2) 本文算法在大多數數據集上達到較低的MAE值。(3) 本文的RP曲線均優于其他算法,檢測的準確率較高。驗證了本文算法在引入不確定性卷積特征的必要性。因此本文提出FCN不確定性特征模型在所有評估指標方面表現出很好的優越性,從而有力地表現了本文算法的有效性。

圖4 RP曲線

表1 算法指標

3 結 語

本文提出一種新的用于鐵路軌道異物入侵檢測的全卷積網絡模型。通過引入不確定性卷積特征來產生更準確的物體檢測,同時提出新的上采樣方法來減少卷積運算過程中產生的偽影現象,并且能夠強制網絡為物體檢測學習到更準確的邊緣。經過實驗表明,本文提出的基于FCN不確定性特征的鐵路軌道入侵異物檢測中的網絡模型能夠顯著地提高系統檢測的性能,提高基于FCN鐵路軌道入侵異物檢測的魯棒性。