基于視頻圖像的弓網(wǎng)接觸位置動態(tài)監(jiān)測方法*

王恩鴻 柴曉冬 鐘倩文 李立明 張喬木

(上海工程技術(shù)大學(xué)城市軌道交通學(xué)院， 201620， 上海∥第一作者，碩士研究生)

0 引言

對受電弓及接觸網(wǎng)的視頻監(jiān)測是保障列車高速、安全運行的關(guān)鍵手段，其中，對監(jiān)測視頻的分析與識別是受電弓監(jiān)測的核心。目前對受電弓的監(jiān)測主要是人工操作，效率低、耗時長[1]，并且對受電弓與接觸網(wǎng)接觸線位置關(guān)系方面的研究鮮有涉及。受電弓與接觸網(wǎng)的觸點若在安全區(qū)域內(nèi)列車可安全運行，否則將會導(dǎo)致列車運行故障，嚴(yán)重時甚至影響列車的運行安全，所以必須對受電弓與接觸網(wǎng)的觸點進(jìn)行有效監(jiān)測。

目前主要是運用力學(xué)傳感器采集受電弓運動過程中受力的變化來監(jiān)測受電弓的狀態(tài)，并采用圖像處理技術(shù)對受電弓的磨損進(jìn)行監(jiān)測。文獻(xiàn)[2]運用圖像側(cè)連法對受電弓滑板的磨耗部位進(jìn)行檢測，運用傳感器測量法檢測受電弓與接觸網(wǎng)的接觸受力部位，采集受力信息；文獻(xiàn)[3] 通過監(jiān)測列車高速運行時受電弓與觸網(wǎng)之間的受力情況，對受電弓進(jìn)行動態(tài)監(jiān)測；文獻(xiàn)[4]采用邊緣檢測、閉運算、邊緣強(qiáng)度和模板匹配等方法對受電弓的圖像特征進(jìn)行提取，并對受電弓燒壞和裂紋等故障通過像素分析進(jìn)行判別；文獻(xiàn)[5]設(shè)計了基于機(jī)器視覺系統(tǒng)的高速列車弓網(wǎng)動態(tài)性能參數(shù)實時檢測系統(tǒng)，對受電弓的拉出值進(jìn)行提取，對燃弧狀態(tài)進(jìn)行檢測，并對檢測數(shù)據(jù)進(jìn)行存儲；文獻(xiàn)[6]對受電弓滑板磨耗和中心線偏移檢測進(jìn)行研究，運用先進(jìn)邊界區(qū)分噪聲檢測算法、改進(jìn)均值濾波算法以及基于自適應(yīng)的Canny滑板磨耗邊緣檢測算法(以下簡稱“Canny算法”)實現(xiàn)對受電弓的檢測。

但是，在列車運行過程中，以上研究并不能通過車載攝像頭采集的受電弓視頻數(shù)據(jù)直接獲得弓網(wǎng)接觸相對位置，因此本文提出一種基于視頻圖像的弓網(wǎng)接觸位置動態(tài)監(jiān)測方法。首先，對列車攝像頭采集到的視頻數(shù)據(jù)進(jìn)行受電弓特征幀圖像提取，對視頻圖像設(shè)定初始的受電弓幀圖像，并通過幀間差運算分離出視頻中含有受電弓的幀，將此保存為圖片數(shù)據(jù)；其次，為了去除圖像中的復(fù)雜背景，獲得主要目標(biāo)圖像信息并減少運算量，采用基于熵率的超像素分割技術(shù)對圖片進(jìn)行處理；再次，通過找到圖像的最大特征ROI(感興趣區(qū)域)，提取形成特征數(shù)據(jù)集；最后，采用優(yōu)化后的YOLO v3-tiny網(wǎng)絡(luò)結(jié)構(gòu)對數(shù)據(jù)集進(jìn)行訓(xùn)練，獲得輸出的權(quán)重。通過對權(quán)重的對比即可對受電弓與接觸網(wǎng)的接觸位置進(jìn)行跟蹤和識別，達(dá)到監(jiān)測的目的。

1 受電弓視頻數(shù)據(jù)預(yù)處理

圖1為基于視頻圖像的弓網(wǎng)位置動態(tài)實時監(jiān)測算法流程圖。首先，通過幀間差提取視頻中單幀包含受電弓的圖像；其次，通過熵率的超像素分割算法獲得最大導(dǎo)熵率區(qū)域，在受電弓圖像HOG(方向梯度直方圖)中分割出最大特征的最小ROI區(qū)域，形成特征數(shù)據(jù)集；最后，利用優(yōu)化的YOLO v3-tiny-strong網(wǎng)絡(luò)模型訓(xùn)練出權(quán)重，對視頻中的弓網(wǎng)接觸位置進(jìn)行識別。

1.1 視頻特征幀提取

為了獲得受電弓的特征幀，需要對受電弓的視頻圖像做特征幀提取。特征幀是包含所需目標(biāo)圖像最大特征的幀圖像，在視頻圖像空間域中提取視頻的每1幀，可得到一幅靜態(tài)的圖像。采用等量幀間差運算來分離列車高速運行時采集到的受電弓視頻圖像，可分離出受電弓視頻中包含受電弓特征的特征幀，并且每張圖像中都包含目標(biāo)圖像的最大特征。通過空間分量的幀提取方法，對列車在高速運行情況下采集到的受電弓視頻進(jìn)行處理，獲得受電弓的圖像數(shù)據(jù)。

圖1 基于視頻圖像的弓網(wǎng)位置動態(tài)實時監(jiān)測算法流程

1.2 受電弓圖像特征提取

1.2.1 最大熵率的超像素特征提取

超像素是按照一定規(guī)律將圖像中具有相似特征的像素點聚合成大小不一的像素塊，使這些像素塊表達(dá)一種視覺意義。基于熵率的超像素分割通過將聚合成的像素塊進(jìn)行處理，達(dá)到降低復(fù)雜度、提高計算速度的目的。

設(shè)離散的隨機(jī)變量為M，熵率構(gòu)造的目標(biāo)函數(shù)H(M)用于度量隨機(jī)變量M的不確定性[7]，定義φ為M的支撐集，則有：

(1)

式中：

X——像素點；

PX(X)——像素點在圖像中出現(xiàn)的概率。

超像素熵率是通過圖像的超像素建立拓?fù)浣Y(jié)構(gòu)，本質(zhì)是尋找圖像的拓?fù)浣Y(jié)構(gòu)，將圖像拓?fù)涠x為A，將所有的超像素塊相連，其最大化目標(biāo)特征函數(shù)E的計算公式為：

(2)

式中：

H(A)——熵率項，用以形成相對規(guī)則的超像素；

λ——平衡因子；

B(A)——平衡項，用以約束超像素的尺寸。

H(A)、B(A)的構(gòu)造式分別為：

(3)

(4)

(5)

(6)

式中：

i，j——自然數(shù)序列；

μi——適應(yīng)因子；

Pi,j(A)——像素點概率；

wi,j——二維像素；

wi——一維像素；

ei,j——圖像子熵；

ZA——子圖分布；

PZA(i)——子圖的分布律；

NA——G中連通的子圖個數(shù)(假設(shè)原圖為G)；

Si——子圖熵；

v——總圖熵。

為了獲得最優(yōu)的目標(biāo)函數(shù)，利用貪婪算法進(jìn)行處理，所得的分割結(jié)果λ為平衡因子參數(shù)。λ越大，分割超像素形狀越不規(guī)則，但形狀更均勻；λ越小，超像素形狀越規(guī)則，但大小不均勻。假設(shè)圖像超像素的初始值為ξ，K為超像素數(shù)量，β為動態(tài)因素，則：

λ=Kβξ

(7)

(8)

式中：

φ——無效子圖；

H(ei,j) ——原圖熵率項；

H(φ) ——支撐集熵率項；

B(ei,j) ——原圖平衡項；

B(φ) ——支撐集平衡項。

圖2為不同初始值ξ所對應(yīng)的分割結(jié)果示意圖。可以看出，ξ越大，熵率超像素特征效果越好。

a) ξ=0.1

c) ξ=12.5

1.2.2 受電弓圖像HOG特征提取

HOG通過局部梯度或者目標(biāo)邊緣方向密度分布來描述圖像局部區(qū)域的形狀和紋理特征[8]。首先將圖像分成許多小的連通區(qū)域(又稱為細(xì)胞單元)，然后計算每個細(xì)胞單元的像素梯度或者邊緣方向直方圖，最后將所有細(xì)胞單元的HOG串聯(lián)，用以描述圖像的HOG特征，從而實現(xiàn)對HOG特征的提取。

1.2.2.1 圖像歸一化處理

將圖像轉(zhuǎn)化為I(m,n)二維圖，使用Gamma校正法對二維圖像進(jìn)行標(biāo)準(zhǔn)化處理，以減少圖像中的不平衡因素及圖像噪聲的干擾，可獲得U(m,n)：

U(m，n)=I(m，n)Gamma

(9)

1.2.2.2 計算圖像梯度

分別計算二維圖像的橫向梯度和縱向梯度：

Gy(x,y)=I(x,y+1)-I(x,y-1)

(10)

Gx(x,y)=I(x+1,y)-I(x-1,y)

(11)

(12)

(13)

式中：

Gy(x,y)——圖像縱向梯度；

Gx(x,y)——圖像橫向梯度；

G(x,y)——圖像梯度；

θ——方向角。

1.2.2.3 建立細(xì)胞單元

為每個細(xì)胞單元建立直方圖，將輸入圖像分為64×32像素大小的圖像單元，再次細(xì)分解16×16像素步長為8的單元，作為輸入。

圖像的梯度方向范圍是0°～360°。計算每個細(xì)胞單元中的直方圖后，將所有的直方圖串聯(lián)形成四堡單元梯度直方圖，形成HOG的一維數(shù)組。

1.2.3 最大熵率與HOG的最小ROI特征定位

依據(jù)受電弓幀在復(fù)雜背景下的超像素熵率特征，通過對比受電弓目標(biāo)區(qū)域的熵率最大特征，可提取受電弓目標(biāo)圖像的熵率最顯著區(qū)域。將包含目標(biāo)特征的圖像進(jìn)行熵率超像素分割，可獲得圖像最大熵率特征，并將圖像的最大熵率特征與HOG特征進(jìn)行結(jié)合，獲得目標(biāo)區(qū)域中包含這2個特征的最小范圍，進(jìn)而從圖像中定位出最大特征的最小ROI范圍，以此去除復(fù)雜的背景。

1.3 最大特征ROI數(shù)據(jù)集

經(jīng)過超像素復(fù)雜背景分割，可得到目標(biāo)區(qū)域最大特征的最小ROI。在ROI中除去原始視頻圖像中的復(fù)雜背景，可減小其他非目標(biāo)物體對監(jiān)測造成的干擾，且可以保留監(jiān)測目標(biāo)物體的最大特征。將分割后的連續(xù)幀保存為去除復(fù)雜背景后具有最大特征的最小ROI的視頻數(shù)據(jù)，然后對ROI進(jìn)行Canny算法的邊界提取，產(chǎn)生具有邊界效應(yīng)最大熵ROICanny的視頻文件。將ROICanny邊界處理技術(shù)作為測試訓(xùn)練的方法，對監(jiān)測結(jié)果進(jìn)行測試。把從原始視頻數(shù)據(jù)提取得到的最大特征ROI視頻和經(jīng)過Canny算法處理后的ROICanny圖像數(shù)據(jù)，建立最大特征數(shù)據(jù)集。圖3為建立受電弓復(fù)雜背景分割最大特征數(shù)據(jù)集的流程圖。

圖3 建立受電弓復(fù)雜背景分割最大特征數(shù)據(jù)集的流程

2 視頻圖像中弓網(wǎng)接觸位置的識別

2.1 YOLO v3-tiny網(wǎng)絡(luò)結(jié)構(gòu)

與YOLO v3網(wǎng)絡(luò)結(jié)構(gòu)一樣，YOLO v3-tiny也采用了多尺度的檢測機(jī)制。稍有不同的是YOLO v3-tiny只使用了2個尺度：13×13像素和26×26像素。此外，YOLO v3-tiny的網(wǎng)絡(luò)結(jié)構(gòu)與其他網(wǎng)絡(luò)結(jié)構(gòu)類似，主要由卷積層和池化層組成，整個網(wǎng)絡(luò)結(jié)構(gòu)較為簡單、整潔。YOLO v3-tiny結(jié)構(gòu)的主要特點是網(wǎng)絡(luò)整體參數(shù)少、計算量小，對計算機(jī)的性能要求低，能夠快速完成對輸入信息的推理計算。其缺點也較為明顯，為了提升計算速度，YOLO v3-tiny犧牲了檢測精度。由于層結(jié)構(gòu)簡單，該結(jié)構(gòu)對于特征的提取并不充分。針對YOLO v3-tiny的實際情況，結(jié)合本文的實際需求，應(yīng)在其檢測速度降幅不大的情況下，提升其檢測精度。通過運用YOLO v3-tiny結(jié)構(gòu)對ROIcanny進(jìn)行訓(xùn)練，可通過canny算法處理后的視頻中識別跟蹤得到受電弓與接觸網(wǎng)的接觸位置。

2.2 YOLO v3-tiny-strong結(jié)構(gòu)

為了更加適用于受電弓圖的頻識別，本文在YOLO v3-tiny結(jié)構(gòu)的基礎(chǔ)上，進(jìn)一步對結(jié)構(gòu)功能進(jìn)行了優(yōu)化。

首先，對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行擴(kuò)充。對于深度學(xué)習(xí)網(wǎng)絡(luò)，其淺層網(wǎng)絡(luò)提取的特征包含了如物體的剛性結(jié)構(gòu)、紋理特征等較為明顯的特征[9-12]。同時，使用大的特征圖進(jìn)行卷積操作，也能夠提取到更為豐富的細(xì)節(jié)特征。在原YOLO v3-tiny網(wǎng)絡(luò)中，第2層就對特征圖進(jìn)行采樣操作，減少網(wǎng)絡(luò)的計算量。針對這一情況，在網(wǎng)絡(luò)的第1層和第2層中間加入了1×1卷積層和3×3卷積層2層網(wǎng)絡(luò)，以加強(qiáng)對于淺層的特征提取功能。添加1×1卷積層的作用主要有2個：一是起到特征提取的平滑過渡，將第1層提取到的特征更加平滑地過渡到新添加的3×3卷積層中，使特征在傳遞的過程中不會丟失；二是減少網(wǎng)絡(luò)的參數(shù)量。如果僅加入1層3×3網(wǎng)絡(luò)，其參數(shù)量過多，會造成卷積層的計算量過大，降低整體檢測速度。在3×3卷積層前加入1×1卷積層，可先減少整體網(wǎng)絡(luò)參數(shù)，然后再進(jìn)行特征提取操作，從而保證具有較高的檢測速度。

然后，在26×26像素尺度的檢測前加入更多的卷積層，進(jìn)行特征提取。在原YOLO v3-tiny網(wǎng)絡(luò)中，26×26像素尺度的檢測只由第19層的3×3卷積層和第8層的3×3卷積層進(jìn)行路徑合并后送入檢測。雖然通過route合并功能將淺層特征和深層特征進(jìn)行合并，但是由于深層特征只由單一的1層3×3卷積層進(jìn)行特征提取，提取到的抽象特征較少。本文參考了YOLO v3多尺度檢測的層結(jié)構(gòu)設(shè)置功能，在深層網(wǎng)絡(luò)原有3×3網(wǎng)絡(luò)的基礎(chǔ)上再加入2個3×3卷積層，用以增強(qiáng)對于深層特征的提取。

優(yōu)化后的網(wǎng)絡(luò)模型稱為YOLO v3-tiny-strong，雖然其檢測速度與YOLO v3-tiny結(jié)構(gòu)相比有所降低，但是通過增強(qiáng)網(wǎng)絡(luò)對特征的提取能力，YOLO v3-tiny-strong的檢測精度得到了提升。將YOLO v3-tiny-strong與YOLO v3-tiny、YOLO v3、SSD網(wǎng)絡(luò)模型和Fast R-CNN網(wǎng)絡(luò)模型進(jìn)行橫向?qū)Ρ龋ㄟ^平均精度這一參數(shù)對比各模型的輸出精度，得到的結(jié)果如表1所示。

表1 各網(wǎng)絡(luò)模型的平均輸出精度對比表

由表1可知， Fast R-CNN網(wǎng)絡(luò)由于其固有的二階網(wǎng)絡(luò)結(jié)構(gòu)，其檢測精度相比于YOLO v3網(wǎng)絡(luò)、SSD網(wǎng)絡(luò)這類一階的算法更好，特別是其候選窗推薦機(jī)制，增強(qiáng)對目標(biāo)的檢測能力；YOLO v3網(wǎng)絡(luò)由于采用了新的darknet-53網(wǎng)絡(luò)結(jié)構(gòu)，加深了網(wǎng)絡(luò)層數(shù)，增強(qiáng)了整體的特征提取能力，并且采用了多尺度檢測機(jī)制，提高了對小目標(biāo)的檢測精度。同時，YOLO v3網(wǎng)絡(luò)的下采樣操作采用了步長為2的卷積層，能夠防止下采樣過程中的特征細(xì)節(jié)丟失。以上這些優(yōu)化技術(shù)，使YOLO v3網(wǎng)絡(luò)的綜合檢測精度有了較大的提升，其輸出的平均精度與Fast R-CNN網(wǎng)絡(luò)相接近。而通過對比發(fā)現(xiàn)，與YOLO v3-tiny網(wǎng)絡(luò)相比，YOLO v3-tiny-srong的檢測精度有了大幅度的提升，增幅約為15%。

在帶有NVIDIAGTX980GPU的情況下對5個算法的檢測速度進(jìn)行了測試，可通過每秒傳輸幀數(shù)來對比模型處理速度，測試對比結(jié)果如表2所示。

通過表1～2的對比可知，修改后的YOLO v3-tiny-strong模型雖然檢測速度有所下降，但檢測精度有了大幅度提升，滿足實時檢測的條件值。而其他網(wǎng)絡(luò)模型中，F(xiàn)ast R-CNN的網(wǎng)絡(luò)結(jié)構(gòu)較為復(fù)雜，檢測速度最慢；YOLO v3在YOLO v1的基礎(chǔ)上經(jīng)歷了兩代的更新，其網(wǎng)絡(luò)結(jié)構(gòu)相比于之前也更為簡潔，因而檢測速度比類似的同為端到端網(wǎng)絡(luò)的SSD模型更快。通過上述對比，YOLO v3-tiny-strong模型的整體性能要優(yōu)于YOLO v3-tiny，其對目標(biāo)特征提取的能力也更強(qiáng)，更適用于本次設(shè)計的運用場景。

表2 網(wǎng)絡(luò)模型每秒傳輸幀數(shù)對比表

3 試驗結(jié)果與分析

3.1 試驗環(huán)境

為了對算法進(jìn)行驗證，本文搭建了試驗環(huán)境，在Lunix系統(tǒng)下對試驗環(huán)境進(jìn)行配置，試驗中采用Python3.6語言、darknet框架，相關(guān)硬件環(huán)境如表3所示，試驗所使用的軟件環(huán)境如表4所示。

表3 弓網(wǎng)接觸位置監(jiān)測實現(xiàn)的硬件環(huán)境

表4 弓網(wǎng)接觸位置監(jiān)測實現(xiàn)的軟件環(huán)境

3.2 試驗結(jié)果

利用YOLO v3-tiny-strong模型對最大特征ROI數(shù)據(jù)集進(jìn)行訓(xùn)練，迭代4 215次后得到損失函數(shù)曲線如圖4所示。平均損失是用于衡量模型訓(xùn)練精度的指標(biāo)，隨著訓(xùn)練批次的增加，平均損失降低。由圖4可知，YOLO v3-tiny-strong 模型的損失函數(shù)優(yōu)于YOLO v3-tiny模型，所以YOLO v3-tiny-strong模型的訓(xùn)練效果優(yōu)于YOLO v3-tiny模型。

通過以上的訓(xùn)練，可獲得YOLO v3-tiny-strong網(wǎng)絡(luò)輸出權(quán)重。運用權(quán)重進(jìn)行實時監(jiān)測，能夠從視頻圖像中識別出受電弓與接觸網(wǎng)的穩(wěn)定位置關(guān)系，并且能夠輸出接觸點在圖像中的坐標(biāo)。

圖4 YOLO v3-tiny模型與YOLO v3-tiny-strong模型訓(xùn)練損失函數(shù)對比

在列車運行時對動態(tài)接觸位置進(jìn)行準(zhǔn)確監(jiān)測，其目標(biāo)動態(tài)監(jiān)測效果如圖5所示。圖中的中點位置指受電弓的中點位置，兩旁安全域邊界內(nèi)的區(qū)域代表安全區(qū)域，框出部分為接觸位置。

圖5 受電弓的視頻動態(tài)監(jiān)測效果

圖6中為受電弓動態(tài)參數(shù)偏移結(jié)果，圖中數(shù)據(jù)在安全區(qū)域上邊界和下邊界范圍內(nèi)表示受電弓安全運行，超出上下邊界部分表示受電弓超出安全位置。

圖6 受電弓接觸點動態(tài)參數(shù)監(jiān)測

4 結(jié)語

本文提出了基于視頻圖像的弓網(wǎng)接觸位置動態(tài)監(jiān)測方法，用以解決視頻圖像中受電弓與接觸網(wǎng)位置的目標(biāo)監(jiān)測。首先，利用幀間差對受電弓視頻數(shù)據(jù)進(jìn)行提取，獲得基礎(chǔ)的數(shù)據(jù)集；其次，用熵率超像素與圖像HOG特征去除圖像中的復(fù)雜背景，提取受電弓圖像的最大特征ROI；最后，用改進(jìn)后的YOLO v3-tiny-strong模型對受電弓最大特征ROI特征進(jìn)行數(shù)據(jù)集訓(xùn)練，用訓(xùn)練的權(quán)重對視頻目標(biāo)進(jìn)行監(jiān)測。這種新型的受電弓視頻目標(biāo)監(jiān)測方法能夠在受電弓視頻中實時標(biāo)記出受電弓與接觸網(wǎng)的接觸位置，達(dá)到對受電弓與接觸網(wǎng)動態(tài)位置的監(jiān)測目的，可有效監(jiān)測列車在運行時的弓網(wǎng)狀態(tài)。