基于深度學(xué)習(xí)的接觸網(wǎng)鳥巢異物識(shí)別研究*

王科理，高福來，楊 鵬，王 亮

（1 中國鐵道科學(xué)研究院 研究生部，北京 100081；2 中鐵檢驗(yàn)認(rèn)證中心有限公司，北京 100081；3 智洋創(chuàng)新科技股份有限公司，山東淄博 255086）

隨著中國的高速鐵路里程逐漸大幅度增加，高鐵沿線設(shè)備采用高鐵綜合檢測車或運(yùn)營車輛實(shí)時(shí)視頻監(jiān)控方式，即通過接觸網(wǎng)安全巡檢裝置（2C）、車載接觸網(wǎng)運(yùn)行狀態(tài)檢測裝置（3C）、接觸網(wǎng)懸掛狀態(tài)檢測監(jiān)測裝置（4C）等設(shè)備獲取現(xiàn)場設(shè)備的圖像信息，因此采集到的視頻和圖像數(shù)據(jù)量非常龐大。傳統(tǒng)人工后臺(tái)排查的方式進(jìn)行數(shù)據(jù)分析不僅效率低下，而且容易受到工作人員的工作狀態(tài)影響，給行車安全帶來隱患。因此研究準(zhǔn)確高效的圖像自動(dòng)目標(biāo)檢測方法，對于提高鐵路運(yùn)行效率，保障鐵路系統(tǒng)正常運(yùn)營安全具有重要意義。

在鐵路線路中，鳥巢異物屬于比較常見的隱患類型，鳥巢的組成部分是樹枝、鐵絲等，極易造成接觸網(wǎng)設(shè)備短路跳閘、絕緣子閃絡(luò)等故障，影響高鐵行車安全，給鐵路部門帶來極大困擾。目前鐵路部門根據(jù)鳥巢搭建的位置以及對供電安全產(chǎn)生的危害程度，劃分為A、B、C 3個(gè)級(jí)別進(jìn)行處理。距離帶電設(shè)備小于500 mm的鳥巢以及正在建設(shè)中且距離帶電設(shè)備小于1 000 mm的鳥巢列為A級(jí)，此種情況下需立即申請?zhí)齑皶r(shí)間進(jìn)行處理；鳥巢距帶電設(shè)備在500~2 000 mm范圍內(nèi)列為B級(jí)，此種情況下必須在當(dāng)日天窗或臨時(shí)天窗進(jìn)行處理；當(dāng)鳥巢距帶電設(shè)備在2 000 mm以外時(shí)列為C級(jí)，此種情況下對供電安全沒有影響，可在14日內(nèi)處理完畢。對于鳥巢異物隱患，目前主要處理方式分為人工巡檢或者人工觀察采集到的現(xiàn)場圖片進(jìn)行鳥巢異物的識(shí)別并調(diào)動(dòng)人員去現(xiàn)場清除。由于鳥巢位置隱蔽，在圖片中所占比例過小以及形狀不規(guī)則等原因，采取這些方式不只浪費(fèi)人力物力財(cái)力，同時(shí)也無法及時(shí)有效地排除安全隱患。

近幾年來，借助于深度學(xué)習(xí)尤其是卷積神經(jīng)網(wǎng)絡(luò)的飛速發(fā)展，計(jì)算機(jī)視覺領(lǐng)域也開始了前所未有的技術(shù)革新，在互聯(lián)網(wǎng)、安防、語音識(shí)別等領(lǐng)域中體現(xiàn)了巨大的應(yīng)用價(jià)值和商用價(jià)值。而在接觸網(wǎng)圖像識(shí)別領(lǐng)域，現(xiàn)有技術(shù)仍然停留在傳統(tǒng)圖像處理算法和一些直接應(yīng)用的經(jīng)典深度學(xué)習(xí)算法，缺少與實(shí)際場景相適應(yīng)的深層次研究。因此，基于深度學(xué)習(xí)的接觸網(wǎng)圖像目標(biāo)檢測技術(shù)是眾多國內(nèi)研究者不斷深入探究的課題。

為更好地解決上述難點(diǎn)，文中提出一種基于深度學(xué)習(xí)的鐵路鳥巢異物檢測方法，實(shí)現(xiàn)了針對鐵路接觸網(wǎng)鳥巢異物目標(biāo)檢測。算法分為2部分，首先是對采集的現(xiàn)場圖像數(shù)據(jù)進(jìn)行圖像處理操作完成預(yù)處理，然后基于預(yù)處理后的圖片輸入到卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行鳥巢異物的識(shí)別。

研究內(nèi)容突破傳統(tǒng)的人工識(shí)別、人工巡檢方式，基于深度學(xué)習(xí)技術(shù)對鐵路鳥巢異物進(jìn)行精準(zhǔn)的目標(biāo)識(shí)別。在解決鐵路接觸網(wǎng)鳥巢異物檢測的同時(shí)，也可為其他領(lǐng)域的目標(biāo)識(shí)別方法提供一種新思路，并且在一定程度上提高鐵路電氣化線路鳥巢異物識(shí)別的檢測速度、準(zhǔn)確度，提升巡檢自動(dòng)化水平，降低接觸網(wǎng)整體運(yùn)營管理的人力物力成本。

1 相關(guān)工作

關(guān)于鐵路鳥巢異物檢測，目前大多研究內(nèi)容集中使用傳統(tǒng)圖像處理方法提取特征進(jìn)行識(shí)別。段旺旺等人［1］提出了一種采用局部動(dòng)態(tài)閾值二值化和Zhang-Suen細(xì)化算法等傳統(tǒng)圖像處理方法粗略得到疑似鳥巢的關(guān)鍵區(qū)域，之后通過提取HOG特征使用支持向量機(jī)（SVM）分類器進(jìn)行分類，提取出鳥巢區(qū)域位置。謝亮凱［2］研究出了一種根據(jù)鳥巢和硬橫梁相對位置不變性的檢測方法。該方法將預(yù)處理后的圖像利用Sobel水平算子將圖像邊緣檢測出來，之后再使用概率Hough變換直線檢測算法校正圖像的角度，并結(jié)合待分析圖像中線段的長度關(guān)系對最前面的硬橫梁進(jìn)行檢測，最后對校正后的圖像進(jìn)行Otsu二值化處理，進(jìn)而通過統(tǒng)計(jì)硬橫梁之間的白色區(qū)域面積，判斷鳥巢是否存在。目前鐵路鳥巢檢測采用的傳統(tǒng)圖像處理技術(shù)對于光照、遮擋等自然環(huán)境變換的場景適應(yīng)性能不穩(wěn)定，沒有很好的普適性，很容易出現(xiàn)漏檢誤檢的情況。鐵路鳥巢異物檢測的工作仍需要人工進(jìn)行大量的看圖識(shí)別，工作量可想而知。

隨著學(xué)者們在深度學(xué)習(xí)領(lǐng)域多年深耕，各高校以及研究機(jī)構(gòu)已經(jīng)開始嘗試將深度學(xué)習(xí)技術(shù)應(yīng)用到缺陷、異物等目標(biāo)檢測領(lǐng)域，進(jìn)一步證明了基于深度學(xué)習(xí)的鐵路鳥巢異物檢測的可行性。

2 關(guān)鍵實(shí)現(xiàn)技術(shù)

為了實(shí)現(xiàn)鐵路接觸網(wǎng)鳥巢異物檢測，首先需要對采集的原始鐵路線路圖片進(jìn)行預(yù)處理，主要包括圖像縮放、圖像去噪和圖像增強(qiáng)。然后再使用卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行鳥巢檢測。其具體流程如圖1所示。

圖1 鳥巢異物檢測流程圖

2.1 鳥巢圖片預(yù)處理

由于接觸網(wǎng)處于戶外環(huán)境，現(xiàn)場拍攝的圖片會(huì)隨時(shí)受到天氣變化的影響，包括明暗變化和噪聲大小等，尤其在遇到惡劣天氣時(shí)，采集的圖像則更加容易失真。為了將圖像特征清晰的目標(biāo)圖像輸入到目標(biāo)檢測模型，需要提前對采集的現(xiàn)場圖片進(jìn)行圖像去噪和圖像增強(qiáng)等操作。同時(shí)由于目前現(xiàn)場采集的裝置是高清攝像機(jī)，采集到的圖片都是高分辨率的圖像。但是高分辨率就意味著相同尺寸大小所包含的像素點(diǎn)數(shù)量多，占用內(nèi)存大，運(yùn)算量相應(yīng)增大，為了更好地實(shí)現(xiàn)算法的實(shí)時(shí)性并減少運(yùn)算量，需要對高分辨率的圖像進(jìn)行圖像縮放。

2.1.1圖像縮放

在處理計(jì)算機(jī)圖像的過程中，圖像縮放是一種非平凡地對數(shù)字圖像大小進(jìn)行調(diào)節(jié)的過程，因此圖像縮放需要在處理效率和結(jié)果的平滑度以及清晰度上做出權(quán)衡。

文中采用最近鄰插值法進(jìn)行圖像縮放，是一個(gè)將變換后的圖像中的原像素點(diǎn)最鄰近像素的灰度值賦給原像素點(diǎn)的方法。最近鄰插值法將原始圖像中的像素點(diǎn)（x0，y0）在x和y方向上擴(kuò)展到相應(yīng)的像素點(diǎn)（x1，y1），其縮放系數(shù)為kx，ky，變換矩陣為式（1）：

設(shè)x1=i+u，y1=j+v，其中i，j為非負(fù)整數(shù)；u、v∈［0，1）。若u<0.5，v<0.5，將（i，j）賦 予（x1，y1）；若u<0.5，v>0.5，將（i，j+1）賦予（x1，y1）；若u>0.5，v<0.5，將（i+1，j）賦 予（x1，y1）；若u>0.5，v>0.5，將（i+1，j+1）賦予（x1，y1）。

2.1.2圖像去噪

圖像在形成時(shí)由于車速改變、光照強(qiáng)度變化、車體振動(dòng)和相機(jī)傳感器本身會(huì)疊加一定的噪聲，圖像在計(jì)算機(jī)中各種處理的過程中也可能會(huì)伴隨著噪聲。這種噪聲會(huì)削弱圖像的細(xì)節(jié)特征，使細(xì)節(jié)特征發(fā)生模糊甚至丟失，對隨后的目標(biāo)檢測帶來不利的影響。因此，必須將這些噪聲加以過濾和處理，常用的濾波算法包括均值濾波、中值濾波以及雙邊濾波等。在文中，采取雙邊濾波的方法來限制噪聲。該方法可以完成平滑降噪和保留邊緣特征的任務(wù)，是一種非線性濾波方法。和其他濾波原理一樣，雙邊濾波也是使用加權(quán)平均的計(jì)算方法，其中某個(gè)像素的強(qiáng)度由周圍像素亮度基于高斯分布的加權(quán)平均來表示。此外，雙向?yàn)V波權(quán)重除了考慮了像素范圍內(nèi)的輻射差異，還計(jì)算了像素的歐氏距離，如卷積核心中的像素與中心像素的深度距離、顏色強(qiáng)度、相似程度等。在計(jì)算中心像素時(shí)，這2個(gè)權(quán)重都要考慮。雙邊濾波算法為式（2）：

式中：f（x，y）為輸入圖像，（x，y）=p；g（p）為雙邊濾波輸出；p為像素點(diǎn)；q為鄰域像素點(diǎn)；L為鄰域像素集合；C為標(biāo)準(zhǔn)量；w s為空間鄰近函數(shù)；w r為灰度相似度函數(shù)。

2.1.3圖像增強(qiáng)

圖像增強(qiáng)是指將圖像中有用的特征信息進(jìn)行加強(qiáng)并且可以在一定程度上接受失真，其目的旨在針對給定圖像的應(yīng)用場景突出我們需要的整體或局部的圖像特征，并且突出圖像中不同目標(biāo)特征之間的差別，從而提高目標(biāo)判斷能力和識(shí)別效果。對于現(xiàn)場采集到的鐵路圖片，需要通過圖像增強(qiáng)方法增強(qiáng)鳥巢區(qū)域特征信息，使目標(biāo)檢測模型更好地學(xué)習(xí)特征、判斷類別、檢測區(qū)域。

文中使用直方圖均衡化算法進(jìn)行圖像增強(qiáng)，變換函數(shù)由灰度級(jí)概率密度函數(shù)得出，隨后根據(jù)變換函數(shù)調(diào)整圖像的灰度級(jí)分布。變換函數(shù)T（r）與原圖的概率密度函數(shù)pr（r）滿足式（3）：

式中：r為原圖像的灰度級(jí)。

上式滿足如下條件：

（1）T（r）在區(qū)間0≤r≤1中為單值單調(diào)遞增。

（2）當(dāng)0≤r≤1時(shí)，0≤T（r）≤1。

2.2 鳥巢異物目標(biāo)檢測

2.2.1基于YOLO v3的目標(biāo)檢測算法

首先采用One-Stage算法中的YOLO v3［3］來進(jìn)行目標(biāo)識(shí)別。全卷積網(wǎng)絡(luò)YOLO v3采用Darknet-53結(jié)構(gòu)（含有52個(gè)卷積層和1個(gè)全連接層）進(jìn)行圖像特征提取，通過使用殘差跳層連接和去掉池化層的手段，降低了層級(jí)之間的特征損失［3］。Darknet-53主要由3×3和1×1的卷積核以及類似ResNet中的快捷鏈路構(gòu)成。相較于ResNet-152，Darknet-53有更低的BFLOP（10億次浮點(diǎn)數(shù)運(yùn)算），在分類準(zhǔn)確率相同的情況下縮減一半的時(shí)間。

YOLO v3使用了Darknet-53前面的52層，設(shè)置卷積層步長為2來實(shí)現(xiàn)降采樣。YOLO v3中采用類似特征金字塔網(wǎng)絡(luò)（FPN）的上采樣和融合做法，在多個(gè)尺度（scale）的特征圖（feature map）上做檢測，可以適用于多尺度大小的目標(biāo)檢測。

我們將圖像預(yù)處理后的鳥巢圖片輸入網(wǎng)絡(luò)后，YOLO v3會(huì)先將輸入圖片重置為416×416大小的圖片，然后使用Darknet-53深層網(wǎng)絡(luò)來提取目標(biāo)特征，再將特征向量送至特征金字塔結(jié)構(gòu)中進(jìn)行多尺度預(yù)測，從而完善并提高目標(biāo)檢測準(zhǔn)確率和位置精度，最后對預(yù)測框進(jìn)行非極大值抑制，以減少重復(fù)檢測。從而獲得目標(biāo)類別和坐標(biāo)等信息。其坐標(biāo)信息公式為式（4）：

式中：tx、ty、th和tw為模型預(yù)測輸出；cx和cy為網(wǎng)格單元坐標(biāo)；pw和ph表示預(yù)測前邊界框（bounding box）的大小；bx、by、bh和bw為預(yù)測得到的邊界框（bounding box）中心的坐標(biāo)和尺寸。

2.2.2 基于Faster RCNN的目標(biāo)檢測算法

Faster RCNN［4］作為一種Two-stage算法，主要由 卷 積 層、RPN（Region Proposal Network）網(wǎng) 絡(luò)、ROI（Region Of Interest）池化層以及分類和回歸4部分組成。

卷積層提取輸入圖像的特征圖，用于RPN網(wǎng)絡(luò)和全連接層共享和生成候選區(qū)域。傳統(tǒng)的檢測框生成過程很慢，Adaboost［5］利用滑動(dòng)窗和圖像金字塔結(jié)合的方法完成檢測框的生成，RCNN是使用SS（Selective Search）的方法來生成檢測框，而Faster RCNN則是直接使用RPN生成候選區(qū)域，去掉了滑動(dòng)窗口和SS方法，從而很大程度上加快了檢測框的生成速度。

對于預(yù)處理后的原始鳥巢圖片，為了提升算法的通用性，我們使用2階段的Faster RCNN檢測算法。將輸入的鳥巢圖片重置為1 200×900大小，使用ResNet50骨干網(wǎng)絡(luò)進(jìn)行圖片特征的提取，接著將特征向量送至RPN層和ROI池化層中進(jìn)行多尺度預(yù)測，最終通過后續(xù)的全連接層和softmax網(wǎng)絡(luò)對目標(biāo)框做分類。Faster RCNN算法識(shí)別流程如圖2所示。

圖2 Faster RCNN檢測流程圖

3 試驗(yàn)結(jié)果與分析

試驗(yàn)環(huán)境為：12196MiB顯存、Ubuntu 16.04.6 LTS操作系統(tǒng)、OpenCV4.1.1、NVIDIA 2080Ti顯卡、CUDA10.1等。

分別采用基于Darknet框架的YOLO v3方法和基于Tensorflow框架的Faster RCNN模型對預(yù)處理后的現(xiàn)場采集的圖片進(jìn)行鳥巢異物檢測。

鐵路鳥巢數(shù)據(jù)集共有5 200張圖片，圖片分辨率均為2 456×2 054。文中將訓(xùn)練集和測試集的比例設(shè)置為9∶1。為了方便于后續(xù)訓(xùn)練，在預(yù)處理過程中，首先進(jìn)行圖像縮放，每張圖片縮放4倍，之后進(jìn)行圖像去噪和圖像增強(qiáng)。

在YOLO v3方法中，為了提高檢測的效果并加快模型訓(xùn)練速度，我們使用在ImageNet［6］數(shù)據(jù)集上訓(xùn)練的網(wǎng)絡(luò)參數(shù)進(jìn)行初始化，并對模型進(jìn)行微調(diào)［7］使其訓(xùn)練能夠快速收斂，更加適用于鐵路鳥巢的檢測。為了抑制過擬合，將學(xué)習(xí)率設(shè)置為0.001，動(dòng)量（momentum）設(shè)為0.9進(jìn)行訓(xùn)練。在迭代15 000 epoch后，損失函數(shù)趨于穩(wěn)定。在Faster RCNN訓(xùn)練的過程中，選擇ResNet50的預(yù)訓(xùn)練權(quán)重。Faster RCNN在迭代80 000 epoch后，損失函數(shù)趨于穩(wěn)定，學(xué)習(xí)率設(shè)為0.001，動(dòng)量設(shè)為0.9進(jìn)行訓(xùn)練。

YOLO v3算法和Faster RCNN算法試驗(yàn)結(jié)果的對比見表1，采取的評(píng)判指標(biāo)是誤檢率、準(zhǔn)確率、漏檢率和檢測速度。將IOU（Intersection Over Union）大于0.5且分類正確的樣本視為正樣本，將其和總樣本的比值作為準(zhǔn)確率，通過計(jì)算預(yù)測錯(cuò)的負(fù)樣本和預(yù)測出的總樣本的比作為誤檢率，通過計(jì)算未檢測出的樣本和總樣本的比作為漏檢率。通過表1可以看出Faster RCNN在檢測鳥巢的準(zhǔn)確率、誤檢率以及漏檢率上表現(xiàn)更優(yōu)。Faster RCNN作為2階段的目標(biāo)檢測算法，準(zhǔn)確率方面要比單階段的YOLO v3算法更高，但是檢測速度慢于YOLO v3算法。2種方法的檢測效果如圖3、圖4所示，可以看出對圖片中鐵路鳥巢異物有較好的檢測結(jié)果。

表1 鳥巢識(shí)別試驗(yàn)結(jié)果對比

圖3 YOLO v3檢測結(jié)果

圖4 Faster RCNN檢測結(jié)果

4 結(jié)論

（1）論文實(shí)現(xiàn)了鐵路鳥巢異物的檢測工作，極大提高了鐵路接觸網(wǎng)鳥巢異物檢測自動(dòng)化程度。

（2）實(shí)現(xiàn)的2種基于深度學(xué)習(xí)的鳥巢異物檢測算法準(zhǔn)確率達(dá)到85%以上，能夠有效進(jìn)行電氣化鐵路鳥巢異物檢測，降低人工成本。

（3）對于鐵路鳥巢的目標(biāo)識(shí)別仍有很多難點(diǎn)需要進(jìn)一步攻克。對于準(zhǔn)確率等方面仍需繼續(xù)提升，對于誤檢漏檢的情況，不能只依靠深度學(xué)習(xí)模型，還需要加入更多的圖像處理方法，具體問題具體分析，提高算法精度和速度，使其更具穩(wěn)定性。