基于卷積神經(jīng)網(wǎng)的CCTV視頻中排水管道缺陷的智能檢測(cè)

呂 兵，劉玉賢，葉紹澤，閆 臻

(深圳市勘察研究院有限公司，廣東 深圳 518026)

排水管網(wǎng)是城市的重要基礎(chǔ)設(shè)施之一，也是城市地下空間的重要組成部分。排水管網(wǎng)的安全運(yùn)行直接關(guān)系到城市的公共安全和環(huán)境保護(hù)。排水管網(wǎng)的長(zhǎng)期運(yùn)行，會(huì)造成管道的結(jié)構(gòu)性和功能性等缺陷，從而造成道路的塌陷，地下水污染，城市內(nèi)澇等重大安全隱患。如2010年5月7日，廣州因暴雨引起內(nèi)澇，導(dǎo)致全市重大經(jīng)濟(jì)損失，6人因洪澇次生災(zāi)害死亡。因此有必要對(duì)排水管道內(nèi)部信息進(jìn)行定期測(cè)繪，對(duì)測(cè)繪信息中檢測(cè)到的缺陷進(jìn)行實(shí)時(shí)記錄及維護(hù)維修。

如圖1所示，管道閉路電視(closed circuit television，CCTV)機(jī)器人是一種廣泛使用的排水管道內(nèi)部信息測(cè)繪及缺陷檢測(cè)技術(shù)。CCTV管道機(jī)器人對(duì)排水管道缺陷的檢測(cè)作業(yè)分為外業(yè)和內(nèi)業(yè)。首先外業(yè)作業(yè)人員通過(guò)控制器，控制機(jī)器人在排水管道內(nèi)爬行，同時(shí)控制攝像頭的旋轉(zhuǎn)、變焦及燈光照明燈，使用閉路電視拍攝排水管道內(nèi)部視頻圖像，并通過(guò)有線(xiàn)傳輸方式，將拍攝到的視頻傳入存儲(chǔ)設(shè)備記錄下來(lái)；同時(shí)視頻每一幀記錄有管道地址、拍攝時(shí)間、機(jī)器人移動(dòng)距離等信息。對(duì)于外業(yè)作業(yè)拍攝到的排水管道內(nèi)視頻，由內(nèi)業(yè)作業(yè)人員通過(guò)觀看視頻，判讀管道中的缺陷，記錄缺陷在管道中的位置及缺陷在視頻中發(fā)生的時(shí)間等信息，并生成排水管道檢測(cè)報(bào)告。然而該人工判讀方式的內(nèi)業(yè)作業(yè)方法，需要耗費(fèi)大量人力，如對(duì)于錄制的80 h視頻，即使8倍播放速度，也需要10 h。另外，該內(nèi)業(yè)作業(yè)方法的結(jié)果主觀性較強(qiáng)，其依賴(lài)內(nèi)業(yè)作業(yè)人員的經(jīng)驗(yàn)及工作狀態(tài)，對(duì)于經(jīng)驗(yàn)不豐富或疲勞的作業(yè)人員容易出現(xiàn)誤檢、漏檢等情況。

盡管目前也有許多專(zhuān)家和學(xué)者提出使用圖像處理的方法來(lái)自動(dòng)識(shí)別CCTV視頻中的管道缺陷，如文獻(xiàn)[1]使用形態(tài)學(xué)方法來(lái)檢測(cè)管道裂縫；文獻(xiàn)[2]除了使用形態(tài)學(xué)方法檢測(cè)裂縫外，還使用Gabor濾波和亮度矯正分別用來(lái)檢測(cè)沉積物和錯(cuò)位。但是這類(lèi)傳統(tǒng)的圖像處理方法目前仍不能滿(mǎn)足管道缺陷檢測(cè)的自動(dòng)化需求。一方面是由于管道缺陷種類(lèi)繁多，單種算法很難有效解決多類(lèi)缺陷的檢測(cè)。如果集成多種算法同時(shí)檢測(cè)，勢(shì)必會(huì)降低檢測(cè)效率，并導(dǎo)致開(kāi)發(fā)運(yùn)維與成本過(guò)高。另一方面是由于管道環(huán)境復(fù)雜，基于傳統(tǒng)圖像處理的檢測(cè)方法的精度有限。

為了解決CCTV視頻中的管道缺陷自動(dòng)化檢測(cè)，本文提出了基于卷積神經(jīng)網(wǎng)絡(luò)的CCTV視頻中排水管道缺陷的智能檢測(cè)方法。自2012年基于大規(guī)模數(shù)據(jù)驅(qū)動(dòng)的深度卷積神經(jīng)網(wǎng)絡(luò)AlexNet[3]在圖像識(shí)別中取得了巨大成功之后，基于深度學(xué)習(xí)的人工智能技術(shù)得到了廣泛深入的研究，取得了巨大進(jìn)步，推動(dòng)了目標(biāo)檢測(cè)[4]、語(yǔ)義分割[5]、視頻行為識(shí)別[6]等各個(gè)領(lǐng)域的發(fā)展，也提高了工業(yè)生產(chǎn)的自動(dòng)化和智能化。本文結(jié)合排水管道的CCTV作業(yè)流程及拍攝到的視頻缺陷特點(diǎn)，提出了一種基于深度學(xué)習(xí)的排水管道缺陷檢測(cè)方法，最后通過(guò)試驗(yàn)證明了該算法的有效性，其在缺陷的識(shí)別率和召回率，以及識(shí)別速度上均滿(mǎn)足了排水管道缺陷智能檢測(cè)的需要，同時(shí)基于該方法開(kāi)發(fā)的軟件已經(jīng)在深圳市的排水管道檢測(cè)中得到廣泛的應(yīng)用和驗(yàn)證。

1 卷積神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ)

卷積神經(jīng)網(wǎng)絡(luò)[7](convolutional neural network，CNN)是一種前饋神經(jīng)網(wǎng)絡(luò)，在神經(jīng)網(wǎng)絡(luò)中引入了局部感受野、卷積、池化等思想[8]。圖2所示為一個(gè)典型的卷積神經(jīng)網(wǎng)絡(luò)，由卷積層，全連接層，池化層等組成。

卷積層的參數(shù)是由一些可學(xué)習(xí)的卷積核集合構(gòu)成的。每個(gè)卷積核在空間上(寬度和高度)都比較小。在每個(gè)卷積層上，會(huì)有多個(gè)卷積核，在前向傳播時(shí)，讓每個(gè)卷積核都在輸入數(shù)據(jù)的寬度和高度上滑動(dòng)，然后計(jì)算整個(gè)卷積核和輸入數(shù)據(jù)任一處的內(nèi)積。當(dāng)卷積核沿著輸入數(shù)據(jù)的寬度和高度滑過(guò)后，再經(jīng)過(guò)激活函數(shù)，會(huì)生成一個(gè)二維的特征圖(feature map)。在第i層，第j個(gè)卷積核在深度為N的輸入的(x,y)位置上，該卷積和激活的操作可表示為

(1)

式中，φ為激活函數(shù)；P和Q為卷積核的高度和寬度。經(jīng)過(guò)卷積和激活后生成的特征圖給出了在每個(gè)空間位置處卷積核的反應(yīng)，每個(gè)卷積核都會(huì)生成一個(gè)不同的二維特征圖。將每個(gè)卷積核生成的不同特征圖映射在深度方向上層疊起來(lái)就生成了輸出數(shù)據(jù)。池化層用于降低數(shù)據(jù)體的空間尺寸，減少網(wǎng)絡(luò)中參數(shù)的數(shù)量，使得計(jì)算資源耗費(fèi)變少，也能有效控制過(guò)擬合。全連接層同卷積層一樣，與激活層一起形成神經(jīng)元結(jié)構(gòu)。不同于卷積層的局部連接，池化層與前后兩層的神經(jīng)元是完全成對(duì)連接的。損失層在網(wǎng)絡(luò)參數(shù)訓(xùn)練的過(guò)程中，放在網(wǎng)絡(luò)的最后一層，用來(lái)計(jì)算前向傳播的誤差。Softmax層則是在測(cè)試過(guò)程中，放在網(wǎng)絡(luò)的最后一層，用于獲得最終的預(yù)測(cè)得分。

卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練或?qū)W習(xí)，是指卷積層和全連接層的參數(shù)優(yōu)化，其有信號(hào)前向傳播和誤差反向傳播[9]組成。在網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程中，信號(hào)由輸入層進(jìn)入神經(jīng)網(wǎng)絡(luò)，通過(guò)隱藏層神經(jīng)元的計(jì)算，由輸出層輸出結(jié)果，并計(jì)算輸出與期望的誤差。再將誤差由輸出層向輸出層反向傳播，計(jì)算獲得的每層的梯度，以目標(biāo)的負(fù)梯度方向，根據(jù)一定的策略來(lái)對(duì)各層神經(jīng)元的連接權(quán)重和偏置進(jìn)行更新。這種基于信號(hào)正向傳播與誤差反向傳播的各層參數(shù)更新，是迭代進(jìn)行的，此迭代一直進(jìn)行到誤差減小到可接受的程度或進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)迭代次數(shù)為止，這個(gè)迭代過(guò)程就是神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程。其中的參數(shù)更新策略即網(wǎng)絡(luò)的優(yōu)化算法，常用的優(yōu)化算法有SGD[10]，Adam[11]等。

2 基于卷積神經(jīng)網(wǎng)絡(luò)的CCTV視頻中的排水管道缺陷檢測(cè)

2.1 排水管道缺陷識(shí)別任務(wù)的設(shè)計(jì)

采集到的CCTV視頻圖像，分為非作業(yè)場(chǎng)景和作業(yè)場(chǎng)景，同時(shí)作業(yè)場(chǎng)景中，根據(jù)鏡頭角度，又分為全局圖像和局部圖像。全局圖像是指CCTV機(jī)器人的攝像頭朝著前進(jìn)方向獲取的完整管道圖像，局部圖像則是CCTV機(jī)器人的攝像頭旋轉(zhuǎn)獲取的管道局部圖像。全局作業(yè)圖像和局部作業(yè)圖像中均可能拍攝到管道缺陷，因此本文將CCTV視頻圖像分為如圖3所示的5種類(lèi)別：非作業(yè)圖，全局缺陷圖，全局正常圖，局部缺陷圖，局部正常圖。因此本文將排水管道缺陷識(shí)別問(wèn)題設(shè)計(jì)為一個(gè)有監(jiān)督的圖像分類(lèi)問(wèn)題。通過(guò)大量收集這5類(lèi)圖像，構(gòu)建大規(guī)模數(shù)據(jù)集，將卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練為圖像分類(lèi)器，對(duì)CCTV中的圖像進(jìn)行分類(lèi)，如果圖像被卷積神經(jīng)網(wǎng)絡(luò)識(shí)別為全局缺陷圖或局部缺陷圖，則說(shuō)明該圖像幀中包含管道缺陷。

2.2 卷積神經(jīng)網(wǎng)絡(luò)的選擇和改進(jìn)

本文選取了牛津大學(xué)可視化幾何實(shí)驗(yàn)室設(shè)計(jì)的VGG結(jié)構(gòu)[12]的卷積神經(jīng)網(wǎng)絡(luò)，并對(duì)其進(jìn)行改進(jìn)，用于排水管道視頻中的缺陷圖像識(shí)別。VGG卷積神經(jīng)網(wǎng)絡(luò)獲得了2014年ILSVRC圖像識(shí)別大賽的亞軍，是一種重要的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，具有較強(qiáng)的泛化能力，且具有結(jié)構(gòu)簡(jiǎn)單、容易訓(xùn)練等特點(diǎn)。VGG包括VGG-16、VGG-19等網(wǎng)絡(luò)結(jié)構(gòu)。相對(duì)于VGG-19，VGG-16的網(wǎng)絡(luò)層數(shù)少三層，因此網(wǎng)絡(luò)參數(shù)也相應(yīng)較少。原生VGG-16結(jié)構(gòu)包含16個(gè)卷積層或全連接層，卷積層分為5組，前兩個(gè)組包含兩個(gè)卷積層，后三組包含3個(gè)卷積層，所有卷積層均使用3×3大小的卷積核，5組卷積層的卷積數(shù)量分別為64、128、256、512、512，每組之后加入一個(gè)池化層，用于低數(shù)據(jù)的空間尺寸，在經(jīng)過(guò)卷積和池化之后，有3個(gè)全連接層。前兩個(gè)全連階層有4096個(gè)神經(jīng)元，VGG最初用于1000類(lèi)的圖像的分類(lèi)任務(wù)，因此最后一個(gè)全連接層具有10 000個(gè)神經(jīng)元。如前所述，本文對(duì)于排水管道缺陷的識(shí)別問(wèn)題設(shè)計(jì)為一個(gè)5中類(lèi)別的圖像分類(lèi)任務(wù)，因此需要將最后一個(gè)全連接層設(shè)置為5個(gè)神經(jīng)元，這樣數(shù)據(jù)經(jīng)過(guò)最后兩個(gè)全連階層，圖像特征直接從4096維降到5維，本文在最后兩個(gè)全連接層之間加入一個(gè)具有1024個(gè)神經(jīng)元的新的全連階層，使特征維度下降的過(guò)程中有個(gè)過(guò)渡，以保留更有效的信息，從而提高分類(lèi)器的能力。本文將用于管道檢測(cè)的改進(jìn)后的VGG-16稱(chēng)為VGG-Sewer。

對(duì)于新建的具有1024個(gè)神經(jīng)元的全連階層，該層每個(gè)神經(jīng)元的輸出用MP神經(jīng)元模型表示為

式中，fc7i為前一全連階層的輸出，即該層輸入；wi則為對(duì)應(yīng)的輸入權(quán)重；φ是激活函數(shù)，在全連階層和式(1)表示的卷積層中，激活函數(shù)均使用修正線(xiàn)性單元激活函數(shù)ReLU[13](rectified linear unit)，表示為

對(duì)于修改后的最后一個(gè)全連階層，具有5個(gè)神經(jīng)元，該層每個(gè)神經(jīng)元的輸出用MP神經(jīng)元模型表示為

式中，fcnewi為新建全連階層的輸出，即該層輸入；wi為對(duì)應(yīng)的輸入權(quán)重。

卷積神經(jīng)網(wǎng)絡(luò)的輸入圖像最終獲得的得分為

VGG網(wǎng)絡(luò)修改后最終獲得的排水管道缺陷檢測(cè)網(wǎng)絡(luò)VGG-Sewer可視化如圖4所示，使用改網(wǎng)絡(luò)進(jìn)行訓(xùn)練和作業(yè)的流程如圖5所示。

2.3 樣本數(shù)據(jù)庫(kù)的構(gòu)建

本文基于卷積神經(jīng)網(wǎng)絡(luò)的有監(jiān)督圖像識(shí)別任務(wù)，需要構(gòu)建大規(guī)模的標(biāo)注圖像用于網(wǎng)絡(luò)的訓(xùn)練。在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中一般需要準(zhǔn)備均勻的訓(xùn)練樣本，即訓(xùn)練樣本中各類(lèi)別的圖像比例相等。在管道缺陷識(shí)別的需求中，希望不遺漏缺陷圖片，即提高缺陷的召回率，因此在訓(xùn)練樣本中提高缺陷圖像的比例，使全局缺陷圖、全局正常圖、局部缺陷圖、局部正常圖和非作業(yè)圖的比例約為2∶1∶2∶1∶1，以使卷積神經(jīng)網(wǎng)絡(luò)能夠?qū)θ毕莞用舾校哂懈鼜?qiáng)的對(duì)缺陷特征激活的能力。最終使用深圳市近5年的管道檢測(cè)圖像構(gòu)建了數(shù)據(jù)庫(kù)，包含22 444張全局缺陷圖，11 255張全局正常圖，22 362張局部缺陷圖，11 581張局部正常圖以及10 395張非作業(yè)圖。其中每一類(lèi)圖像選擇2000張作為測(cè)試集，剩余的作為訓(xùn)練集用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。

2.4 卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

對(duì)VGG-Sewer的訓(xùn)練，使用預(yù)訓(xùn)練模型微調(diào)的方法。使用牛津大學(xué)提供的VGG-16在大規(guī)模圖像數(shù)據(jù)庫(kù)ImageNet[14]上預(yù)訓(xùn)練模型對(duì)所有卷積層和前兩個(gè)全連階層進(jìn)行初始化，對(duì)最后一個(gè)全連階層以及新加入的1024個(gè)神經(jīng)元的全連階層進(jìn)行隨機(jī)初始化。使用SGD優(yōu)化算法對(duì)本文的VGG-Sewer網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

3 試驗(yàn)與評(píng)估

3.1 卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練結(jié)果

使用加州伯克利大學(xué)開(kāi)發(fā)的深度學(xué)習(xí)平臺(tái)Caffe[15]對(duì)本文的VGG-Sewer網(wǎng)絡(luò)進(jìn)行訓(xùn)練，將學(xué)習(xí)率設(shè)置為0.000 01，經(jīng)過(guò)每2萬(wàn)次迭代將學(xué)習(xí)率下降為原來(lái)的1/10，在10萬(wàn)次迭代時(shí)停止學(xué)習(xí)。圖6是訓(xùn)練過(guò)程中的損失函數(shù)結(jié)果。

3.2 缺陷識(shí)別的評(píng)估標(biāo)準(zhǔn)與評(píng)估結(jié)果

本文的排水管道缺陷檢測(cè)設(shè)計(jì)為一個(gè)分類(lèi)任務(wù)，分類(lèi)任務(wù)常用卷積準(zhǔn)確率來(lái)評(píng)估算法模型。如前所述，排水管道缺陷中更關(guān)注缺陷的召回率，因此本文使用準(zhǔn)確率和缺陷召回率來(lái)對(duì)本文方法進(jìn)行評(píng)估，其分別定義如下

識(shí)別率=正確識(shí)別的樣本數(shù)/所有的樣本數(shù)

缺陷召回率=正確識(shí)別的缺陷樣本數(shù)/所有缺陷樣本數(shù)

其中，缺陷樣本包括全局缺陷樣本和局部缺血樣本。對(duì)于使用訓(xùn)練樣本完成訓(xùn)練的VGG-Sewer，在如前所述的10 000張測(cè)試樣本上進(jìn)行測(cè)試，使用識(shí)別率和缺陷召回率進(jìn)行評(píng)估。如圖7所示的排水管網(wǎng)中三四級(jí)缺陷比一二級(jí)缺陷更容易造成危害且急需維修，因此需對(duì)其更加關(guān)注，試驗(yàn)中也對(duì)測(cè)試樣本中的634張三四級(jí)缺陷進(jìn)行了單獨(dú)評(píng)估，試驗(yàn)結(jié)果見(jiàn)表1，缺陷樣本的召回率高于所有樣本的準(zhǔn)確率1.93%，這也符合前述設(shè)計(jì)：通過(guò)增加缺陷樣本在訓(xùn)練集中的比例，以使卷積神經(jīng)網(wǎng)絡(luò)對(duì)缺陷特征具有更強(qiáng)的激活能力來(lái)提高缺陷的召回率。同時(shí)也可以看到缺陷的召回率達(dá)到了87.26%，其中三四級(jí)缺陷的召回率達(dá)到了95.11%。

表1 VGG-Sewer模型評(píng)估值 (%)

3.3 運(yùn)行時(shí)間與內(nèi)存消耗

本文提出的基于卷積神經(jīng)網(wǎng)絡(luò)的排水管道檢測(cè)，除了讀取CCTV視頻所需要的內(nèi)存之外，VGG-Sewer網(wǎng)絡(luò)模型對(duì)GPU內(nèi)存消耗很大，VGG-Sewer網(wǎng)絡(luò)模型中共計(jì)150 MB個(gè)參數(shù)，需要消耗600 MB的GPU的內(nèi)存。本文方法在計(jì)算速度上，試驗(yàn)測(cè)得在Nvidia GTX 1050顯卡上可達(dá)20 ms/幀的速度。

3.4 生產(chǎn)作業(yè)評(píng)估

基于本文算法開(kāi)發(fā)了一套智能排水管道缺陷識(shí)別軟件，如圖8所示。該軟件已經(jīng)在深圳的排水管道缺陷檢測(cè)中得到了應(yīng)用，本文以龍崗區(qū)布吉河項(xiàng)目為例對(duì)本文識(shí)別算法進(jìn)行評(píng)估，不同于3.2節(jié)中的測(cè)試集圖像樣本的評(píng)估，在生成作業(yè)采集到的視頻中，一個(gè)缺陷在視頻中會(huì)持續(xù)多幀，對(duì)于一個(gè)缺陷的多幀，檢測(cè)到一幀為缺陷，則該缺陷即被認(rèn)為成功召回，為了區(qū)分3.2結(jié)中的缺陷召回率，本節(jié)的召回率稱(chēng)為缺陷實(shí)例的召回率。在布吉河項(xiàng)目中，采集到的367段視頻，通過(guò)人工標(biāo)注，共計(jì)209個(gè)缺陷，其中三四級(jí)缺陷48個(gè)，通過(guò)該智能識(shí)別軟件召回到177個(gè)缺陷，缺陷實(shí)例的召回率達(dá)到84.6%，其中三四級(jí)缺陷召回45個(gè)，缺陷實(shí)例的召回率達(dá)到93.75%。

4 結(jié) 語(yǔ)

本文結(jié)合排水管道的CCTV測(cè)繪作業(yè)流程及拍攝到的視頻缺陷特點(diǎn)，提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的CCTV視頻中排水管道缺陷的檢測(cè)方法，對(duì)網(wǎng)絡(luò)的選型和改進(jìn)，網(wǎng)絡(luò)的訓(xùn)練等均進(jìn)行了研究。該方法極大地提高了排水管道缺陷檢測(cè)的智能化和自動(dòng)化，節(jié)省了內(nèi)業(yè)作業(yè)的人力，同時(shí)滿(mǎn)足城市排水管道缺陷檢測(cè)的需求。基于該檢測(cè)方法開(kāi)發(fā)的軟件，在深圳市的排水管網(wǎng)缺陷檢測(cè)中得到了使用，獲得了驗(yàn)證和認(rèn)可。雖然該方法取得了一定的進(jìn)展，但仍有很多改進(jìn)工作可以開(kāi)展：目前的訓(xùn)練集包含一些老舊設(shè)備采集到的圖像，這些設(shè)備提取到的圖片特征與近些年的新設(shè)備提取到的圖片特征差別較大，而這些老設(shè)備已經(jīng)淘汰不再使用，老設(shè)備提取的圖片在訓(xùn)練集中已經(jīng)成為噪聲，需要去除。同時(shí)在以后的作業(yè)中，將收集該法識(shí)別錯(cuò)誤的圖片加入訓(xùn)練集對(duì)網(wǎng)絡(luò)模型進(jìn)行再訓(xùn)練，以提高模型的識(shí)別性能。