基于卷積神經網絡的窨井蓋檢測

陶祝，劉正熙，熊運余

（四川大學計算機學院，成都 610000）

0　引言

近幾年來已涌現出很多有關井蓋管理監測的方法，大部分是從傳感器的角度出發，布置一些硬件設備，而較少結合視頻監控和算法來實現，隨著人工智能的迅速發展，國內的井蓋監測方法也逐漸轉換為使用自動化技術實現。李亞勝[1]提出的基于紅外探測的井蓋監測系統，使用E3Z-T82紅外線監測組，并結合分布式控制方法，能夠準確探測井蓋的狀態；雷可[2]的文章中提到，對路面上出現的井蓋破損情況進行圖片采集，通過計算機技術處理圖片，可使用自動化檢測方法監測；張豐焰[3]等人提出的基于改進Hough與圖像比對法的窨井蓋疑似破裂檢測，通過提取窨井蓋的顏色、邊緣輪廓特征，并使用改進的Hough變換方法，計算窨井蓋的區域范圍，判斷是否有破損或丟失的情況；PASQUET J.[4]等提出，首先模擬出一個和窨井蓋大小以及形狀相似的圓形模型，再利用機器學習算法學習窨井蓋的外觀特征，結合兩者生成的模型，用于檢測城市街道中的窨井蓋，大大提高了窨井蓋檢測的準確率。以上方法雖能實現窨井蓋的監測，但算法的性能不夠好，計算量較大，想運用到實時系統則更加困難。為了解決這些難題，減少計算的復雜度，可采用當前較為經典的目標檢測算法，首先提取目標的特征，如SIFT角點、Haar-like、方向梯度直方圖 Histogram Orientation of Gradient（HOG）等；根據特征判斷目標類別和實現定位。Girshick R等提出的卷積神經網絡RCNN[5]檢測模型，首先選取大約2000個區域，在這些可能區域中，用卷積神經網絡提取目標的特征；輸入圖像通過五個卷積層及對應的池化層后，得到一個多維的特征向量，接著用全連接層將這些特征結合，最后通過Softmax層分類輸出；由此，卷積神經網絡掀起一股深度學習熱潮，動態形變模型 Deformable Parts Models（DPM）[6]的研究者也嘗試對其改進，將提取HOG特征這一步，轉換為用深度金字塔層DeepPyramid[7]網絡層實現，其精度和速率，結果在行人檢測方向甚至超越了目前的RCNN。He K[8]等提出空間金字塔池化層Spacial Pyramid Pooling net，對RCNN進行改進；之后出現Fast RCNN[9]，Faster R-CNN[10]，在 RCNN 的基礎上提高了檢測速率，使得目標檢測幾乎達到實時。

從自動化城市管理角度出發，本文采用基于Faster R-CNN的網絡模型，提取各種類型井蓋的特征，并收集大量井蓋視頻、圖片數據集，分別制作訓練集、驗證集以及測試集，投入到神經網絡中進行訓練，得到精確的井蓋檢測模型，實現井蓋的實時監控管理。

1　卷積神經網絡簡介

卷積神經網絡 Convolution Neural Network（CNN）是一種前饋神經網絡，是當前計算機視覺包括圖像識別、圖形圖像處理等領域最有效的提取特征并實現物體分類的網絡結構。最簡單的CNN包含一個輸入、隱藏、輸出層，如圖1，其中隱藏層是神經網絡的核心，包含著提取目標對象特征的卷積核，隨著目標的復雜度增加，隱藏層也逐漸增加；CNN中的隱藏網絡層數，以及每層需要的神經元數這兩個重要參數，是根據多次預測加上實驗驗證后得到的，對于數據集較大，目標類型多的檢測，網絡層的參數越多，網絡性能越好。

圖1　簡單神經網絡結構

1.1　Faster R-CNN 網絡檢測井蓋

Faster R-CNN網絡結構，是一種深度神經網絡，也是當前精度較高的目標檢測方法。該網絡將區域建議網絡 Region Proposal Network（RPN）和 Fast R-CNN融為一體，利用RPN網絡為Fast R-CNN的檢測提供目標位置信息,不再使用選擇函數Selective Search篩選區域，且RPN與Fast R-CNN網絡共享5個卷積層的輸出結果，使得檢測的速率無限接近實時。

Faster R-CNN包含了兩種網絡結構：VGG16[11]和Zeiler和Fergus提出的ZF網絡。VGG16的層數遠多于ZF，其主要區別為卷積層數的劃分，圖2a，b分別為VGG16和ZF的卷積層結構。由于本文檢測涉及到的樣本集不大，且實驗結果表明，本文數據集使用小型的ZF和使用大型VGG16網絡訓練的模型并無差異，而VGG16的訓練過程更加耗時，所以本文采用ZF網絡原型，只使用5個卷積層提取目標特征。

在ZF網絡的前5個卷積層中，第一層包含96個大小為7*7*x的卷集核（x為輸入圖像的通道數）；第二層包含256個大小5*5*y的卷集核（y表示當前卷積層的輸入通道數）；第三層包含384個3*3*y的卷集核；第四層包含384個3*3*y的卷集核；第五層包含256個3*3*y的卷集核。后面三層的每一層之后都加入激活函數層處理輸出結果；該卷積層結構與AlexNet[12]網絡相似，但每一層的卷積核數量不同。

合適的激活函數處理，有利于加快算法的收斂速度，最常用的也是本文網絡中運用的激活函數為：Rectified Linear Unit（ReLu）函數,公式（1）：

激活函數主要作用于卷積層的輸出值，將線性分類器轉換為可以對更復雜目標分類的非線性函數。

圖2　

1.2　CNN提取井蓋特征的結果

本文使用的ZF網絡結構，前五個卷積層用于提取井蓋的特征，這些特征包含形狀、梯度、紋理、顏色等，可以將井蓋和地面周圍其他物體區分開。輸入有井蓋的圖片，經卷積后其特征圖可視化結果如圖3a，b，c；根據觀察顯示，隨著網絡層數加深，特征圖的內容越來越豐富，基于這些特征訓練出的檢測模型，能夠準確地實現井蓋的檢測。

其中圖3（a）包含了96個小圖像，代表96個不同的卷積核，在第一層網絡中每一個核大小為7*7*3；卷集核則是提取特征向量的基礎單元；圖3（b）為第五層卷積的可視化結果，圖3（c）為圖像經過第一個池化層的可視化結果，將訓練過程的結果逐步可視化，有利于模型分析。

圖3　

2　實驗及訓練

本文訓練的樣本來源于定期從城市視頻監控里抓取的視頻流集，共有1000路視頻，將視頻分解為圖片集，經篩選后，采集其中的2000張圖片，包含窨井蓋的有1500張，經預處理將圖片分為三類，包含井蓋破損300張，井蓋丟失200張，完整井蓋1000張；圖片像素大小均為960×540 pix；如圖4，將這些圖片分別做成訓練集、驗證集、測試集投入到Faster R-CNN中訓練，網絡整體結構如圖5。

為了避免過擬合現象，在五個卷積層以及池化層之后的第一和第二個全連接層使用Dropout方法。神經元由卷積之后得到的特征集（Feature Map）組成，卷積神經網絡每一層都會產生大量神經元（Neurons），特征集輸入到全連接層后的計算公式為（2）、（3）。

在Faster R-CNN網絡結構中，Fast R-CNN與RPN網絡交替對目標進行訓練，共分為兩個階段，每個階段Fast R-CNN網絡迭代30000次，RPN迭代60000次；訓練過程運行環境為Ubuntu14.04，MATLAB 2014a，GPU 版本為 GTX1080。

3　實驗結果分析

圖4　破損、丟失、完整窨井蓋示例

圖5　Faster R-CNN網絡整體結構圖

對采集的2000張圖片中分離出作為測試集的1000張圖片進行測試，由實驗結果可以計算出本文方法檢測到窨井蓋的準確率，同時得到不同類別：窨井蓋完整、丟失、破損情況檢測的準確率，如表1；檢測結果相應的P-R圖如圖6。

表1　利用Faster R-CNN檢測窨井蓋的結果

圖6　各類型井蓋檢測結果的P-R圖

根據表1第二列的第二、三行數據，可以看出城市中井蓋出現破損比井蓋丟失的情況更多，對比第三列的第二、三行數據可知，利用Faster R-CNN檢測到井蓋丟失的精度比檢測到井蓋破損的精度更高；由于井蓋丟失時會出現大面積空洞，特征較為明顯，而井蓋破損程度各異，大多數沒有明顯的共同特征，所以檢測效果稍差；完整井蓋的檢測精度則是最高的，達到96%，利用該方法監測窨井蓋效率較高。

從表1最后一行數據可以看出，本文運用的神經網絡結構檢測到窨井蓋的準確率達到87.5%，召回率（Recall）的值高達93.3%；通過分析訓練和測試的過程可知，其中未檢測到的井蓋大部分為形狀與常見井蓋差別較大，或是有將其他物體例如車輪識別為井蓋的情況，對于該誤檢和漏檢現象的改進，可采用增加訓練樣本數量、豐富樣本類別的方法，或調整部分網絡參數，使得網絡與數據集達到最佳匹配模式。

從P-R圖的分布可知，該方法用于井蓋檢測的精度較高，可以區分視頻中的窨井蓋和其他物體；同時可以看出，井蓋破損類型的檢測，對訓練樣本數據集依賴性較高，當樣本越來越豐富時，訓練出的模型的檢測結果會更加準確。

4　結語

在城市的大小街道常見的窨井蓋，是城市中各種管道疏通，線路鋪設的關鍵設施，但同時也帶來安全隱患。采用自動化手段及時監控窨井蓋的破損、丟失情況，極大地促進了城市發展。本文將窨井蓋看作具有自身特征的目標對象，基于當前目標檢測領域，檢測效果最好的卷積神經網絡Faster R-CNN，訓練窨井蓋數據集并實現檢測，不再借助其他硬件設施如傳感器等，大大提高了井蓋檢測的性能，實現實時監控，使得智慧城市真正地“智慧”起來。但算法仍有不足之處，例如檢測過程中出現的漏檢、誤檢，仍不可避免；井蓋破損和丟失檢測準確率相對較低；如何改進樣本，改變網絡參數，這些皆為未來研究要解決的關鍵問題。測試過程部分結果如圖7。

圖7　部分窨井蓋的檢測結果，其中manhole代表完整的井蓋，missing代表丟失井蓋的情況，hole代表井蓋出現破損

參考文獻：

[1]李亞勝.基于紅外探測的井蓋監測系統設計[J].數字技術與應用,2015（10）:174-175.

[2]雷可.一種基于圖像的路面井蓋破損自動檢測方法[J].數字通信世界,2016（1）.

[3]張豐焰,陳榮保,李揚,過秀成.基于改進Hough與圖像比對法的窨井蓋疑似破裂檢測（英文）[J].Journal of Southeast University（English Edition）,2015,31（04）:553-558.

[4]Pasquet J,Desert T,Bartoli O,et al.Detection of Manhole Covers in High-Resolution Aerial Images of Urban Areas by Combining Two Methods[J].IEEE Journal of Selected Topics in Applied Earth Observations&Remote Sensing,2016,9（5）:1802-1807.

[5]Girshick R,Donahue J,Darrell T,et al.Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2014:580-587.

[6]Felzenszwalb P,McAllester D,Ramanan D.A Discriminatively Trained,Multiscale,Deformable Part Model[C].Computer Vision and Pattern Recognition,2008.CVPR 2008.IEEE Conference on.IEEE,2008:1-8.

[7]Girshick R,Iandola F,Darrell T,et al.Deformable Part Models are Convolutional Neural Networks[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2015:437-446.

[8]He K,Zhang X,Ren S,et al.Spatial pyramid Pooling in Deep Convolutional Networks for Visual Recognition[C].European Conference on Computer Vision.Springer International Publishing,2014:346-361.

[9]Girshick R.Fast r-cnn[C].Proceedings of the IEEE International Conference on Computer Vision，2015:1440-1448.

[10]Ren S,He K,Girshick R,et al.Faster r-cnn:Towards Real-time Object Detection with Region Proposal Networks[C].Advances in Neural Information Processing Systems，2015:91-99.

[11]Simonyan K,Zisserman A.Very Deep Convolutional Networks for Large-Scale Image Recognition[J].Computer Science,2014.

[12]Jia Y,Shelhamer E,Donahue J,et al.Caffe:Convolutional Architecture for Fast Feature Embedding[C].Proceedings of the 22nd ACM International Conference on Multimedia.ACM,2014:675-678.