基于深度學習的道路積水智能監測方法

白崗崗,侯精明,韓 浩,夏軍強,李丙堯,張陽維,衛志豪

(1.西安理工大學省部共建西北旱區生態水利國家重點實驗室，陜西 西安 710048；2.武漢大學水資源與水電工程科學國家重點實驗室，湖北 武漢 430072)

隨著全球氣候變化加劇，極端降雨頻次不斷增多，與此同時城鎮化進程快速推進，極大地改變了下墊面條件，致使城市內澇積水問題日益突出[1-5]。2012年北京“7·21”特大暴雨引發了嚴重的城市內澇，造成嚴重的人員傷亡和經濟損失。2018年8月遼寧大連突降大到暴雨，路面積水使燈箱漏電，致一名蹚水行走的男子不幸觸電身亡。可見高效、安全、精準地開展城市內澇積水監測對降低內澇成災風險、減少內澇引起的城市交通及市民出行安全等隱患具有重要意義[6]。

目前針對城市內澇積水信息監測的主要方法有人工觀測法、儀器測量法等，其中人工觀測法需要消耗大量的人力物力，效率較低且存在嚴重的安全隱患；儀器測量法通過傳感器進行量測，有著方便快捷且精度較高的優點，但缺點也較明顯，如儀器成本較高且受外界的干擾較大[7]。因此，需尋找一種安全、效率高且成本低的監測方法來監測城市內澇積水。

近年來隨著深度學習技術的不斷提高，人工智能飛速發展，卷積神經網絡(convolutional neural network, CNN)作為深度學習的代表算法，在圖像識別領域中的應用取得了大量突破性成果。Hua等[8]針對大場景遙感影像中多個物體和微物體的實時檢測，提出了一種將視覺感知和CNN相結合的遙感影像實時物體檢測算法，該算法不僅能保證檢測精度，且可大幅度提高目標檢測的效率。Zang等[9]提出了一種基于深度學習和計算機視覺的自動車牌檢測和識別方法，該方法對于車牌檢測和識別的效果較好。Massoli等[10]基于深度學習對人臉進行識別，并采用超分辨率技術提升了對人臉識別的精度。陳利[11]提出了一種基于深度學習技術的車牌識別方法，與傳統方法相比識別和定位車牌的準確率更高。何西麟[12]采用深度學習技術搭建了基于CNN模型的手寫字符識別模型，手寫體字符的識別率超過90%。盧宏濤等[13]將CNN應用于物體監測和人臉識別，與傳統方法相比，CNN模型的識別精度較高。劉胤等[14]應用圖像識別技術實現了實驗室異常自動監測和人臉自動識別等功能，比傳統人工監控方法具有更高的識別速度和精度。張雪芹等[15]基于植物識別算法和CNN中的AlexNet網絡模型對植物圖像進行識別，該方法的泛化性和準確性較高，識別速度較快。

本文基于西安理工大學金花校區內的道路積水圖像，采用基于CNN的目標檢測算法識別道路積水區域并提取積水面積，與實測結果對比表明，該方法可以實現道路積水范圍的提取且具有較高的精度，可為相關部門自動準確獲取道路積水信息提供技術依據。

1 理論算法

1.1 CNN

CNN是基于深度學習理論的一種前饋神經網絡，在圖像處理領域有著出色的表現[16]。CNN擅長發掘數據的局部特征，對數據的旋轉、平移等具有較高的穩健性，通過輸入原始數據，采取卷積、池化及激活函數映射等操作，最后按目標任務特征輸出目標分類和定位[17]。CNN由輸入層、卷積層、池化層、全連接層以及輸出層組成，其中輸入層用來接收樣本數據，并將樣本數據輸送到CNN中進行特征提取；卷積層通過多個濾波器進行卷積操作進而提取輸入數據的特征，每個卷積層包含若干個特征圖，同一特征圖的神經元共享同一卷積核的權值參數，可以減少各網絡層間的連接及過擬合現象，由前一層的特征圖與卷積核進行卷積運算并經過激活函數后輸出得到這一層的特征圖；池化層亦稱為下采樣層，通過求局部區域的最大值或平均值進行降采樣，進而縮小矩陣尺寸，減小特征空間，即在減少數據量的同時保留可用信息。CNN通常取若干個卷積層和池化層交替連接，而后連接若干個全連接層，全連接層用于將目標任務形式化為目標函數，實現最終分類[18]。

CNN不需要任何輸入和輸出之間的精確表達式，只需通過大量學習就能得到輸入與輸出之間的映射關系[19]。在訓練CNN時，反向傳播算法是性能最好且應用最為廣泛的方法，通過計算預測值與真實值之間的誤差(損失)，并將誤差由最后一層逐層向前反饋，同時更新每層參數，再進行前饋，如此往復，直到網絡模型收斂，進而達到模型訓練的目的[20]。對于樣本數量為N的訓練集，使用交叉熵作為損失函數[21]，可表示為

(1)

式中：J為損失函數；yn為第n個樣本所屬的類別；xn為第n個樣本的特征向量；w為末層權參數；b為相應偏置參數。

CNN在測試時輸入圖像所屬某一類別y的預測值ypred為

(2)

1.2 YOLOv2網絡結構

TensorFlow是Google在Dist Belief的基礎上采用數據流程圖進行數值計算，對神經網絡框架進一步優化得到的一種深度學習系統，可在CPU和GPU上運行，具有速度快、精度高、靈活性強、可用范圍廣等特點，被廣泛應用于CNN、遞歸神經網絡(RNN)等各類機器學習算法[18,22]。TensorFlow是通過計算圖的形式來表述計算的一種深度學習系統，目前已有多種經COCO數據庫訓練且基于TensorFlow的網絡結構，如Fast R-CNN、Faster R-CNN、YOLO、R-FCNN 及YOLOv2等，故僅需在這些基礎網絡結構上修改某些參數便可訓練目標檢測模型[23]。與Faster R-CNN、YOLO相比，YOLOv2提出了新的Darknet-19基礎網絡，共包含19層卷積層和5層池化層，使用大量的3×3和1×1卷積，通過將1×1的卷積置于3×3卷積之間對積水特征進行壓縮，并采用了Batch Normalization(批量歸一化)處理及 K-means 聚類作為候選框選取規則，通過這一系列調優算法，在保證檢測精度的基礎上提升了檢測速度。

本文選用基于CNN的YOLOv2目標檢測模型，模型通過輸入分辨率為416像素×416像素的積水圖像，采用Darknet-19基礎結構對輸入積水圖像進行積水特征提取，輸出13×13×1 024特征圖，并取第16層的26×26×512特征圖重組成13×13×256特征圖，采用融合方法將二者相結合，生成13×13×1 280特征圖，最終經過卷積操作，生成13×13×30的特征圖，具體網絡結構如圖1所示。

2 研究數據

2.1 基礎數據采集

采用高清數碼攝像機和照相機設備采集西安理工大學金花校區道路地勢低洼或易積水區積水圖像。攝像機安裝位置如圖2所示，每隔10 min獲取一幀積水圖像，得到的圖像分辨率為2 560像素×1 440像素；照相機拍攝的積水圖像分辨率為4 272像素×2 848像素。共篩選采集了積水圖像1 000幅，作為初始積水樣本數據集，圖3為數據集圖像示例。

(a) 攝像機拍攝圖像

2.2 數據預處理

為避免在訓練過程中由于訓練樣本過少而出現過擬合現象，需對數據集進行數據擴充。數據擴充方法有隨機裁剪、角度變換及彩色轉換等，為增加數據多樣性，考慮不同方位和光照強度時的積水圖像，采用彩色轉換、角度變換將樣本數據集擴充至3 000幅，其中由700幅圖像進行角度變換得到2 000幅，另300幅圖像進行彩色轉換得到1 000幅。因檢測目標較大，而降低圖像像素不會影響目標檢測精度，但可大幅度提高模型訓練速度，故將圖像縮小至416像素×416像素，最后采用LabelImg標注工具對數據集進行標簽制作。

基于OpenCV(open source computer vision library)計算機視覺開源庫，編寫代碼對原積水樣本圖像進行角度變換(水平或垂直方向旋轉)，如圖4所示；通過Matlab 軟件編寫代碼實現對數據集的彩色轉換，如圖5所示，分別在色彩原色R、G、B即紅色、綠色和藍色3個通道加不同的失真值。

圖4 角度變換

圖5 彩色轉換

積水目標檢測是通過學習有標簽的圖像樣本，然后對新的圖像做出預測的過程，故需提前生成標簽[24]。用LabelImg標注工具可在圖像中標注目標位置并生成表示目標標準框位置的xml文件，文件中包含圖像名稱、像素大小、所屬圖片位置及標注的積水范圍等信息，極大地方便了數據集標簽的制作，如圖6所示。

(a) 制作標簽界面

2.3 模型訓練

在經數據預處理后得到的3 000幅積水數據集中，選取2 500幅圖像作為訓練集，其中1 665幅圖像是由原始圖像經過彩色轉換、角度變換得到的，500幅圖像作為測試集(攝像機圖像145幅，照相機圖像355幅)。采用中央處理器為Intel i7-8700、GPU為RTX2070的硬件配置，運行環境為Windows 10.0、CUDA 10.0以及TensorFlow深度學習系統，實現基于YOLOv2算法的模型訓練。經多次訓練和參數調整，設置的模型網絡參數如下：初始學習率為0.001，批尺寸為32，迭代次數為50次，并采用正則化方法來防止模型過擬合，最終訓練產生了用于預測積水的模型權重，其保存了模型的結構、權重以及訓練參數配置等。圖7為模型對積水數據集的訓練與驗證準確率，平均值分別為96.1%和90.1%。

圖7 模型訓練和驗證結果

3 識別結果與分析

利用訓練好的模型權重，可實現積水圖像自動識別及積水面積自動提取。圖8為部分測試集里的圖像對模型準確率進行測試的效果。攝像機拍攝機位、角度不變，拍攝畫面單一，而照相機拍攝場地、角度都是隨機的，故模型對攝像機圖像識別效果較照相機要好。

(a) IMG_1

為實現對圖像中積水面積的提取，分別用照相機垂直拍攝的圖像(圖9(a)(b))和攝像機拍攝的、經過曲面矯正和透視變換技術矯正的圖像(圖9(c))進行識別，并可自動提取識別類別、識別率及檢測框坐標xmax、xmin、ymax、ymin等信息，表1為積水圖像檢測框信息。

(a) IMG_4

表1 積水圖像檢測框信息

所有圖像尺寸均為416像素×416像素，即圖像大小Sa=173 056像素，以圖像IMG_4為例，整個圖像的真實尺寸為55 cm×55 cm，即圖像實際面積A=3 025 cm2，利用攝影測量原理，即式(3)可計算出積水識別面積A識=1 551 cm2，與積水實測面積A實=1 434 cm2相比，誤差約為8%。同理可計算出圖像IMG_5和IMG_6的積水面積，結果如表2所示。

(3)

表2 積水識別面積與實測面積對比

由表2可知，利用本文方法計算得到的積水識別面積與實測面積誤差均在允許范圍(±20%)內，驗證了基于深度學習技術的城市道路積水范圍識別和提取方法的合理性和可行性。

4 結 語

于西安理工大學金花校區采集1 000幅道路積水圖像數據，經數據擴充得積水樣本集3 000幅圖像，其中2 500幅作為訓練集，500幅作為測試集，采用TensorFlow深度學習系統，基于CNN的YOLOv2模型對積水區域進行了智能識別，實現了對積水圖像信息的智能獲取，訓練和驗證的平均準確率分別為96.1%和90.1%，自動提取的積水面積誤差也均在允許的范圍內，驗證了方法的合理性和可行性，可為城市內澇積水監測與管理提供參考。