基于人工智能與智能手機的混凝土裂紋檢測

趙雪峰+李生元+歐進萍

摘 要：近年來，伴隨著互聯網技術的不斷提高及相關硬件的支持，人工智能技術得到快速發(fā)展，也為大數據處理和應用提供了基礎。同時，智能手機的普及也為采用眾包模式進行大數據收集提供了極大的便利。基于此，文中提出了將人工智能與智能手機相結合，利用智能手機進行混凝土裂紋圖片收集，再利用人工智能深度學習中的卷積神經網絡進行圖片中的裂紋識別和定位，達到裂紋檢測的目的。最后提出了基于人工智能與智能手機的混凝土裂紋檢測的眾包模式，調動公眾來收集混凝土裂紋圖片大數據，充分利用智能手機與人工智能技術的優(yōu)勢，使得混凝土裂紋圖片大數據的收集與裂紋檢測成為可能。

關鍵詞：人工智能；智能手機；卷積神經網絡；裂紋；眾包

中圖分類號：TP368.5；TU317 文獻標識碼：A 文章編號：2095-1302（2017）08-00-04

0 引 言

在混凝土結構的服役過程中，裂紋是一種常見的損傷形態(tài)[1]。目前，在實際工程中，混凝土裂紋主要還是依靠專業(yè)人員定期到現場進行人工測量，費時費力。因此，發(fā)展基于裂紋圖片處理的裂紋損傷檢測方法十分必要。國內外許多學者也進行了相關研究，主要采用圖像處理的方法。主要的研究結果可以分為兩類，一類是對于圖片中的裂紋進行識別，即將圖片中的裂紋從背景中分離出來，這需要較好的圖片預處理技術[2]，有的則利用邊緣檢測等技術[3-5]，在真實混凝土上進行了驗證[6]，而無人機也被應用于混凝土裂紋照片的采集[7]。另一類是對圖片中裂紋寬度、角度等特征進行提取，這些方法分為全自動[8-11]與需要人工參與[12]。但均利用特定的技術，對特定圖片背景中的混凝土裂紋進行識別和特征提取。然而，由于圖像處理方法是針對圖像像素的操作，圖片中的背景，尤其是光照和噪聲的干擾，將會很大程度上影響裂紋的識別效果，因此發(fā)展其它混凝土裂紋檢測方法十分必要。

隨著互聯網技術的發(fā)展，大數據時代已經到來，面對海量數據，人工智能也越來越受到人們的重視。深度學習作為人工智能的一個分支[13]，近年來取得了很大進展。深度學習的一個重要應用是利用卷積神經網絡進行圖片分類[14]。卷積神經網絡與普通人工神經網絡的最大區(qū)別在于具有進行卷積操作的卷積層，利用卷積操作實現圖片的特征提取。

智能手機已成為當前最為普遍的通訊工具，其軟件和硬件已經十分成熟，同時智能手機也內置了存儲、傳感、通訊及計算等功能。目前，智能手機已應用在人體健康監(jiān)測[15]、軍事[16]、交通[17]及結構健康監(jiān)測[18]等領域。選擇智能手機，采用眾包模式進行混凝土裂紋圖片大數據的收集完全可行。

1 利用卷積神經網絡進行混凝土裂紋檢測概述

在利用卷積神經網絡進行混凝土裂紋檢測時的流程圖如圖1所示。首先對智能手機收集到的原始圖片進行人工分割，將分割之后的小圖片分為無裂紋和有裂紋兩類，將這些分好類的小圖片作為訓練樣本來訓練卷積神經網絡模型，之后利用訓練好的分類器以及一種窗口滑移技術，將一張大的混凝土表面圖片中的裂紋識別并定位出來。

2 卷積神經網絡檢測混凝土裂紋實驗

本文采用經典的深度學習框架——Caffe來完成模型的訓練[19]，使用Caffe中的AlexNet模型[20]對其進行微調，修改輸出類別，將訓練分類結果改為兩類。

2.1 整體架構

圖2所示為混凝土裂紋檢測卷積神經網絡模型訓練的流程，修改后的模型共有8層，前5層是卷積層，后3層是全連接層。模型中選用了非線性激活函數ReLU，池化操作時采用最大池化 （MAX pooling），同時進行了局部響應歸一化（LRN）操作以及避免過擬合的Dropout技術。卷積層中的1、2層依次進行卷積、池化以及歸一化操作，3、4卷積層則只進行卷積操作，第5個卷積層進行卷積和池化操作，第6、7層在全連接后進行了Dropout操作，第8層進行全連接，然后輸出為融合了分類標簽的Softmax。

卷積神經網絡在訓練時，輸入圖片經過卷積、池化等一系列操作后，數據的尺寸也會發(fā)生變化，在訓練時，設置caffe中的crop_size為227，將圖片進行裁剪后作為模型的輸入數據。表1列出了輸入數據在本文卷積神經網絡中訓練時的尺寸變化。表2所列為各卷積、池化時的操作參數。

2.2 卷積

卷積是卷積神經網絡中較為核心的操作，它是指將輸入圖像中的像素在小區(qū)域中進行加權平均，然后在對應的位置輸出，該小區(qū)域叫做卷積核或濾波器。卷積核的大小決定了進行卷積操作時的區(qū)域大小，卷積核中的參數稱為權值，權值大小決定了卷積核覆蓋的圖像區(qū)域對應的像素點對卷積結果的貢獻大小，權值越大，貢獻越大。圖3表示了輸入圖像大小為5×5，卷積核大小為3×3，步長為1，偏置為0的一個卷積過程。

2.3 池化

輸入的圖片經卷積操作以及ReLU激活函數之后，輸出圖像的每一個像素點都包括了對應的原始輸入圖片一部分區(qū)域的信息，這使得信息產生冗余，也增加了計算量。為了提高算法性能，減少運算數據量，需要對卷積結果進行池化操作來降低維度，保留有效信息，這也在一定程度上避免了過擬合。圖4表示池化操作時輸入的圖像大小為6×6，池化區(qū)域大小為2×2，采用最大區(qū)域池化策略，進行無重疊區(qū)域池化，即滑動步長為2的池化過程。

2.4 Softmax

對于輸入數據，需要有一個操作來將數據進行分類。將給定的測試輸入記為x，針對每一個類別j估算出概率值p（y（i）=j（i）|x（i）；W），其中W是權重參數。即需要估計x的每一種分類結果出現的概率。因此，需要輸出一個k維的向量（向量元素的和為1）來表示k個估計的概率值。具體地說，用于輸入圖片分類概率計算的形式見式（1）。式中 這一項對概率分布進行歸一化，使得所有概率之和為1。

（1）endprint

3 訓練用于混凝土裂紋檢測的卷積神經網絡分類器

對于混凝土裂紋檢測來說，主要依賴于能夠將有裂紋圖片與無裂紋圖片進行分類的分類器。本文所做的工作均在一臺配置了GPU的工作站上完成（CPU：Intel（R） Xeon（R） CPU E5-2630 v4 @ 2.20 GHz， RAM： 32.0 GB， GPU： GeForce GTX 1080 Ti）。

3.1 圖片預處理

本文中智能手機拍攝的混凝土裂紋圖片的像素大小為4160×3 120，將智能手機拍攝的混凝土裂紋照片切割成256×256大小，并對這些圖片按照有裂紋和無裂紋兩種情形進行分類并設置標簽，如圖5所示。將它們分為訓練集和驗證集兩部分，由于切割后的小圖片中無裂紋的圖片數量遠遠多于有裂紋的圖片，因此人工隨機刪除一些無裂紋的圖片，使得有裂紋圖片數量與無裂紋圖片數量的比例為1∶1。最終訓練集圖片共21 000張，其中有裂紋圖片10 500張，無裂紋圖片10 500張，驗證集圖片共4 200張，其中有裂紋圖片2 100張，無裂紋圖片2 100張。此外還計算了所有訓練集圖片的平均值，所有圖片的每個像素都減去該平均值。

3.2 模型訓練

采用隨機梯度下降法（SGD）訓練模型，設置基礎學習率為0.001，學習策略為“step”，批處理大小為64，動量為0.9，權重衰減為0.000 5，過擬合丟棄率為0.5。總迭代次數設置為10 000次，圖6所示為訓練損失loss與迭代次數的關系曲線，圖7所示為精度與迭代次數的關系。

圖6、圖7所示為卷積神經網絡的訓練結果，隨著訓練迭代次數的增加，loss快速減小，最終接近于0，而精度也快速提高，最高精度為98.904 8%，為第1 700次迭代的訓練結果，最終精度穩(wěn)定在98.666 7%，取精度穩(wěn)定后的第10 000次訓練結果作為本研究后期應用的混凝土裂紋檢測模型。

4 窗口滑移技術

由于圖片中的裂紋分布位置隨機，所以無法對圖片中的裂紋進行定位掃描。本文采用圖8所示的窗口技術[21]。對于一張如圖9（a）所示的4 120×3 160像素大小的手機照片，窗口大小設置為128×128，水平方向和豎直方向的滑動步長均設置為64，從圖片的左上角開始，窗口從左到右、從上到下進行掃描，當掃描到一個位置時，先將該位置的小圖片放大到227×227，同時利用得到的模型訓練結果對窗口所在位置的小圖片進行分類，保留分類結果為有裂紋的小圖片，直至掃描完成整張手機圖片，掃描結果如圖9（b）所示。

從圖9中可以看出，經過窗口滑移技術掃描之后的圖片，去掉了圖片中的無裂紋部分，達到了混凝土表面裂紋檢測定位的目的。此外，在圖9（b）中還可以看出，在窗口滑移進行混凝土裂紋檢測的過程中，有三個位置的小窗口圖片被錯誤分類，本來屬于無裂紋的類，但被分成了有裂紋類，并保留了下來。圖10將這三個位置的圖片放大，可以看出這三個位置的小圖片中的混凝土表面均存在小孔洞瑕疵，因此訓練好的分類器誤認為它們是有裂紋的圖片而將它們保留了下來，這種情況可以采用擴大模型訓練數據集的方法來解決。

5 基于人工智能與智能手機的混凝土裂紋檢測的眾包模式

智能手機的普及為人們的生活帶來了極大的便利，同時也為大數據收集提供了契機。如圖11所示，通過眾包模式，裂紋圖片收集工作無需依賴專業(yè)檢測人員，普通大眾人員也可以通過智能手機拍攝混凝土裂紋圖片并將其切割分類之后再上傳到服務器，以此來不斷擴大混凝土裂紋圖片庫。有了數量眾多的圖片，就可以利用這些圖片訓練出擁有更高精度、更好檢測效果的混凝土裂紋檢測模型。公眾可以通過智能手機調用訓練好的模型來進行混凝土裂紋檢測?；谌斯ぶ悄芘c智能手機的混凝土裂紋檢測的眾包模式可以充分利用智能手機讓公眾參與到快速收集圖片大數據的活動中來，體驗人工智能強大的大數據處理優(yōu)勢。

6 結 語

本文提出了一種基于人工智能與智能手機的混凝土裂紋檢測方法，利用智能手機拍攝混凝土裂紋圖片作為數據集，訓練人工智能卷積神經網絡模型，得到用于混凝土裂紋檢測的圖片分類器，最后利用這一圖片分類器和窗口滑移技術進行混凝土裂紋的檢測和定位。同時提出了基于人工智能與智能手機的混凝土裂紋檢測眾包模式。該方法使得公眾參與收集混凝土裂紋圖片大數據成為可能，同時人工智能強大的大數據處理能力也使該方法具有很大的發(fā)展?jié)摿Α?/p>

參考文獻

[1] Ba?ant Z P， Xiang Y. Crack growth and lifetime of concrete under long time loading[J].Journal of Engineering Mechanics， 1997， 123（4）： 350-358.

[2] Fujita Y， Mitani Y， Hamamoto Y. A method for crack detection on a concrete structure[C].Pattern Recognition， 2006. ICPR 2006. 18th International Conference on. IEEE， 2006.

[3] Abdel-Qader I， Abudayyeh O， Kelly M E. Analysis of edge-detection techniques for crack identification in bridges[J].Journal of Computing in Civil Engineering， 2003， 17（4）： 255-263.

[4] Nishikawa T， Yoshida J， Sugiyama T， et al. Concrete crack detection by multiple sequential image filtering[J]. Computer‐Aided Civil and Infrastructure Engineering， 2012， 27（1）： 29-47.endprint

[5] Yamaguchi T， Hashimoto S. Fast crack detection method for large-size concrete surface images using percolation-based image processing[J].Machine Vision and Applications， 2010， 21（5）： 797-809.

[6] Yamaguchi T， Nakamura S， Saegusa R， et al. Image Based Crack Detection for Real Concrete Surfaces[J].IEEE Transactions on Electrical and Electronic Engineering， 2010，3（1）： 128-135.

[7] Kim J W， Kim S B， Park J C， et al. Development of Crack Detection System with Unmanned Aerial Vehicles and Digital Image Processing[Z].Advances in structural engineering and mechanics （ASEM15）， 2015.

[8] Fujita Y， Hamamoto Y. A robust automatic crack detection method from noisy concrete surfaces[J].Machine Vision and Applications， 2011， 22（2）： 245-254.

[9] Ito A， Aoki Y， Hashimoto S. Accurate extraction and measurement of fine cracks from concrete block surface image[C].IECON 02 [Industrial Electronics Society， IEEE 2002 28th Annual Conference of the.IEEE， 2002.

[10] Sohn H G， Lim Y M， Yun K H， et al.Monitoring crack changes in concrete structures[J].Computer‐Aided Civil and Infrastructure Engineering， 2010， 20（1）： 52-61.

[11] Lee B Y， Kim Y Y， Yi S T， et al.Automated image processing technique for detecting and analysing concrete surface cracks[J].Structure and Infrastructure Engineering， 2013， 9（6）： 567-577.

[12] Dare P， Hanley H， Fraser C， et al. An operational application of automatic feature extraction： the measurement of cracks in concrete structures[J].The Photogrammetric Record， 2002， 17（99）： 453-464.

[13] LeCun Y， Bengio Y， Hinton G. Deep learning[J].Nature， 2015： 436-444.

[14] Le Cun Y， Bottou L， Bengio Y， et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE， 1998， 86（11）： 2278-2324.

[15]王婧婷， 王園園， 沈閔， 等.白血病移動健康智能手機應用程序的可用性評價[J].中華護理雜志， 2015， 50（4）： 485-490.

[16]鐘亮，呂萍.淺析智能手機的軍事應用前景[J].微型機與應用， 2016， 35（2）： 4-5.

[17]柏叢，彭仲仁，孫健.基于智能手機應用的公交車數據采集與分析[J].科學技術與工程，2014，14（21）： 293-296.

[18] Zhao X， Han R， Yu Y， et al. Smartphone-Based Mobile Testing Technique for Quick Bridge Cable–Force Measurement[J].Journal of Bridge Engineering，2016.

[19] Jia Y， Shelhamer E， Donahue J， et al. Caffe： Convolutional architecture for fast feature embedding[C].Proceedings of the 22nd ACM international conference on Multimedia. ACM， 2014.

[20] Krizhevsky A， Sutskever I， Hinton G E.Imagenet classification with deep convolutional neural networks[C].Advances in neural information processing systems，2012.

[21] Cha Y J， Choi W， Buyukozturk O.Deep learning-based crack damage detection using convolutional neural network[J].Computer-Aided Civil and Infrastructure Engineering， 2017， 32（5）： 2013-2014.endprint