基于Mask RCNN的裂縫圖像識(shí)別與漸進(jìn)式自動(dòng)標(biāo)注方法研究

摘" 要：文章提出了一種漸進(jìn)式全自動(dòng)標(biāo)注算法，分三個(gè)階段標(biāo)注裂縫樣本：首先，在白紙上畫線繪制假裂縫，提取裂縫輪廓制作標(biāo)簽，訓(xùn)練生成一級(jí)權(quán)重文件；利用一級(jí)權(quán)重文件識(shí)別白墻上的裂縫，優(yōu)化掩膜后制作標(biāo)簽，訓(xùn)練生成二級(jí)權(quán)重文件；最后，用二級(jí)權(quán)重文件分批檢測(cè)混凝土裂縫，優(yōu)化并提取掩膜輪廓，生成標(biāo)簽并循環(huán)訓(xùn)練生成三級(jí)權(quán)重文件。訓(xùn)練后Mask RCNN模型對(duì)三類圖像的識(shí)別綜合評(píng)價(jià)指標(biāo)（Evaluation indicator）分別為95.2%、83.3%、79.2%，識(shí)別率較高，可用于裂縫的快速識(shí)別。

關(guān)鍵詞：裂縫；漸進(jìn)式自動(dòng)標(biāo)注；輪廓提取；深度學(xué)習(xí)

中圖分類號(hào)：TP391.4" 文獻(xiàn)標(biāo)識(shí)碼：A" 文章編號(hào)：2096-4706（2024）24-0111-05

Research on Crack Image Recognition and Progressive Automatic Annotation Method Based on Mask RCNN

QIU Xianzhi1， LI Denghua2，3， GUO Linxiao4， XU Haitao1， DING Yong4

（1.National Energy Group Xinjiang Kaidu River Basin Hydropower Development Co.， Ltd.， Korla" 841009， China;

2.Nanjing Hydraulic Research Institute， Nanjing" 210029， China; 3.Key Laboratory of Failure Mechanism and Prevention and Control Technology of Earth-Rock Dam， Ministry of Water Resources， Nanjing" 210029， China; 4.Nanjing University of Science and Technology， Nanjing" 210094， China）

Abstract： This paper presents a progressive fully automatic annotation algorithm， which annotates crack samples in three stages. Firstly， it draws fake cracks by drawing lines on white paper， and extracts the crack contours to make labels， and then trains to generate the first-level weight file. Secondly， it uses the first-level weight file to identify the cracks on the white wall， and optimizes the mask to make labels， and then trains to generate the second-level weight file. Finally， it utilizes the second-level weight file to conduct batch detection of concrete cracks， optimizes and extracts the mask contours to generate labels， and then trains cyclically to produce the third-level weight file. After training， the comprehensive evaluation indicators of the Mask RCNN model for the recognition of three types of images are 95.2%， 83.3%， and 79.2%， respectively. The detection rate is relatively high and this model can be applied to the rapid recognition of cracks.

Keywords： crack; progressive automatic annotation; contour extraction; Deep Learning

0" 引" 言

近年來(lái)，深度學(xué)習(xí)領(lǐng)域在裂縫檢測(cè)方面飛速發(fā)展。Zhang等人[1]將裂縫圖像分割成小塊進(jìn)行背景分割；Zeiler等人[2]構(gòu)建基于區(qū)域的快速卷積神經(jīng)網(wǎng)絡(luò)，只需0.03 s即可檢測(cè)出混凝土裂縫部位；Yokoyama等人[3]將訓(xùn)練樣本分為5類，其神經(jīng)網(wǎng)絡(luò)識(shí)別準(zhǔn)確率穩(wěn)定在79%。

裂縫測(cè)量精準(zhǔn)度取決于樣本的質(zhì)量與數(shù)量，大量的裂縫樣本讓操作者在標(biāo)注過(guò)程中付出大量的時(shí)間和精力，Xu等人[4]在CNN+RNN模型基礎(chǔ)上，提出了結(jié)合注意力機(jī)制的圖像自動(dòng)標(biāo)注算法，但其識(shí)別框包含大量背景信息，無(wú)法精確分割目標(biāo)。Maier-Hein等人[5]用人群算法來(lái)標(biāo)注內(nèi)窺鏡圖像，在醫(yī)學(xué)圖像上獲得了很高的準(zhǔn)確率，但沒(méi)有證明算法的普適性。Zhou等人[6]提出了Models Genesis模型，模型的性能雖然提高但也學(xué)到很多與背景有關(guān)的冗余信息。

如何在節(jié)約標(biāo)注樣本集時(shí)間的同時(shí)，提高模型檢測(cè)的準(zhǔn)確度，是當(dāng)前研究的重點(diǎn)問(wèn)題[6-17]。本文提出一種漸進(jìn)式全自動(dòng)標(biāo)注的學(xué)習(xí)方法，將形態(tài)學(xué)與深度學(xué)習(xí)技術(shù)相結(jié)合，利用形態(tài)學(xué)的特征為深度學(xué)習(xí)做牽引，將白紙黑線、白墻黑縫、混凝土裂縫優(yōu)化后的檢測(cè)結(jié)果轉(zhuǎn)化為標(biāo)簽，迭代過(guò)程中反復(fù)訓(xùn)練，最終完成裂縫圖像的精確分割。

1" 技術(shù)路線

技術(shù)路線如下：

1）第一階段，在白紙上手繪黑線條模擬裂縫，將樣本裁剪成固定的尺寸，通過(guò)二值化、腐蝕、膨脹等預(yù)處理方法消除內(nèi)部存在的空隙，借助邊緣檢測(cè)尋找其輪廓，整合輪廓與樣本等信息，生成標(biāo)簽文件進(jìn)行訓(xùn)練后獲得一級(jí)權(quán)重文件。

2）第二階段，利用一級(jí)權(quán)重文件識(shí)別白墻上的裂縫，計(jì)算背景區(qū)域與檢測(cè)區(qū)域像素點(diǎn)RGB顏色分量的歐式距離，優(yōu)化掩膜后獲取裂縫坐標(biāo)；提取裂縫輪廓和裂縫圖片信息，自動(dòng)制作裂縫標(biāo)簽進(jìn)行訓(xùn)練后生成二級(jí)權(quán)重文件。

3）第三階段，將白墻黑縫與混凝土背景進(jìn)行風(fēng)格遷移，改變?cè)瓨?biāo)簽文件中的base64編碼后進(jìn)行訓(xùn)練，再用訓(xùn)練后的二級(jí)權(quán)重文件檢測(cè)混凝土裂縫，優(yōu)化并提取掩膜，生成標(biāo)簽，訓(xùn)練后再識(shí)別下一批裂縫，如此往復(fù)，最終生成三級(jí)權(quán)重文件。

漸進(jìn)式自訓(xùn)練算法流程如圖1所示。

2" 標(biāo)簽制作方法

利用上一階段的權(quán)重文件檢測(cè)裂縫得到掩膜坐標(biāo)，再進(jìn)行優(yōu)化。通過(guò)一系列操作將優(yōu)化后的掩膜轉(zhuǎn)化為新的JSON文件，首先要對(duì)檢測(cè)到的區(qū)域提取出輪廓坐標(biāo)并按照順序進(jìn)行排列，再輸入裂縫圖片相關(guān)信息。

2.1" 掩膜輪廓提取算法

掩膜坐標(biāo)是由一系列坐標(biāo)點(diǎn)組成，掩膜輪廓提取就是對(duì)一系列坐標(biāo)點(diǎn)進(jìn)行分析，去掉內(nèi)部坐標(biāo)點(diǎn)，只保留輪廓坐標(biāo)點(diǎn)。

空隙量是某一特定坐標(biāo)點(diǎn)周圍8個(gè)點(diǎn)未被其他坐標(biāo)點(diǎn)占用的數(shù)量。如圖2（a）所示，輪廓上某點(diǎn)P1周圍有3個(gè)空點(diǎn)，空隙量為3；內(nèi)部某點(diǎn)P2周圍8個(gè)點(diǎn)沒(méi)有空點(diǎn)，空隙量為0。共有量為相鄰兩個(gè)掩膜坐標(biāo)點(diǎn)共有的空點(diǎn)數(shù)量。如圖2（b）所示，黑色區(qū)域表示P3和P4擁有2個(gè)共同的空點(diǎn)，共有量為2。

輪廓提取遵循如圖3所示的原則。查找輪廓前，遍歷掩膜點(diǎn)，需刪除集合中離散（即空隙量大于6/8）的點(diǎn)，如圖3（a）所示；輪廓起始點(diǎn)A的選取原則依次為：空隙量最大、x最小、y最小，如圖3（b）所示；在P四周尋找空隙量最大的點(diǎn)作為下個(gè)點(diǎn)，新找到的點(diǎn)不可與已有點(diǎn)重復(fù)，如圖3（c）所示；若P點(diǎn)下一個(gè)點(diǎn)存在2個(gè)最大空隙量都相等的M點(diǎn)和N點(diǎn)，選擇與P共有量大的M點(diǎn)，如圖3（d）所示；當(dāng)輪廓點(diǎn)P再次回到A時(shí)，輪廓尋找結(jié)束，如圖3（e）所示；保存輪廓，并刪除原集合中輪廓內(nèi)部坐標(biāo)，如圖3（f）所示；尋找原文件中的坐標(biāo)點(diǎn)，繪制輪廓，直至坐標(biāo)點(diǎn)全部被刪除，如圖3（g）所示。

2.2" 生成JSON文件

首先統(tǒng)計(jì)閉合輪廓的數(shù)量，根據(jù)其建立起標(biāo)簽固定框架。文件主要分為五個(gè)部分：Labelme版本信息、輪廓坐標(biāo)、圖片路徑、編碼及尺寸。將格式調(diào)整后的輪廓坐標(biāo)、圖片路徑與它的格式編碼按照標(biāo)簽固定結(jié)構(gòu)導(dǎo)入JSON文件中。以二進(jìn)制的形式讀取圖片，獲取原始字節(jié)碼，轉(zhuǎn)化為base64編碼，插入JSON文件相應(yīng)位置。最后將完整的JSON文件放入Mask RCNN模型中，在上一級(jí)權(quán)重文件的基礎(chǔ)上繼續(xù)訓(xùn)練，形成新的權(quán)重文件。

3" 訓(xùn)練過(guò)程

3.1" 白紙黑線階段

如圖4（a）所示，在白紙上用12B鉛筆繪制黑色線條模擬墻體上的裂縫并拍照。將拍攝的原圖裁剪成512×512（圖4（b））后得到20 000張圖片，二值化處理后，對(duì)像素點(diǎn)做腐蝕、膨脹操作（圖4（c）），再尋找裂縫的輪廓（圖4（d））；將每張圖片及其對(duì)應(yīng)的JSON文件放入模型Mask RCNN進(jìn)行訓(xùn)練得到一級(jí)權(quán)重文件。

3.2" 白墻黑縫

白紙黑線與白墻黑縫在外觀上具有相似性，檢測(cè)結(jié)果表明模型在兩類樣本集上可以過(guò)渡，利用一級(jí)權(quán)重文件順利篩選并檢測(cè)出白墻中的裂縫。將優(yōu)化后的掩膜坐標(biāo)通過(guò)標(biāo)簽算法轉(zhuǎn)化成JSON文件，放入模型中繼續(xù)訓(xùn)練，最后生成二級(jí)權(quán)重文件。

3.2.1" 標(biāo)簽篩除

在裂縫檢測(cè)過(guò)程中，對(duì)于陰影部分、砂漿處的坑洼常常存在一些誤檢的情況，對(duì)于誤檢的結(jié)果，常采用以下篩除原則：

刪除置信度小于0.95的檢測(cè)結(jié)果，如圖5所示。

刪除識(shí)別掩膜數(shù)小于750的檢測(cè)結(jié)果，如圖6所示。

旋轉(zhuǎn)坐標(biāo)系，將掩膜坐標(biāo)分別投影到x、y軸上，計(jì)算二者個(gè)數(shù)均值的比值L，計(jì)算為：

（1）

其中，nxi表示x = xi時(shí)坐標(biāo)的個(gè)數(shù)，nyi表示y = yi時(shí)坐標(biāo)的個(gè)數(shù)。

若L接近1，則篩除誤檢出的塊狀檢測(cè)結(jié)果，如圖7所示。

剔除寬度大于100像素的裂縫，如圖8所示。

圖像灰度化后，計(jì)算識(shí)別結(jié)果與背景像素平均值的差值C，計(jì)算式為：

（2）

其中，m表示背景像素點(diǎn)個(gè)數(shù)，n表示識(shí)別出的像素點(diǎn)個(gè)數(shù)，xi表示背景中第i個(gè)像素點(diǎn)的像素值，yi表示識(shí)別結(jié)果中第i個(gè)像素點(diǎn)的像素值。

當(dāng)C在[-10，10]范圍內(nèi)則找出誤檢或顏色太淡的裂縫，執(zhí)行剔除操作，如圖9所示。

3.2.2" 優(yōu)化算法

借助原圖像的RGB三通道分量，優(yōu)化裂縫識(shí)別結(jié)果如圖10（a）所示。將識(shí)別結(jié)果劃分為三部分：識(shí)別準(zhǔn)確區(qū)域（紅色）、誤識(shí)別區(qū)域（藍(lán)色）、漏識(shí)別區(qū)域（黃色），如圖10（b）所示。

矩形框內(nèi)所有像素點(diǎn)分為裂縫、背景區(qū)域兩部分，以兩部分像素點(diǎn)RGB三通道分量的平均值作為后續(xù)判別指標(biāo)。裂縫區(qū)域像素點(diǎn)RGB三通道顏色分量平均值計(jì)算公式為：

（3）

（4）

（5）

其中，、、分別表示裂縫區(qū)域像素點(diǎn)RGB三通道顏色分量中各通道顏色分量的平均值；NUMc為裂縫區(qū)域像素點(diǎn)的總個(gè)數(shù)；Rci、Gci、Bci分別表示裂縫區(qū)域第i個(gè)像素點(diǎn)各通道的顏色分量。下標(biāo)c表示裂縫，b表示背景。同理可得背景區(qū)域像素點(diǎn)RGB三通道顏色分量平均值。

3.2.3" 對(duì)掩膜區(qū)域進(jìn)行篩選

遍歷掩膜區(qū)域所有像素點(diǎn)，計(jì)算各像素點(diǎn)RGB三通道顏色分量RGB值與裂縫區(qū)域像素點(diǎn)平均RGB值、背景區(qū)域像素點(diǎn)平均RGB值的歐式距離，計(jì)算式為：

（6）

（7）

其中，Dc、Db分別表示所選像素點(diǎn)與裂縫區(qū)域、背景區(qū)域像素平均RGB值的歐式距、離；R0、G0、B0分別表示所選像素點(diǎn)R、G、B三通道顏色分量。若Dc＞Db，此點(diǎn)與背景區(qū)域像素點(diǎn)平均值歐式距離更小，即此點(diǎn)RGB值與背景區(qū)域更接近，將此點(diǎn)剔除；反之，則保留此點(diǎn)。遍歷所有像素點(diǎn)，獲得新的掩膜坐標(biāo)。

3.2.4" 對(duì)掩膜區(qū)域進(jìn)行擴(kuò)張

將掩膜像素點(diǎn)按邊界向外膨脹，獲得新增像素點(diǎn)后按照上節(jié)方法判斷是否保留。每一次篩選、擴(kuò)張后，重新計(jì)算掩膜內(nèi)外顏色分量的平均值。當(dāng)?shù)昂笱谀ぷ鴺?biāo)集一致，即可認(rèn)為該次迭代未對(duì)掩膜區(qū)域修正，停止迭代，得到優(yōu)化后的最終裂縫掩膜。原圖、優(yōu)化前、后，如圖11所示。

3.3" 混凝土裂縫

首先對(duì)素混凝土圖片裁剪，篩選出2 000張512×512無(wú)裂縫的背景圖像，如圖12（a）所示；如圖12（b）所示，用二級(jí)權(quán)重文件檢測(cè)白墻黑縫，獲取裂縫掩膜坐標(biāo)，并復(fù)制到無(wú)裂縫的背景圖片中；對(duì)于原白墻黑縫JSON標(biāo)簽文件的修改，主要是替換原文件中圖像編碼，并對(duì)文件路徑與標(biāo)簽文件名進(jìn)行調(diào)整，輪廓坐標(biāo)區(qū)域保持不變，新生成的圖像如圖12（c）所示。

成功從白墻黑縫過(guò)渡到混凝土裂縫后重復(fù)上一階段：篩選、進(jìn)行檢測(cè)（圖13（a））、優(yōu)化（圖13（b））、提取掩膜輪廓（圖13（c））和圖片信息、標(biāo)簽轉(zhuǎn)化、訓(xùn)練。

4" 評(píng)價(jià)指標(biāo)

將數(shù)據(jù)集分為白紙黑線、白墻黑縫和混凝裂縫三種類型，80%的圖像為訓(xùn)練集，20%的圖像為驗(yàn)證集。檢測(cè)平均值和中值分別如表1、表2所示，

5" 結(jié)" 論

優(yōu)化算法可以進(jìn)一步優(yōu)化裂紋掩模以獲得完整掩模坐標(biāo)；選擇裂紋的原理可以有效地從背景圖像中找到裂縫圖像；輪廓提取算法可以提取掩模坐標(biāo)，自動(dòng)完成裂紋的標(biāo)注；邊緣檢測(cè)可以在白紙黑線上準(zhǔn)確地找到裂縫輪廓；將白紙黑線數(shù)據(jù)集訓(xùn)練后獲取的一階權(quán)重文件可以過(guò)濾和檢測(cè)白墻裂縫，并將優(yōu)化后的掩膜坐標(biāo)轉(zhuǎn)換為新的標(biāo)簽文件；將裂縫掩模坐標(biāo)轉(zhuǎn)移到混凝土無(wú)；裂縫背景圖像中，生成新的JSON文件，可以進(jìn)一步訓(xùn)練模型；通過(guò)混凝土裂縫圖像自動(dòng)標(biāo)注方法獲得的模型在建筑裂縫識(shí)別中具有良好的識(shí)別速度和準(zhǔn)確性，僅需0.02 s即可檢測(cè)出裂縫位置；在裂縫檢測(cè)精度綜合評(píng)價(jià)指標(biāo)中，白紙黑線達(dá)到95.2%，白墻黑縫達(dá)到83.3%，混凝土裂縫達(dá)到79.2%。

參考文獻(xiàn)：

[1] ZHANG L，YANG F，ZHANG D. Road Crack Detection Using Deep Convolutional Neural Network [C]//IEEE International Conference on Image Processing.Phoenix：IEEE，2016：3708-3712.

[2] ZEILER M.D，F(xiàn)ERGUS R. Visualizing and Understanding Convolutional Networks [C]//Computer vision-ECCV 2014.Zurich：Springer，2014：818–833.

[3] YOKOYAMA S，MATSUMOTO T. Development of an Automatic Detector of Cracks in Concrete Using Machine Learning [J].Procedia Engineering，2017，171（Complete）：1250-1255.

[4] XU K，BA J，KIROS R. Show， Attend and Tell： Neural Image Caption Generation with Visual Attention [C]//ICML'15： Proceedings of the 32nd International Conference on International Conference on Machine Learning.[S.I.]：JMLR，2015：2048-2057.

[5] MAIER-HEIN L，ROSS T，GRHL J. Crowd-Algorithm Collaboration for Large-Scale Endoscopic Image Annotation with Confidence [C]//International Conference on Medical Image Computing and Computer-Assisted Intervention.Istanbul：Springer，2016：616-623.

[6] ZHOU Z，SODHA V，SIDDIQUEE M M R. Models Genesis： Generic Autodidactic Models for 3D Medical Image Analysis [C]//Medical Image Computing and Computer Assisted Intervention-MICCAI 2019.Shenzhen：Springer，2019：384-393.

[7] JIANG L，LI C，WANG S. Deep Feature Weighting for Naive Bayes and its Application to Text Classification [J].Engineering Applications of Artificial Intelligence，2016（52）：26-39.

[8] LIU K，GUO Y，WANG S. Semi-supervised Learning Based on Improved Co-training by Committee [C]//International Conference on Intelligent Science and Big Data Engineering.Suzhou：Springer-Verlag，2015：413-421.

[9] SUI Y，WEI Y，ZHAO D Z. Computer-Aided Lung Nodule Recognition by SVM Classifier Based on Combination of Random Undersampling and SMOTE [J/OL].Computational and Mathematical Methods in Medicine，2015：368674（2015-04-06）.https：//doi.org/10.1155/2015/368674.

[10] KALLENBERG M，PETERSEN K，NIELSEN M. Unsupervised Deep Learning Applied to Breast Density Segmentation and Mammographic Risk Scoring [J].IEEE Transactions on Medical Imaging，2016，35（5），1322-1331.

[11] SHEN W，ZHOU M，YANG F. Multi-crop Convolutional Neural Networks for Lung Nodule Malignancy Suspiciousness Classification [J].Pattern Recognition，2017，61（61）：663-673.

[12] KITAGAWA W，INABA A，TAKESHITA T. Objective Function Optimization for Electrical Machine by using Multi-Objective Genetic Programming and Display Method of Its Results [J].IEEE Transactions on Electronics， Information and Systems， 2019，139（7）：796-801.

[13] XU Y，JIA Z P，AI Y Q，et al. Deep Convolutional Activation Features for Large Scale Brain Tumor histopathology Image Classification and Segmentation [C]//2015 IEEE International Conference on Acoustics，Speech and Signal Processing （ICASSP）.South Brisbane：IEEE，2015：947-951.

[14] BAHROLOLOUM A，NEZAMABADI-POUR H. A Multi-Expert based Framework for Automatic Image Annotation [J].Pattern Recognition，2017，61：169-184.

[15] XU Y Y. Multiple-Instance Learning Based Decision Neural Networks for Image Retrieval and Classification [J].Neurocomputing，2016，171：826-836.

[16] KONG T，YAO A B，CHEN Y R，et al. HyperNet： Towards Accurate Region Proposal Generation and Joint Object Detection [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas：IEEE，2016：845-853.

[17] HE Y，WANG J，KANG C. Large Scale Image Annotation via Deep Representation Learning and Tag Embedding Learning [C]//ACM on International Conference on Multimedia Retrieval.New York：ACM，2015：523-526.

作者簡(jiǎn)介：邱先志（1990—），男，漢族，新疆霍城縣人，工程師，本科，研究方向：水電站大壩安全管理、水工建筑物安全監(jiān)測(cè)及運(yùn)行維護(hù)。