YOLO與SAHI模型在建筑外立面表觀損傷檢測中的協(xié)同應(yīng)用*

陳志強(qiáng)，楊 霞，陳小杰

(1.上海房屋質(zhì)量檢測站，上海 200031； 2.上海市房地產(chǎn)科學(xué)研究院，上海 200031)

0 引言

近年來，建筑外墻飾面脫落傷人事故時(shí)有發(fā)生，建筑外立面安全問題成為人們關(guān)注的焦點(diǎn)。一般情況下，建筑外墻飾面損傷有一個(gè)由輕微到嚴(yán)重逐漸發(fā)展的過程，在飾面脫落前建筑外墻面常常已存在開裂、滲水等表觀損傷。因此，通過現(xiàn)場檢測盡早發(fā)現(xiàn)建筑外立面開裂等表觀損傷，及時(shí)采取修繕措施就顯得尤為重要。

建筑表觀損傷的傳統(tǒng)檢測方式是人工目視檢測法，主要包括直接目視檢測和借助望遠(yuǎn)鏡、無人機(jī)等輔助裝置進(jìn)行的間接目視檢測[1-2]。直接目視檢測法現(xiàn)場檢測效率低，高層建筑頂部樓層外立面損傷易漏檢。無人機(jī)間接目視檢測法存在人工讀片工作量大，不同檢測人員對(duì)損傷判別標(biāo)準(zhǔn)不一致等問題。另一種建筑表觀損傷檢測方法是數(shù)字圖像處理法。目前，數(shù)字圖像處理法相關(guān)研究主要集中于建筑表面裂縫檢測[3-4]。數(shù)字圖像處理法需手動(dòng)提取損傷特征，檢測效果受圖像噪聲影響較大，目前無有效解決辦法[5]。近年來，深度學(xué)習(xí)技術(shù)已被廣泛應(yīng)用于醫(yī)療診斷、金融貿(mào)易、無人駕駛等領(lǐng)域[6-9]，并取得顯著效果。

目前，深度學(xué)習(xí)技術(shù)在建筑損傷檢測領(lǐng)域也有一定的應(yīng)用。張英楠等[10]利用YOLOv4實(shí)現(xiàn)了歷史建筑清水墻風(fēng)化、泛堿、綠植覆蓋3種典型損傷的智能診斷及區(qū)域劃分。馬健等[11]提出利用 YOLOv5 對(duì)古建筑木結(jié)構(gòu)裂縫進(jìn)行智能檢測的方法，相比于傳統(tǒng)的人工檢測方法具有高效、便捷、成本低的優(yōu)點(diǎn)。王念念[5]對(duì)Faster R-CNN，MASK R-CNN算法在古建筑表面損傷檢測中的應(yīng)用進(jìn)行了研究，實(shí)現(xiàn)了故宮古建筑表面損傷的快速識(shí)別、定位、分割、測量與評(píng)估。陳墨等[12]對(duì)R-CNN算法在建筑表面裂縫缺陷識(shí)別中的應(yīng)用進(jìn)行了研究，得到了識(shí)別效率較高、識(shí)別精度較好的結(jié)果。林汨圣等[13]對(duì) Faster R-CNN 算法框架在居住建筑外墻面損傷檢測中的應(yīng)用進(jìn)行了研究，證明了該方法可有效對(duì)外墻損傷情況進(jìn)行檢測判定，效率較高且效果良好。

當(dāng)目標(biāo)物體的像素點(diǎn)數(shù)<32×32，或目標(biāo)物體的尺寸小于原圖尺寸的0.1倍時(shí)，目標(biāo)物體可看作是小目標(biāo)物體[9]。現(xiàn)有基于深度學(xué)習(xí)的目標(biāo)檢測技術(shù)對(duì)建筑外墻細(xì)小裂縫、局部小塊脫落等小目標(biāo)檢測效果較差，而類似損傷在建筑外立面表觀損傷檢測中大量存在。對(duì)圖像進(jìn)行切片處理是提高小目標(biāo)檢測效果的有效方法。趙楚等[14]對(duì)高分辨率的瓷磚缺陷數(shù)據(jù)集進(jìn)行了切片處理，再采用改進(jìn)的Faster R-CNN算法對(duì)瓷磚缺陷進(jìn)行檢測，試驗(yàn)獲得較好的檢測效果。陳祖歌[15]對(duì)圖像切片后將切片與原圖一起作為模型輸入以放大小目標(biāo)的輸入信息的方式對(duì)SSD模型進(jìn)行優(yōu)化，并在PASCAL VOC和MS COCO數(shù)據(jù)集上進(jìn)行試驗(yàn)驗(yàn)證，驗(yàn)證結(jié)果表明該方法能有效改善多尺度目標(biāo)的檢測精度。王勝科等[16]對(duì)原始高分辨率航拍圖像進(jìn)行切片處理，然后將裁剪出的小尺寸塊圖通過改進(jìn)后的CenterNet網(wǎng)絡(luò)進(jìn)行檢測，根據(jù)其提出的G-NMS算法聚合檢測結(jié)果，該方法在數(shù)據(jù)集 UAV_OUC 和 VisDrone2019上獲得了較好的試驗(yàn)結(jié)果。

SAHI框架可與各類目標(biāo)檢測方法集成，顯著提高小目標(biāo)檢測能力[17-18]。Delhez等[19]使用SAHI對(duì)原始分辨率為3 456×6 144的鳥類圖片進(jìn)行了目標(biāo)檢測測試，測試結(jié)果表明，未使用SAHI時(shí)Resnet50和MobileNetv3模型無法正確檢測鳥類，使用SAHI后這些模型甚至能檢測到地平線上非常小的鳥。Keles等[20]使用VisDrone2019Det數(shù)據(jù)集對(duì)小目標(biāo)檢測的YOLOv5和YOLOX模型進(jìn)行了基準(zhǔn)測試，并研究了SAHI的影響，研究結(jié)果表明，SAHI的應(yīng)用效果對(duì)所有模型都有了實(shí)質(zhì)性改進(jìn)，YOLOv5模型的效果相對(duì)更大。

應(yīng)用SAHI可顯著提高模型的小目標(biāo)檢測效果，但尚無應(yīng)用于建筑損傷檢測的案例。為了解SAHI在建筑外立面表觀損傷檢測中的應(yīng)用效果，本文采用YOLO與SAHI集成框架對(duì)2幢高層住宅外墻飾面開裂、滲水、脫落，以及外墻附著物空調(diào)機(jī)架銹蝕4種表觀損傷的無人機(jī)照片進(jìn)行了訓(xùn)練與預(yù)測試驗(yàn)。

1 YOLO與SAHI基本原理和模擬使用

1.1 YOLO基本原理與模擬使用

YOLO是一種基于回歸的目標(biāo)檢測算法，由Redmon等于2016年首次提出[21]。該算法將目標(biāo)檢測的分類和定位用一個(gè)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)，在目標(biāo)檢測領(lǐng)域得到廣泛應(yīng)用。YOLO 將輸入圖像分成S×S個(gè)單元格，單元格借助 anchor boxes 進(jìn)行邊界框的預(yù)測。邊界框的信息采用五元組T(x，y，w，h，c) 表示，x，y表示邊界框的橫坐標(biāo)與縱坐標(biāo)，w，h表示其寬度和高度，c表示置信度，它反映當(dāng)前邊界框是否包含預(yù)測目標(biāo)及其預(yù)測準(zhǔn)確性的估計(jì)概率。

以YOLOv1為基礎(chǔ)，通過不斷改進(jìn)，YOLOv2[22]，YOLOv3[23]，YOLOv4[24]，YOLOv5[25]算法被相繼提出，算法的檢測精度、速度、小目標(biāo)檢測能力逐步提升。目前廣泛應(yīng)用的是由Ultralytics公司發(fā)布的YOLOv5。Yolov5s網(wǎng)絡(luò)是Yolov5系列中深度最小、特征圖寬度最小、AP精度最低的網(wǎng)絡(luò)，但因其對(duì)計(jì)算機(jī)硬件要求較低，仍是目前YOLO系列中應(yīng)用最廣泛的網(wǎng)絡(luò)模型。

本研究采用目標(biāo)檢測算法YOLOv5s模型進(jìn)行建筑外立面表觀損傷檢測試驗(yàn)。

1.2 SAHI基本原理與模擬使用

YOLO檢測算法具有高效、高精度的特點(diǎn)，但對(duì)小目標(biāo)的檢測效果欠佳，特別是對(duì)高分辨率圖像小目標(biāo)的檢測效果很差。建筑外立面表觀損傷檢測工作中，為了提高現(xiàn)場檢測效率或限于現(xiàn)場檢測條件，一般采用高分辨率相機(jī)，在保證目標(biāo)清晰的同時(shí)，一次拍攝盡可能大的外立面區(qū)域，此時(shí)，如何保證裂縫、脫落等大量小目標(biāo)不漏檢便成為YOLO檢測算法在建筑外立面表觀損傷檢測中應(yīng)用必須解決的關(guān)鍵問題。

為了解決小目標(biāo)檢測問題，F(xiàn)atih Cagatay Akyon等提出了名為切片輔助推理(slicing aided hyper inference，SAHI)的框架。首先，將原始圖像切分為M×N個(gè)重疊的切片pI1 ，pI2，…，pIl。在保持高寬比的同時(shí)，調(diào)整每個(gè)切片大小，然后對(duì)每個(gè)重疊的切片都獨(dú)立地應(yīng)用目標(biāo)檢測正向傳遞。可同時(shí)選擇使用原始圖像的全推理檢測較大的目標(biāo)。最后，將全部切片預(yù)測結(jié)果與原始圖像的全推理結(jié)果使用NMS合并回原始大小后作為最終預(yù)測結(jié)果輸出。

本研究采用SAHI庫實(shí)現(xiàn)圖像切片，調(diào)用YOLOv5實(shí)現(xiàn)目標(biāo)預(yù)測，最后再通過SAHI庫合成切片預(yù)測結(jié)果。

2 基于YOLOv5s和SAHI的建筑外立面表觀損傷檢測

為了實(shí)現(xiàn)建筑外立面表觀損傷檢測，設(shè)計(jì)檢測系統(tǒng)流程如圖1所示。檢測流程分為建立數(shù)據(jù)集、模型訓(xùn)練和損傷識(shí)別3個(gè)階段，其中建立數(shù)據(jù)集階段包括數(shù)據(jù)采集、損傷標(biāo)注、圖像切片、圖像增強(qiáng)和數(shù)據(jù)集切分等步驟。SAHI的作用主要是在建立數(shù)據(jù)集階段實(shí)現(xiàn)高分辨率圖像自動(dòng)切片，以及損傷識(shí)別階段將高分辨率圖像切片后送入YOLO網(wǎng)絡(luò)進(jìn)行目標(biāo)預(yù)測，并將切片圖像上的預(yù)測結(jié)果組合成全圖目標(biāo)預(yù)測結(jié)果后輸出。YOLO的作用主要是在模型訓(xùn)練階段根據(jù)訓(xùn)練數(shù)據(jù)集完成模型訓(xùn)練，得到建筑外立面表觀損傷檢測模型，并在損傷識(shí)別階段對(duì)SAHI切片后的圖像進(jìn)行目標(biāo)預(yù)測。

圖1 建筑外立面表觀損傷檢測流程

2.1 試驗(yàn)配置

采用云服務(wù)器，系統(tǒng)配置為RTX 3060，12.6GB顯存GPU，6核E5-2680 v4CPU，30GB內(nèi)存，操作系統(tǒng)為Ubuntu；編程語言為Python3.8；深度學(xué)習(xí)平臺(tái)為PyTorchv1.10，訓(xùn)練和預(yù)測模型使用Ultralytics公司的YOLOv5s6.0，切片推理框架使用SAHI0.9.2。

2.2 建立數(shù)據(jù)集

在進(jìn)行模型訓(xùn)練之前，需通過人工標(biāo)注方式建立數(shù)據(jù)集。數(shù)據(jù)集的建立包括數(shù)據(jù)采集、損傷標(biāo)注、圖像切片、圖像增強(qiáng)、數(shù)據(jù)集切分等步驟。

1)數(shù)據(jù)采集 以2幢高層建筑作為研究對(duì)象，采集了60張圖片，建立了一個(gè)建筑外立面表觀損傷數(shù)據(jù)集。所有圖片均采用大疆無人機(jī)air mini拍攝。受限于無人機(jī)硬件性能，無人機(jī)無法貼近建筑外立面拍攝。拍攝得到的建筑外立面損傷照片像素分辨率為 4 000× 2 250，每張照片基本占據(jù)4個(gè)樓層高度。該建筑外立面表觀損傷主要有裂縫、剝落、滲漏、空調(diào)支架銹蝕4種類型。典型損傷照片如圖2所示。

圖2 建筑外立面典型表觀損傷類型

2)損傷標(biāo)注 建立圖像數(shù)據(jù)集后，需對(duì)圖像進(jìn)行特征提取與標(biāo)注。損傷標(biāo)注是由經(jīng)驗(yàn)豐富的檢測工程師對(duì)采集的建筑外立面損傷照片進(jìn)行檢查，篩選出存在指定損傷類型的照片，在照片上用矩形框標(biāo)記出每處損傷位置，并指定損傷類型。可采用labelImg等工具進(jìn)行標(biāo)注，如圖3所示。

圖3 在原始照片上標(biāo)注損傷部位

3)圖像切片 無人機(jī)拍攝的原始照片像素分辨率為4 000×2 250，遠(yuǎn)高于YOLOv5模型采用的像素分辨率640×640。如直接利用高分辨率照片進(jìn)行訓(xùn)練，YOLO會(huì)對(duì)照片進(jìn)行預(yù)處理，將高分辨率照片轉(zhuǎn)換為像素分辨率640×640的圖像再進(jìn)行后續(xù)模型訓(xùn)練，這將造成大量小目標(biāo)損傷標(biāo)注丟失，嚴(yán)重影響模型訓(xùn)練效果。因此，需對(duì)高分辨率照片進(jìn)行處理，使之符合YOLO模型的要求。圖片切片可達(dá)到這一目的。SAHI可實(shí)現(xiàn)高分辨率圖像的自動(dòng)切片，將每張高分辨率照片分割為多張低分辨率照片，并自動(dòng)篩選出包含損傷標(biāo)注的低分辨率照片，舍棄不包含損傷標(biāo)注的純背景照片。在對(duì)高分辨率照片進(jìn)行分割時(shí)，相對(duì)應(yīng)的損傷標(biāo)注文件也應(yīng)進(jìn)行分割處理。60張外立面損傷照片經(jīng)過圖片切片處理后，得到1 383個(gè)帶有局部損傷標(biāo)注的照片。切片處理后的典型照片如圖4所示。

4)圖像增強(qiáng) 當(dāng)模型包含多個(gè)類別，而各類別樣本數(shù)量相差過大時(shí)，模型訓(xùn)練效果較差。因此，對(duì)于樣本數(shù)量較少的類別，應(yīng)對(duì)樣本數(shù)據(jù)進(jìn)行增強(qiáng)處理。常見的增強(qiáng)方式有旋轉(zhuǎn)、模糊、移位、馬賽克等。本次研究建筑外立面主要損傷類型為裂縫，剝落類型樣本數(shù)量明顯偏少。為了平衡訓(xùn)練樣本數(shù)量，對(duì)剝落類型樣本進(jìn)行了數(shù)據(jù)增強(qiáng)處理，數(shù)據(jù)增強(qiáng)后，帶有局部損傷標(biāo)記的照片增加到1 663個(gè)。數(shù)據(jù)增強(qiáng)典型損傷照片如圖5所示。

圖5 旋轉(zhuǎn)增強(qiáng)處理前后的脫落損傷照片

5)數(shù)據(jù)集切分 將整個(gè)數(shù)據(jù)集分為訓(xùn)練集、驗(yàn)證集和測試集，其中訓(xùn)練集占80%，驗(yàn)證集和測試集分別占10%。

2.3 模型訓(xùn)練

采用經(jīng)過損傷標(biāo)注、圖片切片、數(shù)據(jù)增強(qiáng)處理后建筑外立面損傷照片作為訓(xùn)練樣本，利用YOLOv5s模型進(jìn)行訓(xùn)練。訓(xùn)練次數(shù)預(yù)設(shè)為600次。模型文件、初始權(quán)重文件均采用默認(rèn)設(shè)置。

經(jīng)過532次迭代訓(xùn)練后，模型訓(xùn)練結(jié)果如表1及圖6～9所示。

表1 模型訓(xùn)練結(jié)果

圖6 模型訓(xùn)練定位損失變化曲線

圖7 模型訓(xùn)練置信度損失變化曲線

圖8 模型訓(xùn)練分類損失變化曲線

圖9 模型訓(xùn)練精度指標(biāo)變化曲線

圖6～9中各參數(shù)解釋如下：①定位損失(box_loss) bounding box的損失均值，數(shù)值越小表示預(yù)測方框越準(zhǔn)；②置信度損失(obj_loss) 目標(biāo)檢測loss均值，數(shù)值越小表示目標(biāo)檢測越準(zhǔn)；③分類損失(cls_loss) 目標(biāo)分類loss均值，數(shù)值越小表示目標(biāo)分類越準(zhǔn)；④精確率(Precision) 指總的目標(biāo)識(shí)別結(jié)果中正確識(shí)別目標(biāo)所占的比例，即找對(duì)的正類/所有找到的正類；⑤召回率(Recall) 指在總的目標(biāo)中，被正確識(shí)別出來的目標(biāo)所占的比例，即找對(duì)的正類/所有真正的正類；⑥平均精度均值(mAP@0.5) 表示閾值為0.5時(shí)的平均精度均值，mAP是用Precision和Recall作為兩軸作圖后圍成的面積，m表示平均，@后面的數(shù)表示判定iou為正負(fù)樣本的閾值；⑦平均精度均值(mAP@0.5∶0.95) 表示在不同IoU閾值(從0.5到0.95，步長0.05)上的平均精度均值。

2.4 損傷識(shí)別

利用已訓(xùn)練好的YOLO模型對(duì)外立面損傷照片進(jìn)行檢測時(shí)，被檢測照片分辨率應(yīng)與訓(xùn)練樣本照片分辨率一致，否則檢測效果會(huì)變差，甚至完全無法對(duì)目標(biāo)進(jìn)行檢測。可將被檢測照片切割為像素分辨率640×640的多張小照片后再對(duì)每張小照片進(jìn)行檢測，然后將檢測結(jié)果重新拼接為一張完整的照片。上述功能可利用SAHI工具實(shí)現(xiàn)。

為了檢驗(yàn)?zāi)Ｐ偷淖R(shí)別效果，采用訓(xùn)練得到的模型對(duì)測試集中的樣本進(jìn)行測試。外立面損傷典型檢測結(jié)果如圖10所示。

圖10 外立面表觀損傷檢測結(jié)果

測試結(jié)果顯示，模型對(duì)測試集照片中大部分裂縫、脫落、滲水、空調(diào)支架銹蝕等外立面表觀損傷都能較好地識(shí)別出來，但也存在個(gè)別漏檢或誤檢情況。圖11中窗洞頂裂縫漏檢，圖12中空調(diào)管道陰影、晾衣架鋼絲繩、墻面污跡被誤檢為裂縫。將誤檢目標(biāo)圖像作為背景圖像輸入網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練，可減少誤檢情況發(fā)生，但目標(biāo)漏檢與誤檢主要還是因?yàn)楸敬卧囼?yàn)所采用的訓(xùn)練樣本量較小，當(dāng)目標(biāo)特征與背景特征相似度較高時(shí)，模型無法準(zhǔn)確區(qū)分。因此，本研究下一步工作應(yīng)擴(kuò)充建筑外立面表觀損傷檢測的訓(xùn)練數(shù)據(jù)集，提高模型對(duì)裂縫損傷特征的檢測能力。

圖11 裂縫漏檢(圓圈部位)

圖12 裂縫誤檢(空調(diào)管道陰影、晾衣架鋼絲繩、墻面污跡)

3 結(jié)語

1)建筑外立面表觀損傷高分辨率照片數(shù)據(jù)集通過圖像切片、圖像增強(qiáng)處理后，采用YOLOv5s模型訓(xùn)練可達(dá)到較好的訓(xùn)練效果。利用訓(xùn)練好的模型，采用YOLO與SAHI集成框架可直接對(duì)建筑外立面損傷高分辨率照片進(jìn)行檢測。

2)為了實(shí)現(xiàn)建筑外立面表觀損傷檢測，首先確定建筑外立面表觀損傷的類型，采用無人機(jī)采集建筑外立面損傷圖像。然后對(duì)圖像進(jìn)行標(biāo)注，制作數(shù)據(jù)集。將數(shù)據(jù)集輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練并驗(yàn)證，最后得到建筑外立面表觀損傷檢測模型。在進(jìn)行模型訓(xùn)練之前，需通過人工標(biāo)注方式建立數(shù)據(jù)集。數(shù)據(jù)集的建立包括數(shù)據(jù)采集、損傷標(biāo)注、圖像切片、圖像增強(qiáng)、數(shù)據(jù)集切分等步驟。

3)本次檢測選取2幢高層建筑，采集了60張圖片，60張外立面損傷照片經(jīng)過圖片切片處理后，得到1 383個(gè)帶有局部損傷標(biāo)注的照片，該建筑外立面表觀損傷主要有裂縫、剝落、滲漏、空調(diào)支架銹蝕4種類型。對(duì)樣本數(shù)量較少的剝落類型樣本進(jìn)行數(shù)據(jù)增強(qiáng)處理后，帶有局部損傷標(biāo)記的照片增加到 1 663 個(gè)。經(jīng)過532次迭代訓(xùn)練后，平均精度均值達(dá)81.9%。