基于AI 目標檢測在工程管理圖像數字化的應用實踐

李雪迪 李公平 王文學 許經偉 查德飛

（中國電信股份有限公司安徽分公司，安徽 合肥 230000）

1 概述

借助AI 能力提升工程管理的數字化、智慧化有利于提高工程建設管理的效率和質量。目前需要施工質量管控的工程數量多、分散在各地，而工程管理員數量嚴重不足。面對大量的現場施工質檢環節的拍照圖片，工程管理員無法逐一完成人工審核，需借助AI 能力檢測和識別出圖像中的關鍵信息。工程質檢中圖像應用離不開目標檢測算法，目標檢測算法的主要功能為找出圖像中所感興趣的目標，同時獲得目標的類別信息和位置信息。目標檢測算法主要分為傳統的目標檢測算法和基于深度學習的圖像檢測算法，傳統的目標檢測算法存在特征設計困難且效率低下、滑動窗口尋找識別目標框速度慢等缺點，本文主要研究分析基于深度學習的圖像檢測算法在工程質檢中的應用。

2 任務現狀

工程管理中存在大量的設備型號檢測和識別場景，本文將以空開設備和熔絲設備圖片為實驗數據進行目標檢測，為施工質量審計驗收、資產盤點、故障溯源等提供依據。圖1 為空開圖片，該類型圖片型號主要以C 開頭，如C63、C32、C10等，存在少部分以A 結尾的型號，如32A、50A 等；圖2 為熔絲圖片，該類型圖片型號主要以A 結尾，如10A、63A、100A、250A、500A 等；圖像中紅色矩形框為業務側在收集圖片數據集時，已在原圖上作的標記；圖片中紅色框內的型號即為本模型需要檢測的區域。

業務要求識別空開熔絲圖片上特定設備的型號，而非全部設備的型號，即識別出圖片中標記在紅色框內以C 開頭或A 結尾的具體型號值，比如圖1 中3 個紅框內的C63、圖2中2 個紅框內的63A。

圖2 熔斷器

假如直接檢測設備型號文字區域可能會導致檢測到非業務部門關注的設備型號，即非紅框內的設備型號，會造成業務上的干擾。現將工程任務拆分成如下三個階段: 圖像中紅色框區域檢測、紅色框內文字區域檢測、文字區域設備型號識別。

在深度學習時代，基于CNN 的目標檢測算法主要分為One-Stage 和Two-Stage 兩個方向，這兩種方法的主要區別在于是否產生候選區域，Two-Stage 先通過RPN（Region Proposal Network）生成候選區域，再通過分類和回歸網路得到圖片中目標的位置和類別，而One-Stage 不需要RPN 階段，直接單次檢測出類別和位置信息。目前流行的兩階段算法包括：FasterRCNN、CascadeRCNN 等；一階段算法包括：YOLO 系列（YOLOv5、PPYOLO）等。以上四個模型經過工業實踐打磨，已在施工質量管控場景中得到廣泛應用，本文將針對空開設備和熔絲設備型號識別任務分別進行實驗，通過mAP 和Fps 比較幾種算法的實驗效果，為工程質檢中遇到的圖像檢測場景提供測試依據，同時選取適合的算法完成空開設備和熔絲設備型號識別任務。

3 算法介紹

3.1 兩階段RCNN 系列

FasterRCNN[1]模型提出了一種名為RPN 的網絡結構來提取候選框，相比于傳統R-CNN 算法，替代了通過規則等產生候選框的方法，實現了端到端訓練的同時大幅提升了訓練速度。FasterRCNN 作為經典的two-stage 檢測器，包含了用于推薦ROI 的RPN 網絡和用于分類和回歸的ROI Head，同時在RPN 網絡和ROI Head 中間加入了RoI Pooling 層，將RPN提取的不同大小的RoIs 固定到統一的大小，在沒有變形的情況下保證了全連接的輸入要求。

在FasterRCNN 算法中，不同輸入的proposal 自身IoU 分布和檢測器訓練用的閾值IoU 較為接近的時候，檢測器的性能才達到最優，如果兩個閾值相距比較遠就會出現mismatch問題，很難產生良好的檢測效果。為了解決mismatch 問題，多階段的CascadeRCNN[2]橫空出世。它由多個感知器構成，這些感知器通過遞增的IoU 閾值分級段訓練。一個感知器輸出一個良好的數據分布來作為輸入訓練下一個高質量感知器，緩解了假陽性的問題，在推理階段使用同樣的網絡結構合理的提高了IoU 的閾值而不會出現之前所說的mismatch 問題。

CascadeRCNN 指出級聯多個R-CNN 模塊，并且不斷提高IoU 閾值，在每個階段不斷進行正負樣本重采樣策略，不僅不會出現過擬合，而且可以實現極大的性能提升。

3.2 單階段YOLO 系列

在Faster RCNN 中，RPN 與R-CNN 雖然共享卷積層，但RPN 網絡和R-CNN 網絡在模型訓練過程中，需要反復訓練。相對于R-CNN 系列的“看兩眼”(候選框提取與分類),YOLO 系列只需要Look Once。YOLO 將物體檢測作為一個回歸問題進行求解，輸入圖像經過一次inference，便能得到圖像中所有物體的位置和其所屬類別及相應的置信概率。而RCNN 系列將檢測結果分為兩部分求解：物體類別（分類問題）和物體位置即bounding box（回歸問題）。

YOLO 系列是非常熱門的單階段目標檢測算法，同時YOLO 系列也在不斷的進化發展，YOLOV3[3]相比于YOLOV2在Head 部分增加了multi-scale 預測，將預測的bbox 分為大、中、小，有效增加了bbox 的數量，同時加深了主干網絡，將Darknet19 變成Darknet53[4]。YOLOV5 和V4 在YOLOV3的基礎上，加入了一些創新且有效的tricks，權衡檢測速度與精度，進一步提升YOLO 的效果。YOLOV5 和V4 都使用PANET[5]作為Neck 來聚合特征，Neck 主要用于生成特征金字塔，增強模型對于不同縮放尺度對象的檢測，從而能夠識別不同大小和尺度的同一個物體。百度提出的PPYOLO[6]也是基于YOLOV3 算法通過有效的tricks 組合來平衡目標檢測器的性能以及速度。PPYOLO 的主干網絡使用ResNet50-vd[7]替換了Darknet53，為了彌補這種變換可能導致的性能損失，用可變形卷積替換了ResNet50-vd 的部分卷積層，適當增加了網絡復雜度。但過多的DCN 會帶來額外的推理時間，PPYOLO 僅僅將最后一層的3x3 卷積替換成DCN卷積。

4 不同算法實驗效果

前面對幾種算法的原理和改進方法做了介紹，下面將通過對空開設備和熔絲設備抽樣數據進行實驗，比較Faster-RCNN、Cascade-RCNN、YOLOV5 和PPYOLO 中在工程管理應用中的目標檢測效果。

4.1 數據準備

隨機抽選1000 張空開設備和熔斷器標注圖片。

4.2 模型和環境

本次測試模型的數據增強方法和相關超參如表1 所示。

表1 訓練模型相關參數

實驗環境：GPU: Tesla V100，顯存: 16GB；CPU: 2 Cores，內存: 16GB。

4.3 實驗結果分析

用Faster-RCNN、Cascade-RCNN、YOLOV5 和PPYOLO分別對隨機抽樣的1000 個樣本訓練的結果如圖3 和圖4 所示。

圖3 mAP 曲線

圖4 訓練時長和推理Fps

由四個模型的mAP 曲線圖中可以看出：Cascade-RCNN在第3 個epoch 時趨于收斂，Faster-RCNN 在第10 個epoch時趨于收斂，收斂時Cascade-RCNN 的mAP 值（0.978）高于Faster-RCNN 的 mAP 值（0.961），Cascade-RCNN 采用muti-stage 重采樣proposals 以適應更高閥值的階段，提升了模型的mAP 值；YOLOV5 在第6 個epoch 時趨于收斂，PPYOLO 在第16 個epoch 時趨于收斂，收斂時YOLOV5 的mAP 值（0.981）略低于PPYOLO 的mAP 值（0.986），YOLOV5收斂速度優于PPYOLO，而PPYOLO 訓練時loss 更加穩定，抖動較小。四種算法在空開和熔絲場景下mAP 表現相差不大，而YOLOV5 和Cascade-RCNN 收斂于更少的epoch。

由四個模型的訓練時長和Fps 圖中可以看出：四個模型訓練時YOLOV5、PPYOLO、Cascade-RCNN 每個epoch 的訓練時長相差不大，而Faster-RCNN 每個epcoh 的訓練時長是其它三種算法的2 倍左右；推理時，YOLOV5 的Fps 最高(22.75)，Faster-RCNN 的Fps 值（4.43）遠低于其它三個模型，Cascade-RCNN 和PPYOLO 的Fps 值分別為12.91 和14.69。

綜上所述：單階段的YOLOV5 和PPYOLO 在訓練速度和推理速度上明顯優于二階段的Cascade-RCNN 和Faster-RCNN；隨著YOLO 系列在實際工程實踐中應用普及，在不同方向增加了平衡有效性和效率的改進方法，檢測的精準度大幅度提高，四個模型在本次任務數據集上的mAP 效果基本一致。考慮到訓練硬件限制和本場景后期應用的時效性，在生產時使用mAP 和Fps 綜合表現更加合理的YOLOV5 算法。

4.4 模型應用效果

將3 個階段模型進行整合，檢測一推理服務→檢測二推理服務→階段三推理服務，推理效果如圖5 所示。原始圖像經過第一次推理服務，檢測并裁剪出紅框區域，圖像邊緣即為第一次檢測框；在檢測裁剪后的圖像中，第二次推理檢測出文字區域，如圖5 所示。

圖5 推理效果

結束語

本文主要聚焦在工程質檢中的圖像目標檢測場景，對工業界目前流行的兩階段Faster RCNN、Cascade RCNN 和一階段YOLOV5、PPYOLO 算法在空開熔絲檢測場景進行應用研究。在空開熔絲檢測場景數據集上，YOLOV5、PPYOLO 的Fps 優于Faster RCNN、Cascade RCNN；YOLOV5 和PPYOLO通過有效的tricks 組合平衡目標檢測器的性能以及速度后，大幅度提高了檢測的均值平均精度mAP，在本數據集上的表現甚至略優于Faster RCNN、Cascade RCNN。雖然本實驗受限特征數據集（標注質量、目標大小、目標類別等）、模型自身tricks 和硬件條件等因素的影響，不能完全橫向的比較四種算法效果，但實驗效果上還是能為后續的工程質檢場景提供基礎的參考依據，比如mAP 提升、訓練速度、推理速度、模型穩定性等。