基于卷積神經網絡的預制疊合板多目標智能化檢測方法

姚剛 ,廖港 ,楊陽 ,李青澤 ,魏伏佳

（1.重慶大學 山地城鎮建設與新技術教育部重點實驗室；土木工程學院，重慶 400045；2.中機中聯工程有限公司，重慶 400050）

近年來，裝配式建筑發展迅速，2016 年中國新開工裝配式建筑面積1.1×109m2，2020 年增長至6.3×109m2[1]，年平均增長率55.4%。預制構件作為裝配式建筑的基本部件，其生產過程中的質量控制對提高裝配式建筑質量具有重要意義[2-4]。預制疊合板作為目前使用廣泛的預制構件，構造簡單，施工便捷，被廣泛應用于各類裝配式住宅體系[5-7]。

裝配式建筑施工過程中，尺寸不合格的預制疊合板需返廠，不僅造成材料浪費、成本增加，還直接影響現場安裝進度[8]。目前，預制構件廠進行預制疊合板尺寸檢測主要采用人工鋼尺抽查的方法，人工投入量大，檢測速度及精度低，存在漏檢的現象。因此，發展非接觸式預制疊合板智能化檢測方法，對于加快速度、提高精度及降低成本具有重要的現實意義。在非接觸式檢測上，已有部分學者使用激光掃描技術來檢測構件尺寸[9-11]，并通過實際項目建立檢測與評估系統[12]。激光掃描由于需要后期處理數據并生成影像圖，檢測結果反饋較慢，且對于移動目標檢測效果不佳，在工業化的流水線生產中應用受限。

基于計算機視覺，有學者通過Canny 邊緣檢測算子開展成品預制構件的尺寸檢測研究[13]，實現大尺度構件的尺寸檢測，但是，在實際操作中需要人工設定閾值，泛化能力較低，且對于邊緣較為模糊的小尺度構件檢測精度受限。隨著人工智能技術的發展，智能化檢測方法在土木工程領域獲得廣泛應用[14-15]。其中，卷積神經網絡通過大量的訓練數據提取待檢測目標的深層次特征，并采用多尺度特征融合的結構以適應不同尺度的檢測目標，具備強大的特征提取能力及泛化能力[16]。有學者借助卷積神經網絡算法，通過優化VGG16 識別網絡研究建筑物門窗等構件的分類問題[17]，通過DeepLabv3+語義分割算法實現像素級別的混凝土構件表觀裂縫檢測[18-20]與氣泡缺陷檢測[21]。目前，智能化檢測的研究大多針對使用階段的構件，進行健康監測及損傷檢查[22]，針對生產過程中的預制構件進行尺寸檢測的研究較少。

筆者基于卷積神經網絡算法，研究生產流水線上預制構件的數量及尺寸檢測。以預制疊合板為例，進行混凝土底板數量和尺寸、預埋件數量和坐標，以及彎折方向不合格的外伸鋼筋檢測研究，并以固定磁盒作為基準參照物進行尺寸檢測誤差分析，實現非接觸式預制疊合板多目標智能化檢測，降低預制構件廠的人工成本，提高檢測精度，加快檢測速度。

1 預制疊合板多目標檢測系統

1.1 多目標檢測系統原理

目標檢測技術發展較迅速，其主要目的是在圖像中精確標定被檢測物體的類別及位置[23]。而多目標檢測技術主要是針對圖像中存在多個待檢測目標的情況，需要提取不同目標的外觀、尺寸等特征，將其嚴格地與背景或其他目標分離開來。相較于單一目標檢測，多目標檢測存在不同目標間互相干擾、遮擋等問題，檢測過程中的參數規模大，對硬件要求高[24]。

借助智能化檢測的手段，通過圖像實現對生產線上所有預制疊合板的多目標檢測，提高構件生產合格率。多目標檢測內容包括：預制疊合板底板、預埋線盒及不合格外伸鋼筋3 類。通過設計預制疊合板多目標檢測系統，并引入基準參照物，進行預制疊合板尺寸檢測誤差分析，實現在生產過程中檢測混凝土底板數量和尺寸，預埋線盒數量和坐標，以及外伸鋼筋的彎折方向，實現多目標智能化檢測。預制疊合板多目標檢測系統原理如圖1 所示。

圖1 預制疊合板多目標檢測系統原理Fig.1 Principle of multi-target detection system for prefabricated laminated board

1.2 基于卷積神經網絡的目標檢測算法

基于卷積神經網絡的目標檢測算法相比人工構造特征的傳統目標檢測算法，可以自動提取特征，具有泛化能力強、魯棒性強的優點。常見的基于卷積神經網絡的目標檢測算法有兩類，基于候選區域與基于回歸的目標檢測算法[25]。基于候選區域的目標檢測算法通過在圖像樣本中生成待檢測候選區域，隨后對待檢測區域中的目標進行特征提取并加以識別，以R-CNN(Region with CNN features)[26]、SPP-Net(Spatial Pyramid Pooling)[27]等系列為代表，目標檢測精度較高，但需計算候選區域，檢測速度較慢。基于回歸的目標檢測算法通過直接對圖像進行全局處理，避免候選區域的計算過程，檢測速度大大提升，以YOLO(You Only Look Once)[28]、SSD(Single Shot Multibox Detector)[29]等系列為代表，在對檢測速度有要求的領域（如實時監測）獲得廣泛應用。

其中，YOLO 系列作為兼顧檢測速度與精度的目標檢測算法，可以實現輕量化、多尺度的目標檢測。YOLOv5 作為該系列最新的目標檢測算法模型，與上一版本相比，大幅提高了檢測速度，在基準數據集下圖像推理速度最快達到140fps（每秒處理140 幀圖像）[30]，可以滿足預制構件廠流水生產線上對預制疊合板檢測速度的要求。因此，基于YOLOv5 算法，建立預制疊合板多目標檢測系統，圖2 所示為其網絡模型結構。

圖2 YOLOv5 網絡模型結構Fig.2 YOLOv5 network model structure

神經網絡的輸入圖像經過Input、Backbone、Neck、Prediction 4 個模塊后得到預測錨框，錨框標示出待檢測目標（預制疊合板底板、預埋PVC 線盒及外伸鋼筋）的類別及位置。

Input 模塊主要對輸入的圖像進行預處理，本研究中原始圖像像素為5 472×3 648，預處理階段通過letterbox 方法對輸入圖像自適應添加最少的黑邊，并將尺寸縮放為640×640，大幅減少計算量，提高檢測速度。

Backbone 模塊通過Focus 結構進行切片操作，將640×640×3 的輸入圖像轉換為320×320×12的特征圖，并經過卷積操作得到320×320×64 的特征圖。隨后通過CSP 結構對權重參數的梯度變化情況進行傳遞。Neck 模塊部分通過上采樣的方式，融合傳輸不同層次特征圖的信息，并通過構造特征金字塔自上而下地提取強語義特征，將其傳送至Prediction 模塊。Prediction 模塊作為算法網絡的輸出端，采用LGIoU作為預測錨框的損失函數，其數學表達式為

式中：AC為預測錨框與真實錨框的最小外包面積，I為預測錨框與真實錨框的交集，U為預測錨框與真實錨框的并集，如圖3 所示。

圖3 交并比Fig.3 Intersection of union

LGIoU損失函數通過增強神經網絡對于不同錨框相交尺度的判斷方式，解決預測錨框與真實錨框不重合的優化問題，提高損失函數的收斂性能，提升模型的檢測速度。

神經網絡的訓練過程中，當預測錨框與真實錨框的交并比大于規定閾值（通常取0.5）時，認為該檢測結果是正樣本，反之為負樣本。訓練結束后，通過統計檢測結果的正、負樣本數量，通過混淆矩陣計算精度與召回率，并將其作為判斷訓練效果的主要依據，混淆矩陣如表1 所示。

表1 混淆矩陣Table 1 Confusion matrix

精度P為判斷檢測準確率的依據，其數學表達式為

式中：TP 檢測結果為正樣本，同時，其真實的標簽也為正樣本，檢測正確；FP 檢測結果為正樣本，但是真實的標簽為負樣本，出現檢測錯誤。

召回率R為判斷查全率的依據，其數學表達式為

式中：FN 真實標簽為正樣本，但是檢測結果為負樣本，表示出現漏檢。

在實際檢測過程中，往往同時包含多類檢測目標，因此，常采用平均精度PA作為全部檢測目標在數據集上檢測精度的判斷依據，其數學表達式為

式中：C代表測試集中的樣本類別數；Pj為第j類目標檢測過程中平均精確度，使用精度-召回率曲線的面積進行計算，等式右側為其積分表達形式。

1.3 圖像采集系統設計

預制疊合板的出廠尺寸檢查形式為人工鋼尺抽查，內容包括混凝土底板尺寸、預埋件位置及外伸鋼筋彎折方向。經抽樣檢查不合格的預制疊合板需銷毀，并重新下料生產，造成人力物力的浪費。

借助卷積神經網絡算法，通過圖像實現對預制疊合板的非接觸式尺寸檢測，避免傳統的接觸式鋼尺檢測對生產流水線的影響。研究過程中，針對預制構件廠生產流水線的實際條件，設計圖像采集系統。圖像采集系統如圖4 所示，由支架、云臺、工業相機、光源及圖像檢測終端組成。傳送系統通過電動機驅動的滾輪運輸模臺，模臺攜帶預制疊合板通過支架下方，兩臺LED 光源設備提供穩定的環境光照亮預制疊合板的細部構造。三維云臺具備角度、俯仰的姿態調整功能，為工業相機提供靈活、穩定的拍攝條件。工業相機對通過的預制疊合板進行圖像采集，并將圖像傳送至檢測終端。

圖像采集系統設計過程中，為保證獲取所需圖像的全部特征信息，需計算工業相機拍攝高度。工業相機焦距f計算公式為

式中：焦距f為16 mm；D為工業相機至預制疊合板的距離；L、W為預制疊合板實際長度和寬度，最大為3 500、2 800 mm；l、w為工業相機感光元件的長度和寬度，分別為12.8、9.6 mm。為保證疊合板全部處于拍攝范圍內，考慮預制疊合板放置方向的最不利情況，即預制疊合板長度方向沿感光元件的寬度方向放置，并在兩側各預留500 mm 余量，預制疊合板距地面高度h為500 mm。由此計算工業相機拍攝高度H

經調焦及拍攝測試，確定工業相機拍攝高度H為8 000 mm。采集得到518 張預制疊合板圖像，單張圖像分辨率5 472×3 648，采集圖片時，盡量保證每塊疊合板位于圖片中央位置，使得成像清晰無暗角。部分圖像如圖5 所示，圖5（a）為單張圖片包含一塊疊合板，圖5（b）為單張圖像同時包含兩塊疊合板。研究過程中，通過增加圖片中目標數量，可以增強神經網絡在復雜環境下的檢測效果。

2 基于卷積神經網絡的多目標識別

2.1 圖像樣本數據集建立

為了增強神經網絡的泛化能力，防止出現訓練過擬合的現象，考慮對原始圖像進行樣本擴充。研究過程中通過Opencv 組件對圖像進行旋轉、水平翻轉、噪聲擾動和顏色轉換，以提高神經網絡對不同方向、不同光線下預制疊合板圖像的適應性，如圖6所示。518 張預制疊合板圖像經過樣本擴充，得到總數為2 072 張圖像的數據集，其中共包括預制疊合板3 156 塊，預埋PVC 線盒6 284 個。

圖6 圖像數據集樣本擴充Fig.6 Sample expansion of image date set

由于外伸鋼筋在豎向平面內進行彎折，若產生過大平面外彎折，則視為不合格外伸鋼筋。為統一外伸鋼筋平面外彎折的評價標準，通過BIM 系列軟件Autodesk Revit 對預制疊合板進行建模，并使用Revit 軟件的圖像渲染引擎模擬拍攝時的幾何投影關系，如圖7（a）、（b）所示。邊緣處的外伸鋼筋在拍攝投影過程中會由于拍攝偏角產生平面外的彎折，且鋼筋位置越偏離畫面中央，平面外彎折程度越明顯。預制疊合板長邊尺寸為L，故在標注過程中，取模擬圖像中距離畫面中央L/2 處外伸鋼筋的彎折程度為合格標準。在示例中L最大為3 500 mm，取L/2=1 750 mm 處的外伸鋼筋為合格標準，大于該彎折程度的，判斷為不合格外伸鋼筋，需對其進行標注，如圖7（c）所示。

圖7 外伸鋼筋BIM 模擬Fig.7 BIM simulation of overhanging steel bars

使用標注軟件labelme 對待檢測目標進行標注，包括預制疊合板底板、預埋PVC 線盒及不合格外伸鋼筋，如圖8 所示。為保證后期預埋PVC 線盒定位精確，圖8 中針對預埋PVC 線盒中部的八角盒部分進行標注。

圖8 待檢測目標標注Fig.8 The label of the target to be detected

2.2 訓練過程及結果分析

為了保證訓練過程中數據分布的一致性，避免因數據劃分引入偏差而對最終結果產生影響，將2 072張原始圖片按照70%與30%的比例隨機劃分為訓練集與測試集。其中訓練集用于訓練神經網絡各層的權重參數，測試集用于測試訓練結果的準確性。采用Ubuntu 操作系統，Intel(R) Xeon(R) Gold 6142 @ 2.60 GHz CPU，Tesla V100-FHHL-16 G 顯卡進行訓練。通過預訓練進行超參數調整，以加快模型訓練速度，最終選擇訓練批次大小為32，學習率0.001，最大迭代次數7 000 次。

使用TensorBoard 獲得迭代訓練日志，繪制訓練過程中損失函數曲線如圖9（a）所示，平均精度曲線如圖9（b）所示。

圖9 訓練損失函數及精度曲線Fig.9 Loss function and average precision curve

迭代到1 000 次后，損失函數開始呈現收斂趨勢，迭代至7 000 次時，損失函數曲線已不再明顯波動，損失函數值穩定在0.13 左右。預制疊合板底板平均精度穩定在99.10%，預埋線盒平均精度穩定在98.00%，彎折方向不合格的外伸鋼筋平均精度穩定在87.20%。隨著權重參數的迭代，損失函數與平均精度不再變化，保存神經網絡訓練過程中實際最優的權重參數。

使用最優權重參數對測試集圖像進行測試，單張圖像檢測時間少于40 ms，且可以實現30 fps 的視頻檢測，滿足預制構件廠生產流水線檢測的速度需求。圖像檢測結果如圖10 所示，預制疊合板混凝土底板及預埋PVC 線盒檢測效果好，錨框可以精確地表示混凝土底板及預埋PVC 線盒的數量及位置，且在一張圖像同時包含兩塊疊合板的情況下，也可以順利完成檢測。測試集上多目標檢測平均精度為94.10%，召回率為96.40%。其中，預制疊合板底板平均精度達到99.60%，預埋線盒平均精度97.20%，彎折方向不合格的外伸鋼筋平均精度83.20%。測試集的結果表明，通過訓練后的神經網絡對預制疊合板檢測具有速度快，精度高的優勢。

圖10 多目標檢測結果Fig.10 Multi-target detection results

3 預制疊合板尺寸檢測結果分析

3.1 基準參照物選取

固定磁盒在預制構件的生產過程中被用于固定模具，其型號尺寸統一，通用性強，是預制構件生產過程中的必要組件，如圖11 所示。以固定磁盒作為基準參照物，計算預制疊合板的混凝土底板尺寸和預埋PVC 線盒的坐標信息，并進行尺寸檢測誤差分析。

圖11 SX-1000B 固定磁盒Fig.11 SX-1000B fixed magnetic box

使用Camera Measure 作為測量工具，從不同的圖像中選取100 個靠近畫面中央且無遮擋的固定磁盒，測量其長邊尺寸，如圖12 所示。

圖12 Camera Measure 測量過程Fig.12 Camera Measure measurement process

對測量結果繪制箱型圖，如圖13 所示，固定磁盒在圖片中的最小測量值為226.042 px，最大值為226.992 px，平均值為226.487 px。實際長度與像素長度的轉換系數D計算公式為

圖13 固定磁盒測量結果Fig.13 Fixed magnetic box measurement results

式中：lr為固定磁盒標準長邊的實際長度；lm為固定磁盒在圖像中的平均像素長度。根據固定磁盒型號，其實際長度lr為200 mm，像素長度lm為226.487px。則轉換系數D為0.883。通過選取固定磁盒作為基準參照物，實現圖片尺寸到實際尺寸的檢測誤差分析。

3.2 尺寸檢測誤差分析

利用Opencv 模塊加載預制疊合板檢測網絡，對圖像進一步處理得到各檢測目標的錨框尺寸及中心點坐標，信息提取過程如圖14 所示。

圖14 檢測錨框信息提取過程Fig.14 Anchor frame information extraction process

將檢測數據通過轉換系數D進行尺寸檢測數據分析，得到最終的混凝土底板尺寸和預埋PVC 線盒的坐標信息，并計算誤差。其中，預制疊合板底板尺寸檢測誤差ρd考慮長寬方向相對誤差

式中：L、W為長度及寬度方向的尺寸，ΔL;ΔW為長度及寬度方向的絕對誤差值。設定預制疊合板底板最左上角頂點為坐標原點，圖像水平為x軸，豎向為y軸，預埋PVC 線盒坐標檢測誤差ρh為實際坐標至檢測坐標的距離

式中：Δx、Δy為預埋線盒坐標的絕對誤差值。隨機選取100 塊預制疊合板底板，測量其實際尺寸，并按照式（8）計算混凝土底板尺寸檢測誤差ρd，結果如圖15（a）所示。選取的疊合板中包含預埋PVC 線盒186 個，通過測量其實際坐標，按照式（9）計算預埋線盒坐標檢測誤差ρh，如圖15（b）所示。

圖15 疊合板檢測誤差結果Fig.15 Inspection error result of laminated board

通過預制疊合板混凝土底板尺寸及預埋線盒坐標檢測誤差分析，混凝土底板尺寸檢測平均誤差0.53%，最大誤差0.68%；預埋PVC 線盒坐標檢測平均誤差11.90 mm，最大誤差15.61 mm。

4 結論

結合預制構件廠的實際生產需求，通過YOLOv5 目標檢測算法，實現了基于卷積神經網絡的預制疊合板多目標智能化檢測。

1）在預制疊合板生產線上建立了預制構件多目標檢測系統，可以在混凝土初凝前發現不合格預制疊合板構件，并及時進行處理，提高構件的合格率，避免二次生產造成的材料、人力浪費。

2）通過拍攝圖像實現了多目標同時檢測，單張圖像即可完成混凝土底板數量及尺寸檢測，預埋線盒數量及坐標檢測，彎折方向不合格的外伸鋼筋檢測。檢測速度快，單張圖像檢測時間少于40 ms，可以滿足生產流水線實時檢測需求。

3）以固定磁盒作為基準參照物進行檢測誤差分析，可以在降低訓練數據集參數規模的工況下保持較高的識別精度。

4）混凝土底板、預埋PVC 線盒、外伸鋼筋等3種目標的識別精度上，對混凝土底板識別最精準。其中底板數量檢測平均精度99.60%，尺寸檢測平均誤差0.53%；預埋PVC 線盒數量檢測平均精度97.20%，坐標檢測平均誤差11.90 mm；彎折方向不合格的外伸鋼筋檢測平均精度83.20%。