基于YOLOv5 目標檢測模型和視覺的垂直位移測量方法

周學友，王西苑，劉永暢，劉亞文，覃 磊*

（1.中國南水北調集團中線有限公司渠首分公司，河南 南陽 473132；2.武漢大學遙 感信息工程學院，湖北 武漢 430079）

視覺位移測量可分為基于單目、雙目和多目視覺的位移測量方式，由于單目視覺位移測量方式僅需要一臺相機進行拍攝，視角相對較大，可采集到的數據點分布廣泛，且計算簡單方便，更適用于實時監測。文獻[1-2]提出將平面棋盤格靶標和PnP 算法相結合，建立了一套單目視覺測量方法,用于結構位移的非接觸測量。文獻[3]提出一種基于組合特征圖案的單目視覺三維振動測量方法，采用單目相機對圓形和正弦條紋組合圖案進行連續成像，實現結構三維振動的同步測量。文獻[4]則通過在復雜地下交通樞紐工程位移檢測中對比機器視覺和測量機器人2 種方法，驗證了機器視覺技術在測量實時性、自動化程度和成本方面均有優勢。單目視覺位移測量主要包括相機檢校、標志物特征提取、特征跟蹤和位移計算4 個步驟，其中現有研究中標志物興趣區域（ROI）的提取主要采用人工方法，位移測量過程中CCD 相機架設的觀察點多為測量目標之外的固定點。但對于重力壩內部廊道、涵洞等封閉區間建筑物位移監測，觀測點本身在測量目標內，即觀測點為動點。為此，本文提出基于YOLOv5 目標檢測模型和視覺的封閉空間建筑物垂直位移測量方法，可實現標志物ROI 自動檢測與跟蹤，同時能夠滿足觀測點布設在封閉建筑物區域內的垂直位移高精度測量。

1 基于視覺的垂直位移測量方法

本文提出基于YOLOv5 目標檢測模型和視覺的封閉空間建筑物垂直位移測量方法，主要包括基于YOLOv5模型的標志物提取、定位及基于視覺的垂直位移測量三部分。首先利用YOLOv5 目標檢測模型提取影像上標志物興趣區域ROI，然后在ROI 內進行圖像預處理，canny 算子邊緣提取及邊緣點擬合橢圓提取圓心，最后考慮觀測點為動點狀態下，將相鄰幀間標志物圓心像素變化轉化的垂直位移值，實現封閉區間建筑物位移監測。

2 標志物感興趣區域提取與定位

2.1 基于YOLOv5模型的標志物提取

封閉空間建筑物影像灰度對比度低，紋理匱乏，不易提取特征點。為提高監測精度，需要設計標志物作為監測點。圓形標志物形狀簡單，且在圖像處理中易于識別，考慮到弱光線的封閉空間環境，設計標志物背景色為黑色，標志物為4 個白色圓形的排列。

標志物通常在圖像中所占區域不大，為了減少計算量，可將標注物所在的區域即感興趣區域ROI提取出來，后續的標志物定位和跟蹤可以在標志物ROI 內進行。傳統方法采用人工框選標志物ROI，隨著深度學習模型的發展，卷積神經網絡在目標檢測方面取得了出色的表現，本文采用單階段YOLOv5 目標檢測模型識別與提取標志物ROI[5]。YOLOv5 對標志物的識別與提取過程為，首先輸入端對圖像進行預處理，并進行自適應錨框計算；然后主干網絡在不同圖像細粒度上聚合，提取3 種尺度的特征圖；再次特征融合模塊使用空間金字塔池化結構（spatial pyramid pooling，SPP）進行特征融合，將新得到的特征圖通過路徑融合網絡（path aggregation network，PANet）進行特征傳遞，進一步融合特征；最后輸出端對圖像特征進行預測，生成邊界框并預測類別[6]。

2.2 基于橢圓擬合的標志物圓心定位

YOLOv5 模型檢測的標志物ROI，先要經過圖像灰度化、中值濾波和大津法二值化等圖像預處理，然后利用canny 算子進行邊緣提取及邊緣點擬合橢圓，最后得到橢圓圓心。

標志物的圓心定位是后續算法計算目標分辨率和標志物像素位移的關鍵，其定位的精度是影響垂直位移測量精度的重要因素之一。常用的亞像素定位方法有灰度重心法和橢圓擬合方法[7-8]，灰度重心法在標志物變形較大時，提取的重心會偏離圓心，本文采用橢圓擬合法進行標志物圓心提取。公式（1）為橢圓方程，方程包含A、B、C、D、E5 個未知數，當邊緣像素點個數N≥5 時，按照最小二乘平差求得方程系數后，根據公式（2），可得到橢圓圓心[9]。圖1所示為標志物圓心定位的過程。

圖1 圓心定位

本文標志物為4 個排列的圓，將4 個圓心的平均值作為最終標志物的圓心，用于后續相鄰幀間像素位移值計算。

3 基于視覺的垂直位移測量

3.1 目標分辨率

目標分辨率（K，mm/pixel)為確定像素長度與實際物理長度之間的關系，本文采用的目標分辨率的計算方法為位移標定法[7]，位移標定法為使標志物于成像系統中橫向或豎向產生位移，計算圖像中標志物發生位移時圓心矩像素位移值Lh與圓心矩已知物理位移值LH之間的比例系數。

3.2 相鄰幀間標志物跟蹤

位移監測是對不同時刻標志物位置坐標的變化進行分析，因此需要跟蹤相鄰幀標志物在圖像中的位置。常用的目標跟蹤算法有模板匹配算法、特征點匹配和光流法等[10]，本文采用標志物ROI 鄰近跟蹤法。對當前幀中任一標志物ROI，可以獲得其外接矩形框坐標，在相鄰幀上搜索與該目標標志物ROI外接矩形框距離最近的標志物ROI，即為跟蹤的同名標志物ROI，如圖2 所示（圖2 中紅色矩形框為目標標志物ROI在相鄰幀圖像上的投影）。

圖2 鄰近法

圖3 標志物檢測結果

3.3 標志物垂直位移計算

當CCD相機水平，安置在固定觀測點，且標志物豎直情況下，不同時刻的同名標志物圓心y坐標差值和目標分辨率的乘積即為該標志物垂直位移，如式（4）所示。

如果觀測點為動點，則任一標志物的垂直位移均要除去安置在觀測點上CCD相機的垂直位移?d。

這種情況下，CCD相機獲取監測點上標志物影像時，需要包含一個基準點（不動點）。基準點上標志物圓心在不同時刻的y坐標差值，根據目標分辨率可以轉化為對應的垂直位移值?d，該值即為觀測點上CCD相機的垂直位移。

4 實驗與分析

4.1 圓形標志物ROI提取與定位實驗

YOLOv5 網絡模型訓練的數據集采用程序合成方式生成，背景圖像一部分來源真實大壩廊道影像，一部分取自礦井圖像數據集oivio Dataset[19]，共404 幅。將標志物模板進行旋轉、縮放、平移等操作后形成不同大小和變形后的標志物模版，并隨機附加到背景圖像上，記錄對應的標志物模版外接框坐標范圍。模型訓練過程中，訓練集290 張，驗證集114 張，檢測的結果顯示實驗中標志物均被檢測出，沒有出現遺漏。

分別采用重心法和橢圓擬合法對標志物圓心定位，實驗結果表明二者計算得到的標志物中心坐標差異并不大，通常小于1個像素，如圖4a所示，綠色十字標志代表灰度重心法的結果，紅色十字標志代表最小二乘橢圓擬合法的結果。但是，對于遮擋導致標志物邊緣提取不完整情況下，使用最小二乘橢圓擬合法提取的圓心更準確，如圖4b所示。

圖4 標志物圓心定位對比

4.2 標志物垂直位移測量實驗

本文實驗包括兩部分，實驗一為不同目標分辨率標定方法及CCD相機是否固定對標志物垂直位移精度的影響，實驗二為實際場景下目標垂直位移監測。

實驗一的數據采集設備主要由CCD相機、垂直移動平臺、計算機和高度尺（分辨率為0.01 mm）組成。為了能夠獲得標志物移動真值，將標志物安置在垂直移動平臺上，通過轉動上升螺旋調整標志物的位移，高度尺顯示位移數值。CCD相機水平放置，分別上升垂直移動平臺到不同高度，獲取標志物影像，影像大小為1 944×2 592像素。

目標分辨率還可以用尺寸標定法和比例尺標定法，尺寸標定為影像上標志物圓的直徑與實際標志物圓直徑之比，比例尺標定法為焦距與CCD相機到標志物的垂直距離之比。表1和表2分別為CCD相機安置在固定和移動觀測點情況下的垂直位移測量結果，選用平均誤差和中誤差作為精度評價指標。表1和表2可以看出：①位移標定法測得的標志物垂直位移精度最高。②CCD相機固定時較移動情況下垂直位移測量精度高。

表1 CCD相機安置在固定觀測點的垂直位移測量/mm

表2 CCD相機安置在移動觀測點的垂直位移測量/mm

實驗二為室內實習場橫梁垂直位移測量。如圖5所示，橫梁固定在實習場屋頂上方，掛件懸掛在橫梁中部，通過升降可調整其高度，升降的震動會引起橫梁垂直方向產生位移。以掛件為中心，在橫梁左右方向上各布設2 個標志物，CCD 相機水平架設在支架上。距離橫梁5 m 左右，通過遙控器控制掛件進行升降，CCD 相機連續獲取橫梁影像。表3 為橫梁上標志點不同時刻的垂直位移測量值。

表3 不同時刻橫梁標志點垂直位移/mm

圖5 橫梁垂直位移數據采集

從表3可知，掛件上下升降，對橫梁產生向下的位移總體上是比較小的，最大垂直位移不超過0.21 mm。掛件升降狀態不同，對橫梁不同位置產生的垂直位移是不同的，標志點3 在整個過程產生的垂直位移平均幅度最小，標志點1 和2 垂直位移起伏較大，且呈負相關。

5 結 語

基于視覺的結構位移測量方法以其高效、便捷和高精度的優勢在工程項目中得到了廣泛的應用。本文提出基于YOLOv5 目標檢測模型和視覺的封閉空間建筑物垂直位移測量方法，適用于重力壩內部廊道、涵洞等密閉空間的垂直位移監測。該方法利用YOLOv5 目標檢測模型實現了標志物ROI 區域的自動提取，采用最小橢圓擬合檢測標志物圓心，通過最鄰近法尋找相鄰幀同名標志物ROI，并將同名標志物像素位移轉化為實際的垂直位移量。實驗設計了不同目標分辨率標定方法及安置CCD 相機的觀測點狀態對垂直位移測量精度的影響，結果表明位移標定法測得的標志物垂直位移精度最高，CCD 相機安置在固定觀測點垂直位移測量精度更高。同時，將本文方法應用到真實場景-室內實習場橫梁垂直位移測量，實驗證明了該方法可以監測到橫梁微小的垂直位移。