基于YOLOv5 的起重機制動下滑量測量系統(tǒng)設(shè)計*

肖號迪 吳峰崎 劉 龍 胡佳偉

1 上海海事大學(xué)物流工程學(xué)院 上海 200240 2 上海市特種設(shè)備監(jiān)督檢驗技術(shù)研究院 上海 200062

0 引言

起重機制動環(huán)節(jié)在起重機起升系統(tǒng)中起著非常重要作用，制動性能直接影響著整個系統(tǒng)的安全運作和可靠性，而制動下滑量是衡量制動性能的重要標(biāo)準(zhǔn)，故對于制動下滑量的檢測非常有必要。

在起重機啟動制動后，吊鉤受到自重及載重的影響，在重力和加速度的作用下不能馬上靜止不動，會持續(xù)向下滑動一段距離，這段距離就是制動下滑量[1，2]。目前常見的方法有目測法、行程開關(guān)控制的檢測方法、加速度傳感器測量、激光測量下滑量法等，對此業(yè)內(nèi)同仁已有研究。

楊陽等[3]提出了一種通過主動向控制器提供制動信號來檢測起重機制動點的新方法，通過多次實驗測試數(shù)據(jù)比較穩(wěn)定，誤差小于1 mm；王鵬飛[4]利用MEMS 技術(shù)和制動滑動距離檢測理論設(shè)計了檢測系統(tǒng)，并通過動態(tài)仿真得出計算值與激光位移傳感器誤差在0.5 mm 以內(nèi)；范麗麗等[5]通過比較線控開關(guān)法和計算分析法發(fā)現(xiàn)起重機制動器測試儀的性能更準(zhǔn)確；王小翼[6]設(shè)計了一個由霍爾傳感器和數(shù)據(jù)采集軟件組成的制動滑動距離檢測系統(tǒng)進(jìn)行反復(fù)測量，可減少重復(fù)檢測的工作量，其精度約為1 mm；祝金鳳等[7]利用激光測距儀檢測起重機的制動距離，通過積分?jǐn)M合的方法得到運動位移和速度曲線，通過多次測量實現(xiàn)了結(jié)果的高度一致性，精度可達(dá)1 mm。

上述測量方法需要特定的機械結(jié)構(gòu)和控制電路，多數(shù)情況下需要搭建輔助測量平臺，且進(jìn)行復(fù)雜的安裝準(zhǔn)備工作。即使是理論上可行的測量方案，在實際野外作業(yè)中也可能遇到難以預(yù)料的困難和障礙。盡管一些方法可以用來檢測特定環(huán)境的性能，但其并不適用于復(fù)雜多變的施工環(huán)境，故需定期進(jìn)行檢測以確保安全和可靠的結(jié)果。

若使用下滑量檢測系統(tǒng)進(jìn)行檢測，則只需拍攝制動視頻即可完成下滑量測量，避免了搭建復(fù)雜的測量平臺，更適用于復(fù)雜多變的施工環(huán)境。因此，本文采用基于YOLOv5 目標(biāo)檢測方法，設(shè)計了一種操作簡單、安全性高、測量精度高的檢測系統(tǒng)。

1 YOLOv5 算法

YOLOv5 網(wǎng)絡(luò)結(jié)構(gòu)[8]根據(jù)其功能可分為輸入端、Backbone 網(wǎng)絡(luò)部分、Neck 網(wǎng)絡(luò)部分和輸出端4 部分[9]。在輸入端，使用Mosaic 數(shù)據(jù)增強方式[10]提升模型準(zhǔn)確率，通過隨機縮放、裁剪和排布圖像，然后將多張圖像拼接在一起作為輸出；Backbone 層主要由Focus 結(jié)構(gòu)和CSP 結(jié)構(gòu)組成，F(xiàn)ocus 結(jié)構(gòu)是網(wǎng)絡(luò)中的第1 層，其作用是對輸入特征圖進(jìn)行采樣，將1 個輸入特征圖劃分為4 個子圖，并通過通道對這4 個子圖進(jìn)行連接，以此得到1 個更小的特征圖；CSP 結(jié)構(gòu)用于構(gòu)建骨干網(wǎng)絡(luò)（Backbone），主要作用是將輸入的特征圖分為2 部分，一部分送入小的卷積網(wǎng)絡(luò)進(jìn)行處理，另一部分無需處理即直接進(jìn)入下一層，最后將這2 部分特征圖拼接起來作為下一層的輸出；Next 層是在骨干網(wǎng)絡(luò)基礎(chǔ)上加入中間特征提取網(wǎng)絡(luò)，再對不同層次的特征進(jìn)行融合；YOLOv5 輸出端可以輸出圖像中目標(biāo)的位置、大小以及類別等信息。

2 基于YOLOv5 的坐標(biāo)提取算法研究

如圖1 所示，起重機制動下滑量測量原理為：首先在重物上粘貼標(biāo)志點，拍攝起重機制動視頻，對視頻進(jìn)行分幀，通過目標(biāo)檢測算法準(zhǔn)確識別視頻中標(biāo)志點，并進(jìn)行輪廓提取及橢圓擬合得到每個標(biāo)志點坐標(biāo)，對視頻中每個標(biāo)志點坐標(biāo)變化得到制動開始幀及制動結(jié)束幀，通過這2 幀標(biāo)志點坐標(biāo)變化得到起重機制動下滑量的數(shù)據(jù)。

圖1 下滑量測量原理圖

YOLOv5 作為一種目標(biāo)檢測算法，具有檢測速度快、準(zhǔn)確率穩(wěn)定等特點，方便對檢測后標(biāo)志點進(jìn)行輪廓提取及坐標(biāo)顯示，故本實驗使用YOLOv5對標(biāo)志點進(jìn)行識別。通過YOLOv5 對標(biāo)志點進(jìn)行識別并對識別后的圖像提取其中心坐標(biāo)過程如圖2 所示。

圖2 標(biāo)志點識別及中心坐標(biāo)提取流程圖

1）拍攝視頻 通過相機拍攝起重機制動過程中已粘貼標(biāo)志點的吊物的運行視頻。

2）視頻分幀處理 通過YOLOv5 對拍攝出的視頻進(jìn)行分幀，并保存分幀圖片。

3）自建數(shù)據(jù)集 建立分幀后的視頻進(jìn)行數(shù)據(jù)集，分成訓(xùn)練集和驗證集，為機器學(xué)習(xí)做準(zhǔn)備。

4）數(shù)據(jù)集圖像擴充[16]在本次實驗中，分幀后的圖片數(shù)量有限，為了更好地進(jìn)行機器學(xué)習(xí)，有必要對數(shù)據(jù)集圖片進(jìn)行擴充。擴充數(shù)據(jù)集的方法是通過數(shù)據(jù)增強以增加數(shù)據(jù)集樣本空間的多樣性，通過使用仿射變換和顏色抖動等數(shù)據(jù)增強技術(shù)，計算機可生成大量數(shù)據(jù)，有助于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)更多圖像特征并提高模型性能。

5）數(shù)據(jù)集標(biāo)注與劃分 在目標(biāo)物體檢測領(lǐng)域，通常訓(xùn)練神經(jīng)網(wǎng)絡(luò)是通過圖像標(biāo)注識別已知物體的，LabelImg 軟件被用來注釋標(biāo)簽的位置，圖像標(biāo)注如圖3所示。

圖3 圖像標(biāo)注

6）使用YOLOv5s 模型對數(shù)據(jù)集進(jìn)行深度學(xué)習(xí)，從而準(zhǔn)確識別標(biāo)志點。

7）進(jìn)行標(biāo)志點圖像識別，從圖像中提取特定的標(biāo)志點[17，18]，利用擬合技術(shù)準(zhǔn)確定位出該標(biāo)志點的中心位置，以便對中心坐標(biāo)進(jìn)行匹配。本文使用FindContours函數(shù)提取標(biāo)志點外輪廓，并用橢圓擬合法[19]得到標(biāo)志點圓心坐標(biāo)，并得到橢圓擬合的像素半徑，圓心識別結(jié)果如圖4 所示。

圖4 橢圓擬合圓心坐標(biāo)示意圖

3 改進(jìn)的特征點匹配方式

3.1 傳統(tǒng)歐式距離匹配方法

特征點匹配是對提取到的特征點進(jìn)行一對一正確匹配，本文通過YoLov5 目標(biāo)檢測后提取到的特征點，減少環(huán)境的影響能準(zhǔn)確地檢測出每一幀圖像上的5 個特征點，并計算其歐氏距離[20]，特征點匹配是將特征點一一對應(yīng)。記模板圖像中特征點集合為A＝｛Si｝，i＝（1，2，3，…，m）；目標(biāo)圖像特征點集合記為B＝｛ti｝，i＝（1，2，3，…，n），m、n分別記作模板圖和目標(biāo)圖特征點數(shù)，計算2 集合內(nèi)特征點間的最小距離和次最小距離，設(shè)置比例Q進(jìn)行界定，設(shè)定閾值Tq，使Q低于Tq，則視為配對正確，其原理如圖5 所示。從圖5 中可以看出，只有一個距離最短的限制，還是會出現(xiàn)錯誤匹配。

圖5 距離最短匹配示意圖

3.2 優(yōu)化歐式距離匹配方式

為了避免此時出現(xiàn)錯誤匹配，需要對特征點匹配算法進(jìn)行優(yōu)化改進(jìn)。在對每個標(biāo)志點使用歐式距離最短方法進(jìn)行匹配的基礎(chǔ)上加入特征點排序，即分別為每幀圖片中的5 個特征點進(jìn)行排序，具體為通過算法使左上、右上、右下、左下及左的5 個方位特征點依次排序，這樣每幀圖像上的5 個標(biāo)志點相互一一對應(yīng)，可以有效排除錯誤匹配，匹配效果如圖6 所示。

圖6 優(yōu)化匹配效果示意圖

4 制動幀圖像定位

4.1 制動幀圖像判定步驟

本文使用Opencv 庫中的Offset 函數(shù)，得到每個元素帶有定位父元素的上方偏移。設(shè)定已制動后受重力繼續(xù)下降的最遠(yuǎn)距離為制動下滑量，記平行于相機鏡頭方向且垂直于起升運動方向為X軸方向，自重方向為Y軸方向。

1）開始制動判定原則 開始制動可疑位置自重方向坐標(biāo)前后偏移量最大處的后一幀判定為開始制動位置。

2）結(jié)束制動判定原則 目標(biāo)自重方向坐標(biāo)不變即為停止制動位置。

4.2 制動幀圖像判定誤差及影響

起重機起升機構(gòu)在起升制動過程中，與理想的起升制動狀態(tài)會有一定偏差，這些偏差對于最終結(jié)果會產(chǎn)生一定誤差，需要修正。造成偏差的干擾因素主要有：

1）在起升機構(gòu)運動過程中，不僅會在起升運動方向有位移，在平行于相機鏡頭方向且垂直于起升運動方向處也會產(chǎn)生位移，是否會對精度存在一定影響需要進(jìn)一步分析。

2）在起升機構(gòu)運動過程中，理想的情況為先勻加速、然后勻速、最后勻減速的過程，開始制動幀判定也是運用于這種理想情況，但實際情況并非如此，自重方向坐標(biāo)會有一定抖動，此抖動也會產(chǎn)生一定誤差，影響結(jié)果精確度，需要進(jìn)一步處理。

3）在起升機構(gòu)制動過程中，下降到最低點時會有回彈，不僅對水平方向位移有影響，對最后階段的勻減速過程也會有額外干擾。

4.3 優(yōu)化制動幀圖像判定算法

1）X軸方向干擾

在起重機起升機構(gòu)運行過程中，以相機距離標(biāo)志點6 m 為例，分別記錄制動開始幀以及制動結(jié)束幀的X坐標(biāo)、Y坐標(biāo)以及偏移角度，具體如表1 所示。

表1 標(biāo)志點數(shù)據(jù)

檢測目標(biāo)靜止?fàn)顟B(tài)X軸像素坐標(biāo)為1 101.988 px，Y軸像素坐標(biāo)為323.013 px；檢測目標(biāo)開始制動274 幀X軸像素坐標(biāo)為1 116.42 px，Y軸像素坐標(biāo)為692.33 px，擺動角度為2.23°；結(jié)束制動的X軸像素坐標(biāo)為1 114.593 px，Y像素坐標(biāo)為695.281 px，擺動角度為1.89°；制動幀到結(jié)束幀Y像素坐標(biāo)差值為2.951 px，考慮角度影響，制動幀到結(jié)束幀Y坐標(biāo)差值為2.954 px，相差0.003 px。因此，擺動對本系統(tǒng)影響并不是很大，只需要考慮Y坐標(biāo)即可。

2）Y軸方向干擾

在起重機實際制動過程中，Y坐標(biāo)差值并非完全規(guī)律，會有一定輕微抖動，原始判斷原則為Y坐標(biāo)前后偏移量最大處。因此，在算法判斷時需要進(jìn)行閾值優(yōu)化，即令A(yù)bs(Offset_y)為當(dāng)前幀與上一幀Y坐標(biāo)偏差絕對值，令A(yù)bs(Lastoffset_y)為上一幀與再上一幀的Y坐標(biāo)偏差絕對值。設(shè)置閾值比例為Q，當(dāng)檢測到Abs(Offset_y)＜Q* Abs(Lastoffset_y)時，則當(dāng)前幀為制動開始幀，此算法優(yōu)化可以解決因制動過程中起重機抖動而產(chǎn)生的誤差。Q的大小與制動性能有關(guān)，一般起重機設(shè)置0.6 即可。若滿足判斷要求則確定制動開始幀位置，開始幀判斷程序結(jié)束，這樣可以避免由于制動結(jié)束前系統(tǒng)回彈導(dǎo)致的判斷誤差。

5 系統(tǒng)功能及實驗檢測

5.1 系統(tǒng)集成與功能

在控制界面中，主要效果是為了測量制動下滑量，主要功能包括打開視頻、批處理檢測視頻中各標(biāo)志點坐標(biāo)、輸入標(biāo)志點實際半徑、計算標(biāo)志點像素半徑、找出制動位置、計算制動距離等。

將相機放置在待采集目標(biāo)視頻的正前方，本次需要測試制動下滑量數(shù)據(jù)的穩(wěn)定性，將采集相機與標(biāo)志點距離4 m 正前方拍攝圖像。

5.2 實際實驗檢測

以相機與標(biāo)記點距離4 m 實驗為例，對開始制動時刻、停止制動時刻、系統(tǒng)軟件測試進(jìn)行實驗分析。

1）開始制動時刻分析

Y均值坐標(biāo)變化如圖7 所示，219 幀可疑點前后坐標(biāo)點Y坐標(biāo)前后偏移量變化如圖8 所示。相機與標(biāo)志點距離4 m 制動視頻在第2 次偏移時Y坐標(biāo)達(dá)到最大，前面偏移量逐漸增大，后面偏移逐漸變??；第2 次偏移由圖8 可知，是216 幀與217 幀的偏移，所以218 幀為開始制動圖像。

圖7 坐標(biāo)變化圖

圖8 坐標(biāo)偏移量變化

2）停止制動時刻分析

取Y坐標(biāo)停止制動為結(jié)束制動位置，開始制動幀圖像和結(jié)束制動幀圖像坐標(biāo)數(shù)據(jù)如表2 所示。本系統(tǒng)選擇的標(biāo)記點外圓半徑為15 mm，經(jīng)系統(tǒng)檢測出，標(biāo)記點像素半徑為19.944 px。

表2 開始與結(jié)束制動坐標(biāo)數(shù)據(jù)

3）系統(tǒng)軟件測試

導(dǎo)入拍攝視頻，軟件檢測結(jié)果如圖9 所示。根據(jù)制動下滑量原理，已知標(biāo)記點實際半徑為15 mm，像素制動距離為2.617 px，測量得出相機距離標(biāo)記點4 m 位置，測得制動下滑量為1.969 mm。

圖9 系統(tǒng)測試結(jié)果圖

6 結(jié)束語

對制動下滑量檢測系統(tǒng)提出迫切需求，本文研究工作主要圍繞提高制動下滑量檢測系統(tǒng)實時檢測精度展開，開發(fā)了相應(yīng)的軟件系統(tǒng)，優(yōu)化了標(biāo)志點匹配算法，建立了目標(biāo)檢測模型，重點分析了制動位置開始幀和結(jié)束幀的尋找，對于系統(tǒng)產(chǎn)生的誤差進(jìn)行了分析，并對算法進(jìn)行了優(yōu)化。該系統(tǒng)具有簡單易操作、高精度、實時顯示、穩(wěn)定性好等特點，實驗結(jié)果表明，制動下滑量檢測系統(tǒng)的可行性和有效性。

本文基于攝影技術(shù)設(shè)計了對起重機制動下滑量檢測算法，用于自動化實驗中的檢測，雖然取得一些成果，但仍存在以下不足：

1）基于YOLOv5 的目標(biāo)檢測模型訓(xùn)練集數(shù)據(jù)較少，需要通過不斷擴充數(shù)據(jù)集，提高模型的泛化性，收集容易誤判的標(biāo)志點圖像，增強檢測效果。

2）目前本系統(tǒng)只涉及到二維坐標(biāo)系的一個分析，在要求更高精度的情況下，可采用2 臺攝像機，對三維坐標(biāo)系進(jìn)行分析。

3）對于系統(tǒng)中因為制動而出現(xiàn)的擺動，也會因為回彈力導(dǎo)致制動結(jié)束位置不準(zhǔn)確，后續(xù)可以增加Y方向數(shù)據(jù)量，得出回彈規(guī)律，提高檢測系統(tǒng)精度。