大型施工機(jī)械監(jiān)管系統(tǒng)智能視頻分析模型研究

鄭相波，姚國棟，史方圓，廖煒煉，馬清志

（1.上海東華地方鐵路開發(fā)有限公司，上海 200040；2.上海上鐵互聯(lián)信息技術(shù)有限公司，上海 200040；3.蘇州大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，蘇州 215031）

隨著我國鐵路的快速發(fā)展，各類建設(shè)工程規(guī)模不斷擴(kuò)大。為應(yīng)對施工人員多、設(shè)備物資分散、管理作業(yè)流程瑣碎的情況，采用傳統(tǒng)的人工巡視、手工紙質(zhì)記錄的工作方式，已無法滿足大型項目管控的要求。在涉及大型施工機(jī)械的工地現(xiàn)場安全管理方面，存在現(xiàn)場情況復(fù)雜多變、施工隊安全作業(yè)不規(guī)范、現(xiàn)場監(jiān)理人員履職不到位等情況，尤其是在對入場的大型施工機(jī)械尺寸、型號的判定，以及機(jī)械安全邊界入侵的預(yù)警等方面，存在安全隱患，且需要耗費大量人力。因此，亟需利用信息化手段，建設(shè)一套智能監(jiān)管系統(tǒng)，解決建設(shè)工程中存在的“監(jiān)管力度不強(qiáng)，監(jiān)管手段落后”等難題。

眾多學(xué)者針對上述情況進(jìn)行了研究，劉祥敏[1]從管理角度提出針對臨近鐵路營業(yè)線大型機(jī)械設(shè)備施工安全的監(jiān)管對策，涵蓋落實安全監(jiān)管制度、提高施工機(jī)械操作人員安全意識等，但缺乏從技術(shù)層面提升安全監(jiān)管的有效措施；朱漲鑫等人[2]基于超寬帶 （UWB，Ultra Wide Band） 技術(shù)提出一種施工機(jī)械與人員定位的風(fēng)險預(yù)防及控制方法，并建立了可視化管控平臺，然而，該方法難以低成本大面積鋪開，且對大型機(jī)械型號的判定上存在安全隱患。近年來，隨著人工智能技術(shù)的發(fā)展，深度學(xué)習(xí)模型被逐步應(yīng)用于鐵路安全的方方面面。徐鑫等人[3]基于YOLO（You Only Look Once）v5模型，建立鐵路異物侵限檢測模型。然而，針對臨近鐵路營業(yè)線的大型機(jī)械設(shè)備的施工安全智能監(jiān)管仍有待進(jìn)一步研究。

綜上，本文設(shè)計了大型施工機(jī)械監(jiān)管系統(tǒng)，并基于深度學(xué)習(xí)模型，設(shè)計了該系統(tǒng)中針對臨近鐵路營業(yè)線大型施工機(jī)械設(shè)備的智能視頻分析模型，輔助施工監(jiān)理單位完成對大型施工機(jī)械的各項監(jiān)管工作。

1 系統(tǒng)總體架構(gòu)

大型施工機(jī)械監(jiān)管系統(tǒng)包括物理層、數(shù)據(jù)層、分析層和應(yīng)用層，其總體架構(gòu)如圖1所示。

圖1 大型施工機(jī)械監(jiān)管系統(tǒng)總體架構(gòu)

1.1 物理層

通過高清攝像頭、智能網(wǎng)關(guān)等設(shè)備，從作業(yè)機(jī)械、施工人員等維度，準(zhǔn)確快速采集鐵路施工時大型機(jī)械的實時數(shù)據(jù)，同時，結(jié)合場地規(guī)劃的具體信息，提高數(shù)據(jù)的有效性與精度。

1.2 數(shù)據(jù)層

包括施工現(xiàn)場實時視頻流數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)，以及接口提供的實時入場機(jī)械與人員數(shù)據(jù)、施工場地涉及的鐵路數(shù)據(jù)等信息，為智能分析決策提供數(shù)據(jù)支撐。

1.3 分析層

包括智能視覺分析決策與可視化仿真。其中，智能視覺分析決策通過人工智能、圖像識別、大數(shù)據(jù)分析等技術(shù)，為智能監(jiān)控與管理提供技術(shù)保障；可視化仿真主要通過數(shù)字孿生和UWB定位等技術(shù)，對大型施工機(jī)械進(jìn)行多維度監(jiān)管與智能預(yù)警。

1.4 應(yīng)用層

包括智能監(jiān)理模塊與人工監(jiān)理模塊。其中，智能監(jiān)理模塊依托智能視覺分析決策，完成設(shè)備監(jiān)控、人車監(jiān)控、侵占判定、智能預(yù)警等多項任務(wù)，幫助監(jiān)理人員及時掌握現(xiàn)場情況并作出決策；人工監(jiān)理模塊具有人工復(fù)查、統(tǒng)計分析、告警預(yù)警與監(jiān)理日志管理等功能。

本文將重點研究分析層中用于智能視覺分析決策的智能視頻分析模型的設(shè)計、數(shù)據(jù)收集和預(yù)處理策略，以及對模型的性能評估。

2 智能視頻分析模型

智能視頻分析模型的實時性與準(zhǔn)確性是決定大型施工機(jī)械監(jiān)管系統(tǒng)實用性的關(guān)鍵，本研究選用YOLOv6圖像識別模型，并綜合應(yīng)用遷移學(xué)習(xí)、不平衡學(xué)習(xí)與數(shù)據(jù)增強(qiáng)等技術(shù)，增強(qiáng)YOLOv6模型的性能。

2.1 YOLOv6模型

YOLO系列模型在速度和精度間具有極佳的平衡，符合本文對施工區(qū)域大型施工機(jī)械監(jiān)控視頻實施自動監(jiān)理的需求。YOLOv6模型包括3個部分：提取特征的Backbone層、處理特征的Neck層、執(zhí)行預(yù)測的Head層，其架構(gòu)如圖2所示。

圖2 YOLOv6模型架構(gòu)

施工現(xiàn)場視頻流的分辨率存在差異，為便于模型訓(xùn)練，設(shè)定將視頻統(tǒng)一壓縮并映射為640×640像素的輸入標(biāo)準(zhǔn)，保障模型良好的泛化性能。此外，視頻的壓縮降低了模型的預(yù)測成本，可降低模型預(yù)測的延遲，提升吞吐量。

2.2 遷移學(xué)習(xí)

深度學(xué)習(xí)對訓(xùn)練數(shù)據(jù)集有很強(qiáng)的依賴性。模型的規(guī)模決定其能勝任任務(wù)的復(fù)雜程度，這是因為模型的表達(dá)空間必須足夠大，才能發(fā)現(xiàn)數(shù)據(jù)的潛在模式[4]。而模型的規(guī)模與訓(xùn)練所需要的數(shù)據(jù)量基本上是線性關(guān)系[5]。面對大型機(jī)械的智能監(jiān)理任務(wù)，需要收集海量數(shù)據(jù)才能滿足高精度的預(yù)測要求。受計算資源與業(yè)務(wù)場景的限制，收集大量數(shù)據(jù)存在一定困難。

遷移學(xué)習(xí)可將在源域?qū)W習(xí)到的知識遷移到目標(biāo)域中，從而克服訓(xùn)練集數(shù)據(jù)少的問題。本研究使用在16萬張COCO標(biāo)注數(shù)據(jù)集上預(yù)訓(xùn)練的YOLOv6-s目標(biāo)檢測模型作為遷移學(xué)習(xí)的預(yù)訓(xùn)練模型，并對其進(jìn)行微調(diào)訓(xùn)練。

2.3 不平衡學(xué)習(xí)

鐵路施工現(xiàn)場的大型機(jī)械種類繁多，且數(shù)量極不均衡。采用傳統(tǒng)的訓(xùn)練方法會導(dǎo)致模型在數(shù)量多的機(jī)械上有更好的性能，對數(shù)量少的機(jī)械則精度較低。因此，需要采用不平衡學(xué)習(xí)技術(shù)，克服樣本數(shù)量不均導(dǎo)致模型精度差的問題[6]。比較常用的是重采樣與類別權(quán)重方法，其中，重采樣是一種通過增加少數(shù)類樣本或減少多數(shù)類樣本，使得不同類別間的樣本數(shù)量更平衡的方法，通常包括過采樣與欠采樣；類別權(quán)重方法則是在損失函數(shù)中為不同類別賦予不同的權(quán)重，使得模型更加關(guān)注少數(shù)類別[7]，以抵消類別不平衡帶來的影響，提高對少數(shù)類別的識別能力。本文采用了這兩種方法對智能視頻分析模型的訓(xùn)練圖像進(jìn)行不平衡學(xué)習(xí)處理。

3 數(shù)據(jù)集的生成

目前尚沒有適用于鐵路工地大型施工機(jī)械分類的公開數(shù)據(jù)集。本文基于真實鐵路施工場景下的視頻流數(shù)據(jù)，采用手工標(biāo)注，并通過數(shù)據(jù)增強(qiáng)技術(shù)，生成用于訓(xùn)練YOLOv6模型的訓(xùn)練數(shù)據(jù)集。

3.1 數(shù)據(jù)采集與標(biāo)注

本文在多個鐵路施工現(xiàn)場通過對432臺長方形固定機(jī)位和可移動的球形監(jiān)控攝像頭的實時觀察，收集了約300條施工中的監(jiān)控視頻流，并通過專業(yè)人員的篩選，采集了3 600張大型施工機(jī)械圖片，尺寸包含2 560×1 440、1 920×1 080、1 280×960、1 280×720及704×576共5種像素，構(gòu)成了包含10類大型施工機(jī)械的數(shù)據(jù)集，隨后在labelme軟件中使用拉框標(biāo)注法對這些圖片進(jìn)行標(biāo)注，部分圖片如圖3所示。

圖3 大型施工機(jī)械待檢測圖片（部分）

智能視頻分析模型的檢測目標(biāo)包括：挖掘機(jī)（ECT ，Excavator）、裝載機(jī) （LD ，Loader）、叉裝車（FL ，F(xiàn)orklifts）、泵車（PT ，Pump Truck）、汽車起重機(jī)（TC ，Truck Cranes）、履帶起重機(jī)（CC ，Crawler Cranes）、隨車起重機(jī)（TMC ，Truck Mounted Crane）、塔式起重機(jī)（TWC ，Tower Crane）、高空作業(yè)車（AWP ，Aerial Work Platforms）、旋挖鉆機(jī)（RDR ，Rotary Drilling Rigs）等10類大型施工機(jī)械，其示例如圖4所示。

圖4 10類大型施工機(jī)械示例

3.2 數(shù)據(jù)特征與處理方法

3.2.1 數(shù)據(jù)特征

本文共收集到包含不同施工機(jī)械的圖片3 600張，各類大型施工機(jī)械的數(shù)量占比如圖5所示。

圖5 原始數(shù)據(jù)集中的大型施工機(jī)械占比

其中， ECT占大型施工機(jī)械的62%，遠(yuǎn)超其余大型施工機(jī)械，而數(shù)量較少的AWP、PT、FL均僅占施工機(jī)械數(shù)據(jù)的1%，不同樣本間的數(shù)量差異較大。此外，在施工現(xiàn)場視頻流中會頻繁出現(xiàn)遮擋、重疊的現(xiàn)象，且不同視頻流間縱深差異大，同類目標(biāo)的大小浮動可達(dá)10倍，增加了目標(biāo)檢測的難度。

3.2.2 數(shù)據(jù)處理技術(shù)應(yīng)用

為解決數(shù)據(jù)集樣本不平衡的問題，本文采用重采樣技術(shù)，并結(jié)合數(shù)據(jù)增強(qiáng)技術(shù)。通過對不同類別的樣本施加不同強(qiáng)度數(shù)據(jù)增強(qiáng)的方式，豐富數(shù)據(jù)集中的信息，并使用重采樣技術(shù)縮小不同類樣本數(shù)量間的差距，增強(qiáng)模型的穩(wěn)定性和場景適應(yīng)性。在綜合考慮監(jiān)控視頻流數(shù)據(jù)中目標(biāo)的形態(tài)學(xué)信息、方向信息的重要性及運動模糊現(xiàn)象的存在后，選用了左右鏡像、亮度調(diào)節(jié)、顏色抖動、隨機(jī)擦除、噪音、運動模糊隨機(jī)組合等數(shù)據(jù)增強(qiáng)技術(shù)來增強(qiáng)數(shù)據(jù)的多樣性，各類數(shù)據(jù)增強(qiáng)技術(shù)的效果如圖6所示。

圖6 各類數(shù)據(jù)增強(qiáng)技術(shù)效果示例

本文采用了Focal Loss作為損失函數(shù)，F(xiàn)ocal Loss的核心思想是對于容易分類的樣本（即分類器對其預(yù)測正確的樣本）降低其權(quán)重，減少其對損失函數(shù)的貢獻(xiàn)；同時，增加難以分類樣本（即分類器對其預(yù)測錯誤的樣本）的權(quán)重，增強(qiáng)其對損失函數(shù)的貢獻(xiàn)。這樣，模型就能對少數(shù)類別的樣本有更高的關(guān)注度，從而提升少數(shù)類別樣本的檢測準(zhǔn)確率。

3.2.3 訓(xùn)練集生成

將原始數(shù)據(jù)集按8∶2劃分為訓(xùn)練集與驗證集，對訓(xùn)練集使用數(shù)據(jù)增強(qiáng)，進(jìn)行樣本量平衡，最終訓(xùn)練集中共包括26 640張施工機(jī)械圖片，驗證集包括6 660張施工機(jī)械圖片。各類別施工機(jī)械的數(shù)量與占比如圖7所示。由圖7可知，處理過后的數(shù)據(jù)集樣本數(shù)量已較為平衡。

圖7 訓(xùn)練集各樣本數(shù)量與占比

3.3 訓(xùn)練環(huán)境與超參數(shù)設(shè)置

智能視頻分析模型使用的訓(xùn)練環(huán)境如表1所示，超參數(shù)設(shè)置如表2所示。

表1 訓(xùn)練環(huán)境

表2 超參數(shù)設(shè)置

3.4 評價指標(biāo)

本文采用宏平均準(zhǔn)確率（macro-ACC）、宏平均查全率（macro-R）、宏平均查準(zhǔn)率（macro-P）、PR曲線下面積的平均值（mAP）、每秒傳輸幀數(shù)（FPS ，F(xiàn)rames Per Second）來評價模型定位、分類大型施工機(jī)械的能力與速度。

4 試驗驗證

為驗證遷移學(xué)習(xí)和基于重采樣的不平衡學(xué)習(xí)在智能視頻分析模型中的效果，本文基于章節(jié)3中生成的3.33萬張標(biāo)注圖片，分別將遷移學(xué)習(xí)、不平衡學(xué)習(xí)引入模型訓(xùn)練，并比較模型的檢測效果。其中，不平衡學(xué)習(xí)的重采樣技術(shù)依賴于數(shù)據(jù)增強(qiáng)相關(guān)技術(shù)。

4.1 效果對比

為驗證遷移學(xué)習(xí)與不平衡學(xué)習(xí)對模型檢測性能的提升，以及針對數(shù)據(jù)集特點使用的數(shù)據(jù)增強(qiáng)技術(shù)的效果，本文對比了原始YOLOv6模型與依次引入遷移學(xué)習(xí)、數(shù)據(jù)增強(qiáng)、不平衡學(xué)習(xí)的YOLOv6模型的定位與分類性能，如表3所示。

表3 不同模型訓(xùn)練方法的效果對比

由表3可看出，直接使用原始數(shù)據(jù)進(jìn)行訓(xùn)練時，模型的mAP僅為0.129，macro-ACC僅有31.3%，這說明僅靠收集到的原始數(shù)據(jù)無法滿足YOLOv6模型訓(xùn)練大型深度神經(jīng)網(wǎng)絡(luò)所需的數(shù)據(jù)量；而在使用YOLOv6-s模型作為預(yù)訓(xùn)練模型進(jìn)行遷移學(xué)習(xí)后，mAP達(dá)到了0.537，macro-ACC達(dá)到了70.5%，說明在COCO數(shù)據(jù)集上學(xué)習(xí)到的知識有效轉(zhuǎn)移到了本文任務(wù)上；在引入數(shù)據(jù)增強(qiáng)與不平衡學(xué)習(xí)后，mAP分別上漲了23.2%與18.7%，最終達(dá)到0.956，此時模型已能準(zhǔn)確地定位各類大型施工機(jī)械并進(jìn)行分類。

4.2 各大型施工機(jī)械的檢測準(zhǔn)確率指標(biāo)對比

為進(jìn)一步研究模型在識別不同類型大型施工機(jī)械時遇到的問題，以及不同模型訓(xùn)練方法起到的作用，在驗證集上對各類大型施工機(jī)械的識別準(zhǔn)確率指標(biāo)進(jìn)行了對比研究，結(jié)果如圖8所示。ACC-1～ACC-4分別代表原始數(shù)據(jù)、引入遷移學(xué)習(xí)、引入遷移學(xué)習(xí)+數(shù)據(jù)增強(qiáng)、引入遷移學(xué)習(xí)+數(shù)據(jù)增強(qiáng)+不平衡學(xué)習(xí)方法后，模型對各類施工設(shè)備的檢測準(zhǔn)確率。

圖8 各類大型施工機(jī)械A(chǔ)CC指標(biāo)對比

由圖8可看出，在直接使用原始數(shù)據(jù)集進(jìn)行訓(xùn)練時，除了數(shù)量占比最大的ECT檢測準(zhǔn)確率較高，其余9種施工機(jī)械的準(zhǔn)確率均較低，是由原始圖像數(shù)量不平衡導(dǎo)致的；在使用預(yù)訓(xùn)練模型YOLOv6-s進(jìn)行遷移學(xué)習(xí)后，少樣本的大型施工機(jī)械檢測準(zhǔn)確率均有了顯著提升；而在使用數(shù)據(jù)增強(qiáng)技術(shù)增加少樣本類數(shù)據(jù)的多樣性后，模型的穩(wěn)定性與場景適應(yīng)性有了進(jìn)一步提升；在采用重采樣和類別權(quán)重方法對樣本數(shù)量進(jìn)行平衡，增強(qiáng)模型對少數(shù)量樣本的重視后，雖然ECT的檢測準(zhǔn)確率有少許下降，但其余9種大型施工機(jī)械的檢測準(zhǔn)確率均有了不同幅度的提升。

基于該模型的大型施工機(jī)械監(jiān)管系統(tǒng)能夠結(jié)合施工計劃，把識別出的機(jī)械與計劃下達(dá)的機(jī)械大類進(jìn)行核對，如檢測到超過計劃下達(dá)的機(jī)械數(shù)量或類型，則生成預(yù)警、告警信息，提交人工監(jiān)理模塊進(jìn)行核驗，由人工監(jiān)理模塊進(jìn)行復(fù)核和處置，實現(xiàn)高效率、高準(zhǔn)確率的全天候安全監(jiān)測。

5 結(jié)束語

本文設(shè)計了大型施工機(jī)械監(jiān)管系統(tǒng)，重點闡述了該系統(tǒng)分析層中用于智能視覺分析決策的智能視頻分析模型的設(shè)計、數(shù)據(jù)收集和預(yù)處理策略，以及模型性能評估，模型的宏平均準(zhǔn)確率達(dá)到了94.0%、mAP達(dá)到了0.956、每秒檢測幀數(shù)達(dá)到了84。基于該模型的本系統(tǒng)實現(xiàn)了對大型施工機(jī)械的快速、準(zhǔn)確定位和分類，節(jié)約了大量監(jiān)管人力。 未來可在大型機(jī)械的細(xì)粒度分類、機(jī)械施工區(qū)域侵入檢測等方面進(jìn)行進(jìn)一步的研究。