航道起吊機械施工安全感知系統研究

趙德懿，王 龍，楊 櫻

(1.揚州市港航事業發展中心，江蘇 揚州 225009；2.江蘇長天智遠交通科技有限公司，江蘇 南京 210036)

1 項目背景

2019年，江蘇省政府辦公廳發布了《關于加快推進第五代移動通信網絡建設發展若干政策措施的通知》，明確指出江蘇省各相關部門要大力推進基于5G網絡的信息服務在精密制造、工程機械、生物醫藥、社會服務、新能源、交通物流、教育教學、健康醫療、廣播電視、文化娛樂、智慧城市、應急指揮等領域的廣泛應用，以網絡建設支撐信息化向縱深推進，以信息化應用帶動網絡建設，形成建設與應用雙向驅動的發展格局。江蘇省5G產業聯盟要整合電信、廣電網絡、互聯網等各類信息服務行業資源，推動與社會生產生活密切相關的5G信息服務模式創新，擴大5G應用范圍，提高信息服務質量。積極爭取國家級預商用試點城市落戶江蘇省，加快商用部署步伐，在車聯網、工業互聯網、物聯網、智能電網、融合媒體等領域取得突破，5G在交通行業的應用探索提上了日程。

2020年，交通運輸部辦公廳發布了《進一步推進公路水運工程平安工地建設的通知》，提出要加強施工安全風險分級管控，不斷提升工程本質安全水平；同年，江蘇省交通運輸廳也印發了《江蘇省公路水運工程平安工地建設管理辦法》，為平安工地建設工作提出了具體要求。因此，為保證公路航道工程施工安全，結合京杭運河施橋船閘至長江口門段航道整治工程實際需求，針對項目建設過程中起吊作業的關鍵節點，利用5G[1]、邊緣計算[2]、AI視頻智能分析技術[3]開展航道工程安全風險感知技術研究具有重要的意義。

在現代化的工程建設和項目施工過程中，起重機械發揮的作用越來越大，是減輕作業人員勞動強度和提高生產效率的重要手段。但是，起重吊裝機械頻繁使用也帶來了作業傷害事故的增加，起重吊裝事故的發生主要包括人的因素和吊物的因素兩個方面。其中，人的因素主要表現在管理不善和使用者心存僥幸，物的因素主要表現在設備、吊具的安裝使用未達到要求，帶有隱患進行施工作業，從而埋下安全隱患。目前起吊施工作業風險影響因素主要有：(1)對吊裝作業場所自然環境風險認知不足；(2)起重作業的吊物重量不明或超重；(3)被吊物體上方或下方有人，造成高空墜落或墜落傷人[4]。

分析航道吊裝作業的過程和產生事故的因素[5]，在吊裝過程中產生安全事故的主要因素可以歸納為起吊方案、起吊前設備檢查、起吊人員認證、起吊過程監控等方向，其中起吊過程監控包括起吊環境監測、安全區域禁入監測、人員安全裝備檢測等。根據吊裝作業的過程中安全風險發生的頻率來看，安裝過程中的風險隱患主要可以分為以下幾個等級[6]。

(1)吊裝方案問題。吊裝方案中直接明確了吊裝的時間、地點、機械、對象和吊裝的方式，直接決定了吊裝過程中的根本要素。

(2)吊裝過程管理。過程管理主要包括吊裝前吊機設備的檢查，吊鉤綁扎情況檢查，吊裝過程中吊物、施工人員、起吊方法的檢查，以及過程中的監控管理，包括人員裝備情況、危險區域管理，在安全監管過程中也處于重要地位。

(3)吊裝人員管理。人員管理主要包括人員資質和人員穿著裝備，人員必須經過吊裝施工的培訓和安全交底，符合施工操作的要求，熟悉施工方案；同時，其他調度輔助操作人員應在吊裝過程中處于危險區域以外，并正確佩戴安全防護裝備。

(4)吊裝環境管理。吊裝環境管理包括起吊過程中施工空間范圍內的環境感知、施工過程中部分關鍵節點的感知。

根據吊裝安全技術規程[7]：嚴禁在風力6級和6級以上進行吊裝作業；不得在風力5級和5級以上時進行大型、中型工件吊裝。起重機吊重物時，機身位置要正確、平穩，支腿位置要合適、牢固；鋼絲繩應垂直起吊，不準斜吊，也不準在起吊過程中扳動或調整支腿；如要找平機身時，應將重物放下后進行處理。

針對以上因素，本課題開展了吊裝作業安全風險感知系統研究，通過現在各種信息化手段實現對航道工程中起吊安全作業的安全風險感知，實現預警和報警，提高生產安全監管水平。

吊裝作業安全風險感知系統主要應用機器視覺(AI識別)技術[8]，采用現場邊緣計算機對吊裝作業現場視頻監控、環境參數、吊機姿態、吊物質量等參數進行實時采集、分析和預警，通過聲光預警提醒施工作業人員快速妥善處理潛在風險。采用現場邊緣計算機實時獲取現場監控視頻，對監控視頻進行預處理，追蹤識別目標吊物基本特征，同時通過傾角傳感器識別起重機械實時姿態，生成吊機起重三維動態模型。

2 吊裝作業安全風險感知系統組成

系統組成包括前端視頻監控系統、AI識別系統、邊緣計算設備、5G CPE網絡接入設備、風速風向環境感知設備、傾角傳感器、載質量傳感器、告警語音播放模塊等，系統的具體組成，如圖1所示。系統通過前端視頻監控設備、環境感知設備、姿態感知設備和質量監控設備，通過部署在前端的邊緣計算設備，實現對前端吊物和下方危險區域的自動跟蹤；通過風險識別算法對視頻中的危險區域進行識別。在視頻圖像中自動框出危險區域，同時對區域內闖入的人員物體進行判斷，發送到后端監控系統，并通過前端吊機旁的聲光報警系統提醒現場施工人員注意安全施工。

圖1 起吊機械施工安全感知系統組成

起吊機械施工安全感知系統的主要運行流程，如圖2所示，通過攝像機實時監控前端吊機施工過程中的實時視頻圖像，通過視頻監測算法獲取目標的特征。在吊機的吊裝過程中，攝像機會隨著吊鉤和吊臂移動，攝像機的圖像就會發生變化，視角和監控重點范圍都會變化。為了保證監控的重點能夠始終聚焦在吊物下方，因而通過算法對特征進行捕捉，通過對結果的比對控制攝像機進行同步移動和縮放，實現在吊裝過程中對攝像機云臺的自動控制，保證攝像機獲取的實時視頻能夠監控起吊施工過程中吊物下方的危險區域。同時結合吊機上的安全感知設備，獲取吊裝作業的環境因素，包括高度、旋轉角度、速度、吊物質量和吊物尺寸等參數，建立風險預警模型和算法，計算出吊物下方的危險區域。在視頻圖像上劃出風險區域電子圍欄，通過視頻感知技術對進入區域的人員和其他移動物體進行檢測，如果區域內有人員和其他物體闖入，進行實時報警，并通過聲光報警提示現場施工和起吊人員警惕，同時發送報警信息給后臺工地監控人員，上傳實時視頻資源。

圖2 起吊機械施工安全感知系統流程

3 功能算法實現

具體算法流程，如圖3所示，在吊裝設備上安裝高清網絡攝像機采集吊裝作業現場影像，現場部署NVR設備實現對視頻監控錄像的存儲，通過5G網絡視頻實現視頻遠程預覽、云臺控制和歷史的回放，通過機器學習算法識別物體，控制攝像機跟蹤捕捉。同時通過前端質量感知和環境感知設備獲取的參數，判別吊重機械是否超載荷，吊臂、傾角、姿態是否存在風險。通過深度學習的算法計算風險區域，并在視頻中劃定風險區域。通過視頻入侵檢測算法對入侵人員和物體進行判別，生成警報信息并通過5G網絡上傳至綜合管理平臺，現場聲光報警實現預警，提醒作業人員安全施工。

傳統監控視頻中人、車、物檢測大多數依賴于運動信息，基于一種背景差分或幀間差分的模式進行檢測，這種檢測方式計算復雜度比較低，極易受光線和成像的影響，當視頻中有較為劇烈的光影變化，如云強光干擾、陰雨天氣等情況時，往往會檢測出大量虛假目標，從而導致誤報或漏報。對于戶外場景中光影、遮擋等情況會導致大量的誤報或漏報，為了解決這些問題，實現目標物體的精準監測，采用一種基于模式的識別方法，通過人為構造圖像特征，然后通過全局目標檢測方式進行人、車、物等目標物體的檢測，基于HOG圖像特征算子和 Adaboost瀑布流檢測的模式，考慮目標物體的通用特征，例如人體的形狀、車輛的形狀和物體紋理特征等，比單純基于動態目標檢測方法更準確。但是，該方法對場景具有較高的依賴性，依然存在一定程度的誤報或漏報。正是由于這些原因，許多基于視頻識別的預警應用效果一般，演示效果很好，但在實際中環境變幻多端，導致誤報率和漏報率遠遠超出預期和設計指標，因而一直沒能廣泛普及。

圖3 算法流程

基于5G邊緣計算的航道工程吊裝作業安全風險感知系統，采用深度學習和人工智能技術對視頻中的人、車、物等動態目標檢測和識別。深度學習[9]是人工神經網絡研究的一個重要突破，由于其卓越的表現性能與良好的識別效果，目前廣泛用于人工智能領域。基于深度自學習的一種結構框架，通過組合底層特征[10]形成更加抽象的高層表示，以此進行分析與類比，它能更好地發現數據特性與內在關聯。本質上深度學習模擬了人腦神經元在識別物體時從抽象到具體的一系列過程。正是由于此過程的完美模擬使得深度學習能夠表現出驚人的性能與分析能力。圖4展現了具體識別時深度學習從抽象到具體的流程圖，它是從圖像的像素開始，經過抽象學習得到邊緣與紋理信息，再得到局部區域統計信息，最后得出每種圖像的具體區別信息，這與人腦描述事物的構建步驟是一致的。

圖4 具體識別時深度學習從抽象到具體的流程

基于深度學習的機器視覺識別算法可以直接進行端到端的檢測[11]，能夠充分地學習目標物體特性。算法框架可以分為3步：第1步是構建圖像的深度神經網絡(Image Deep Network)，并構建區域建議網絡(Regional Proposal Network)；第2步是以此為基礎結合訓練樣本進行深度檢測神經網絡的訓練；第3步是進行目標檢測。與傳統的目標檢測算法不同，基于深度學習的目標檢測能夠同時輸出目標的位置與目標的名稱。這也是一種端到端的識別方式，大大省去了人工交互的步驟，同時減少了人工干預帶來的誤差。

伴隨著物聯網的蓬勃發展，越來越多的設備成為物聯網的一部分，產生的數據也越來越多。這些設備產生的海量數據，對傳統云計算模型中的數據傳輸帶寬和數據處理能力提出了更高的要求。雖然將所有的數據傳輸到云端進行處理是一種高效的數據處理方式，但是越來越多的邊緣端設備產生的實時數據需要被及時處理，基于云計算模式的數據處理性能正逐漸到達瓶頸，更多要求實時處理的數據無法被及時處理。另一方面，云計算存在數據隱私泄露的問題，數據傳輸到云端過程中容易被黑客截取。最后一方面是云端數據中心的能耗問題。隨著使用云計算服務用戶的增加，相關應用程序也越來越多，數據中心需要更高的能耗，然而一些大規模的數據中心能耗無法滿足需求。綜上所述，云計算服務隨著大數據的增多，劣勢逐漸顯露，應運而生的則是邊緣計算技術。

邊緣計算是指在靠近物或數據源頭的一側，采用網絡、計算、存儲、應用核心能力為一體的開放平臺，就近提供最近端服務。其應用程序在邊緣側發起，產生更快的網絡服務響應，滿足行業在實時業務、應用智能、安全與隱私保護等方面的基本需求。邊緣計算處于物理實體和工業連接之間，或處于物理實體的頂端，而云端計算仍然可以訪問邊緣計算的歷史數據。

本文采用邊緣計算技術，在前端完成算法的匹配和監測，通過5G網絡將結果發送到后端接收。本系統在實際的部署過程中，采用5GCPE設備實現前端設備與后臺的對接，通過阿里云構建后臺服務和平臺的WEB服務，具體算法實現，如圖5所示。

圖5 算法實現

4 邊緣計算機選型

邊緣計算機采用DJTXF08處理，DJTXF08采用英偉達NVIDIA? Jetson TX2工業級處理器，擁有深度學習性能，可加速高達1.3TFLOPS 算力，滿足復雜環境下深度學習模型訓練，性能穩定且功耗低，適合車載應用。DJTXF08設計有 9～36 V 寬范圍DC-in和IGN控制，多種I/O功能如GbE/PoE、USB3.0、隔離CAN、串行COM、DI/DO、12V/5V DC-out，專用于人工智能物聯網邊緣網關，與雷達、超聲波、LiDAR、MIPI攝像頭等外圍傳感器接口來完成ADAS/ADS系統，具體性能參數要求，如表1所示。

表1 邊緣計算機性能參數

5 智能感知傳感器

環境感知包括風速風向傳感器、角度傳感器、質量傳感器，具體性能參數，如表2所示。實現吊裝作業現場環境數據采集、吊車姿態采集和吊物質量采集；風速風向數據采集基于機械式風速風向傳感器，當吊裝作業環境風速超過安全預警門限時提醒現場作業人員盡快停止作業，同時根據風速、風向對吊裝作業潛在危險區域進行劃分和調整；傾角傳感器對吊裝作業時吊車的姿態進行采集，根據吊車姿態動態調整視頻監控畫面抓拍區域。

表2 風速風向、角度、質量傳感器性能參數

6 實驗結果

依托京杭運河施橋船閘至長江口門段航道整治工程航道施工項目(JHYH-SG-HD1標段)開展試點應用，搭建了系統運行環境，部署了邊緣計算設備，并對算法進行了現場測試驗證。經過驗證和實地應用，證明方案設計合理，研發算法能夠達到預期的效果，為航道吊裝工程施工提供了有效的監管和智能化預警手段，降低了航道吊裝施工的風險，具體實驗結果，如圖6、7、8所示。

圖6 實施效果1

圖7 實施效果2

圖8 實施效果3