基于視頻分析的自動化龍門吊大車集中監護系統

李約翰

隨著港口向智慧化、智能化發展，龍門吊自動化控制作為智慧港口的重要組成部分越來越受到港口企業的重視。寧波梅東集裝箱碼頭有限公司（以下簡稱“梅東公司”）在龍門吊自動化控制及安全生產方面研發多項新技術，其中，基于視頻分析的自動化龍門吊大車集中監護系統利用龍門吊遠程控制系統的高清攝像機和視頻分析技術，實現在大車前進、后退及吊具下放過程中對人員和車輛的識別，聯動龍門吊可編程邏輯控制器（programmable logic controller，PLC）控制龍門吊減速或停機，聯動大車監控臺實現安全隱患提示功能，從而保障龍門吊作業安全。

1 基于視頻分析的自動化龍門吊大車集中監護系統關鍵技術

基于視頻分析的自動化龍門吊大車集中監護系統的核心技術是視頻識別技術，其中包括深度學習和特征識別技術：深度學習技術對識別目標進行樣本收集、分析和算法生成，主要功能是正向識別人員和車輛目標;特征識別技術主要對深度學習算法導致的誤報進行反向識別，將人員和車輛以外的目標以及與人員、車輛相似度較高的目標排除在外。

1.1 深度學習技術

深度學習技術起源于人工神經網絡研究，通過組合低層特征形成更加抽象的高層特征或類別，從而從大量的輸入數據中學習有效特征表示，并把這些特征用于分類、回歸和信息檢索。深度學習實際上是一種模仿人腦的學習，含多隱層的多層感知器就是一種深度學習結構，通過組合低層特征形成更加抽象的高層類別或特征，以發現數據的分布式特征表示。

基于視頻分析的自動化龍門吊大車集中監護系統應用YOLO和RCNN深度學習技術。首先，采用選擇性搜索方法在視頻畫面中選取上千個可能出現物體的位置;然后，將分割出來的圖像修正為大小統一的區塊，放入卷積神經網絡中提取特征，并將提取出來的特征放入支持向量機中分類;最后，對區塊的邊框做回歸分析，找到合適的位置。YOLO技術區別于RCNN技術的最主要特征是：前者同時訓練并同時輸出位置和類別信息，其將圖片分為S譙個格子，每個格子檢測其內物體，而當物體中心在某個格子內時，這個格子就負責檢測這個物體。YOLO與RCNN深度學習算法的結合應用可有效提高人員和車輛的識別率。

1.2 特征識別技術

特征識別技術采用提升的密集軌跡算法，根據目標的形狀、紋理、亮度等特征，反向識別深度學習算法中出現的非人員和非車輛目標：當深度學習算法認為目標為人員或車輛，而密集軌跡算法識別出目標具有非人員和非車輛特征時，目標不觸發報警，從而有效降低目標誤報率。

2 基于視頻分析的自動化龍門吊大車集中監護系統結構及工作流程

為了配合碼頭自動化作業，梅東公司部署龍門吊遠程控制系統，使龍門吊司機能夠在中控室通過觀察龍門吊上攝像機拍攝的視頻畫面遠程操控設備作業。梅東公司原龍門吊遠程控制系統使用毫米波雷達系統作為防撞預警檢測技術手段，存在一定檢測盲區，并且人體檢測效果不佳。為此，增加基于視頻分析技術的人員和車輛檢測功能：當檢測到人員或車輛時，系統發出警報信號，聯動龍門吊PLC執行大車急停、減速動作或吊具停止動作，大車安全監護臺顯示警示視頻畫面并發出警報，由安全監控人員確認是否存在安全隱患并處理警情，從而提高龍門吊運行安全性。

2.1 系統結構

基于視頻分析的自動化龍門吊大車集中監護系統由龍門吊遠程控制系統攝像機、視頻分析儀、大車集中監護臺等組成（見圖1）。龍門吊遠程控制系統應用高清網絡攝像機，其中：門腿攝像機有4個，小車架吊具云臺攝像機有1個。視頻分析儀由工控機、人員和車輛視頻識別系統組成，其中：工控機采用Linux系統，配置視頻分析顯卡;人員和車輛視頻識別系統專門針對龍門吊運行環境進行優化，適應龍門吊遠程控制系統攝像機的畫面視角，對碼頭區域內人員和車輛具有較高的識別率及較低的誤報率。大車集中監護臺可集中監控龍門吊大車門腿攝像機和小車架攝像機，配有專門的安全監護人員，當監測到危險警情時，可控制單臺或全部龍門吊急停，從而有效降低安全事故發生率。

2.2 系統工作流程

基于視頻分析的自動化龍門吊大車集中監護系統工作流程如圖2所示：PLC發送當前龍門吊運行狀態（包括大車向左、向右運動和吊具下放等）信息至PVAC防撞分析儀;PVAC防撞分析儀接收PLC發送的龍門吊運行狀態信息，采集并分析對應的攝像機（包括大車向右運動2個門腿攝像機、大車向左運動2個門腿攝像機和1個小車架攝像機）視頻（見圖3）。

PVAC防撞分析儀采用人工智能視頻識別分析算法對視頻流進行分析，并將警報信息分別發送給PLC和大車監控臺視頻軟件，其中：減速警報發送至PLC和大車監控臺，緊停警報發送至PRCS大車監控臺。若門腿攝像機在10～20 m區域內識別到人員或車輛，向PLC發送大車減速警報信息;若門腿攝像機在0～10 m區域內識別到人員或車輛，向PLC發送緊停警報信息;若小車架攝像機在吊具下方檢測區域內檢測到人員，向PLC發送吊具停止下放的緊停警報信息（見圖4）。

PLC收到減速警報信息后，發送減速指令至龍門吊，降低大車運行速度。大車集中監護系統的大車監控視頻軟件收到龍門吊減速警報信息后，警報視頻畫面顯示黃色邊框，并觸發音響警報（提示“前方有人”“前方有車”等）。大車監控人員觀察報警攝像機視頻畫面：若確有警情，處理警情后按消警按鈕;若大車監控人員確認為誤報警，按誤報警按鈕（見圖5）。大車集中監護系統的大車監控視頻軟件收到龍門吊緊停警報信息后，對應的警報視頻畫面顯示紅色邊框，同時驅動網絡音響發出緊停警報提示音（提示“前方有人”“前方有車”“ 下方有人”等）。大車監控人員觀察緊停報警攝像機視頻畫面：若確有警情，按緊停按鈕，使大車停止運行或吊具停止下放，處理緊停警情后，按視頻軟件上的消警按鈕;若大車監控人員確認為誤報警，按誤報警按鈕（見圖6）。

PVAC防撞分析儀收到消警信息后，消除發送的警報，繼續檢測攝像機拍攝的視頻畫面;PVAC防撞分析儀收到誤報警信息后，對當前視頻畫面內誤報警目標不再重復報警。PVAC防撞分析儀向PLC發送心跳檢測信息，PLC將心跳檢測信息發送至數據視圖，由數據視圖顯示防撞系統工作狀態（見圖7）。PVAC防撞系統全程監控并記錄每次報警事件及處理情況，記錄人員和車輛報警事件的時間、龍門吊編號、視頻截圖等，并保存報警錄像供追溯查詢。

3 基于視頻分析的自動化龍門吊大車集中監護系統功能實現

自動化龍門吊大車集中監護系統視頻分析儀的主要功能是采集并分析實時視頻畫面，檢測龍門吊運行方向的門腿攝像機前方20 m區域內是否有人員或車輛，以及小車架下方區域內是否有人員，具體功能實現過程如下：（1）當檢測到龍門吊運行方向的門腿攝像機前方0～10 m區域內有人員或車輛時，向龍門吊PLC和大車集中監護臺發送急停指令，使龍門吊停止運行，同時大車集中監護臺相關視頻畫面顯示急停警報信息，提示安全監控人員有警情發生;（2）當檢測到龍門吊運行方向的門腿攝像機前方10～20 m區域內有人員或車輛時，向龍門吊PLC和大車集中監護臺發送減速指令，使龍門吊降低運行速度，同時大車集中監護臺相關視頻畫面顯示減速警報信息，提示安全監控人員有警情發生;（3）當龍門吊吊具下放時，檢測小車架攝像機視頻畫面的安全區域內是否有人員，若檢測到人員，吊具停止下放。自動化龍門吊大車集中監護系統中大車監護臺的功能是對運行中的龍門吊實施監護，當檢測到不安全因素時，安全監控人員可按急停按鈕，使龍門吊停止運行。

4 結束語

基于視頻分析的自動化龍門吊大車集中監護系統利用多種視頻分析算法，大大提高算法識別率，滿足碼頭生產應用要求。梅東公司在應用基于視頻分析的自動化龍門吊大車集中監護系統的基礎上，結合毫米波檢測技術以及大車集中監護臺安全監控人員的實時監護，為龍門吊安全、高效作業提供有力保障。

（編輯：曹莉瓊 收稿日期：2021-04-09）