基于視頻摘要的地鐵工程施工項目安全培訓素材獲取方法*

余宏亮 彭 震 金 媛 黃金艷

(1.武漢科技大學恒大管理學院，430065，武漢； 2.華中科技大學BIM工程中心，430074，武漢∥第一作者，高級工程師)

0 引言

施工工人(以下簡稱“工人”)的不安全行為是導致地鐵車站施工項目安全事故發生的主要原因，對工人進行安全培訓是降低不安全行為的重要手段。目前，在地鐵工程的施工過程中，工人的安全培訓效果并不理想。究其原因主要有以下幾點：① 現場工人文化程度普遍不高，對傳統紙質教材難以吸收消化；② 開展培訓的方式多采用課堂集中教學，培訓內容主要來源于操作規程和安全規范，存在學習內容枯燥等問題；③ 安全培訓重視程度不高，培訓內容和形式更新不及時。

針對現有安全培訓中的培訓內容脫離實際、難以吸收消化、培訓方式枯燥等問題，文獻[1]認為培訓材料需要以多樣化、圖形化的表現形式呈現，用多媒體或圖片等計算機輔助手段可以提升培訓效果。文獻[2]根據培訓圖片的內容特征，利用相似度算法個性化推送給相應地鐵項目中進行該環節施工的工人。文獻[3]開發了一個圖示語言安全培訓系統，該系統從施工現場照片中獲取工人的危險動作，并將其作為培訓素材，以更趣味的形式改編和轉化為工人施工法則規范，極大地增添了參與者的培訓積極性。文獻[4]以武漢地鐵雙墩站為例，利用漫畫和圖片的形式建立圖示語言培訓庫，研究結果表明其具有高實用性，能夠有效改善工人的危險行為，提高施工安全管理水平。但上述研究的實施效果均依賴于高質量的培訓照片，而現場安全培訓照片素材收集難度較大，若通過人工從海量巡查照片中篩選出合適的素材，工作量極大且效率極低，這就造成了安全培訓照片庫更新較慢，不能及時反映各工地的實際安全狀況。同時，安全培訓照片庫更新較慢還會導致經過幾輪培訓的工人反復抽取到已培訓過的測試題等情況。因此，安全培訓素材需要更有針對性的個性化數據庫。

視頻摘要是利用近似算法和計算機技術從海量多媒體視頻中篩選典型的、有利用價值的幀，對原始視頻進行濃縮概括的一項技術。隨著視頻摘要技術在監控領域的廣泛應用，可以借助該技術篩選出地鐵車站施工項目中工人的不安全行為。視頻摘要分為靜態視頻摘要和動態視頻摘要。靜態視頻摘要通過原始多媒體圖像摘選典型視頻幀形成關鍵幀。動態視頻摘要是由一些圖像序列及其對應的音頻組成的一個視頻片斷。視頻摘要提取技術有助于直接從地鐵工程施工項目現場獲取反映工人不安全行為的圖像數據，相比于傳統的培訓素材，該技術的應用具有極高的工程價值和實用性。

本文提出在地鐵工程施工項目現場的視頻監控圖像中，根據工人的不安全行為特征抽取典型視頻幀和視頻段，分別形成靜態視頻摘要和動態視頻摘要。利用動態視頻摘要獲取地鐵車站施工項目的不安全行為視頻，極大地豐富了安全培訓素材，解決了素材單一及獲取困難等問題。本研究可為接受安全培訓的工人提供更加生動的培訓體驗，提高實際培訓效果。

1 地鐵工程施工安全培訓素材獲取方法

1.1 地鐵工程施工遠程監控及視頻圖像管理

遠程視頻監控是加強地鐵工程施工現場安全監管的有力措施，因此國家和地方安全監管部門頒布了各種法規大力推行遠程視頻監控。2012年，中華人民共和國住建部發布了JGJ/T 292—2012《建筑工程施工現場視頻監控技術規范》，隨之天津、北京、南京和上海等地也出臺了相應的施工現場遠程視頻監控管理實施辦法，其中《上海軌道交通施工現場視頻監控管理辦法》對監控區域范圍、監控視頻保存與備份等具體問題進行了規定。視頻監控系統在北京、上海、廣州、深圳和武漢等城市的地鐵工程項目施工現場獲得了廣泛應用。

國內許多學者對地鐵工程施工視頻監控系統的總體架構、主要功能、關鍵技術等方面進行了研究。用于施工安全培訓的素材往往是Near-miss事件(或稱為險兆事件),為了能捕捉這些事件，地鐵車站視頻監控應實現施工區域全覆蓋，包括出入大門、各類車輛出入區域、材料堆放加工區域和施工作業面。文獻[5]制定了施工階段施工層、施工現場空間視頻監控全覆蓋、視頻監控點最少等布設原則，并開發了施工視頻監控點動態布置模型。文獻[6]通過專家調查和層次分析法，得出了地鐵盾構區間視頻監控攝像頭最優布設位置為盾構機出土口、吊裝井口、盾構尾端、管片拼裝區、吊裝運輸區和盾構機操作室的結論。基于上述研究可知，地鐵工程現場施工視頻監控系統部署是識別和提取基于視頻摘要險兆事件圖像及數據的基礎。

1.2 險兆事件危險區域監控視頻圖像的辨識

為了獲取險兆事件的視頻圖像或照片作為安全培訓素材，必須對險兆事件發生的危險區域進行識別和劃分，總結發生此類不安全行為的監控視頻圖像特征并生成所需的安全培訓素材。

1.2.1 險兆事件危險區域的識別與劃分

地鐵工程施工技術難度高、施工環境復雜、施工人員安全意識參差不齊，現場安全管理難度較大。當工人進入易發生安全事故的危險區域時，發生安全事故的概率會相應增大。文獻[7-8]的研究發現：地鐵工程施工現場易發生安全事故的危險區域主要分布在基坑工程、腳手架工程、模板工程、混凝土工程、起重吊裝作業、動火作業、用電作業、運輸作業、施工機械作業和地下施工作業等區域，這些危險區域也是險兆事件高發區域，所以對這些危險區域實施重點監控是預防事故發生的有效技術手段。分析地鐵工程施工現場危險區域的識別條件、劃分規則和事故類型，結果如表1所示。

1.2.2 險兆事件危險區域的監控視頻圖像特征

監控視頻是由一系列相關的圖像幀組成，除了具有圖像的一般特征外，由于拍攝設備、手段、目的及內容的不同，還具有一些顯著特征：

1) 靜態特征：顏色、紋理、形狀和空間關系等特征。

2) 運動特征：反映監控視頻的動態信息，如運動目標的位置、大小、速度等變化。靠近或進入危險區域工人的運動特征可通過跟蹤工人所在危險區域的行為來反映。

3) 結構特征：監控視頻是對某個固定地點長時間連續拍攝形成的，主要記錄特定空間內(即險兆事件危險區域)運動對象的活動情況。

4) 視頻內容特征：背景變化較小、監控場景相對穩定、信息密度低，存在大量無險兆事件發生的片段，且處于險兆狀態的目標對象相對較少。

表1 地鐵工程施工現場危險區域的識別與劃分Tab.1 Identification and division of dangerous areas in metro project construction site

1.3 險兆事件視頻摘要的生成算法

險兆事件視頻摘要生成的基本步驟為：基于險兆事件危險區域劃分規則，通過施工現場的攝像頭聚焦預先劃分好的險兆事件危險區域，對其進行重點監控，并將監控視頻中劃分的危險區域范圍在視頻中框選出來，圍繞著框選的危險區域進行險兆事件識別和處理；通過背景建模獲得視頻背景圖像，當檢測到運動目標進入險兆事件危險區域的行為時，自動開始進行運動目標識別，并跟蹤運動目標的運動軌跡信息；運用關鍵幀提取算法生成視頻摘要。

1.3.1 運動目標檢測

檢測監控視頻框選險兆事件危險區域中的所有運動目標，是險兆事件識別的關鍵工作。基于混合高斯背景建模和背景差分運動目標檢測方法對復雜的監控場景有良好的適應性，運動目標檢測包括兩個主要步驟：背景建模和背景差分法運動目標檢測。

1) 背景建模。背景圖像中的每個像素由k(3≤k≤5)個高斯分布構成混合模型P(Xt)可以表示為：

(1)

式中：

βi,t——協方差矩陣；

η(Xt,μi,t,βi,t)——t時刻第i個高斯模型的概率密度函數。

2) 背景差分法運動目標檢測。背景差分法是根據當前視頻幀像素點集合Xt(x，y)與背景圖像幀像素點集合Bt(x，y)作差分運算，比較差分圖像灰度值dt(x，y)與差分法計算時設定的閾值T，大于T的部分為運動目標，其余為背景部分。背景差分法運動目標檢測公式為：

dt(x,y)=|Xt(x,y)-Bt(x,y)|

(2)

(3)

式中：

Dt(x，y)——運動目標檢測結果值，取0或1。

1.3.2 目標跟蹤與軌跡提取

目標跟蹤的目的是獲取監控圖像序列中運動目標在險兆事件危險區域中的位置、行為及運動軌跡等信息。卡爾曼濾波法是一種快速準確的狀態估計跟蹤算法，采用5個步驟實現跟蹤算法：①列出狀態向量預測方程；②列出誤差協方差預測方程；③計算卡爾曼濾波增益；④修正狀態向量；⑤修正誤差協方差矩陣。

通過對險兆事件危險區域中運動目標的檢測與跟蹤，可以獲得視頻圖像幀中運動目標的位置變化信息。以視頻圖像幀中運動目標的質心坐標(xm，ym)作為位置坐標，m為監控視頻圖像幀序號，且m=0,1,…,n-1，將這些位置坐標連接起來即為視頻圖像幀中運動目標點坐標集合G，可以表示為：

G={(x0,y0),(x1,y1),…,(xn-1,yn-1)}

(4)

1.3.3 關鍵幀提取

采用基于內容分析的關鍵幀提取方法，以運動目標出入框選危險區域的起始幀及結束幀作為參考關鍵幀，反映運動目標進出危險區域的行為。對運動目標進入危險區域前與離開危險區域后的運動目標狀態，根據參考關鍵幀以固定幀間隔各抓取一個關鍵幀；對運動目標進入危險區域內的視頻段，只要運動目標進入危險區域內，其所有行為均可認為是險兆事件，即運動目標進入危險區域內的所有視頻幀都可作為關鍵幀，所以選取中間幀作為關鍵幀。

1.3.4 動態視頻摘要形成

根據運動目標檢測與跟蹤算法檢測出框選危險區域內含有運動目標視頻片段的定位信息，即運動目標出入框選危險區域的起始幀及結束幀。

1.3.5 靜態視頻摘要合成

運用泊松圖像編輯技術合成摘要，對取得關鍵幀中的運動目標進行扣取，將其按照時間順序放入背景圖片中的對應位置，加入關鍵幀序號與時間標簽，并將G中存儲的各運動物體的運動軌跡在圖像幀中顯示出來，形成地鐵工程施工險兆事件靜態摘要。靜態視頻摘要可以直觀地了解運動目標在地鐵工程施工險兆危險區域的運動情況及行為信息，以便監控視頻管理者對險兆事件作出判斷并及時處理，避免安全事故的發生。安全培訓素材庫生成過程及應用如圖1 所示。

圖1 安全培訓素材庫生成過程及應用

2 應用案例

2.1 項目概況

武漢地鐵某車站主體結構全長359.80 m，標準段寬為33.65 m。車站頂板覆土厚度為3 m。地鐵車站工程采用明挖順作法施工，車站主體基坑圍護結構采用地下連續墻。根據企業技術文件《武漢地鐵工程施工現場監控中心技術導則》規定，沿基坑前端、后端、左端、右端和中心制高點部位布設了5個動點高清紅外網絡高速智能球機(攝像頭)。通過5.8 GHz頻段無線網橋設備(最高帶寬可達300 Mbit/s)將監控視頻傳輸至監控機房千兆交換機，監控機房放置一臺內置9 TB硬盤的NVR(網絡視頻錄像機)和顯示設備。

2.2 生成險兆事件視頻摘要

通過施工現場監控高速智能球機獲取基坑臨邊危險區域險兆事件監控視頻，將其作為試驗案例，采用Matlab 2017b軟件進行程序編譯。首先，根據臨邊危險區域劃分規則劃定危險區域范圍；然后，基于1.3節提出的視頻摘要算法對臨邊危險區域險兆事件進行自動監測，進而生成險兆事件視頻摘要，將其作為個性化安全培訓素材，通過安全培訓系統推送給地鐵車站項目工人。

本文案例為一個正在施工的地鐵車站基坑，基坑防護欄桿已安裝完畢，監控高速智能球機對此區域進行24 h監控。由于現場施工人員安全意識不夠，出現了施工人員跨越防護欄桿在基坑邊緣行走的險兆事件。根據危險區域劃分規則在施工監控視頻中已標記了臨邊危險區域，當施工人員進入紅色邊框區域時，基于運動目標檢測與跟蹤算法，識別程序開始自動響應并進行運動目標檢測與跟蹤，其示意圖如圖2所示(現場中的紅色邊框區在圖中用白線表示)。

圖2 運動目標檢測與跟蹤示意圖Fig.2 Diagram of moving target detection and tracking

基于關鍵幀提取與摘要合成算法，對施工人員進入危險區域的視頻段提取關鍵視頻幀。根據險兆事件特征，在所獲得的監控視頻中選取了3個關鍵幀，其中包含工人違規跨越護欄進入臨邊危險區域(見圖3 a))、在基坑邊緣行走(見圖3 b))、離開臨邊危險區域(見圖3 c))這3個關鍵信息，結合人物運動軌跡和時間標簽，合成視頻摘要圖片(見圖3 d))。

圖3 視頻摘要生成示意圖Fig.3 Diagram of video summarization generation

3 結語

針對目前地鐵施工安全培訓素材缺乏等問題，本文充分利用地鐵工程施工現場視頻監控圖像，分析工人不安全行為特征，對危險區域中的運動目標進行檢測與跟蹤，利用視頻摘要算法提取工人危險行為關鍵幀，構建動態和靜態視頻摘要作為工人安全培訓素材。以武漢某地鐵車站深基坑施工項目為例，從監控視頻中抽取工人違規跨越護欄的危險行為作為典型幀視頻，形成一條防止高處墜落的安全培訓素材。此方法所形成的安全培訓素材客觀真實、形象生動、更新及時，解決了傳統安全培訓圖片式、漫畫式素材單一及獲取困難等問題。后續研究中將進一步拓展識別規則，豐富檢測不安全行為的種類，在視頻摘要算法中加強人工智能屬性，以構建更完善的工人安全培訓素材庫。