基于視頻摘要的地鐵工程施工項目安全培訓素材獲取方法*

余宏亮 彭 震 金 媛 黃金艷

(1.武漢科技大學恒大管理學院，430065，武漢； 2.華中科技大學BIM工程中心，430074，武漢∥第一作者，高級工程師)

0 引言

施工工人(以下簡稱“工人”)的不安全行為是導致地鐵車站施工項目安全事故發(fā)生的主要原因，對工人進行安全培訓是降低不安全行為的重要手段。目前，在地鐵工程的施工過程中，工人的安全培訓效果并不理想。究其原因主要有以下幾點：① 現(xiàn)場工人文化程度普遍不高，對傳統(tǒng)紙質(zhì)教材難以吸收消化；② 開展培訓的方式多采用課堂集中教學，培訓內(nèi)容主要來源于操作規(guī)程和安全規(guī)范，存在學習內(nèi)容枯燥等問題；③ 安全培訓重視程度不高，培訓內(nèi)容和形式更新不及時。

針對現(xiàn)有安全培訓中的培訓內(nèi)容脫離實際、難以吸收消化、培訓方式枯燥等問題，文獻[1]認為培訓材料需要以多樣化、圖形化的表現(xiàn)形式呈現(xiàn)，用多媒體或圖片等計算機輔助手段可以提升培訓效果。文獻[2]根據(jù)培訓圖片的內(nèi)容特征，利用相似度算法個性化推送給相應地鐵項目中進行該環(huán)節(jié)施工的工人。文獻[3]開發(fā)了一個圖示語言安全培訓系統(tǒng)，該系統(tǒng)從施工現(xiàn)場照片中獲取工人的危險動作，并將其作為培訓素材，以更趣味的形式改編和轉(zhuǎn)化為工人施工法則規(guī)范，極大地增添了參與者的培訓積極性。文獻[4]以武漢地鐵雙墩站為例，利用漫畫和圖片的形式建立圖示語言培訓庫，研究結(jié)果表明其具有高實用性，能夠有效改善工人的危險行為，提高施工安全管理水平。但上述研究的實施效果均依賴于高質(zhì)量的培訓照片，而現(xiàn)場安全培訓照片素材收集難度較大，若通過人工從海量巡查照片中篩選出合適的素材，工作量極大且效率極低，這就造成了安全培訓照片庫更新較慢，不能及時反映各工地的實際安全狀況。同時，安全培訓照片庫更新較慢還會導致經(jīng)過幾輪培訓的工人反復抽取到已培訓過的測試題等情況。因此，安全培訓素材需要更有針對性的個性化數(shù)據(jù)庫。

視頻摘要是利用近似算法和計算機技術(shù)從海量多媒體視頻中篩選典型的、有利用價值的幀，對原始視頻進行濃縮概括的一項技術(shù)。隨著視頻摘要技術(shù)在監(jiān)控領(lǐng)域的廣泛應用，可以借助該技術(shù)篩選出地鐵車站施工項目中工人的不安全行為。視頻摘要分為靜態(tài)視頻摘要和動態(tài)視頻摘要。靜態(tài)視頻摘要通過原始多媒體圖像摘選典型視頻幀形成關(guān)鍵幀。動態(tài)視頻摘要是由一些圖像序列及其對應的音頻組成的一個視頻片斷。視頻摘要提取技術(shù)有助于直接從地鐵工程施工項目現(xiàn)場獲取反映工人不安全行為的圖像數(shù)據(jù)，相比于傳統(tǒng)的培訓素材，該技術(shù)的應用具有極高的工程價值和實用性。

本文提出在地鐵工程施工項目現(xiàn)場的視頻監(jiān)控圖像中，根據(jù)工人的不安全行為特征抽取典型視頻幀和視頻段，分別形成靜態(tài)視頻摘要和動態(tài)視頻摘要。利用動態(tài)視頻摘要獲取地鐵車站施工項目的不安全行為視頻，極大地豐富了安全培訓素材，解決了素材單一及獲取困難等問題。本研究可為接受安全培訓的工人提供更加生動的培訓體驗，提高實際培訓效果。

1 地鐵工程施工安全培訓素材獲取方法

1.1 地鐵工程施工遠程監(jiān)控及視頻圖像管理

遠程視頻監(jiān)控是加強地鐵工程施工現(xiàn)場安全監(jiān)管的有力措施，因此國家和地方安全監(jiān)管部門頒布了各種法規(guī)大力推行遠程視頻監(jiān)控。2012年，中華人民共和國住建部發(fā)布了JGJ/T 292—2012《建筑工程施工現(xiàn)場視頻監(jiān)控技術(shù)規(guī)范》，隨之天津、北京、南京和上海等地也出臺了相應的施工現(xiàn)場遠程視頻監(jiān)控管理實施辦法，其中《上海軌道交通施工現(xiàn)場視頻監(jiān)控管理辦法》對監(jiān)控區(qū)域范圍、監(jiān)控視頻保存與備份等具體問題進行了規(guī)定。視頻監(jiān)控系統(tǒng)在北京、上海、廣州、深圳和武漢等城市的地鐵工程項目施工現(xiàn)場獲得了廣泛應用。

國內(nèi)許多學者對地鐵工程施工視頻監(jiān)控系統(tǒng)的總體架構(gòu)、主要功能、關(guān)鍵技術(shù)等方面進行了研究。用于施工安全培訓的素材往往是Near-miss事件(或稱為險兆事件),為了能捕捉這些事件，地鐵車站視頻監(jiān)控應實現(xiàn)施工區(qū)域全覆蓋，包括出入大門、各類車輛出入?yún)^(qū)域、材料堆放加工區(qū)域和施工作業(yè)面。文獻[5]制定了施工階段施工層、施工現(xiàn)場空間視頻監(jiān)控全覆蓋、視頻監(jiān)控點最少等布設原則，并開發(fā)了施工視頻監(jiān)控點動態(tài)布置模型。文獻[6]通過專家調(diào)查和層次分析法，得出了地鐵盾構(gòu)區(qū)間視頻監(jiān)控攝像頭最優(yōu)布設位置為盾構(gòu)機出土口、吊裝井口、盾構(gòu)尾端、管片拼裝區(qū)、吊裝運輸區(qū)和盾構(gòu)機操作室的結(jié)論。基于上述研究可知，地鐵工程現(xiàn)場施工視頻監(jiān)控系統(tǒng)部署是識別和提取基于視頻摘要險兆事件圖像及數(shù)據(jù)的基礎(chǔ)。

1.2 險兆事件危險區(qū)域監(jiān)控視頻圖像的辨識

為了獲取險兆事件的視頻圖像或照片作為安全培訓素材，必須對險兆事件發(fā)生的危險區(qū)域進行識別和劃分，總結(jié)發(fā)生此類不安全行為的監(jiān)控視頻圖像特征并生成所需的安全培訓素材。

1.2.1 險兆事件危險區(qū)域的識別與劃分

地鐵工程施工技術(shù)難度高、施工環(huán)境復雜、施工人員安全意識參差不齊，現(xiàn)場安全管理難度較大。當工人進入易發(fā)生安全事故的危險區(qū)域時，發(fā)生安全事故的概率會相應增大。文獻[7-8]的研究發(fā)現(xiàn)：地鐵工程施工現(xiàn)場易發(fā)生安全事故的危險區(qū)域主要分布在基坑工程、腳手架工程、模板工程、混凝土工程、起重吊裝作業(yè)、動火作業(yè)、用電作業(yè)、運輸作業(yè)、施工機械作業(yè)和地下施工作業(yè)等區(qū)域，這些危險區(qū)域也是險兆事件高發(fā)區(qū)域，所以對這些危險區(qū)域?qū)嵤┲攸c監(jiān)控是預防事故發(fā)生的有效技術(shù)手段。分析地鐵工程施工現(xiàn)場危險區(qū)域的識別條件、劃分規(guī)則和事故類型，結(jié)果如表1所示。

1.2.2 險兆事件危險區(qū)域的監(jiān)控視頻圖像特征

監(jiān)控視頻是由一系列相關(guān)的圖像幀組成，除了具有圖像的一般特征外，由于拍攝設備、手段、目的及內(nèi)容的不同，還具有一些顯著特征：

1) 靜態(tài)特征：顏色、紋理、形狀和空間關(guān)系等特征。

2) 運動特征：反映監(jiān)控視頻的動態(tài)信息，如運動目標的位置、大小、速度等變化。靠近或進入危險區(qū)域工人的運動特征可通過跟蹤工人所在危險區(qū)域的行為來反映。

3) 結(jié)構(gòu)特征：監(jiān)控視頻是對某個固定地點長時間連續(xù)拍攝形成的，主要記錄特定空間內(nèi)(即險兆事件危險區(qū)域)運動對象的活動情況。

4) 視頻內(nèi)容特征：背景變化較小、監(jiān)控場景相對穩(wěn)定、信息密度低，存在大量無險兆事件發(fā)生的片段，且處于險兆狀態(tài)的目標對象相對較少。

表1 地鐵工程施工現(xiàn)場危險區(qū)域的識別與劃分Tab.1 Identification and division of dangerous areas in metro project construction site

1.3 險兆事件視頻摘要的生成算法

險兆事件視頻摘要生成的基本步驟為：基于險兆事件危險區(qū)域劃分規(guī)則，通過施工現(xiàn)場的攝像頭聚焦預先劃分好的險兆事件危險區(qū)域，對其進行重點監(jiān)控，并將監(jiān)控視頻中劃分的危險區(qū)域范圍在視頻中框選出來，圍繞著框選的危險區(qū)域進行險兆事件識別和處理；通過背景建模獲得視頻背景圖像，當檢測到運動目標進入險兆事件危險區(qū)域的行為時，自動開始進行運動目標識別，并跟蹤運動目標的運動軌跡信息；運用關(guān)鍵幀提取算法生成視頻摘要。

1.3.1 運動目標檢測

檢測監(jiān)控視頻框選險兆事件危險區(qū)域中的所有運動目標，是險兆事件識別的關(guān)鍵工作。基于混合高斯背景建模和背景差分運動目標檢測方法對復雜的監(jiān)控場景有良好的適應性，運動目標檢測包括兩個主要步驟：背景建模和背景差分法運動目標檢測。

1) 背景建模。背景圖像中的每個像素由k(3≤k≤5)個高斯分布構(gòu)成混合模型P(Xt)可以表示為：

(1)

式中：

βi,t——協(xié)方差矩陣；

η(Xt,μi,t,βi,t)——t時刻第i個高斯模型的概率密度函數(shù)。

2) 背景差分法運動目標檢測。背景差分法是根據(jù)當前視頻幀像素點集合Xt(x，y)與背景圖像幀像素點集合Bt(x，y)作差分運算，比較差分圖像灰度值dt(x，y)與差分法計算時設定的閾值T，大于T的部分為運動目標，其余為背景部分。背景差分法運動目標檢測公式為：

dt(x,y)=|Xt(x,y)-Bt(x,y)|

(2)

(3)

式中：

Dt(x，y)——運動目標檢測結(jié)果值，取0或1。

1.3.2 目標跟蹤與軌跡提取

目標跟蹤的目的是獲取監(jiān)控圖像序列中運動目標在險兆事件危險區(qū)域中的位置、行為及運動軌跡等信息。卡爾曼濾波法是一種快速準確的狀態(tài)估計跟蹤算法，采用5個步驟實現(xiàn)跟蹤算法：①列出狀態(tài)向量預測方程；②列出誤差協(xié)方差預測方程；③計算卡爾曼濾波增益；④修正狀態(tài)向量；⑤修正誤差協(xié)方差矩陣。

通過對險兆事件危險區(qū)域中運動目標的檢測與跟蹤，可以獲得視頻圖像幀中運動目標的位置變化信息。以視頻圖像幀中運動目標的質(zhì)心坐標(xm，ym)作為位置坐標，m為監(jiān)控視頻圖像幀序號，且m=0,1,…,n-1，將這些位置坐標連接起來即為視頻圖像幀中運動目標點坐標集合G，可以表示為：

G={(x0,y0),(x1,y1),…,(xn-1,yn-1)}

(4)

1.3.3 關(guān)鍵幀提取

采用基于內(nèi)容分析的關(guān)鍵幀提取方法，以運動目標出入框選危險區(qū)域的起始幀及結(jié)束幀作為參考關(guān)鍵幀，反映運動目標進出危險區(qū)域的行為。對運動目標進入危險區(qū)域前與離開危險區(qū)域后的運動目標狀態(tài)，根據(jù)參考關(guān)鍵幀以固定幀間隔各抓取一個關(guān)鍵幀；對運動目標進入危險區(qū)域內(nèi)的視頻段，只要運動目標進入危險區(qū)域內(nèi)，其所有行為均可認為是險兆事件，即運動目標進入危險區(qū)域內(nèi)的所有視頻幀都可作為關(guān)鍵幀，所以選取中間幀作為關(guān)鍵幀。

1.3.4 動態(tài)視頻摘要形成

根據(jù)運動目標檢測與跟蹤算法檢測出框選危險區(qū)域內(nèi)含有運動目標視頻片段的定位信息，即運動目標出入框選危險區(qū)域的起始幀及結(jié)束幀。

1.3.5 靜態(tài)視頻摘要合成

運用泊松圖像編輯技術(shù)合成摘要，對取得關(guān)鍵幀中的運動目標進行扣取，將其按照時間順序放入背景圖片中的對應位置，加入關(guān)鍵幀序號與時間標簽，并將G中存儲的各運動物體的運動軌跡在圖像幀中顯示出來，形成地鐵工程施工險兆事件靜態(tài)摘要。靜態(tài)視頻摘要可以直觀地了解運動目標在地鐵工程施工險兆危險區(qū)域的運動情況及行為信息，以便監(jiān)控視頻管理者對險兆事件作出判斷并及時處理，避免安全事故的發(fā)生。安全培訓素材庫生成過程及應用如圖1 所示。

圖1 安全培訓素材庫生成過程及應用

2 應用案例

2.1 項目概況

武漢地鐵某車站主體結(jié)構(gòu)全長359.80 m，標準段寬為33.65 m。車站頂板覆土厚度為3 m。地鐵車站工程采用明挖順作法施工，車站主體基坑圍護結(jié)構(gòu)采用地下連續(xù)墻。根據(jù)企業(yè)技術(shù)文件《武漢地鐵工程施工現(xiàn)場監(jiān)控中心技術(shù)導則》規(guī)定，沿基坑前端、后端、左端、右端和中心制高點部位布設了5個動點高清紅外網(wǎng)絡高速智能球機(攝像頭)。通過5.8 GHz頻段無線網(wǎng)橋設備(最高帶寬可達300 Mbit/s)將監(jiān)控視頻傳輸至監(jiān)控機房千兆交換機，監(jiān)控機房放置一臺內(nèi)置9 TB硬盤的NVR(網(wǎng)絡視頻錄像機)和顯示設備。

2.2 生成險兆事件視頻摘要

通過施工現(xiàn)場監(jiān)控高速智能球機獲取基坑臨邊危險區(qū)域險兆事件監(jiān)控視頻，將其作為試驗案例，采用Matlab 2017b軟件進行程序編譯。首先，根據(jù)臨邊危險區(qū)域劃分規(guī)則劃定危險區(qū)域范圍；然后，基于1.3節(jié)提出的視頻摘要算法對臨邊危險區(qū)域險兆事件進行自動監(jiān)測，進而生成險兆事件視頻摘要，將其作為個性化安全培訓素材，通過安全培訓系統(tǒng)推送給地鐵車站項目工人。

本文案例為一個正在施工的地鐵車站基坑，基坑防護欄桿已安裝完畢，監(jiān)控高速智能球機對此區(qū)域進行24 h監(jiān)控。由于現(xiàn)場施工人員安全意識不夠，出現(xiàn)了施工人員跨越防護欄桿在基坑邊緣行走的險兆事件。根據(jù)危險區(qū)域劃分規(guī)則在施工監(jiān)控視頻中已標記了臨邊危險區(qū)域，當施工人員進入紅色邊框區(qū)域時，基于運動目標檢測與跟蹤算法，識別程序開始自動響應并進行運動目標檢測與跟蹤，其示意圖如圖2所示(現(xiàn)場中的紅色邊框區(qū)在圖中用白線表示)。

圖2 運動目標檢測與跟蹤示意圖Fig.2 Diagram of moving target detection and tracking

基于關(guān)鍵幀提取與摘要合成算法，對施工人員進入危險區(qū)域的視頻段提取關(guān)鍵視頻幀。根據(jù)險兆事件特征，在所獲得的監(jiān)控視頻中選取了3個關(guān)鍵幀，其中包含工人違規(guī)跨越護欄進入臨邊危險區(qū)域(見圖3 a))、在基坑邊緣行走(見圖3 b))、離開臨邊危險區(qū)域(見圖3 c))這3個關(guān)鍵信息，結(jié)合人物運動軌跡和時間標簽，合成視頻摘要圖片(見圖3 d))。

圖3 視頻摘要生成示意圖Fig.3 Diagram of video summarization generation

3 結(jié)語

針對目前地鐵施工安全培訓素材缺乏等問題，本文充分利用地鐵工程施工現(xiàn)場視頻監(jiān)控圖像，分析工人不安全行為特征，對危險區(qū)域中的運動目標進行檢測與跟蹤，利用視頻摘要算法提取工人危險行為關(guān)鍵幀，構(gòu)建動態(tài)和靜態(tài)視頻摘要作為工人安全培訓素材。以武漢某地鐵車站深基坑施工項目為例，從監(jiān)控視頻中抽取工人違規(guī)跨越護欄的危險行為作為典型幀視頻，形成一條防止高處墜落的安全培訓素材。此方法所形成的安全培訓素材客觀真實、形象生動、更新及時，解決了傳統(tǒng)安全培訓圖片式、漫畫式素材單一及獲取困難等問題。后續(xù)研究中將進一步拓展識別規(guī)則，豐富檢測不安全行為的種類，在視頻摘要算法中加強人工智能屬性，以構(gòu)建更完善的工人安全培訓素材庫。