基于視覺識別的自動扶梯多維感知系統設計*

饒美婉 黎子然

(廣州地鐵設計研究院股份有限公司， 510010， 廣州∥第一作者， 正高級工程師)

自動扶梯是城市軌道交通車站內直接面向乘客的客運設備，確保自動扶梯的安全對乘客生命安全及車站運營秩序非常重要。據調研，近年來城市軌道交通車站內自動扶梯各種事故頻發，自動扶梯設備故障、乘客不規范乘搭是引起自動扶梯客傷的主要原因，其中乘客不規范乘搭的占比達85%。

隨著視覺識別技術的快速發展，本文提出了基于視覺識別的自動扶梯多維感知系統。該系統通過監控手段與自動扶梯的運行模式聯動，可約束乘客的不規范乘搭行為，避免扶梯自身故障導致乘客受傷的情況，進而可降低客傷事件的發生率，提升自動扶梯的通行能力和服務水平。

1 自動扶梯設置多維感知系統的必要性

自動扶梯在城市軌道交通領域內的使用量逐年增長。以廣州市為例，廣州地鐵在建的10條新線所安裝的自動扶梯數量將達到3 000臺，加上目前已運營線路中的約2 000臺自動扶梯，2023年廣州地鐵線網的自動扶梯總數將接近5 000臺。這對城市軌道交通運營單位的管理能力提出了新的要求，靠傳統的人為監控方式來管理自動扶梯將變得非常困難。同時，隨著車站埋深加大，扶梯提升高度也會增高，自動扶梯提升高度的增大也會大大增加自動扶梯發生安全事故的概率。

造成自動扶梯安全事故的主要原因包括兩類[1]：一是乘搭人員的不規范乘搭行為，如未站好扶穩、攜帶大行李乘搭、頭和手伸出扶手帶的外部區域、在扶手帶上攀爬玩耍等；二是自動扶梯自身故障，包括樓層板缺失、梯級撞梳齒、梯級塌陷、運動部件縫隙過大等。根據2017—2019年廣州地鐵線網的統計數據，自動扶梯上未站穩扶好跌倒、攜帶大行李和乘客玩耍等原因導致的客傷約占全線網客傷總數的58%。這些客傷的共同點為均屬于第一類的乘客不規范乘搭行為，其根本原因是乘搭人員沒有遵守自動扶梯的乘搭規范。

目前，針對自動扶梯部件故障導致的事故，一般通過設置自動扶梯安全開關[2]來避免事故的進一步惡化，但這類措施均屬于事后補救措施。如何在事前能做出預警，對自動扶梯部件健康運行狀態進行監測[3]，目前也有技術手段可以實現，本文不再展開論述。

針對乘客不規范乘搭自動扶梯導致的客傷事件，現階段采用的應對措施是在自動扶梯上方安裝攝像頭，對梯路的運行情況進行監視，但攝像頭監視的作用更多體現在發生事故后的視頻取證。近年來關于乘客乘搭自動扶梯不規范行為的監測，國內外的專家和管理人員也在開展相關研究，如通過圖像判斷是否有小孩單獨進入扶梯的研究[4]或研究視覺識別聚焦在客流統計等方面，其研究內容仍比較單一。

本文提出基于視覺識別的自動扶梯多維感知系統方案，重點論述采用視覺識別系統來監測自動扶梯上乘客的各類不規范乘搭行為，同時根據監測結果智能聯動自動扶梯的運行模式，以減少客傷的發生。

2 基于視覺識別的自動扶梯多維感知系統設計方案

2.1 系統架構

基于視覺識別的自動扶梯多維感知系統包括2大部分：視覺識別子系統和自動扶梯智能聯動運行子系統。

如圖1所示，視覺識別子系統具有4層架構：①基礎設施層，為基礎硬件設備，包括攝像頭和服務器，攝像頭的檢測范圍包括上、下部樓層板及傾斜段梯路；②數據采集層，采集原始數據，并對數據進行預處理；③算法引擎層，包括人頭檢測模型、人體骨骼點檢測模型、物體檢測模型、人體跟蹤模型、扶梯及樓層板分割模型和骨骼檢測模型；④應用層，接收算法引擎層的輸出結果。

自動扶梯智能運行子系統包括控制系統、接口裝置、語音播報裝置等。根據圖1中應用層輸出的結果，自動扶梯智能運行系統可實現扶梯的智能聯動，改變自動扶梯的運行模式，并可針對不同的危險狀況給出相應的響應模式。

圖1 視覺識別子系統的軟件結構Fig.1 Software architecture of visual recognition subsystem

2.2 視覺識別算法

視覺識別算法分為3部分，分別為人群密度提取算法、人體動作異常檢測算法、行人檢測與跟蹤算法。

2.2.1 人群密度提取算法

該算法的整體框架如圖2所示，運用紋理分析方法描述人群的密度特征，采用基于小波變換和灰度共生矩陣的特征提取方法，運用支持向量機進行人群密度分類。

圖2 人群密度提取算法整體框架示意圖

2.2.2 人體動作異常檢測算法

當人員進入檢測區域時，攝像頭獲得目標后對此目標進行位置定位，并對目標姿態進行一定的計算。根據計算結果來判定目標是否有不規范搭乘動作，當判斷出有人員不規范搭乘動作時，報警器發出報警。其算法流程圖如圖3所示。

2.2.3 行人檢測與跟蹤算法

行人檢測算法分為3部分：①獲取運動目標區域；②建立行人檢測模板；③行人檢測計數。由于監控設備安裝在自動扶梯的上方，算法將人的頭部和肩部作為識別特征。該算法的檢測計數流程如圖4所示，工作原理如下：首先獲取頭部與肩部組合特征明顯的行人圖像，構成行人圖像樣本集；然后對圖像進行灰度化及二值化，構成頭部與肩部響應較高的概率模板；然后用行人檢測模板對檢測行人區域進行匹配計算，若匹配度大于閾值，則判斷為行人。閾值通過訓練視頻序列學習得到，同時更新模板庫。

圖3 行人不規范搭乘行為算法流程圖

圖4 檢測計數流程圖Fig.4 Flowchart of detection and counting

行人目標跟蹤算法以目標檢測為基礎，可用于更深層次的運動分析。利用檢測得到的目標信息提取對應特征后，采用目標匹配技術來實現目標跟蹤。通過目標跟蹤結果可以預測下一時刻目標的具體位置。結合預測信息后，新的目標檢測結果更為準確。

2.3 自動扶梯智能聯動運行子系統

自動扶梯智能運行子系統根據視頻控制裝置得到的不同視覺分析結果，制定不同的危險情況，進而采取不同的響應模式，以改變扶梯的運行狀態。

2.3.1 模式一(自動扶梯語音播報提醒)

當視頻控制系統監測到有乘客在自動扶梯上、下梯頭處滯留，或乘客的頭/手伸出扶手帶時，自動扶梯智能運行系統將觸發自動扶梯語音播報裝置，向乘客播報警示提醒；當監測到僅有物品滯留在自動扶梯上、下梯頭時，系統也將自動觸發語音播報裝置，播報警示提醒，同時將自動扶梯的運行速度降至0.13 m/s。

2.3.2 模式二(自動扶梯智能調整速度)

自動扶梯智能運行系統將結合視頻控制系統監測到的自動扶梯人流密度情況對自動扶梯的運行速度進行調整。當自動扶梯上的人流密度為中高密度或高密度時，該系統將自動扶梯的運行速度設為0.65 m/s；當人流密度為低密度或中低密度時，該系統將自動扶梯的運行速度設為0.50 m/s；當監測到自動扶梯上無乘客且無乘客進入自動扶梯時，自動扶梯將采用節能速度運行。

2.3.3 模式三(自動扶梯停止運行)

乘客的頭/手伸出扶手帶外且靠近危險位置(如墻壁、樓板夾角或有固定障礙物時)、有乘客爬上扶手帶、乘客在自動扶梯上跌倒、自動扶梯上下水平蓋板意外打開、自動扶梯梯級意外脫離運行軌跡等情況均為高度危險事件。當視頻控制系統監測到這些事件發生時，自動扶梯智能運行系統將發出停梯指令，以避免事故進一步擴大。

3 試點應用情況

基于視覺識別的自動扶梯多維感知系統在廣州地鐵21號線蘇元站的2組4臺自動扶梯進行了應用試點。如圖5～11所示，其包含以下功能的測試：人流統計、扶梯上有人/無人檢測、樓層板上人/物滯留、攜帶大件物品乘梯、乘客頭/手伸出扶手帶、乘客摔倒、乘客逆行等。經過8個多月的運營驗證，上述功能的監測準確率均超過90%。同時，自動扶梯多維感知系統已通過國家電梯質量監督檢驗中心的第三方認證。

圖5 客流統計及有人/無人檢測Fig.5 Passenger flow counting and present/absent detection

圖6 樓層板物體滯留檢測Fig.6 Detection of item-retention on floor

圖7 大件物品(嬰兒車)檢測Fig.7 Large object (strollers) detection

圖8 樓層板人流擁堵檢測Fig.8 Detection of pedestrian congestion on floor

圖9 乘客頭/手伸出扶手帶檢測Fig.9 Detection of passenger′s head/hand extending out of handrail

圖10 乘客摔倒檢測Fig.10 Detection of passenger falling

圖11 乘客逆行檢測Fig.11 Detection of passenger reverse-riding

4 結語

本文提出的基于視覺識別的自動扶梯多維感知系統實現了乘客乘搭自動扶梯行為的在線實時監測及自動扶梯部件運行情況的在線實時監控，并與自動扶梯控制子系統聯動，采取預防、提醒、警報、變速、停梯等措施，以提升自動扶梯的安全防護能力。

城市軌道交通車站客流量大、人流密度高，對視覺識別的準確度要求較高。此外，對自動扶梯部件(梯級、蓋板等)的狀態檢測亦是自動扶梯運行管理的難點。隨著智能化技術的發展，軟件的機器學習能力將進一步提升，可利用檢測得到的目標信息，不斷更新學習的模板庫，進一步優化判斷條件，以提高自動扶梯多維感知系統判斷乘客不規范乘搭行為的準確度。