新基建背景下智能視頻分析技術與智慧地鐵建設融合應用研究

李 輝，石 旭， 張京晶，李心怡，姚世嚴，李天宇，鄭劍飛

（北京軌道交通路網管理有限公司，北京 100101）

1 研究背景

近年來，“新基建”成為當前社會各界關注的熱點。“新基建”即新型基礎設施建設， 數字化、信息交互、科技創新驅動是“新基建”的3個特點。“新基建”主要包含3部分內容：一是信息基礎設施，如以5G、物聯網、工業互聯網為代表的通信基礎設施，以人工智能（AI）、云計算、區塊鏈為代表的新技術基礎設施，以大數據中心為代表的算力基礎設施；二是融合基礎設施，指深度應用大數據、AI、物聯網技術，支撐傳統基礎設施升級，如智慧交通基礎設施、智慧能源基礎設施等；三是創新基礎設施，主要指支撐科學研究、技術研發的基礎設施。其中融合基礎設施與智慧地鐵建設目標高度一致。

AI技術經過多年發展，已進入“機器學習期”。隨著各種機器學習算法的提出和應用，特別是深度學習技術的發展，機器能夠通過大數據分析，自動學習知識并實現智能化。智能視頻分析技術源于AI技術和機器視覺技術，在AI技術領域應用最為成熟。當前應用較為普遍的智能視頻分析算法種類包括人臉識別、目標跟蹤、物體檢測、密度估計、姿態估計及行人重識別（ReID）等。

2 智能視頻分析技術應用現狀

近年來，智能視頻分析技術在安防、金融等領域有大量的應用場景，在維護社會公共安全、創新社會治理方面取得令人矚目的成績。但該技術在地鐵行業還處于剛起步或探索階段，距離廣泛應用還有較長距離。

國內北京、杭州、鄭州、西安等城市地鐵線路已有部分智能視頻分析技術的應用場景，但是大多數場景仍是安防和金融領域的自然延伸。例如，北京地鐵6號線在車廂內通過感知攝像機，運用圖像識別和視頻分析技術對車內乘客暈倒及擁擠度等進行識別和告警；杭州地鐵通過人臉識別技術手段檢測、預防、捕獲各類涉危人員；西安地鐵、鄭州地鐵的刷臉支付等場景。

從國外的情況來看，2018年，日本東京地鐵實現乘客可通過APP實時查看全線85個站臺排隊及擁堵情況，引導乘客等待乘車或繞行其他路線。2019年，日本大阪地鐵谷町線天王寺站進行人臉過閘實證試驗。2021年，以色列地鐵在視頻監控系統中加入智能分析功能，用于監控“軌道入侵” “人群聚集”和“破壞攝像機”等站臺異常行為。

眾所周知，數據、算力和算法是人工智能的核心三要素，而現階段智能視頻分析技術仍以“數據驅動”為主，這意味著產品研發落地過程中遇到的最大障礙是數據，以及因樣本數據規模不足而帶來的模型遷移和泛化能力差等問題。經調研，目前國內地鐵覆蓋全路網的攝像機的作用基本僅限于現場監控，而智能視頻分析技術未能在地鐵行業推廣落地的原因主要有以下4個方面。

（1）場景缺乏梳理。既有的地鐵場景都是安防和金融領域應用場景的自然延伸（如黑名單布控、刷臉過閘等），并沒有針對地鐵建設和客流組織提供針對性的場景，不能很好地解決建設和運營中的痛點。

（2）算法缺乏樣本。智能視頻核心算法相對成熟，但卷積神經網絡算法一定要針對不同的應用場景進行機器學習，在實踐中不斷打磨，才能達到應用要求。而各智能視頻廠商缺乏地鐵行業學習樣本數據和算法訓練的機會。

（3）沒有定制產品。由于沒有針對特定應用場景進行定制化，通用產品功能繁雜，硬件要求高，性價比低，難以全網推廣。

（4）缺乏標準規范。國家、行業、地方對于智能視頻分析技術在地鐵行業的應用，包括應用場景、技術、精度指標及安裝實施等方面均無標準規范支撐。

3 智慧地鐵業務需求及場景分析

《北京市智慧交通提升行動計劃（2019-2021）》中提出，要實現地鐵的智慧化，必須打造集交通運行監測中心、指揮調度中心、決策支持中心、綜合信息服務中心為一體的智慧交通大腦，如圖1所示。基于“優供”“控需”“強治”的交通綜合治理思路，全面整合政府、企業、社會化數據，構建運營、管控、執法、服務等智慧交通應用場景，最終為公眾出行提供便捷、高效、安全、綠色的服務。而打造智慧交通大腦對視頻監視系統（CCTV）智能化提出更高的要求，希望依托全路網布設的攝像機實現“智能判斷，自動預警” “協助指揮、服務乘客” “客流預測、決策支撐”及“視頻結構化方便信息檢索”的能力。

近幾年，隨著高清視頻監控攝像機在地鐵路網的推廣和普及，地鐵安防監控已基本實現“看得見，看得清，看得明”。未來，為建成智慧地鐵，CCTV系統還需向“看得懂，看得準，看得遠”的智能化方向發展。“看得懂”要求系統在一定程度上能替代人工，通過遍布全網的攝像機智能識別出地鐵運營過程中發生的各種異常情況，并實時推送報警信號，不僅可以降低運營成本，還能保證工作標準一致，永不疲勞。“看的準”則要求系統誤識率低，差錯率低，精準度高，不能誤報、錯報。“看的遠”一方面指可視距離遠，借助5G等先進的通信手段，運營管理人員甚至乘客能夠把視角延伸至地鐵線網乃至列車的各個角落；二是指遠見能力，通過多個點位視頻聯動分析，可進行某區域未來一段時間的運營態勢分析，如5 min短期客流預測等。

智能視頻分析技術將對運營企業、管理部門、政府和乘客產生直接而有效的價值，甚至會引發管理模式和業務流程的優化重構。其中最直接、最突出的應用效果是在對智慧運營的支撐方面。如圖2所示，視頻分析后的數據將與自動售檢票（AFC）數據、行車數據以及物聯網數據等進行多元異構數據的融合計算，實現客流快速化和定量化分析，以及客流狀態的實時準確獲取，從而支撐短時精準客流預測業務。同時，由于增加了對乘客異常行為的智能識別及告警能力，將進一步提升實時風險監測水平，不斷壓縮和清除地鐵運行中的管理盲區。當車站需要進行客流引導及應急疏散時，系統可提供更加實時、直觀、有效的信息，有效發揮先期判斷、先期處置的協調調度指揮作用。此外，除了對運營企業和運營管理單位進行智慧化支撐外，還可為乘客提供全流線智慧化信息服務，從出行引導到進站、出站，使乘客地鐵出行更便捷，更安全，更舒適。

通過對地鐵行業全生命周期、全場景、全業務鏈分析，本文梳理出智能視頻分析十大主題業務場景，覆蓋建設、運營、清分清算、設備運維、多種經營等多個業務板塊，如圖3所示。

針對以上業務場景，為便于后續工作開展，本文根據前期調研情況以及部分廠商視頻分析產品盲測的結果，對業務場景的算法研發和實施難度進行綜合評價，如表1所示。其中，32個場景中，9個“從無到有”，21 個“從有到優”，2個“從優到精”。可見，大多數場景所需的算法模型已經相對成熟，并且在其他行業已有應用案例，但是由于未能針對地鐵場景進行模型定制及樣本訓練，其算法準確率和軟件功能難以滿足地鐵實際業務的需求。

表1 業務場景應用現狀與實現難度分析

4 融合技術方案

為實現智能視頻分析技術與地鐵行業的深度融合，本文提出“四步走”的實施路徑。首先，在深入研究地鐵行業應用場景和實際需求的基礎上，基于深度神經網絡研發算法模型，并利用海量地鐵真實圖像樣本進行模型訓練，以提升其準確率。其次，利用地鐵真實測試樣本集對訓練后的模型進行測試和驗證。再次，針對實驗室檢測通過的算法模型，選擇試點線路、車站開展試點應用，并依據應用效果進行調優。最終，基于試點情況總結形成適合地鐵行業特點、可落地、可推廣的智能視頻分析技術實施導則，從而指導全行業工程化推廣。

4.1 算法研發

智能視頻分析技術與行業之間的耦合度極高，即便在其他行業應用成熟的算法也難以直接應用于地鐵行業。要實現該技術在地鐵行業落地須解決2個問題：訓練樣本與行業知識。一方面，除個別場景（如人臉識別）可以跨行業外，絕大多數場景均需要大量的地鐵樣本數據進行算法訓練，才能滿足精度要求。而外部AI廠商沒有此類數據。另一方面，算法模型要最終發揮作用，必須依據地鐵特定場景和特定業務需求進行定制。因此，有必要針對地鐵場景重新設計研發算法模型，并利用地鐵真實樣本數據開展模型訓練。下面列舉4個場景的算法研發。

4.1.1 車廂實時滿載率監測

現狀：國內地鐵暫無成熟應用案例。部分地鐵列車進行了試點應用，但算法準確率受車廂攝像機安裝高度、角度影響較大，且早晚高峰人員遮擋現象嚴重，因此一般作為車廂稱重數據的補充。

思路：可采用大廣角魚眼攝像機，頂部安裝，有效避免人員遮擋，利用畸變恢復技術，同時疊加多區域去重算法，提高車廂滿載率算法的準確性，為提升旅客乘車體驗、協助車站工作人員疏導客流提供幫助。圖4為普通攝像機識別情況，圖5為頂裝廣角攝像機識別情況。

算法模型：人頭檢測算法、Yolox-L。

考核指標：擁擠程度識別準確率大于95%，滿足規模化應用需求。

應用效果：將車廂擁擠情況提前顯示在前方車站乘客信息系統（PIS）顯示屏上，引導乘客均勻乘車。

4.1.2 乘客走行路徑分析

現狀：經調研，該技術在泛安防行業應用準確率較低，不高于80%。地鐵行業目前沒有應用案例。

思路：利用ReID+FaceID綁定技術，實現乘客的全路徑分析。如圖6所示，在北京地鐵千萬客流量的背景下，只有通過人體+人臉綁定的方式，才能夠有效提升準確率，滿足實際業務應用需求。

算法模型： ReID+FaceID、OSNet。

考核指標：人體+人臉綁定準確率90%，滿足規模化應用需求。

應用效果：通過分析抽樣乘客進站到出站的各環節走行路徑及時間，可驗證清分模型參數準確性，并輔助進行客流規律分析。

4.1.3 X 光機智能判圖

現狀：目前沒有在地鐵行業成熟應用，原因一是沒有足夠多的數據訓練算法；二是管制刀具、違禁品經常更新，對算法的小樣本學習能力要求較高；三是背包內物品的形態多種多樣，對機器識別的準確率要求較高。目前大多數X光機識別違禁品為15種左右，準確率約 50%。

思路：通過雙視角X光圖片多維度3D目標檢測算法，關聯分析2個及以上不同視角拍攝物品X光圖片，實現1+1＞2的效果，有望大幅提升識別準確率。

核心算法：雙視角X光圖片多維度3D目標檢測算法。

考核指標：裝有違禁物品的行包過安檢機，安保人員與機器能夠同時識別出來，識別種類30種以上，識別準確率達到90%左右。

應用效果：通過技術方案改進與算法訓練，實現對常見違禁品的自動化識別與告警，降低現場工作人員的勞動強度。

4.1.4 周界防護

現狀：人員侵界、樹木侵界、危險源識別等算法模型在地鐵行業已有少量應用，但準確率仍有待提升。

思路：利用電子圍欄、振動光纖、紅外對射、mimo雷達等多種類型傳感器，融合計算機視覺技術，對侵界事件進行檢測和分析報警。

核心算法：異物檢測、人體識別等算法與傳感器技術進行融合。

考核指標：誤報率小于10%、漏報率小于2%。

應用效果：通過計算機視覺技術對傳感器采集到的各類侵界情況進行分析，提高周界監控可靠性，降低誤報率。

4.2 算法訓練及檢測

為提升算法研發效率，本文搭建了算法訓練及檢測平臺，其架構如圖7所示，支持多種模型和算法框架（TensorFlow、PyTorch、Caffe等），最大可支撐千萬級規模的樣本在線模型訓練，同時具備圖形處理器（GPU）卡、容器管理及分布式多機多卡訓練能力，大大提升了模型的訓練速度。此外，還建立了六大類模型指標評價體系，包含指標評價標準、參數顯示、綜合評分等，覆蓋多種地鐵典型場景需求，可以從不同維度對算法模型進行評價。

4.3 試點應用

將通過實驗室檢測后的算法模型嵌入應用系統后，有必要通過小規模試點應用進一步檢驗智能視頻分析系統的可行性和適應性，并根據暴露出的問題進行針對性的算法調優和功能優化，從而確保大規模投入生產時少出問題或不出問題。

在既有線路進行試點過程中，要充分考慮工程化的各類問題。例如，既有攝像機的安裝高度、照射角度及范圍是否符合算法模型泛化要求，下降的精度是否在業務可接受范圍之內；車廂、站臺攝像機及相關設備是否具備改造條件；不同的CCTV系統建設廠商對視頻流獲取及圖像幀解析方式的影響；在既有數據傳輸帶寬已被各系統占用，特別是車地無線通信帶寬十分緊張的情況下，數據的傳輸方案是否合理，如何統籌考慮端、邊、云的計算方案等。

基于以上工作研發的“平安列車”智能視頻分析系統創新性地將計算機視覺技術與列車安全員業務進行融合，研發出3款智能終端，提供車廂擁擠度監測（圖8）、乘客異常行為監測（圖9）、智能清客、駕駛行為監測等功能，并于2021年底在北京地鐵11號線西段工程（冬奧支線）全線進行了試點。

4.4 全行業推廣

通過“平安列車”系統的研發及試點應用，進一步驗證了技術路線的可行性，打通了從數據標注到算法研發、訓練、檢測及工程化的全流程、各環節，為未來地鐵新線建設和既有線改造CCTV系統中的視頻分析相關內容的建設提供了有益參考。后續，將繼續針對梳理出的各類業務場景進行算法研發和試點。對于完成試點驗證的場景，將匯總編制1套包括各個場景技術方案、軟硬件產品清單、現場實施方案、成本估算等內容的《軌道交通智能視頻分析技術實施導則》，為智能視頻分析技術在地鐵行業的推廣落地奠定堅實基礎。

此外，對于實際業務應用過程中萌生出的新的應用場景，可以通過搭建的算法訓練和檢測平臺，持續推進新算法的研發、訓練、檢測和應用。因此，算法訓練和檢測平臺可視作地鐵智能視頻分析業務場景的孵化器，研發并通過檢測的新的應用場景可以不斷豐富完善《軌道交通智能視頻分析技術實施導則》，從而保障地鐵視頻分析智能化水平的持續提升，挖掘出更多視頻數據的價值。

5 結語

相比2008年4萬億投入的“鐵公基”傳統基建，“新基建”將引發國家經濟結構向以數字經濟為代表的新興經濟轉變。借助云計算、大數據、AI等“新基建”技術，智能視頻分析技術將從根本上改變視頻信息采集、傳輸處理、系統控制的方式和結構，有效提高視頻監控的智能化程度和使用價值。更重要的是，視頻數據將成為重要的可挖掘、可利用的數據資產，為地鐵行業數字化轉型提供更加強勁的數字驅動力。