基于綜合視頻監(jiān)控系統(tǒng)拓展圖像智能識別功能的方案研究

婁 昆

(中國鐵路設計集團有限公司，天津 300308)

1 概述

圖像識別技術，是現(xiàn)代化IT 工程中必不可少的技術之一，早期該技術產生的主要目的就是代替人工進行重復的圖像處理工作，借由計算機的算力優(yōu)勢，通過對圖像的獲取、預處理、特征抽取、篩選、分類及決策的過程，實現(xiàn)對圖像的自動化識別。

近年來隨著人工智能技術的發(fā)展，基于圖像特征值卷積的深度學習模型逐漸完善，通過海量圖片數據訓練后的算法已經能夠應用于商業(yè)化領域，其識別率、誤報率等各項指標已基本滿足運營使用單位的需求，且隨著圖片采集的樣本增加，以及通過人工修改對圖像、字符、格式等識別錯誤的修正，其準確率會隨著使用時間的增長而逐步提高。

早期建設的鐵路綜合視頻在數字化和智能化方面還有所欠缺，國內鐵路綜合視頻的應用起步晚，但發(fā)展速度較快[1]。視頻監(jiān)控技術的發(fā)展目前已達到較高水平，已應用于家庭、工業(yè)、社交、無人駕駛等各種領域。目前國內攝像機產品線的同質化較為嚴重，除了在數值、硬件方面的堆砌外，軟件優(yōu)化也成為了主要競爭手段之一。

鐵路綜合視頻監(jiān)控系統(tǒng)已經進行了大范圍的建設，圖像識別的應用以及圖像分析平臺的建設尚未全面開展。鐵路客運車站大都設計相應的視頻監(jiān)控系統(tǒng)，目前傳統(tǒng)視頻監(jiān)控系統(tǒng)功能有限，傳輸數據、采集視頻、錄像存儲等功能較為普及，圖像智能分析的實景應用尚未被全面開發(fā)。為了充分利用視頻數據，盡量挖掘有效信息。必須在系統(tǒng)已有功能的基礎上增加智能監(jiān)控部分[2]。如何部署圖像識別相關系統(tǒng)，以及怎樣在盡可能降低投資的前提下，在既有視頻監(jiān)控平臺上拓展圖像識別功能，將成為維管單位、設計單位、集成廠商、研發(fā)單位等相關單位的主要研究課題之一。

2 綜合視頻監(jiān)控系統(tǒng)現(xiàn)狀分析

鐵路綜合視頻監(jiān)控系統(tǒng)采用網絡化、數字化視頻監(jiān)控技術建設，由視頻節(jié)點、視頻匯集點、視頻采集點、承載網絡和終端設備組成。其中，視頻節(jié)點包括視頻核心節(jié)點、視頻區(qū)域節(jié)點、I 類視頻接入節(jié)點和II 類視頻接入節(jié)點；視頻采集主要分布在鐵路沿線區(qū)間線路和車站；視頻節(jié)點間的視頻承載網絡是鐵路數據通信網；視頻終端包括用戶終端（含顯示設備）和管理終端。視頻節(jié)點主要由管理單元、數據分發(fā)及轉發(fā)單元、接入網關單元、告警單元、存儲單元等功能模塊設備組成[3]，現(xiàn)行標準體系已經淡化功能模塊、功能單元的劃分，系統(tǒng)具備以上功能即可滿足運營使用需求。

現(xiàn)有車站視頻監(jiān)控無法主動提示關注重點，只能被動查看；無法根據區(qū)域、人員的位置信息快速定位監(jiān)控畫面，只能通過手動調整切換；不能實時掌握人員區(qū)域密度、候乘計劃人數等情況，不能合理組織安排旅客候乘。這些問題對客運服務、生產組織、現(xiàn)場作業(yè)等都有著不同程度的影響，不利于及時處理生產和服務過程中發(fā)生的問題，也給快速預覽現(xiàn)場畫面、調取視頻資源、獲取有效作業(yè)信息帶來一定困難[4]。

目前國內鐵路行業(yè)綜合視頻監(jiān)控系統(tǒng)已經基本實現(xiàn)全IP 化，存儲模式主要分為IP SAN 存儲模式及云存儲模式。根據車站規(guī)模及運營管理模式，設置不同等級的視頻節(jié)點、視頻匯聚點，并配置網絡設備及承載網絡，為不同工點設置的攝像機提供接入條件。傳統(tǒng)平臺架構無法很好的承載海量數據的聯(lián)網、存儲、實況調閱、多用戶并發(fā)等需求，從而推動視頻監(jiān)控行業(yè)向“云監(jiān)控”方向快速演進[5]。

3 圖像智能識別技術分析

由于近些年在一些公共場所發(fā)生過多起恐襲、突發(fā)事件，相關運營維護單位對安防的需求不斷增長。具備視頻智能分析的系統(tǒng)，通過對區(qū)域場景的實時監(jiān)控，將分析結果反饋至運營管理單位，使相關單位可以第一時間響應，極大的提高安全防護等級。目前在鐵路行業(yè)內，圖像智能識別的應用解決方案主要有兩類，分別是前端識別及后臺智能分析，兩種技術各有獨自應用場景及技術優(yōu)劣。

3.1 圖像前端識別解決方案

基于視頻處理器的前端解決方案可以使視頻分析技術采用分布式的架構方式，在此方式下，所有的目標跟蹤、行為判斷、報警觸發(fā)都是由前端智能分析設備完成，視頻分析單元一般位于視頻采集設備附近（或內置于攝像機），這樣可以有選擇地設置系統(tǒng)，讓系統(tǒng)只有當報警發(fā)生時才傳輸視頻到控制中心或存儲中心，相對于服務器方式，大大節(jié)省了網絡負擔及存儲空間[6]。

圖像的前端識別主要依賴于前端設備在芯片中集成的應用，圖像優(yōu)化、銳度、亮度等處理能力受到芯片的算力制約，不能進行復雜的場景識別。但是對于字符識別（如車牌號、胸牌代碼、證件號碼等）、設備工況識別（如鋼結構形變、錨栓松脫、故障燈顏色變化）等簡易識別功能，其前端芯片的算力已經充分滿足運營使用要求。

通過對字符圖像的預處理可以使字符圖像更加清晰，邊緣更加明顯，并將每一個字符分割出來便于進行特征提取工作[7]。識別原理主要基于對固定字符的特征識別和通過對像素的特征值處理，其算法較為固定，需要配套的算力也較為有限，所以其識別準確率非常高。

基于前端識別的系統(tǒng)架構較為簡單，在需要識別的特定場景部署具備前端識別功能攝像機，通過現(xiàn)場配線箱及傳輸光/電纜，接入運營維護使用的操作終端即可。通過操作終端上部署的與攝像機匹配的軟件平臺，即可實現(xiàn)對視頻的實時調用及分析結果的實時顯示。

基于前端識別的系統(tǒng)架構示意如圖1 所示。

圖1 基于前端識別的系統(tǒng)架構示意Fig.1 System architecture based on front end identification

其中數據庫服務器、分轉發(fā)服務器為可選設備，操作終端能夠配置適配前端采集設備的軟件，滿足運營使用需求。數據庫服務器、分轉發(fā)服務器為接入綜合視頻及擴展視頻平臺相關功能時需要配置的設備。

網絡硬盤錄像機（NVR）是局部工點視頻監(jiān)控本地組網的首選設備，在視頻路數較少的需求場景下，配置簡單、調試便捷且具有網絡接口，具備外部擴展性。

基于前端識別的視頻監(jiān)控系統(tǒng)，在選配好具備該功能的前端采集設備后，配置統(tǒng)一協(xié)議（H.264/265等）或兼容協(xié)議的網絡硬盤錄像機，并在終端上配置軟件即可實現(xiàn)。其優(yōu)點在于配置靈活、投資低，后期實施除現(xiàn)場線纜敷設具備一定難度外，其他方面實施起來難度較低，是場景單一、獨立工點的首選方案。缺點在于需要充分考慮設備之間的兼容性，且分析功能不強，對于固定格式的文字尚能滿足需求，對于復雜場景的判斷等功能則不具備處理能力。

3.2 后臺智能分析解決方案

目前國內主要視頻智能分析平臺的相關研究，大部分基于OpenCV 及類似的跨平臺軟件庫進行開發(fā)，其系統(tǒng)架構如圖2 所示。

圖2 后臺智能分析平臺網絡結構示意Fig.2 Network structure of background intelligent analysis platform

從整體角度觀察，采用后臺智能分析的視頻監(jiān)控系統(tǒng)主要分為3 級架構，包括前端采集設備、視頻AI 分析平臺及業(yè)務系統(tǒng)。其中前端設備層的設備主要包括NVR、攝像機、交換機等；業(yè)務層則是客戶的使用端，主要通過在終端上配置軟件實現(xiàn)該層級功能。

對于不同的解決方案，供應商的中間架構區(qū)別較大，主要包括基礎管理、轉發(fā)服務、控制管理、視頻流網關、應用貨架等模塊，根據算法及調用模塊的不同，不同解決方案會配置不同的模塊。

對于車站人員密集、流向復雜、場景多樣的工況，需要配置功能全面的平臺，并根據運營管理單位及責任單位的歸屬，對設備進行統(tǒng)籌配置；而基站、中繼站、區(qū)間等簡單場景則更需要考慮如何合理規(guī)劃前端設備的視頻流向及分析平臺歸屬，最大化利用分析平臺的算力，避免資源的浪費。

4 圖像智能識別技術應用現(xiàn)狀

圖像智能識別技術目前已經較為成熟，無論是前端智能分析還是后臺智能分析，面對不同的場景應用，都已經有較為成熟的產品及技術方案。

4.1 前端智能分析應用現(xiàn)狀

目前鐵路系統(tǒng)內，前端智能分析主要應用在出入人員固定、流量不大的場景，例如綜合維修工區(qū)院落、公安所亭院落、存車場檢修庫等，由于不是所有的工程中這些場所的攝像機都納入綜合視頻監(jiān)控系統(tǒng)，且納入綜合視頻監(jiān)控的IP 攝像機具備的分析功能也不能滿足運營使用單位的全部需求，除常規(guī)的移動偵測、遮擋告警、視頻丟失外，人員滯留、周界告警、設備工況分析等功能均需要另行配置性能較高、自帶芯片的攝像機，并在管控終端及NVR上部署配套軟件。

目前前端智能分析尚未全面普及應用的主要原因如下：首先是目前尚無成熟的圖像智能分析的標準頒布，對于系統(tǒng)的功能界定、誤報率等沒有明確的數據進行支撐，納入工程建設的依據不充分；其次是運營單位每年的運維經費有限，且目前智能分析的功能可以通過人工巡檢的方式進行替代，建設迫切性不強；最后則是隨著綜合視頻監(jiān)控系統(tǒng)的覆蓋范圍越來越大，以及網絡帶寬條件的優(yōu)化，未來可以通過后臺智能分析補強，故前端智能分析補強的工程建設一直沒有得到廣泛的推進。

4.2 后臺智能分析應用現(xiàn)狀

后臺智能分析的技術方案、解決方案已經非常成熟，雖然沒有規(guī)范支撐，但是已經在鐵路行業(yè)內有了多個試點應用，新建工程中如京張高鐵、雄安站房內都有相關應用；大西客專沿線部分車站于2020 年新建人臉識別系統(tǒng)以提高鐵路公安運營維護效率。且部分功能如視頻融合等已經納入鐵路客運服務與生產管控平臺中作為可選配功能，待行業(yè)標準頒布后，新建工程中將逐步完善相關設計。

除去無規(guī)范支撐這一問題外，目前各地方單位未全面自行擴展后臺智能分析的主要原因如下：首先是投資問題，后臺智能分析對服務器GPU 的性能要求非常高，還需要配置配套的服務器等硬件以及視頻分析軟件，總投資通常超過運維預算，且新建項目無設計依據，籌措經費困難；其次是設備的部署，由于后臺智能分析配套硬件設備的部署位置、用電條件需要提前統(tǒng)籌考慮，部分單位沒有擴展安裝的條件；最后是責任界面的劃分，在部分工程設計中遇到過如下問題，如運營使用單位不能明確車站新增設備是納入綜合視頻監(jiān)控系統(tǒng)，設備放入通信機械室歸口電務部門管理，還是按照管控平臺配置原則，設備放入信息機房歸口科信部門管理，資產的歸屬問題造成了進度遲緩。

5 圖像智能識別補強方案研究

5.1 前端智能分析補強方案研究

目前對于已安裝的攝像機做前端智能分析補強的方案較為單一，近些年的新建工程，部分攝像機前期已預留智能分析算法芯片的擴展安裝條件，安裝后對后臺軟件進行調試即可，且為了分析的準確率，具備調整條件的前端設備的安裝角度、高度等應在配置時進行微調。對于早期不具備擴展功能的攝像機，則需重新采購具備前端智能分析的攝像機，拆除既有攝像機重新安裝調試。

綜上所述，前端智能分析補強主要工作內容如下：對不具備前端智能分析功能的攝像機，采用加裝芯片或更換設備的方式重新配置；在具備條件的情況下，現(xiàn)場設備的安裝角度、高度等進行調整，以達到最優(yōu)分析效果；對NVR 及操作終端進行重新配置，以適配新增設備，配置內容包括軟件、IP地址、碼率、報警功能閾值等；NVR 和攝像機宜為同一品牌，跨平臺的不同設備需保持兼容。

5.2 后臺智能分析補強方案研究

基于綜合視頻監(jiān)控系統(tǒng)可以通過在視頻接入節(jié)點的計算機/服務器上安裝視頻分析軟件，對接收到的視頻內容進行分析。高速鐵路可在基站/直放站/信號中繼站/線路所室外、橋梁疏散通道處設置帶前端分析功能的攝像機。在車站旅服系統(tǒng)設置視頻分析服務器，實現(xiàn)與旅客服務相關的視頻分析功能，具體有站臺越界入侵檢測、人群密度統(tǒng)計、人流態(tài)勢檢測、人臉識別等功能[8]。

智能分析平臺可按照核心級、接入級分級設置，其中核心級平臺在鐵路局配置，車站及其他工點統(tǒng)一設置接入級視頻分析平臺，其中視頻分析服務器、基礎數據平臺等統(tǒng)籌進行配置，通過將分析平臺采用云技術處理，對資源池進行算力優(yōu)化，可節(jié)省設備數量及其他資源配置數量。將接入級平臺分析結果、告警圖片等重點信息通過數據網上傳至核心級分析平臺，集中配置存儲設備對分析結果、日志報告進行存儲。

通常后臺智能分析平臺只需要調取攝像機采集到的圖像，即可進行算法訓練，通過對海量圖像數據與底庫的比對，優(yōu)化人臉識別、跨鏡追蹤、頭肩檢測、OCR 識別、車輛識別、物體識別、場景識別、語音識別等功能，并輔以人工審核，逐步提高識別準確率。

后臺智能分析補強主要需要配置以下設備：

后臺分析平臺服務器：一般采用機架式服務器，核心級平臺可根據業(yè)務體量采用小型機、刀片式服務器，用于配置分析平臺應用軟件及綜合視頻網管軟件，實現(xiàn)軟件層級調用綜合視頻的功能。

后臺分析算法服務器：一般采用機架式服務器，根據攝像機的路數及功能需求，集中配置GPU，承擔圖像智能分析的核心計算功能。此設備通常發(fā)熱量較大，對機房環(huán)境要求較高，配置時需要充分考慮既有機房的環(huán)境條件是否滿足需求。

其他的根據具體功能配置便攜式維護終端、手持移動終端等。

綜上，后臺智能分析補強的主要工作內容如下。

統(tǒng)計需要納入智能分析平臺的攝像機路數、碼率，根據擬采購的平臺計算設備的配置需求；

配置視頻分析服務器等硬件設備，并接入視頻節(jié)點匯聚級交換機，調試獲取綜合視頻圖像碼流；

由運營管理單位明確圖像分析需求，對智能分析平臺的軟件功能進行定義，并提供圖片庫對智能算法進行訓練調試；

由于通信機械室、信息機房及其他類型機房歸屬于不同維管部門，對口的設計專業(yè)也有所不同，后臺擴容設備的部署位置需在前期規(guī)劃、確定，以便于在設計、建設階段充分考慮設備安裝條件及網絡條件；

核實歸屬于同一分析平臺的前端設備是否具備接入同一平臺的條件，包括但不限于視頻格式、分辨率等。

6 項目前期建設建議及工程設計經驗總結

6.1 項目前期建設建議

由于視頻智能分析的相關技術標準、產品標準等尚未正式頒布，在工程中廣泛應用仍存在一定距離，為了后期擴展視頻智能分析功能時盡可能的減少投資、優(yōu)化方案，工程的前期建設中需要做好一定的預留，并統(tǒng)籌進行考慮。

視頻采集點的設置：由于視頻智能分析需要采集大量的樣本進行深度學習，優(yōu)化其算法，車站內的攝像機位置需要充分考慮遠期視頻智能分析的設置要求，對人員密集區(qū)域、站臺聚集區(qū)域等可考慮適當增加攝像機的數量，以確保采集圖像的完整性，以最大程度的降低系統(tǒng)識別的誤報率。安檢口、檢票口等可能涉及人臉識別應用場景的區(qū)域，攝像機的安裝高度及安裝角度應充分考慮對面部圖像采集的完整度，包括但不限于寬動態(tài)、白平衡等，特殊場景如樓道、地道等昏暗處需考慮攝像機的夜視功能。

運營管理單位的責任需提前明確：由于視頻分析平臺目前主要算力集中在顯卡內，相關計算資源設備的用電、發(fā)熱量都較大，設備配置位置需要按照鐵路機房標準進行建設，不同單位需明確設備運維責任單位后，統(tǒng)籌規(guī)劃設備的部署位置及運營維護界面。在責任、分工界面不明確的情況下，整體方案、架構都無法準確部署，后期維管單位調整后存在設備資源浪費的風險。

即時需求和延時需求的分類：建議運營使用單位充分研究哪些功能對實時性要求較高，按照即時需求標準對前端圖像進行實時傳輸及分析；其他可延后處理的，可通過在云存儲平臺設備附近加裝分析算力設備，對已存儲的圖像數據進行調用分析，通過局域網傳輸圖像數據，通過數據網上傳分析結果，降低對帶寬的要求，提升工作效率。

6.2 工程設計經驗總結

結合試點工程設計、建設過程中出現(xiàn)的問題及運營使用單位反饋，總結如下。

攝像機安裝時，盡量安裝在固定的地方，攝像機的防抖動功能和算法本身能對相機抖動進行一定程度的補償，但是過大的晃動還是會影響到檢測的準確性；不具備寬動態(tài)功能的攝像機，需要避免逆光設置；為了讓目標更加穩(wěn)定和準確，建議實際場景中目標尺寸在場景尺寸的50%以下，高度在場景高度10%以上；避免玻璃、地磚等反光場景；在白天和夜間環(huán)境下，攝像機成像質量清晰、對比度好，如果夜間光線不足，需要對場景進行補光，保證目標會通過照亮的區(qū)域；像機設在通道正前方，正面抓拍人臉，左右偏轉＜10°，上下偏轉＜10°；架設高度h宜為2.0～3.5 m；攝像機的俯視角度α=10°。

7 總結與展望

隨著OTN、光纜直連、5G 等技術的廣泛應用，未來帶寬緊張的情況會得到極大改善，也為視頻分析平臺的建設提供更好的平臺，但是目前場景分析的功能仍然是各大廠商根據自己對鐵路行業(yè)的理解，提出產品需求并進行生產，與實際鐵路運營使用的需求仍有一定差距，如何在運營使用中對算法進行及時的調整，如何處理告警并規(guī)范化應急預案，仍然是未來運營使用中需要解決的主要難題。智能分析平臺如何充分利用綜合視頻及其他視頻系統(tǒng)的前端采集設備，以盡可能的減少投資，也會是建設環(huán)節(jié)中的重要考慮因素。