基于視覺物聯(lián)網的智能公交信息采集系統(tǒng)設計

賀冬

(上海贏誼物聯(lián)網科技有限公司,上海200436)

目前公交系統(tǒng)已廣泛使用各種信息化管理平臺，但站點數(shù)據(jù)采集能力及實時動態(tài)數(shù)據(jù)獲取能力存在短板和不足，基于人工的管理方式嚴重制約公交站點智能化管理水平的提升。為推動公交站點現(xiàn)場數(shù)據(jù)的價值提升，響應一網統(tǒng)管號召，需要強化站點數(shù)據(jù)采集及數(shù)據(jù)價值挖掘服務能力，使管理由傳統(tǒng)人工干預型向人機交互型轉變，由經驗判斷型向數(shù)據(jù)分析型轉變，由被動處置型向主動發(fā)現(xiàn)型轉變，實現(xiàn)公交站點智能化管理的基礎是基于實時動態(tài)數(shù)據(jù)，其中數(shù)據(jù)采集、數(shù)據(jù)清洗與挖掘、數(shù)據(jù)服務實時推送對于智慧公交站點管理具有基礎性作用。

1 系統(tǒng)架構概述

基于視覺物聯(lián)網的智能公交信息采集系統(tǒng)由站點視覺數(shù)據(jù)采集攝像機及多維數(shù)據(jù)傳感器組、前端邊緣計算智能主機設備、云服務器以及基于云服務器提供的云服務四大部分組成。從整體系統(tǒng)物理拓撲上分為感知互動層、網絡層、應用服務層和用戶界面層。

感知互動層主要由站點前端數(shù)據(jù)采集設備、邊緣計算智能終端等硬件設備組成，實現(xiàn)本地化數(shù)據(jù)采集、自動分析處理、上報、存儲等功能。

網絡層主要是作為物聯(lián)網智能終端和云平臺之間通訊的橋梁。通過骨干網、無線網等不同的方式的網絡進行傳輸數(shù)據(jù)，使得平臺和設備之間更高效的通訊。

應用服務層作為對多種事件數(shù)據(jù)進行綜合分類、統(tǒng)計、分發(fā)、記錄，并進一步實現(xiàn)數(shù)據(jù)價值挖掘的后端云平臺。

用戶界面層是云平臺的數(shù)據(jù)展示中心。

2 系統(tǒng)實現(xiàn)方案

2.1 系統(tǒng)功能設計

2.1.1 信息采集子系統(tǒng)

信息采集子系統(tǒng)主要由視頻及相關數(shù)據(jù)采集設備、邊緣計算智能終端主機及網絡傳輸設備組成，該主機系統(tǒng)還可擴展接入報站屏、站臺多維傳感數(shù)據(jù)采集從機和主電源監(jiān)控從機等設備，這些傳感器和視頻數(shù)據(jù)采集設備可以安裝在候車亭亭體、燈箱、頂棚以及站臺內其它站牌等設備中，通過綜合監(jiān)管智能終端主控CPU進行串/并聯(lián)作業(yè)。

2.1.2 任務分發(fā)子系統(tǒng)

任務分發(fā)子系統(tǒng)是由站點事件數(shù)據(jù)采集與統(tǒng)計、數(shù)據(jù)融合管理平臺和數(shù)據(jù)中心服務器集群組成，作為整體技術和服務支撐。站點智能終端上傳的數(shù)據(jù)通過合適的網絡傳輸方式上傳到應用服務器，由應用服務器對接收到的數(shù)據(jù)進行處理并轉發(fā)到相應的業(yè)務服務器，從而實現(xiàn)了數(shù)據(jù)的分布式存儲和分析展示，同時各系統(tǒng)間通過不同的網絡形式進行信息交互與共享，使得整個云平臺在多臺業(yè)務服務器下協(xié)同高效的運行。

2.1.3 入庫子系統(tǒng)

入庫子系統(tǒng)平臺部署在阿里云的ECS環(huán)境中，數(shù)據(jù)層的實現(xiàn)主要是通過對前端設備對站點數(shù)據(jù)進行實時采集分析，將采集到的數(shù)據(jù)按不同的數(shù)據(jù)結構類型分別存儲在MYSQL、MONGODB、REDIS、以及云端的OSS中，同時將數(shù)據(jù)庫服務器進行集群管理，實現(xiàn)讀寫分離和數(shù)據(jù)安全管理。系統(tǒng)采用的對象型數(shù)據(jù)庫，所有的對象都必須隸屬于某個存儲空間，每個存儲空間都嚴格地設置了地域控制、訪問權限、生命周期等，數(shù)據(jù)多重冗余備份，以保證數(shù)據(jù)的可靠性、安全性。

2.1.4 數(shù)據(jù)展示子系統(tǒng)

數(shù)據(jù)展示子系統(tǒng)將各大業(yè)務服務器中事件消息以及對應提取和編排的視頻監(jiān)控信息、照片監(jiān)控信息、運營管理信息、站點周圍的應急信息、安全監(jiān)管信息等信息分別通過適配兼容瀏覽器的網頁端、手機的移動端、以及通過WEBSOCKET協(xié)議實現(xiàn)的中控大屏端進行展示，并提供系統(tǒng)用戶訪問和操作的交互界面，對不同的系統(tǒng)用戶進行不同的權限分配管理。從而實現(xiàn)科學高效的在一個平臺上對站點進行全方位，多角度的監(jiān)管和運維。

2.2 系統(tǒng)軟件架構設計

系統(tǒng)軟件架構采用面向服務的體系結構進行設計，選擇主流的Python語言進行開發(fā)，先進的、開源的DJANGO技術框架，B/S多層設計架構，通過業(yè)務系統(tǒng)集群的方法實現(xiàn)平臺的穩(wěn)定、高效，依托城市地理位置信息將城市的公交站點進行網格化管理，對站點的公共設施、候車人群和公交車輛進行全方位監(jiān)管。如圖1所示。

該系統(tǒng)對公交站臺設備采集到的結構化數(shù)據(jù)和非結構化數(shù)據(jù)按照時序在一定準則下加以自動分析、綜合，將相關原始數(shù)據(jù)進行分類挖掘和清洗為符合站點管理指標的有效數(shù)據(jù)，通過站點設施事件管理模塊、站點預報站屏監(jiān)管模塊、站點客流監(jiān)測及數(shù)據(jù)統(tǒng)計分析模塊、站點日常運維數(shù)據(jù)管理分析模塊、車輛進站事件監(jiān)管模塊、網格事件管理模塊等六大業(yè)務模塊進行集群數(shù)據(jù)應用，通過信息處理技術完成所需的決策和評估任務，保證公交體系內多個系統(tǒng)之間數(shù)據(jù)的連通性和及時通信，各業(yè)務系統(tǒng)既可獨立服務，又能通過合適的網絡協(xié)議進行串聯(lián)服務，實現(xiàn)業(yè)務服務的組件化、服務化以及數(shù)據(jù)的有效共享。

在系統(tǒng)設計時充分地考慮到數(shù)據(jù)安全和系統(tǒng)安全的問題。為了保證系統(tǒng)的安全、可靠，我們建立了安全事件管理平臺來實現(xiàn)影響系統(tǒng)或數(shù)據(jù)的機密性、完整性或可用性的安全事件管理流程，整個流程包含安全事件的受理渠道、處理進度、事后匯總等流程，在安全事件事后分析階段通過追查安全事件根本成因來更新相關安全策略，以防止類似事件再次發(fā)生。目前整個系統(tǒng)的數(shù)據(jù)都存儲在阿里云中，物聯(lián)網智能終端向服務器發(fā)送數(shù)據(jù)都是采用的數(shù)據(jù)加密的方式發(fā)送數(shù)據(jù)，保證數(shù)據(jù)在傳輸過程中不被篡改。另外設備上的數(shù)據(jù)都采用了重傳機制，一旦數(shù)據(jù)發(fā)送失敗，就會把數(shù)據(jù)保存到本地，待設備網絡正常后再補發(fā)數(shù)據(jù)，保證數(shù)據(jù)不會丟失。為了保證系統(tǒng)的穩(wěn)定、可靠，采用了云盾防DdoS清洗服務，戶抵御各類基于網絡層、傳輸層及應用層的各種DDoS攻擊，為了防止系統(tǒng)被入侵的風險，采用了云盾安全體檢服務，通過端口安全檢測、網站Web漏洞檢測、網站木馬檢測功能，及時發(fā)現(xiàn)系統(tǒng)未知漏洞。

2.3 系統(tǒng)實現(xiàn)效果

2.3.1 前端識別

通過將站點的不同形式的事件進行模型訓練，將設計的算法移植到邊緣主機，實現(xiàn)了站點黑屏、小廣告、畫布脫落、玻璃破碎、私家車違法占道、共享單車亂停、站臺涉水、站點人流等不同維度的事件分類和處理。如圖2所示。

圖2 站點智能識別圖

2.3.2 后臺管理

在系統(tǒng)后臺可以收到自動設定的事件消息以及照片回傳，按照每個站點形成事件列表，方便查看。

2.3.3 數(shù)據(jù)展示

以VUE架構開發(fā)的用戶數(shù)據(jù)可視化前端平臺，方便用戶對設備情況和事件統(tǒng)計等各個數(shù)據(jù)模塊進行一覽查閱和管理。

2.3.4 智能運維

通過故障或安全事件自動觸發(fā)故障派單系統(tǒng)，結合電腦端后臺管理和手機端運維小程序，實時準確進行故障維修派單、處理狀況跟蹤、銷單閉環(huán)，提升公交運維智能化水平。

3 關鍵技術及創(chuàng)新

3.1 信息采集分發(fā)的全過程化管理

整套場景識別并提取數(shù)據(jù)信息過程中，傳統(tǒng)的中心云端處理的方式存在視頻數(shù)據(jù)對網絡資源占用高，中心計算資源壓力大，前端數(shù)據(jù)回傳速度慢、用戶無法及時對事件做出閉環(huán)響應的技術難題，經過組織技術團隊多次溝通和市場技術調研，將整體網絡數(shù)據(jù)架構設計為前端邊緣計算處理，截取事件前后幾分鐘錄像或照片信息在前端存儲，并標注為事件二進制消息回傳云中心服務器的方式，完美解決了以上問題。具體實現(xiàn)邏輯如圖3所示。

圖3 邊云網絡數(shù)據(jù)流架構邏輯圖

將整個網絡架構分為中心服務器端（Server）、站點前端（Client）、用戶端（User），所有站點的邊緣計算主機為client端，分為實時直播流媒體和內部文件存儲，實時直播流媒體分為人為觸發(fā)回傳和設置回傳，內部文件回傳分為人為調取和設置回傳，其設置的定時或事件觸發(fā)回傳，滿足回傳條件時，主動回傳給Server端，并在硬盤建立目錄，存入硬盤該目錄，并把存儲路徑寫進數(shù)據(jù)庫。Server端調取時，通過數(shù)據(jù)庫檢索硬盤文件路徑和文件名，實現(xiàn)調用。

Server端是由云計算中心的交換機、服務器、存儲硬盤和數(shù)據(jù)庫組成，交換機負責分配IP地址和端口，服務器負責運行數(shù)據(jù)庫和平臺軟件，硬盤負責建立服務端的存儲路徑和存儲具體數(shù)據(jù)內容，數(shù)據(jù)庫負責存儲簡單的數(shù)據(jù)字節(jié)和視頻存儲路徑。

當事件發(fā)生時，將前端視頻數(shù)據(jù)流通過算法提取的事件信息以字節(jié)形式通過多個Client端傳輸?shù)絊erver端，并分發(fā)給多個User端，當多個用戶收到事件消息，如果要看原始視頻時，Server端要處理多個User端的調用指令，找到并把指令傳給對應的多個Client端，Client端接收指令后，將對應的數(shù)據(jù)流回傳到Server端，復制分發(fā)給對應的User端。當User端點擊直播時，Server端接收直播指令并傳至對應的Client端，Client端的實時流媒體直接回傳給Server端，并在User端播放；User端點擊歷史錄像或歷史事件時，Server端接收查詢指令先判斷是前端存儲還是服務器存儲；如果是前端存儲，將指令傳至對應的Client端，Client端查找本地存儲的路徑，將對應的錄像或對應時間段的錄像回傳給Server端，并在User端播放；如果是服務端存儲，通過數(shù)據(jù)庫查找服務端硬盤對應的地址，并在User端播放。

3.2 智能終端邊緣計算技術

在邊緣計算主機芯片架構選取時，設計思路為將所有視頻錄像所涉及的事件進行算法建模、識別訓練，并移植在邊緣計算主機中，通過前端識別算法進行過濾，我們前期工作重點考慮圖像識別過濾中對CPU的資源占用，實際模型訓練過程中，發(fā)現(xiàn)采用神經網絡分析算法過程中圖像和圖形相關運算工作量非常大，而且前端視頻處理對解碼能力要求也很高，因此將整套邊緣計算硬件終端的主芯片設計為具備CPU、GPU、NPU、VPU多種資源處理器的架構，包含六核ARM 64位處理器CPU（雙核Cortex-A72+四核Cortex-A53，主頻1.8 GHz）、四核ARM Mali-T860 MP4 GPU（支持OpenGL ES1.1 /2.0 /3.0 /3.1 ,OpenVG1.1 ,OpenCL,DX11；支持AFBC（幀緩沖壓縮））、高性能NPU（支持8bit/16bit運算，支持TensorFlow、Caffe模型，運算性能高達3.0 TOPs）和VPU（支持4K VP9和4K 10bits H265/H264 60fps視頻解碼，支持2路以上多格式視頻解碼(WMV,MPEG-1/2/4,H.264,VP8)1080P@30fps解碼，支持反交錯、去噪、邊緣/細節(jié)/色彩優(yōu)化的視頻后期處理器），以及支持實時圖像縮放、裁剪、格式轉換、旋轉等功能的RGA，采用3G LPDDR3內存和16GB eMMC存儲，終端模塊以CPU為計算核心，采用VPU、GPU、NPU作為輔助，結合多級流水，多線程并行等優(yōu)化方法，同時對算法進行了深度優(yōu)化，對目標檢測模型進行深度裁剪，最終在該設備上實現(xiàn)了基于深度學習的多場景覆合算法，可以滿足多種復雜場景視頻、圖像同時計算、分析、處理、提取的完整流程，同時對主板的數(shù)據(jù)接口進行了完整的設計，符合場景使用要求。如圖4。

圖4 智能終端計算流程

整體流程劃分為視頻采集、圖像預處理、目標檢測、目標跟蹤及結果輸出（包括統(tǒng)計結果及視頻輸出）等階段，各階段使用典型的并行處理模式，巧妙地設計數(shù)據(jù)交互方式，滿足數(shù)據(jù)交互需求。使用多級流水，可以減低IO操作的等待時間，將同步操作轉換為異步操作，充分利用CPU資源，使用多級流水操作幾乎可以消除IO帶來的延遲影響，實現(xiàn)數(shù)據(jù)采集及結果保存零消耗，極大地提高了單位時間內數(shù)據(jù)處理的吞吐量。

4 結論

本系統(tǒng)基于視覺物聯(lián)網和智能信息數(shù)據(jù)采集技術，構建了從站點邊緣計算到云端服務處理這一系列完整的數(shù)據(jù)綜合服務體系，實現(xiàn)了公交站臺周邊數(shù)據(jù)鏈網狀微生態(tài)內相互數(shù)據(jù)關聯(lián)化。通過創(chuàng)新服務內容和自動化服務方式，為城市公交站點構建先進的信息基礎設施，提高了站點設施故障處置效率和站點安全事故響應速度，優(yōu)化了站點公共設施管理與運營服務績效，填補了城市公共交通精細化管理的盲區(qū)，拓展了物聯(lián)網及大數(shù)據(jù)技術與傳統(tǒng)行業(yè)管理有機結合的新領域。