基于Hadoop的交通視頻大數據監控方案

李曉蕾

(寧波財經學院，浙江 寧波 315175)

1 引 言

在交通道路維護中，實時交通監控是一項復雜而富有挑戰的任務。傳統的交通監控系統的監控方案從高清攝像機中獲取或存儲數字視頻到計算機中，其流媒體數據通過mysql等數據庫技術保存數據，而交警則通常采用手動記錄行駛的車輛，通過路邊運動攝像機對車輛進行計數的方法來進行人工監控。如果視頻分析沒有自動完成，則需要大量的人工操作，并需要多方協同來手動分析視頻中的場景。這些方法的人力成本和時間成本都相對昂貴。特別是交通事件的發生最常見的問題是車輛的顏色、尺寸和類型，這些信息用人力往往很難準確地捕捉到，并且時常存在誤差。基于視頻流的分析可以輔助交警或者交通管理人員對交通現場進行快速處理，可以極大提升交通道路的安全性，因此視頻流分析技術一大重要應用場景便是自動化安全和監視系統。執法機構、交通監控工作站和組織都可以將視頻分析技術用于公共安全。與手動應用程序相比，自動視頻分析需要較少的成本和人力來分析視頻流，因此得到了學術界和工業界的青睞。許樂等研究者用自動化的視頻分析研究不同自動化系統視頻圖格式,實現格式之間的轉化,減輕了數據維護人員的工作量[1]。視頻分析還可以幫助檢測人臉、車輛顏色和車牌等物體，完成自動對象檢測、目標分類等復雜的計算機任務[2]。其中對象檢測是交通監控系統和執法機構應用中最常見的技術之一，最常見的算法是模板匹配[3]，使用高斯混合模型(GMM)進行背景分離[4]和級聯分類器[5]。模板匹配僅適用于模板中定義的對象，但是這類方法計算量巨大，不適用于新對象時常出現或者消失的場景，因此不適用于交通視頻。背景幀提取方法是一種檢測在背景中移動的對象并分離出來的方案，但是背景分離和幀差異也面臨計算成本高昂的問題，通常不適用于實時處理。江鵬宇用級聯分類器AdaBoost算法對運動目標區域進行行人檢測,減小視頻中背景的干擾,加快檢測速度，并利用卡爾曼濾波算法和匈牙利最優匹配算法對視頻監控中的行人進行跟蹤{6}。近年來Hadoop快速發展，為大規模數據處理提供了高效的解決方案。畢莎莎針對實時云轉碼系統中已轉碼的視頻媒體文件重新使用率不高的情況，引入轉碼緩存機制，采用云存儲空間緩存視頻，根據視頻資源的流行度和請求間隔來實時替換出效能值較小的視頻[7]。劉云恒等學者采用基于Hadoop技術的視頻大數據處理平臺,并采用以Map-Reduce算法為基礎的人臉檢索與識別算法來實現公安視頻大數據的智能信息處理[8]。

2 基于Hadoop的交通視頻分析技術

2.1 基于Hadoop的視頻分析

使用基于Hadoop的GPU集群進行視頻流分析可以從不同的資源(如GPS、社交媒體、物聯網、平板電腦、Web服務和視頻)生成大量數據[9]。在傳統的數據庫技術中，分析處理和存儲視頻數據是一項艱巨的任務[10]，為了處理大量視頻數據，可以在不同節點之間分配處理。大范圍內可能有數百個甚至更多的攝像機在本地服務器上捕獲流和過程。視頻流分析需要大規模的計算，當前很多企業采用云計算來完成這類海量計算，云計算可提高實時監控交通視頻數據的效率。商業供應商還提供視頻分析應用程序。一個最常見的做法便是將Hadoop用于將視頻幀拆分為較小的單元，并以并行模式將它們轉換為一系列圖像幀。 HDFS通過多個物理磁盤群集存儲大量數據。分割成較小單元后的序列文件分布在HDFS的節點上，以提高處理速度。原始視頻流分為64 MB(默認)大小的塊[11]。錄像模塊將視頻流傳輸到監管站，并將視頻存儲在其本地存儲中。視頻流是從不同的地方捕獲，并由IP無線傳輸模塊通過媒體服務器傳輸到監控站。實況視頻流由監管站處理，并存儲結果以供進一步分析。有關車速、事故和交通擁堵，以及城市主要站點和線路可以存儲在Hive里。當道路擁堵發生時，Hive表可以向旅行者建議替代路線，當檢測到道路交通事故時，系統會向附近的醫院和公路救援隊發送警報。

2.2 算法步驟

對于交通視頻數據分析，交通異常的檢測是最重要的部分之一，在國內的交通事故中，90%以上交通事故都和道路擁堵有關。因此本文重點研究Hadoop下交通擁堵的檢測和分級。

本文提出算法的主要核心是根據Hadoop中交通視頻得到的路網歷史數據，對每個車道的合理速度值進行整理和清晰，根據整個路段中每個時段不同方向上的信息，對每個路段每個時段的擁堵概率進行先驗判斷。通常來說，每個道路的擁堵狀態都具有一定的周期性特點，特別是對于工作日而言，其出行規律具有較高的相似性。因此本文采用將1天24 h分為若干個時間段，統計各個時間段的擁堵概率。其主要流程如下：

(1)原始數據預處理：由于原始數據在采集過程中可能存在數據丟失、數據監測出錯等情況，因此首先用預處理進行修正。將交通視頻的流量、速度和交通指揮部門的歷史數據進行對比，將超過閾值范圍內的流量和速度定義為錯誤數據進行修正，為了簡化處理的復雜度，本文將超過閾值范圍內的數據和缺失的統計數據用歷史平均數據來代替。

(2)交通擁堵判斷：本文將一天分解為144個時間段，每隔10 min是一個時間單位，在此基礎上計算如下指標：

車道占有率：

(1)

(2)

式中，N是一個方向上的車道個數，車道占有率定義為汽車占用道路的時間比，i代表第i個車道，T代表觀測時間。

(3)

(4)

式中，speedi代表i車道的速度，vi代表i車道的流量。將交通部門在某一車道的歷史速度求解平均值，如果當前速度speedi低于歷史平均值，則認為可能出現了擁堵。

(3)擁堵率計算

某個時間點內擁堵率計算如下：

(5)

式中，h代表對應的時間段id，M是h時間內通過車速低于歷史平均值的次數，N是統計數據中歷史數據個數。

(4)計算路段異常度

本文將路段異常度定義為某天道路擁堵的異常程度，該指標的數值越高，則路況越擁堵，發生交通狀況的可能性也大幅提高，因此需要交警部門進行疏導，從而避免事故的發生。異常度的計算流程如圖1所示。

圖1 異常度計算流程Fig.1 Calculation flow of abnormality degree

從圖1可以看出，在當前速度大于閾值V時，D=0-P(H),即異常度為負值(代表沒有交通異常發生)，而當當前速度低于閾值V時，則異常度為正值。

(5)數據實時更新

隨著時間的推移，道路周邊基礎設施如寫字樓的建成、地鐵的運營等因素，歷史擁堵數據會發生變化，因此需要采用實時更新的方式來保證歷史數據的準確性。當然交通視頻歷史數據的更新本身較為耗費計算資源，為了減少不必要的重復計算，本文提出的分片更新算法如圖2所示。

圖2 歷史數據更新算法示意圖Fig.2 Schematic diagram of historical data update algorithm

更新算法的核心是將時間跨度范圍內最早日期的擁堵狀況與當前的狀況進行比較，如果交通情況從擁堵恢復為不擁堵則記為M=-1，否則記為M=1。

2.3 基于Hadoop的擁堵檢測分布式計算

從上述關于異常擁堵的算法中，可以看到由于本文算法對實踐切割相對較細，因此要獲得全天144個時間段的擁堵情況，需要計算車道占有率、車道交通流量、車道平均速度，其計算復雜度較高，為了提高計算效率，本文采用分布式并行的方案來加快算法的運行時間。本文采用Hadoop的MapReduce架構，利用HDFS將數據冗余備份，由于MapReduce的本地化數據技術能盡量減少網絡IO，而且節點可以自適應實現負載均衡，因此本節的重心放在MapReduce的計算模型。

對于車道占有率，在MapReduce計算的Map階段，我們將數據按行切分，將代表時間段的字段COLLECT_TIME劃分到不同時間槽中，具體的時間段用time_id作為key，occ代表擁堵情況。在Reduce階段，對于相同的key求解value的算術平均值就可以獲得平均占有率。

對于車道流量，本文在一個時間段內的某條道路進行計算，設road_id為道路的id，flow為流量，因此將road_id和time_id設置為key，flow設置為value，對于相同的key求解所有value的和就得到了總流量。

對于車輛的平均速度，本文利用同一個道路上不同路段的way_id的數據speed、flow進行匯集，將way設置為key、speed，flow設置為value，在reduce階段，式(3)和(4)可以分別算出車道平均速度和總速度。

3 實驗及結果分析

本文選取浙江省某市的交通視頻監控的200個采集點的數據進行分析，其交通視頻監控設備如圖3所示。

圖3 交通視頻監控畫面Fig.3 Traffic video monitoring screen

標注出該組的道路編號，車道標號way_id，車道流量為total_flow，speed是總速度，occ是車道占有率，本文的實驗流程如下：

(1)數據預處理，如前文所述，由于視頻數據在分析過程中，可能存在一定的誤判或者丟失，因此為了提高數據的容錯能力，本文先進行預處理。其預處理規則見表1。

表1 錯誤數據判別原則Tab.1 Error data discrimination principle

將上述數據按照“閾值關系理論” 進行處理， 不符合要求的數據標記為無效數據并進行修正。

將經過預處理的數據按照144 個10 min時間段從0點到24點的順序進行排列，按照式(1～5)計算出當前的歷史擁堵概率。 結果如圖4所示。從圖中可以看出，上午11∶00到11∶45擁堵概率接近45%， 下午18∶00 到19∶00擁堵概率在70%左右。

本文在選取了2019年8月16日的交通數據進行異常度分析，其結果如圖4所示。

圖4 擁堵情況計算結果Fig.4 Calculation results of congestion

圖5 異常度計算Fig.5 Calculation of abnormality degree

通過異常度計算(如圖5所示)，可知，異常度的取值在[0,1]之間，可以看到9∶50，13∶00，21∶00出現了明顯的異常，通過調取該市當時的交通監控視頻，我們發現這幾個時間點都出現了不同程度的交通事故，引起了車輛的緩行，最后導致道路流量產生了異常。

在計算復雜度上，本文采用傳統的分布式架構方案進行對比，在10臺8核16G的分布式服務器和對等的Hadoop集群中，選取2018年8月16日的交通視頻進行計算，用計算延遲和處理時間來代表算法結果，統計如表2。

表2 計算延遲統計表Tab.2 Statistics of calculation delay

可以看到，本文提出的基于Hadoop方案的計算延遲可以控制在每10 min 2.1 s，基本可以滿足實時分析的需求，同時可以看到傳統分布式算法的計算延遲和計算總時間隨著時間的加長有惡化的趨勢，但是本文方案可以有效避免這一情況。

4 結 論

本文對Hadoop大數據背景下的交通視頻監控技術進行了深入研究，并對交通路況異常擁堵進行了分析， 然后闡述了基于交通視頻數據的異常堵點檢測算法的設計方案，利用擁堵概率、交通異常度等概念為交通狀態分析提出了精確指標。 針對海量交通監控視頻，本文設計了基于Hadoop組件MapReduce的并行實現算法，最后通過浙江省某市的實際交通數據驗證算法的有效性和準確性。經過實驗證明，本文算法可以有效計算出交通擁堵情況和異常情況，對大數據背景下海量交通監控視頻的分析提供有益參考。