一種多路海量視頻流數據并行化處理方法研究

陳文竹，陳岳林，蔡曉東，王 迪

(桂林電子科技大學，廣西 桂林 541004)

一種多路海量視頻流數據并行化處理方法研究

陳文竹，陳岳林，蔡曉東，王 迪

(桂林電子科技大學，廣西 桂林 541004)

針對視頻監控系統中傳統的處理方法計算機資源能力不足，無法滿足海量高效的視頻流數據內容分析的問題，引入Storm并行計算平臺，提出了一種彈性的基于多路視頻流的并行化處理方法，并通過一種高效的內存共享機制，集成人車分類算法到分布式處理平臺，使算法與高性能并行計算資源有效融合。通過對比實驗表明，該并行化處理方案高效穩定，集群運行良好，負載均衡，能滿足大規模視頻流數據處理的需要。

視頻流；Storm；內存共享；人車分類；并行計算

智能視頻監控[1]是圖像處理領域一個重要研究課題，廣泛應用于智能交通、智能安防等領域。對攝像頭記錄的視頻數據內容進行智能分析，對其中的行人和車輛等信息進行檢測分類，進而實現基于視頻內容的檢索，在視頻監控中具有重要意義。目前有許多有關人車分類算法的研究，文獻[2]提出了一種基于多粒度感知SVM的復雜場景人車分類方法，有效避免光照、色彩目標等變化對目標檢測分類造成的影響。文獻[3]提出了一種基于視頻的行人車輛檢測與分類方法，解決了目標分割不完整、檢測準確率低的問題。文獻[4]提出了一種基于運動區域的行人檢測與跟蹤算法，能夠快速準確地對行人進行檢測跟蹤，然而當視頻數據為海量時，計算資源的瓶頸往往限制了算法的應用，基于串行的算法優化無法明顯提高海量視頻圖像處理的高效性，因此有必要引入并行化計算。

基于Hadoop的開源分布式計算架構是當前并行處理平臺的代表，文獻[5]詳細介紹了Hadoop的分布式計算框架。文獻[6-7]提出了基于Hadoop的分布式海量視頻處理方法，對非結構化視頻數據去耦合處理，實現了海量視頻的分布式轉碼。文獻[8]提出了一種基于Hadoop的分布式視頻離線處理方法，并應用于視頻監控系統中。不過Hadoop只適用于海量文件的批處理，數據一次寫入多次讀取，雖然具有高容錯、可擴展、吞吐量大的特性，但是實時響應差且數據處理延遲較長，當處理數據為連續不斷的視頻流時，Hadoop平臺無法滿足流式處理的需求。不同于Hadoop的批處理特性，基于內存的Storm[9-10]流式計算平臺，數據通過網絡直接導入內存，減少了磁盤IO時耗，從根本上提升了海量數據處理的響應能力，為海量視頻處理提供了新的途徑。

1 相關研究

1.1 Storm簡介

Storm是實時的并具備高容錯的分布式計算系統，主要由一個主節點(Nimbus)和一群工作節點(Worker)組成，同時每個工作節點上運行一個監督節點(Supervisor)，通過Zookeeper進行協調。主節點負責任務分配，并監控狀態。監督節點會監聽所分配子節點機器的任務狀態，根據需要啟動/關閉工作進程。

Storm中，各個組件間的消息流動形成邏輯上的拓撲結構，故運行一個實時應用程序通過提交拓撲(Topology)完成。如圖1所示，Spout是消息的生產者，負責數據的抓取，從來源處讀取數據放入拓撲，然后以元組(Tuple)的形式發送到數據流中，Bolt封裝了所有的消息處理邏輯，通過流分組(Stream Grouping)將Spouts與Bolts連接起來。

圖1 拓撲圖

1.2 人車分類

人車分類主要分為4個部分：感興趣前景區域的提取，目標跟蹤預測，特征提取，目標分類。流程如圖2所示。前景區域的提取是視頻分析的最初階段，將運動目標從背景中分離，為下一階段的跟蹤與識別做準備。目標跟蹤是對場景中的感興趣目標進行預測與定位，可以更準確地得到目標的運動狀態。通過特征提取與目標識別對運動信息進行篩選，對人車信息進行識別。

圖2 人車分類流程圖

在Storm集群中每個處理的元組相互獨立，算法的并行實際是基于文件的并行實現。本文使用多幀差分法提取前景區域，卡爾曼濾波實現目標跟蹤預測，采用HOG算子與SVM算法實現目標的識別分類，在實現每段視頻數據處理完整性的前提下也能準確檢測出人車目標。

2 基于Storm的人車分類算法的并行化實現

本文利用Storm并行化處理框架實現基于海量視頻流的人車分類，核心思想是將計算任務分配給多個節點，通過任務并行化達到提升性能的目的。主要包括如下步驟：緩存視頻流獲取、自定義VideoStreamSpout類組件、算法融合。

2.1 緩存視頻流獲取

遠程攝像頭捕捉到的視頻數據，通過網絡傳輸到本地云平臺處理。流媒體在傳輸的過程中，由于帶寬等的影響，不可避免地會出現數據丟失或失序的現象，而且數據采集的速度和數據處理的速度不一定同步,會造成數據堵塞。RTSP[11-12](實時流媒體協議)能夠提供可控制的、按需傳輸的實時數據，監控攝像頭產生的視頻流通過本地RTSP流轉服務器，可以獨立實現多路管道中的視頻流數據的緩存。

視頻流為幀與幀之間連續相關的非結構化數據流，物理分割會造成幀不完整、分割后缺少關鍵幀(I幀)的問題，因此需要對視頻流數據解耦合。提出了一種基于關鍵幀的視頻流緩存方法，如圖3所示，視頻圖像以序列為單位進行組織，一個序列是一段圖像編碼后的數據流，以關鍵幀開始到下一個關鍵幀結束。根據關鍵幀的位置進行緩存，可以保證所有的緩存塊都有必要的幀信息，不會出現缺少關鍵幀無法解碼的問題。

圖3 視頻流緩存方法

2.2 自定義VideoStreamSpout類組件

自定義VideoStreamSpout類組件，通過繼承BaseRichSpout接口實現數據讀取，數據讀取流程如圖4所示。如2.1節所述獲取獨立的緩存視頻流，當緩存流達到元組要求就以隊列形式推送。open()方法打開緩存流，將數據封裝成一個個Tuple，通過nextTuple()方法不間斷發送新的Tuple到消息隊列。為保證數據的連續性，每個Tuple會隨機分發唯一的ID。拓撲提交后會一直運行直到被手動殺死。

圖4 數據讀取

此外，Storm在檢測到一個元組被成功處理時調用 ack()方法，否則調用fail()方法，這樣保證了數據處理的可靠性。

2.3 算法融合

計算任務主要在VideoStreamBolt環節實現，VideoStreamBolt組件與VideoStreamSpout組件之間通過松耦合的管道機制實現流傳輸，這種調度機制極大提升了并行計算的穩定性和可擴展性。Storm的拓撲結構通過Java語言實現，Java語言因其簡單、面向對象、可移植、平臺無關等特性，已成為分布式計算領域的主流程序設計語言。影響Java語言算法實現的最大問題是速度，在原始的Java解釋器中，C語言的速度是解釋過的Java語言的20倍左右，用Java語言來完成對性能敏感的高性能密集計算目前不是最好的選擇。

視頻的解碼及人車分類算法分別使用FFMPEG視頻圖像編解碼庫與Opencv開源計算機視覺處理庫實現，采用C/C++ 語言編寫，在不改變并行結構及算法效率的情況下，Java的JNI(Java Native Interface)接口實現了Java數據與 C++ 本地庫的數據交互，但頻繁的數據拷貝會大大降低數據傳遞的效率及穩定性，且當交換數據塊較大時，會造成內存泄漏，對計算機內存造成較大損耗。同時頻繁的數據拷貝造成算法的延時在流式計算中會產生數據堵塞。本文提出了一種優化的高效并行內存共享機制，可以最大化優化代碼的運算速度，具體結構如圖5所示。

圖5 并行內存共享機制

在該機制中，Java端作為程序的起始端，負責任務的分發及資源調度，構建并行計算環境。當有數據交互發生時，Java端開辟堆內存空間與JNI層共享，并將數據信息導入共享內存，通過地址值的傳遞，實現本地算法與Java端的數據交互，同時，也可以通過并行內存共享機制，將本地算法處理完成后的人車等目標信息導入Java端。在不打破Storm并行計算框架和Java應用程序環境的情況下，通過內存共享機制，Java端與C++本地算法實現端數據同步變化，相比于普通的數組傳遞，效率更高更快，減少了數據堵塞的產生，且適合長期使用、頻繁訪問的大塊內存的共享。

3 實驗與分析

本實驗在操作系統為centos6.6的64位華碩服務器下實現，硬件環境如下：CPU為2個6核Intel(R) Xeon(R) CPU E5-2620處理器，內存為64 Gbyte，通過KVM虛擬化技術搭建Storm集群，集群中設置1個Nimbus節點和3個Supervisor節點，網絡環境為10.0.0.1網段的局域網。軟件環境為apache-storm-0.9.2-incubating。測試視頻為編碼方式是H.264，像素為1 920×1 080高清視頻流數據。

3.1 基于高效內存共享機制的性能分析。

驗證內存共享機制的高效性，測試在相同環境下本文方法與基于數組傳遞的方法處理不同大小的視頻數據時耗如表1所示。

表1 內存共性機制高效性分析測試

文件大小/Mbyte本文方法基于內存拷貝機制方法總時耗/ms平均每幀處理時間/ms總時耗/ms平均每幀處理時間/ms32689572117863857641371562237403859962025042154887656

從表1可以看出，兩種機制分別實現人車分類算法，本文方法明顯優于基于內存拷貝機制的方法，且隨著數據量的增大，本文方法中每幀視頻數據平均處理時間相對穩定，能滿足JNI調用本地算法高效性需求。

3.2 Storm集群下視頻處理高效性分析

吞吐量指系統單位時間內處理數據的大小，是衡量并行系統實時高效性的重要指標。記錄在Storm單機模式與集群模式下，隨著數據量的增加，完成視頻處理所需時間，對比兩種模式下的結果如圖6所示。

圖6 吞吐量分析測試

由圖6可知，當視頻數據流比較小時，由于任務分發數據傳輸等都需要耗費一定的計算機資源和時間，單機模式下數據流處理時間低于集群模式的處理時間。但是隨著數據流的增大，任務分發所需時間遠小于視頻處理的時耗，集群模式處理時間明顯縮短。

3.3 負載均衡性分析

負載均衡是并行計算中的一項重要指標，數據計算過多分布于同一計算節點，形成數據傾斜，會造成計算資源的浪費，影響集群穩定性。Storm并行框架的數據處理基于內存進行，在任務執行過程中使用nmon工具統計各節點內存使用情況如圖7所示。

圖7 集群內存使用情況

圖中IP為10.0.88.55的計算機為Nimbus節點，分配 8 Gbyte 內存空間，其他為工作節點分配4 Gbyte內存空間。Nimbus節點需要分配計算任務并監控集群狀態，內存使用率高于工作節點，保持穩定。各工作節點在硬件資源分配相同的條件下，在任務開始階段內存上升平穩，隨后趨于穩定，由此可知各工作節點內存使用率大致相同，沒有出現某一節點內存使用過高的情形，說明在任務執行過程中，集群內存使用相對合理，沒有出現數據傾斜的情況，負載均衡。

4 結論與展望

針對海量監控視頻流數據實時分析的需求，設計了基于多路視頻流的并行處理框架，提高了視頻流數據處理的效率。其次，通過高效的并行內存共享機制將人車分類算法與Storm實時計算平臺融合，解決了算法實現與分布式計算框架互連互通的問題。最后，通過對比實驗測試分析，分布式集群能高效地完成視頻流數據處理，穩定性良好。

在未來的研究中，對于如何提高人車分類算法的魯棒性及準確性，以及如何解決由于緩存數據塊的獨立性造成檢測重復目標過多的問題，都有待于進一步解決。

[1] 鄭世寶. 智能視頻監控技術與應用[J].電視技術，2009，33(1)：94-96.

[2] 吳金勇，趙勇，王一科，等. 基于多粒度感知SVM的復雜場景人車分類方法[J].北京大學學報：自然科學版，2013，49(3)：404-408.

[3] 楊陽，唐惠明.基于視頻的行人車輛檢測與分類[J].計算機工程，2014，40(11)：135-138.

[4] 姚倩，安世全，姚路. 三幀差法和Mean-shift結合的行人檢測與跟蹤研究[J].計算機工程與設計，2014，35(1)：223-227.

[5] 李建江，崔健，王聃，等. MapReduce并行編程模型研究綜述[J].電子學報，2011，39(11)：2635-2642.

[6] KIM M，CUI Yun，HAN Seungho，LEE H K. Towards efficient desion and implementation of a Hadoop-based distributed video transcoding system in cloud computing environment[J].International Journal of Multimedia and Ubiquitous Engineering，2013(2)：213-224.

[7] RYU C，LEE D，JANG M，et al. Extensible video processing framework in apache Hadoop[C]//Proc. IEEE International Conference on Cloud Computing Techology and Science.[S.l.]：IEEE Press，2013：305-308.

[8] 高東海，李文生，張海濤. 基于Hadoop的離線視頻處理技術研究與實現[J].軟件，2013，34(11)：5-9.

[9] YANG Wenjie，LIU Xingang，ZHANG Lan. Big data real-time processing based on storm[C]//Proc. 12th IEEE International Conference on Trust，Security and Privacy in Computing and Communications. [S.l.]：IEEE Press，2013：1784-1787.

[10] FRACHTENBERG E，PETRINI F，FERNANDEZ J，et al. STORM：scalable resource management for large-scale parallel computers[J].IEEE Trans.Computers，2006，55(12)：1572-1587.

[11] KHAN S Q，GAGLIANELLO R，LUNA M. Experiences with blending HTTP，RTSP，and IMS[J].Communications Magazine，2007，45(3)：122-128.

[12] 李校林，劉海波，張杰，等. RTP/RTCP，RTSP在無線視頻監控系統的設計與實現[J].電視技術，2011，35(19)：89-92.

責任編輯：任健男

Parallel Processing Method for Multiplex Massive Video Streaming

CHEN Wenzhu, CHEN Yuelin, CAI Xiaodong, WANG Di

(GuilinUniversityofElectronicTechnology,GuangxiGuilin541004,China)

For solving the problem of the traditional method can’t apply to analysising massive video streaming contents efficiently in video surveillance, Storm distributed computation platform is introduced, and a flexible parallel processing method is presented to process multi-channel video streaming. A highly efficient mechanism of sharing memory is used to merge pedestrian vehicle classification algorithm with high performance parallel computing resources. The experiment shows that the parallel processing method can not only have the characteristics of stable and efficient, but also the platform works good. It proves that the method suits for large scale video streaming processing.

video streaming; Storm; sharing memory; pedestrian vehicle classification; distributed computing

廣西自然科學基金項目(2013GXNSFAA019326)

TN911.7；TP391

A

10.16280/j.videoe.2015.19.028

2015-01-16

【本文獻信息】陳文竹，陳岳林，蔡曉東，等.一種多路海量視頻流數據并行化處理方法研究[J].電視技術,2015，39(19).