基于Hadoop的軍交運輸大數據聯機處理模型和算法思考

文/趙蓉 徐柳 陳小凡

基于Hadoop的軍交運輸大數據聯機處理模型和算法思考

文/趙蓉 徐柳 陳小凡

本文分析了在物聯網關鍵技術發展的前提下，軍交運輸大數據的特點以及處理分析面臨的挑戰。期望建立HaMOlap一個基于Hadoop的大數據聯機處理（OLAP）模型和算法。此模型能夠實時、快速地提取、過濾和分析處理軍交運輸海量數據信息，從而進行有效地預測，提供決策支持。

軍交運輸大數據；Hadoop；OLAP

1.概述

隨著信息技術以及互聯網關鍵技術的發展，以及這些技術在傳感器和科學領域的數據分析等廣泛應用，互聯網上的數據量呈爆炸性增長，每年大約翻倍增長。而目前世界上90%以上的數據都是最近幾年才產生的。此外，數據又并非單純指人們在互聯網上發布的信息。隨著“物聯網”的發展，全世界的工業設備、交通工具、電表等等各種設備上有著無數的數碼傳感器，隨時測量和傳遞著有關位置、運動、震動、溫度、濕度乃至空氣中化學物質的變化，也產生了海量的數據信息。這些海量的數據信息利用新的處理模式而具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資源才能稱之為“大數據”。在某種角度上可以說，是由于“物聯網”和“云計算”的快速崛起，促使了大數據的產生。而在這些生物信息學、地球物理學、天文學和氣象學科等領域大數據存儲以及工業中的網絡數據分析、點擊流量分析和市場數據分析等都存在巨大的挑戰。

毫無疑問，整個人類社會已經逐漸步入一個“大數據”時代。這些年來，軍事交通運輸的改革在方式轉變以及結構調整上取得明顯的進展，但也只是初步的、階段性的成果。但是，粗放型的發展方式依然未得到根本解決，各種因素的制約越來越突出。因此從根本上來講，要依托科技創新特別是信息化智能化來加快轉變發展方式，從而推動軍事交通運輸的結構調整轉型升級。在轉型中的軍事交通面臨著調整、提升發展結構的難題，交通智能化的實現，大數據將起到巨大的作用。因為無論是軍事交通運行狀態還是軍事交通運輸對象和運載工具，每時每刻都在產生著大量的數據，以大數據的思路和角度來看，這些都是正待挖掘的寶藏，能為軍事交通決策帶來新的解題思路。

軍交運輸數據獲取的來源呈異構的、多樣性的，而近幾年數據的增長率也逐漸增高。軍交運輸的數據有明顯的顆粒性，其數據通常帶有時間、位置、狀態屬性、環境和行為等信息。比如運輸的物資屬性信息，對運輸工具的全面監控所獲取的信息以及來自于其他軍、地各相關部門的信息等等。如果出現突發事件，比如大規模災害或者是恐怖襲擊等，數據的增長率還會呈“雪崩”式。大數據的出現，可以更全面地實現智能交通；可以協助監控中心輔助決策；可以對駕駛員進行評估，預測個體行為等。如何將軍事物流信息與國家信息有機融合，如何高效地、快速地提取、存儲、過濾和分析處理軍交運輸海量數據信息是一個非常有戰略意義的問題。

本文期望建立一個基于Hadoop的大數據聯機處理（OLAP）模型和算法。此模型能夠實時、快速地提取、過濾和分析處理軍交運輸海量數據信息，從而進行有效地預測，提供決策支持。

2.現行數據聯機分析處理現狀

OLAP（聯機分析處理）是一種解決快速多維分析查詢的方法，并且能夠為查詢結果提供決策支持和直觀視圖。OLAP是基于RDBMS（關系型數據庫管理系統）以及ROLAP（關系型聯機分析處理系統）實現的，然而在面向大數據環境下傳統的OLAP已經日益凸顯出其不適合了。新型的大規模并行數據架構和分析工具已經超越了傳統的并行SQL數據倉庫和OLAP引擎，因此，一些數據庫（如SQL Server和MySQL）雖然能夠提供類似OLAP的操作，但其性能卻并不能夠令人滿意。

圖1 研究技術路線

通常，OLAP具有三種類型，諸如ROLAP（關系在線分析處理），MOLAP（多維在線分析處理）和HOLAP（混合在線分析處理）。

三種類型的OLAP之間的差異如下：

（1）MOLAP服務器通過使用多維抽象數組的存儲引擎直接支持數據的多維視圖，而在ROLAP中，多維模型及其操作必須映射進入關系和SQL查詢；

（2）在MOLAP中，它通常預先計算大數據立方體以加速查詢處理，而ROLAP則依賴于數據存儲技術來加速關系查詢處理；

（3）MOLAP存儲利用率低，特別是當數據集比較稀疏時；

（4）由于ROLAP更依賴數據庫來執行計算，因此它在其可以使用的專用函數中具有更多的限制；

（5）HOLAP通過將數據存儲在MOLAP和關系存儲中來組合ROLAP和MOLAP。 ROLAP和MOLAP都有優缺點。然而，在大數據環境中，MOLAP表現出的缺點與快速響應的優點相比是可以忽視的，并且如果我們優化MOLAP的實現方法，則實現所消耗的成本可以忽略不計。

3.HaMOlap的實現原理

本文期望建立一個基于Hadoop的大數據多維聯機處理（MOLAP）模型和算法。利用多維OLAP（MOLAP）的經驗，基于HaMoLap 采用多維模型指定數據維度和測度從而進行數據的分析處理。簡化的多維模型和數據加載的算法使HaMoLap加載過程簡單而有效。在查詢過程中， HaMoLap可以處理高基數，因為OLAP算法和MapReduce框架，我們不必將內存中的多維數據庫實例化。

Hadoop是目前最為流行的大數據處理平臺。Hadoop最先是Doug Cutting 模仿GFS、MapReduce實現的一個云計算開源平臺。Hadoop 已經發展成為包括文件系統（HDFS）、數據庫（HBase、Cassandra）、數據處理（MapReduce）等功能模塊在內的完整生態系統（Ecosystem）。某種程度上可以說Hadoop已經成為了大數據處理工具事實上的標準。對 Hadoop改進并將其應用于各種場景的大數據處理已經成為新的研究熱點。主要的研究成果集中在對 Hadoop平臺性能的改進、高效的查詢處理、索引構建和使用、在Hadoop之上構建數據倉庫、Hadoop和數據庫系統的連接、數據挖掘、推薦系統等。但現在無論哪一種基于平臺的數據集的處理模型都在不斷地探索改進當中。

目前在大數據時代，缺乏有效的支持多維數據存儲模型，在OLAP中這個問題迫切需要解決。同時，Hadoop的云計算框架是最廣泛使用的大數據分析平臺，但基于Hadoop的 MOLAP工具仍是空白。本文提出了分布式MOLAP技術大數據環境，我們設計了HaMoLap系統，正在實驗當中，希望證明此種方法能夠提供高效的大數據的存儲和分析。本研究具有一定的理論意義和實用價值。

在研究過程中，采用了以下的技術路線，如圖1：

分析Hadoop生態系統及其主要功能以及利用數據庫來存儲結構化數據，在此基礎上構建一個數據倉庫，根據需要構建數據立方體進行聯機分析處理，可以進行多個維度的向下挖掘（Drill-down）或上卷（Roll-up）操作。

在此基礎上，本模型構建了Hadoop的IRA索引隨機存取算法（Index Random Access），構建Hadoop的FSS全源掃描算法（Full Source Scan），分析這兩個算法在Hadoop下如何實現分區和二次索引。

借鑒MOLAP（多維聯機分析處理）的經驗，利用簡化的多維模型映射維度和測度，維編碼和遍歷算法來實現卷起操作維度層次維值；分析采用結合分區和線性算法的方法來存儲數據和利用塊選擇策略來過濾數據，從而優化OLAP的性能。

部署算法、加載數據，將本文中的模型與H i v e、HadoopDB、HBaseLattice等幾大數據集和OLAP應用性能比較，從而驗證模型算法。此模型及算法旨在建立一個可以針對具備明顯結構化特征的軍交運輸大數據聯機處理模型，以供后期對數據的進一步挖掘分析做準備。目前驗證模型算法正在進行中。

4.結論與展望

本文介紹了設計、實現和評價HaMoLap大數據MOLAP系統。HaMoLap是基于Hadoop提出建立的模型和算法：

（1）特定的多維模型數據維度；

（2）利用維編碼和遍歷的算法實現卷起操作的層次維值；

（3）塊模型和分區策略簡化數據立方體；

（4）利用線性化 reverse-linearization算法存儲塊和數據；

（5）利用分片及塊選擇算法優化OLAP性能。與Hive，HadoopDB， HBaseLattice等幾大數據集和OLAP應用性能比較，從而驗證模型算法。

HaMoLap與其他MOLAP工具的區別可以列舉如下：

（1）HaMoLap采用簡化的多維模型來映射維度和度量，使數據加載過程比OLAP簡單有效。

（2）在OLAP中，HaMoLap采用文中提出的維數編碼和遍歷算法，實現對維度層次的匯總操作。

（3）HaMoLap不依賴于預計算和索引技術，而是依靠分片和塊選擇來加速優化OLAP。

（4）在OLAP中，HaMoLap不存儲大型的多維數組，而是直接計算。一般來說，HaMoLap是一種MOLAP工具，它采用簡化的維度，保持OLAP的簡單高效。

目前，對模型的算法驗證還在實驗當中，就當前的初步實驗結果，還是令人滿意的。

5.感謝

本研究資金支持來源與軍事交通學院學院基金項目：2014D29。

（作者單位：軍事交通學院軍事物流系）

1.Xu H F.Scheme of data acquisition based on industrial Ethernet. Microcomputer Information, 2008, 04: 113～115(in Chinese)

2.Wang L, Shang Z, Wang X W.The development and application of thedata acquisition system.Electrical Measurement & Instrumentation, 2004, (8): 4～8 (in Chinese)

3.Data acquisition and industrial communication.Maschinen Markt, 2002, 13: 20～24 (in Chinese)

4.Jiao M Y, Tan Q P.Research on Java rule engine technology. Computer & Information Technology, 2006, 03: 41～43 (in Chinese)

5.Zhang G X, Zhang X.How to write expert systems with Jess. Computer and Modernization, 2003, 01: 29～31(in Chinese)

6.Forgy L C.Rete: A fast Algorithm for the many pattern/many object pattern match problem.Artificial Intelligence, 1982, 19: 17～37

7.Tao R J.Finite automaton Introduction.Beijing: Science Press, 1986 (in Chinese)

8.Huang Z Q, Su Y.Application of FA in design of automatic control software.Journal of North China Electric Power University, 2002, 01:49～51(in Chinese)

9.Song, J., Li, T., Liu, X., et al., 2012.Comparing and analyzing the energy efficiency of cloud database and parallel database.In: 2nd International Conference on Computer Science, Engineering and Applications, ICCSEA 2012, vol.2, Springer Verlag, New Delhi, India, May 25～27, 2012, pp.989～997.

10.Song, J., Guo, C.P., Wang, Z., Zhang, Y.C., Yu, G., Pierson, J.M., 2014.Distributed MOLAP technique for Big Data analysis.

11.Ruan Jian Xue Bao/Journal of Software 25 (4), 731～752, http://dx.doi.org/10.13328/j.cnki.jos.004569.

12.Taleb, A., Eavis, T., Tabbara, H., 2013.Query optimization for the NOX OLAP algebra.In: Transactions on Large-Scale Dataand Knowledge-Centered Systems VIII.Springer, pp.53～88.

13.Thusoo, A., Sarma, J.S., Jain, N., et al., 2009.Hive: a warehousing solution over a map-reduce framework.Proc.VLDB Endow.2, 1626～1629.

14.Tian, X., 2008.Large-scale SMS messages mining based on map-reduce.In: IEEE International Symposium on Computational Intelligence and Design, Piscataway, NJ, USA, October 17～18, 2008, pp.7～12.

15.Wikipedia, 2014.Online Analytical Processing, accessed at http://en.wikipedia.org/wiki/OLAP

16.Wu, L., Sumbaly, R., Riccomini, C., et al., 2012.Avatara: OLAP for webscale analytics products.Proc.VLDB Endow.5, 1874～1877.

17.Wu, S., Ooi, B.C., Tan, K.-L., 2013.Online Aggregation, Advanced Query Processing.Springer, pp.187～210.

18.Xiaofeng, M., Xiang, C., 2013.Big data management: concepts, techniques and challenges.J.Comput.Res.Dev.50, 146～169.

19.Yu, C., Chun, C., Fei, G., et al., 2011.ES2: a cloud data storage system for supporting both OLTP and OLAP.In: 27th IEEE International Conference on Data Engineering (ICDE 2011), Piscataway, NJ, USA, 11～16 April, 2011, pp.291～302

20.吳永勝.云環境下的關聯規則挖掘算法研究[D].浙江工商大學, 2015.

21.趙輝.面向大規模交互式分析的MapReduce優化技術研究[D].國防科學技術大學, 2013.