大數據在公路工程質量監控中的應用與挑戰

肖祥林， 周春容

(四川交通職業技術學院 信息工程系，成都 611130)

大數據在公路工程質量監控中的應用與挑戰

肖祥林， 周春容

(四川交通職業技術學院 信息工程系，成都 611130)

大數據的產生為公路工程質量監控技術帶來機遇與挑戰。公路工程質量監控大數據具有典型的“4V”特征。為深入分析大數據在公路工程質量監控中的應用，從公路工程質量監控大數據的產生、處理流程與關鍵技術等方面進行論述。分析了公路工程質量監控大數據的存儲結構、計算過程以及數據可視化處理的流程，提出了公路工程質量監控大數據應用時所面臨的問題與挑戰。

大數據； 公路工程； 質量監控； 應用與挑戰

0 引言

近年來，隨著交通建設的迅速發展，截止2015年我國公路總里程將達到450萬公里，其中高速公路通車總里程達到10.8萬公里，全國高速公路路網已基本形成規模，促進了區域經濟的發展，社會效益較好。在交通部發布的《國家公路網規劃(2013年—2030年)》發展規劃中，全國高速公路通車里程預計達到40萬公里, 我國將基本實現省際多路連通、地市高速通達、縣縣國道覆蓋的目標[1]。

從上述規劃來看，僅高速公路的建設缺口就近30萬公里，其建設任務較重，另一方面,在工程建設過程中的質量監控也提出了新課題。以西部地區為例，交通運輸部質量監督局已在2012年3月啟動了西部項目“公路工程質量安全過程控制智能化與遠程監控技術研究”的研究工作，項目要求采用信息化技術手段，融入現代計算機技術、實時信息傳輸技術，人工智能化技術到工程監督中，對重點工程、重點部位的實時監控，實現工程質量安全監管的實時化、智能化、遠程化，彌補人為管理的漏洞和缺失，提高質量監控和監管效能，以保障公路工程的建設質量[2]。

公路工程建設的智慧化監管，需要對在其在建設過程中產生的大數據進行透徹分析，服務于管理者和決策者，便于及時排查和糾正在工程施工過程中潛在安全隱患，為生命和財產提供安全保障。

1 公路工程質量監控大數據來源及其特點

就大數據而言，是一個抽象模糊的概念，大部分人也只是從數據量的大小和規模去感知，像TB、PB、ZB、YB這樣的數據量存儲單位被理解為大數據與傳統數據的區別，很顯然這僅僅是海量數據，在IT界被公認的具有Volume(容量大)、Variety(種類多)、Velocity(速度快)和Value(價值密度低)特征的數據，才能被稱為大數據，簡稱大數據4“V”特征[3]。

1.1 公路工程質量監控中大數據的來源

公路工程建設在開始施工到驗收竣工，要產生大量的、類型各異的數據，其主要有以下幾種來源：

(1)施工試驗數據：道路在施工前需要對工程中的各種使用材料在該項目環境條件下做實驗，以得出在該環境條件和地理區域條件下相應材料的使用混合比及用量等。如：筑路用土，砂石材抖、石灰和水泥，普通水泥混凝土，穩定土和建筑砂漿，瀝青材料，瀝青混合料等相關實驗數據，用數據來保障施工質量，確保規范施工。

(2)施工監控數據: 在工程項目施工階段，人員行為規范、施工操作規范、壓力傳感數據，施工環境溫度(濕度)等產生的文字、圖片、聲音和視頻數據。

(3)施工應急數據:在施工過程中會有各種突發事件，如何科學地把突發事件帶來的危害降到最低，最大程度減少人員和財產損失，是工程應急處理的難題。在施工過程中，利用各種傳感器對突發事件進行動態監測，將對應急處置起到關鍵性的作用，而該過程中將產生大量的數據。

(4)工程竣工檢測數據:在工程項目施工驗收階段，需對路基、路面、交安設施、機電系統等進行標準檢測，判斷各項功能是否能達到標準規范。如路基壓實度，路面承載能力、應力數據，標識標線厚度、反光標志系數等相關檢測數據。 根據《公路工程質量檢驗評定標準》JTGF80-1-2012和JTGF80-2-2004相關要求[4]，需產生大量的數據。

隨著交通建設的快速發展，工程質量監控面臨新的挑戰，沿用以往“人工+紙筆”的管理方式，基本不能實現工程質量的科學化管理，根據工程質量“終身制”的相關要求，在工程設計使用年限內，承擔相應的質量終身責任，如沿用以往的管理方式也不便于責任的追溯。當今“互聯網+”時代，利用云計算對工程施工中產生的大數據進行分析，用數據來實現工程項目中全過程跟蹤管理和全方面實時監測監管，實現工程實體和質量行為的實時自動監管巡查和預警，將有助于提高工程質量，保障國家財產安全。

1.2 公路工程質量監控中大數據的特點

(1) 數據規模

在工程質量監控中，以施工人員行為監控為例，一個質量監督點采用720P高清視頻圖像采集設備，每小時圖像采集數據經壓縮處理后可達到3 GB左右的大小，全天候采集一個月，產生的數據量約為2.16T[5]。在工程施工過程中隧道掘進、路基路面、橋梁結構、材料攪拌、設備操作等等都需要對施工人員行為和過程進行視頻監控，按上述計算，每月產生的數據能至少為PB級以上，按照交通部發布的《國家公路網規劃(2013年—2030年)》發展規劃，監控視頻數據就將產生海量的數據。

(2) 數據類型

在公路工程施工過程中產生的數據類型種類繁多，除工程質量視頻監控數據外，有影響工程施工質量的環境檢測數據(如：溫度、濕度)，施工材料檢測數據，工程質量試驗檢測數據，潛在地質災害等數據，數據類型多樣。

(3) 數據價值密度

對于在公路工程質量監控中產生的數據本身而言，數據量大，但其價值密度較小。如施工人員操作不符合規范，通常情況下就只有幾秒或幾分鐘，在PB級以上的數據量里，其占有的價值密度較低。

(4) 高速性

在公路工程質量監控中，除對工程質量本身監督外，還應對工程質量進行把控和預警。如：路面未達到養護期要求而強行進行下一周期施工，此時系統就應快速地對大數據進行分析，并及時發出預警提示。

2 大數據的處理

隨著“互聯網+”時代的發展，人們對各行各業中產生的大數據進行分析，給眾多決策者提供了有力的決策支持[6]。如：沃爾瑪超市通過大數據分析在超市行業中曾經取得的輝煌成就；阿里巴巴通過大數據分析在電子商務行業取得的突破；滴滴打車或Uber通過大數據分析在出租車行業中取得的地位等等；均是基于大數據分析或處理而取得的成功案例[7]。然而在公路工程施工質量監控方面，大數據的應用還較薄弱，通過對公路工程質量監控中產生的大數據進行分析，對不合格或不符合規范的工程質量及時的啟動預警機制，將減少國家的財產損失，保障交通參與者的生命安全，為公路工程建設提供技術支撐。

2.1 云計算

公路工程質量監控大數據中，核心是對于數據的分析和處理。“云計算”是大數據處理的基礎，為數據分析提供技術保障。云計算利用Internet和虛擬技術把計算機各種軟、硬件資源融為一體，形成大規模的共享資源池，為用戶提供IaaS(基礎設施即服務)，PaaS(平臺即服務)，SaaS(軟件即服務)[8]。云計算是典型的分布式模型，為公路工程質量監控大數據并行處理提供平臺。

Google、 IBM、阿里云等知名公司大數據分析處理和應用都是基于云計算為基礎，最典型的應用就是分布式文件系統 、批處理技術、分布式數據庫等[9]。

2.2 大數據存儲技術

公路工程質量監控中產生的大數據在PE級以上，怎樣降低存儲成本、提高數據并發吞吐量是大數據存儲的關鍵。分布式文件系統，是大數據在存儲中的一種關鍵技術，Google公司研發的GFS(Google File System)分布式文件系統是大數據在存儲中的典型應用。其與后來研發的MapReduce、BigTable技術構成了Google搜索引擎大數據存儲的三大核心技術[10]。

公路工程質量監控中產生的海量異構數據，存儲架構分為存儲層、基礎管理層、應用接口層、訪問層。存儲層主要完成數據接入與信息集成、存儲虛擬化存儲設備；基礎管理層主要包括集群數據、并行數據倉庫盒實時數據庫；應用層接口主要完成任務管理、調度與監控；訪問層主要包括視頻監控系統、環境監測系統、應急指揮系統、實驗檢測系統和工程檔案系統等，如圖1所示。

公路工程質量監控大數據與其它類型的大數據有所不同，有的數據需要急時處理，響應急時的特點，以便于做出急時的應急響影決策，否則會造成重大經濟損失和人員傷亡。故需要研究公路工程質量監控大數據在存儲結構上的特點，為后續的數據分析提供支撐。

2.3 實時數據處理技術

在公路工程質量監控產生的大數據，類型多樣，包括聲音、圖像、文本等結構化和非結構化數據，通過數據清洗來消除數據不一致是非常有必要的，也是數據處理的關鍵因素。在大數據實時處理流程中數據分析(Data Analysis)是核心，為提高數據的訪問速度，建立分布式數據庫，利用各種類型的大數據分析技術，對各種異構的數據進行分析，最終利用可視化技術，把數據分析結果展現給用戶，以滿足公路工程在施工過程中監督和決策的需求。

傳統數據，一般采用關系數據庫來進行存儲，OLTPT和OLAP是傳統數據的主流應用，SQL是傳統關系數據庫存系統的存取標準[12]。但在公路工程質量監控中產生的數據，有很多不具有關系數據庫的條件，很多數據是非關系數據，故需要其它方式的數據分析管理技術。

Google公司于2004年推出的Map Reduce技術，它的并行數據處理方式是大數據分析和處理的典型應用，其主要包括分布式文件系統(GFS)，并行編程和并行執行三個方面。GFS為大數據的儲存和并行計算提供平臺基礎支撐，采用鍵/值(key/value)方式對數據進行分布式存儲[12]。

Map Reduce是一個通過將任務獨立化進行計算的一種模型技術，主要有Map和Reduce兩個階段，首先把公路工程質量監控中產生的大數據按算法進行以的形式進行任務分塊，把分塊任務交由Map進行并行執行，執行完Map函數后，將數據轉換成符合模型的的形式，并把數據寫入硬盤。然后進入Reduce階段，Reduce接受Map階段的執行結果，對數據進行合并歸約計算，最終得到輸出結果，并寫入到GFS文件系統[13]。公路工程質量監控大數據Map Reduce計算過程，如圖2所示。

圖2 公路工程質量監控大數據計算過程

公路工程質量監控大數據Map Reduce并行計算模型,將簡化數據的計算過程，減少數據傳遞開銷，使公路工程質量監控中各類應用程序設計直觀化。

3 大數據在公路工程質量監控中的機遇與挑戰

3.1 大數據可視化分析技術

可視分析技術的定義是指：一種通過交互式可視化界面來輔助用戶對大規模復雜數據集進行分析推理的科學與技術[14]。大數據可視化分析是指在對數據挖掘分析的同時，利用可視化用戶界面以及人機交互技術，融合人的辨別能力與計算機的數據計算能力，為決策者提供更加科學、合理的決策依擾。

公路工程質量監控大數據可視化分析關鍵核心是數據的集成和接口，而其數據規模大、快速多變、數據源異構，使得對大數據的處理、分析和可視化帶來具大的挑戰。數據信息的可視化根據其特征分為一維信息、二維信息、三維信息、多維信息、層次信息、網絡信息、時序信息可視化，在公路工程質量監控大數據中主要包括文本可視化、網絡或圖可視化、時空數據可視化、多維數據可視化等。文本信息是非結構化數據的代表，是公路工程質量監控大數據中的主要信息類型，是記錄施工數據的重要環節，文本信息可視化可采用把文本語議結構以樹的形式進行可視化操作；網絡或圖是大數據中最常見的關聯關系，是記錄施工過程狀態的重要信息，網絡或圖可視化可采用基于節點和邊的可視化方法；時空數據是帶地理位置標簽的數據，是記錄施工環境狀態的重要信息，為反應時間與空間的變化，一般采用流式地圖來展現；多維數據是多個維度空間的數據，是記錄整個施工過程的重要信息，一般可采用基于幾何圖形的可視方法來實現[15]。

3.2 大數據在公路工程建設中的應用

大數據在公路工程質量監控中的應用還處于起步初級階段，依托大數據建立質量監督管理、安全監督管理、監理行業管理、試驗行業管理、工程竣(交)工驗收管理、突發應急預案、事件檢測、應急響應、現場救援、總結評估等平臺，以數據指標為度量，直觀、全面、準確地監測和分析各個環節要素的動態變化數據信息，為管理者提供科學決策依據，提高監管效能。如：工程建設過程中突發事件應急處理，可利用地理信息系統(GIS)平臺，對基礎地圖數據、應急資源數據、重大危險源數據進行管理并以電子地圖顯示，可及時預測突發事件危險存在范圍，輔助突發事件應對機制的決策。在建項目監督管理，通過對試驗檢測實驗室、各種機械設施設備的數據采集，實現試驗檢測數據、設施設備主要數據的采集與匯聚，生成質量監控大數據。通過對大數據的分析和規范性電子監控比對，實現工程實體和質量行為的實時自動監管巡查和預警等。

4 總結

這是一個數據信息時代，不管是商業領域還是工程建設領域，都與數據有聯系，如何科學的運用這些數據來分析和解決問題，是各領域應重視的問題[16]。本文對公路工程建設質量監控中大數據的產生、存儲、處理和數據特點等進行了深入分析，詳細介紹了大數據處理的關鍵技術，對大數據在公路工程質量監控中帶來的應用進行了論述。但大數據在公路工程質量監控中的運用還處于起始階段，如何提高數據的采集質量，解決工程建中大數據傳輸、提高數據可靠性等方面還存在著研究的空間，需要更多的研究者去探索和研究。

[1] 國家發展改革委.國家公路網規劃(2013年-2030年)[EB/OL].(2013-5-24). http://zfxxgk.ndrc.gov.cn/PublicItemView.aspx?ItemID={93c7d13b-aa0d-4beb-955e-268adade8a8f}.

[2] Hui Zhen,Li Hao,Zhang Min,et al.Risk-adaptive access control model for big data in healthcare[J].Journal on Communications,2015,36(12):190-199.

[3] 劉智慧，張泉靈.大數據技術研究綜述[J].浙江大學學報(工學版)，2014，48(6):957-972.

[4] 馮朝勝，秦志光，袁丁.云數據安全存儲技術[J].計算機學報，2015，38(1):150-163.

[5] 程學旗，靳小龍，王元卓，等.大數據系統和分析技術綜述[J].軟件學報，2014，25(9):1889-1908.

[6] 李衛榜，李戰懷，姜濤.分布式大數據多函數依賴沖突檢測[J].計算機學報，2016，39(97):1-17.

[7] Hong Cheng,Zhang Min,Feng Deng-Guo.Achieving efficient dynamic cryptographic access control in cloud storage[J].Journal on Communications,2011,32(7):125-132.

[8] 任磊，杜一，馬帥，張小龍，戴國忠.大數據可視分析綜述[J].軟件學報，2014，25(9):1909-1936.

[9] 宋亞奇，周國亮，朱永利.智能電網大數據處理技術現狀與挑戰[J].電網技術，2013，37(4):927-935.

[10] Meng Xiao-Feng,Ci Xiang.Big data management:Concepts,techniaues and challenges[J].Journal of Computer Research and Devlopment,2013,50(1):146-169.

[11] Jafarian J H,Takabi H,Touati H,et al.Towards a general framesork for optimal role mining:A constraint satisfaction approach[C]//Proceedings of the 20th ACM Symposium on Access Control Models and Technologies (SACMAT).Vienna,Austria,2015:211-220.

[12] 覃雄派，王會舉，杜小勇，王珊.大數據分析—RDBMS與MapReduce的竟爭與共生[J].軟件學報，2012，23(1):32-45.

[13] 崔紀強.交通建設工程質量安全監督中存在的問題及對策[J].工程管理，2015，29(2):281-283.

[14] JTG B01-2014，公路工程技術標準[S].

[15] 范林眼, 柴金義.包樹高速公路黃河特大橋施工監控數據分析[J].公路，2010，(12)：32-35.

[16] 王珊，王會舉，覃雄派，等.架構大數據：挑戰、現狀與展望[J].計算機學報，2011，34(10):1741-1752.

[17] 黃鵬.高速公路工程管理信息系統[D].成都：電子科技大學，2013.

[18] 王林.高速公路大修工程施工區交通組織與應急預案研究[D].西安:長安大學，2010.

[19] 馮登國，張敏，李昊.大數據安全與隱私保護[J].計算機學報，2014，37(1):246-258.

Application and Challenges of Big Data in Quality Monitoring of Highway Engineering

Xiao Xianglin, Zhou Chunrong

(Department of Information Engineering, Sichuan Vocational And Technical College of Communications, Chengdu 611130, China)

Generation of big data brings opportunities and challenges to quality monitoring technologies of highway engineering. Big data of highway engineering quality monitoring is featured by typical “4V” characteristics. In order to deeply analyze application of big data in quality monitoring of highway engineering, the paper discusses generation, processing processes, key technologies as well as other aspects of big data of highway engineering quality monitoring. The paper analyzes storage structure, computing courses and data visualized processing processes of the big data of highway engineering quality monitoring and points out the problems and challenges encountered by application of big data in quality monitoring of highway engineering.

Big data； Highway engineering； Quality monitoring； Application and challenge

四川省公路工程遠程監控研究可行性報告研究(廳級橫向課題)

肖祥林(1981-)，男，四川省隆昌縣人，實驗師，碩士，研究方向：大數據應用研究。 周春容(1981-)，女，四川省簡陽市人，碩士，副教授，研究方向：大數據應用研究。

1007-757X(2017)06-0024-03

TG409

A

2017.02.15)