服務于智能公交的大數據挖掘模型

摘要本文介紹了一種公交大數據以及數據挖掘服務模型。文章包括適用于公交數據的大數據存儲系統架構與公交數據語義化分析模型，介紹了公交數據構成的大數據基礎架構以及其為應用提供服務的方式。文章最后介紹了三種得到大數據支撐的公交應用以及其目前工作的進展，并對公交大數據未來的發展做出了預測。

關鍵詞智能公交大數據挖掘模型

一、引言

智能公交目前面臨海量數據管理與應用的難題，必須引入大數據挖掘技術來加以解決。大數據挖掘是包含了數據處理、分析、挖掘等方面的一系列技術的總稱，根據智能公交自身數據與業務特點，選擇合理的大數據架構和數據挖掘技術，建立符合行業特點的大數據應用服務架構，是智能公交新型應用需要面對的首要問題。

數據挖掘在智能公交系統中的定位是基礎性與服務性的。公交大數據挖掘的意義在于利用大數據的技術完成智能公交整體底層數據的接入與管理，實現不同類型數據之間的統一索引與融合，對數據做處理與分析，完成可視化、語義化的數據挖掘，從而能夠支持上層各種智能公交復雜應用的要求。從這個目的出發，基于大數據的智能公交數據應用應首先選擇合適的架構與數據挖掘手段。

二、需求分析

智能公交系統的功能需求分為三大部分：企業運營需求、公眾服務需求、行業監管需求，整個智能公交系統的數據來源又可劃分為車輛（機務）數據、線網數據、路網數據、乘客數據、人員數據、運行數據等分類。智能公交大數據必須從智能公交系統的數據出發，支持智能公交系統的功能需求，為了實現這一目標，智能公交大數據必須具有以下特征：

1、支持多源異構的大規模數據存儲。智能公交系統的數據來源廣泛，格式各異，各種數據之間結構也不相同；隨著物聯網技術的發展，智能公交數據增長是非常迅速的，各類傳感器產生的大量數據必須迅速的得到處理。因此智能公交大數據必須能夠支多源異構的、增長迅速的數據存儲。

2、支持多種查詢方式。基于數據來源的復雜性，智能公交大數據應能夠支持nosql、newsql以及傳統的結構化查詢方式，這是實現數據集成應用的基礎。

3、支持多種分析與挖掘技術：智能公交大數據與其他數據系統相比，其數據中包含的價值很高，但是面對特定的應用，數據中的冗余較大，相關性比較隱晦，需要有力的數據分析挖掘技術進行處理。智能公交大數據應包含數據分析與挖掘技術。

4、支持可視化分析技術：面對海量智能公交數據，其分析結果與日常管理均需提供直觀的展示。

三、系統架構

1、大數據架構

智能公交大數據架構以滿足應用需求為目標，選擇合適的實現方式進行搭建，（如圖1）其主體分為數據接入、數據存儲與數據管理三部分。

在智能公交大數據架構中，數據接入負責對分布廣泛、多源異構的海量公交數據進行采集、匯聚與清洗；數據存儲負責各種公交數據的存儲并相應系統的各種查詢、處理請求；數據管理負責對整個大數據系統以及其內部的數據進行各種配置與管理。

為了能夠全面的滿足智能公交系統需求，智能公交大數據架構必須選擇合適的技術路線，其中數據存儲層是大數據系統的核心，它直接關系到其他系統組件的選型與整個系統的性能。本文采用的數據存儲結構（如圖2所示）包含了一套分布式文件系統與資源管理系統，在文件系統上構建了數據倉庫，支援結構化與非結構化數據的并行存儲、查詢、處理操作。另外還在存儲結構之外部署了輔助控制系統，便于實現對存儲集群的監控與協調操作。

在數據存儲架構中，HDFS組成透明的分布式文件系統，HBase是系統的主數據庫，利用基于MapReduce技術的Spark進行運算加速，能夠實現數據庫的快速查找與分析。Nagios與Ganglia分別用于監視系統狀態與數據庫狀態，方便維護人員進行日常管理。

2、語義化模型

對于海量的公交大數據來說，面對不同應用，均需要對駁雜的數據進行分析與挖掘，大數據需要對數據進行語義化處理，為應用提供智能化、場景化、價值化的數據索引。

本文主要使用基于語義關聯與本體適配技術的語義化處理模型對公交數據進行語義化處理，再由大數據平臺Hbase對外提供應用支持（見圖3）。

在本系統中，來自不同采集方式獲得的公交數據均被轉化為URL表達的數據，具有這項功能的模塊稱為URL化處理模塊。隨后所有數據都進入RDF標準化處理流程，經過關鍵詞提取與語義識別后，成為計算機可以理解的數據形式，以上過程統稱為語義化處理。數據經過語義化處理后，即可進行規則匹配，通過不同的匹配條件，實現語義關聯操作，完成應用需求與數據之間的連接。

3、數據挖掘

利用語義化公交數據，大數據系統能夠完成多種類型的數據挖掘。

（1）數據場景化挖掘：為數據找到對應的場景，并為數據標示場景標簽，實現場景分類功能。數據場景化挖掘利用六種場景化定義進行數據索引，包括場景名、本體集、屬性集、語義集、屬性權重和語義權重。利用場景化定義，將數據分類至不同的場景中，例如車輛位置數據，既可以歸類到車輛信息場景下，也可以歸類到運營狀態場景下。（2）數據語義查詢：傳統的數據查詢是按照一定的屬性對數據進行查詢。利用語義化后的公交數據，可以實現模糊化的跨種類語義查詢，例如查詢某車站，能直接查詢到車站位置以及在車站附近的公交車輛。（3）數據組合展示：利用語義化后的公交數據，開發新的展示應用，能夠以不同的視角，展示新的數據聯系，是公交數據全方位應用的重要手段。

基于語義化的數據挖掘，在智能公交中的應用價值，體現于現有智能公交數據采集的后端應用方面，例如：利用車載視頻監控，進行車輛滿載率、乘客計數應用時，完全不需要對視頻數據本身進行傳輸和使用，而是通過前置的語義化處理技術，直接解讀視頻數據，將結果回傳給后端應用，不僅僅解決了傳輸的成本問題，而且充分發揮了車載視頻在智能公交運營上的服務作用，利用這些通過語義化技術處理過的采集信息進行深度挖掘，整合信息資源，就能提供諸如“客流”、“安全駕駛”、“擁擠程度”等豐富的交通相關信息。

四、應用示例

公交數據挖掘技術在公交行業將會有廣泛的應用，并體現巨大的價值，能夠較好的解決智能公交領域海量數據累積和處理，有效的為公交運行、運營監控、信息服務等提供支持。

（1）重構公交評價體系

關于公交現有的評價體系形式上是完整的，但局限于當時的技術條件和有限數據，存在有很多的不合理、不科學。借助公交大數據系統，重構公交評價標系，包括明確一些指標的計算方法，減少一些沒有多少評價作用的指標，增加一些更具評價作用的新指標，充分大數據可視化分析的能力，提供直觀、準確、動態的評估結果，并分析體系優缺點，提出解決方案。目前該應用已經進行試運行，取得了良好的用戶反響，未來該應用將增強橫向與縱向可比性，持續改進，日臻完善，屆時還可以引入多種形式資本，形成適度競爭格局。

（2）還原真實客流需求，吸引出行者乘坐公交

出行成本除了直接經濟成本之外，人們更在意時間成本、安全、方便、舒適、快捷等非經濟方面。對于乘坐公交出行而言，現行的票價能夠為絕大多數人所接受，吸引更多人乘坐公交的關鍵在于公交能否在服務方面有所改善，達到較好的公交出行體驗，大數據時代的來臨為此提供了可能性。

公交大數據能夠真實還原客流需求，吸引更多出行者乘坐公交。客流所表現出來的出行需求是相當復雜的，不是小樣本數據、簡單規則所能刻化的，通過對大數據的分析和預測，公交企業利用該系統不但觀察到出行需求，還能通過長尾數據來發現個性化的小眾需求，從而科學地規劃線路，合理地投入運力，避免了經驗式的一刀切、簡單化。比如，可以通過運營商的數據擬合高峰時段的人流遷移而開展定制公交服務。目前由公交大數據支撐的智能化公交調度系統已經投入使用，獲得了良好的反響。

（3）創新車輛維修保養模式

大數據在公交運營管理中的運營、調度、安全、服務等多個方面、多個環節、所有層面都有潛在的新應用，利用公交大數據管理公交企業的生產資料也是公交大數據的一種新型應用方式。目前車輛已經實現對油、氣、水、電等多類管線（路）的實時監控和數據采集，記錄了引擎、燃潤、制動、懸掛等所有部系的工作狀態，甚至還包括與駕駛員操作相關的數據。利用大數據技術對這些數據進行挖掘，能夠揭示許多潛在的關聯，利用這種關聯關系，優化公交企業生產資料配置，提升從業者技能水平，節約生產開支，通過各種手段，提升企業運營效率。基于大數據的機務系統已經得到全面應用，徹底改變修理等報修、保養遵從間隔里程的傳統做法，顛覆現有維修保養模式，已經在很大程度上減少因機械故障引發的安全事故，降低維修成本，降低拋錨率，提高運營效率，為企業節約了大量成本。

五、結論

大數據給許多行業帶來了變革，智能公交擁抱大數據同樣能夠取得豐碩的成果。文中說明了一種以現有公交數據匯集構成的公交大數據結構，該公交大數據服務于多個公交業務系統，最后已經實施的公交大數據應用為例，說明了大數據技術對公交現有業務的促進作用。展望未來，隨著綜合交通、智慧交通的發展，公交大數據應用將在智能公交領域全面開花，其應用范圍也將逐漸拓展出公交行業的限制，成為城市交通系統中不可或缺的重要組成部分。

參考文獻：

[1]Fay Chang， Jeffrey Dean， Sanjay etc， Bigtable： A Distributed Storage System for Structured Data， Google， Inc.

[2]王瑋.基于模糊綜合評價法的快速公共交通系統評價研究[D].長安大學，2012（05）.

[3]梁楓明.基于IC卡信息的公交客流出行特征分析系統研究[D].華南理工大學，2011（06）.

[4]劉小峰.基于大數據的智慧云公交調度管理系統[J].電腦開發與應用，2014（09）.

（作者單位：合肥公交集團有限公司）