大數(shù)據(jù)技術(shù)平臺在新能源車數(shù)據(jù)挖掘中的應(yīng)用

董曉丹+潘佳煒

摘要：本文首先介紹了大數(shù)據(jù)平臺產(chǎn)生的背景和需要滿足的條件，然后分析了研發(fā)和搭建大數(shù)據(jù)平臺的技術(shù)研發(fā)重點，并提出了具體解決方案，最后通過攻克各種難題，成功的將大數(shù)據(jù)平臺應(yīng)用在了新能源車上，為以后大數(shù)據(jù)技術(shù)平臺的推廣和應(yīng)用起到了一定的先導(dǎo)作用。

關(guān)鍵詞：車聯(lián)網(wǎng)；大數(shù)據(jù)平臺；新能源汽車；

TM61；TP311.13

汽車數(shù)字化、互聯(lián)網(wǎng)化、大數(shù)據(jù)應(yīng)用、人工智能，將對汽車業(yè)及相關(guān)的長長的產(chǎn)業(yè)鏈產(chǎn)生難以想象的巨大變化和產(chǎn)業(yè)革命。車聯(lián)網(wǎng)是由車輛位置、速度等總線參數(shù)與周邊系統(tǒng)信息互聯(lián)而構(gòu)成的巨大交互網(wǎng)絡(luò)。車輛完成自身環(huán)境和狀態(tài)信息的采集后，籍由互聯(lián)網(wǎng)技術(shù)，將自身的各種信息傳輸匯聚到TSP后臺。僅依賴數(shù)目有限的人力與傳統(tǒng)的統(tǒng)計方式方法難以對這樣海量、實時而價值密度低的車輛信息進行分析和處理，只有借助大數(shù)據(jù)技術(shù)，才能實現(xiàn)對海量數(shù)據(jù)的監(jiān)控與挖掘。車聯(lián)網(wǎng)項目已經(jīng)為我們解決了海量數(shù)據(jù)的產(chǎn)生、收集與發(fā)送的重要問題，但我們還需要一個高效方便的系統(tǒng)解決回傳到后臺的數(shù)據(jù)解析、重構(gòu)、存儲與計算等系列問題。

一個兼有柔性化和模塊化的大數(shù)據(jù)平臺正是在這樣的背景下被設(shè)計并搭建起來。基于該平臺開發(fā)的新能源車數(shù)據(jù)管理系統(tǒng)經(jīng)過近1年的測試與使用，已經(jīng)證明能有效處理TSP后臺的新能源車數(shù)據(jù)，并多次為專業(yè)部門提供相應(yīng)的離線數(shù)據(jù)挖掘服務(wù)。目前正在開發(fā)的XH3項目試制試驗車數(shù)據(jù)監(jiān)控系統(tǒng)亦是在該平臺上進行設(shè)計。

一、技術(shù)研發(fā)重點問題與解決方案

大數(shù)據(jù)技術(shù)平臺研發(fā)與搭建攻克了以下技術(shù)難題：

1.大數(shù)據(jù)平臺的技術(shù)框架設(shè)計

大部分情況下，企業(yè)開發(fā)的大型數(shù)據(jù)庫系統(tǒng)層級的軟件應(yīng)用均委托供應(yīng)商并購買制定的商業(yè)數(shù)據(jù)庫軟件進行。數(shù)據(jù)流動的不確定性、系統(tǒng)運維的技術(shù)壁壘、機密數(shù)據(jù)及模型的潛在泄露風(fēng)險，使得運用商業(yè)數(shù)據(jù)庫平臺存在一定的信息安全與數(shù)據(jù)資產(chǎn)風(fēng)險。

為此，我們借鑒IT領(lǐng)域大數(shù)據(jù)的應(yīng)用研究成果，使用開源的Hadoop生態(tài)圈軟件，根據(jù)專業(yè)部門的使用需求與數(shù)據(jù)利用習(xí)慣及場景，基于開源的Hadoop2.0生態(tài)圈軟件，構(gòu)筑了一個兼有柔性化和模塊化的大數(shù)據(jù)平臺，并由大數(shù)據(jù)團隊自主源代碼開發(fā)實現(xiàn)了所有數(shù)據(jù)接口。該平臺可根據(jù)業(yè)務(wù)量的增長與變更靈活的切換分析工具和底層擴容。如下圖1所示：

2.離線地圖與車聯(lián)網(wǎng)參數(shù)疊加技術(shù)

相比車聯(lián)網(wǎng)回傳數(shù)據(jù)里面若帶有地理坐標(biāo)，則可以與地圖大數(shù)據(jù)技術(shù)結(jié)合起來，通過把性能參數(shù)或分析結(jié)果在地圖底圖上顯示出來。實現(xiàn)車、人、物等物聯(lián)網(wǎng)參數(shù)在地圖層上的統(tǒng)一。要實現(xiàn)該功能，我們需要獲得地圖數(shù)據(jù)源、地理數(shù)據(jù)疊加工具和地圖交互功能技術(shù)支持。

針對地圖數(shù)據(jù)源問題，考慮到公司內(nèi)部大部分員工無法直接使用外網(wǎng)，所有簡易的地圖源如百度、高德等地圖api無法引入，我們只好使用爬蟲技術(shù)，在內(nèi)網(wǎng)部署了一臺地圖服務(wù)器，對客戶的地圖數(shù)據(jù)需求進行實時網(wǎng)絡(luò)抓取。然而，由于地圖源為自定義形式，需要把實際坐標(biāo)參數(shù)按照國內(nèi)地理坐標(biāo)偏移標(biāo)準(zhǔn)進行一定技術(shù)上的處理。

解決地圖源問題后我們引入了openlayers技術(shù)。它是一個用于開發(fā)WebGIS客戶端的JavaScript包。OpenLayers 支持用戶自定義地圖作為背景圖，與其他的參數(shù)圖層進行疊加，并可以通過遠(yuǎn)程服務(wù)的方式，將地圖數(shù)據(jù)加載到基于瀏覽器的OpenLayers 客戶端中進行顯示。除可以在瀏覽器中幫助開發(fā)者實現(xiàn)地圖瀏覽的基本效果，比如放大（Zoom In）、縮小（Zoom Out）平移（Pan）等常用操作之外，還可以進行選取面、選取線、要素選擇、圖層疊加等不同的交互操作。如下圖2所示：

二、大數(shù)據(jù)技術(shù)平臺在新能源車數(shù)據(jù)挖掘上的應(yīng)用

為更好的對新能源車回傳數(shù)據(jù)的進行分析與挖掘，我們基于大數(shù)據(jù)技術(shù)平臺開發(fā)了某企業(yè)的新能源車數(shù)據(jù)管理系統(tǒng)。根據(jù)應(yīng)用場景，分為在線分析與離線分析兩大功能。

1.在線分析功能應(yīng)用

在線分析功能主要指系統(tǒng)上通過瀏覽器直接可以操作的熱數(shù)據(jù)分析功能，新能源車數(shù)據(jù)管理系統(tǒng)包括信息查詢、故障查詢、軌跡回放、油耗統(tǒng)計、電池系統(tǒng)管理、廣州市充電樁信息集成等六大模塊。在線分析功能主要用于協(xié)助工程師對指定vin碼車輛進行全方位的歷史參數(shù)檢索、特定參數(shù)功能統(tǒng)計，在故障診斷、系統(tǒng)監(jiān)控、軌跡回顧上發(fā)揮重要作用。如圖3所示：

2.離線數(shù)據(jù)分析功能應(yīng)用

離線分析功能主要指用戶以分析委托方式對感興趣的分析方案，在指定數(shù)據(jù)范圍內(nèi)，按一定模型需求進行分析計算。截至目前，系統(tǒng)錄入ag新能源車數(shù)量超過2500臺，日均在線車輛超過1000臺，存儲數(shù)據(jù)量過1T。可以支持如用戶習(xí)慣、零部件或整車工況提取等需要大樣本的分析計算。已為新能源、NVH、試驗等部門級或新能源車主提供過分析服務(wù)。乘用車、集團也多次利用該系統(tǒng)對新能源車的在線管控與跟蹤。如圖4所示：

三、主要科技創(chuàng)新點或改進點說明

在大數(shù)據(jù)技術(shù)平臺搭建與某企業(yè)的新能源車大數(shù)據(jù)管理系統(tǒng)研發(fā)過程中，通過解決以下幾個重要技術(shù)關(guān)口，完成了以下創(chuàng)新性工作：

（1）在系統(tǒng)開發(fā)中形成了一個全自主知識產(chǎn)權(quán)的大數(shù)據(jù)技術(shù)平臺架構(gòu)，實現(xiàn)數(shù)據(jù)在該平臺中的透明流動。

（2）摸索了應(yīng)用開源IT技術(shù)服務(wù)研發(fā)的方法，為后續(xù)同步引進先進IT技術(shù)打下堅實基礎(chǔ)；

（3）為整車研發(fā)提供了一個便利的大數(shù)據(jù)工具，促進了大數(shù)據(jù)與整車研發(fā)相結(jié)合，為后續(xù)大數(shù)據(jù)項目在某企業(yè)的落地起到良好示范作用。

參考文獻：

[1]諸彤宇；王家川；陳智宏；車聯(lián)網(wǎng)技術(shù)初探[J]；公路交通科技（應(yīng)用技術(shù)版）；2011年05[2]

[2]崔建明；BOA技術(shù)在車輛感知網(wǎng)絡(luò)中的應(yīng)用研究[J]；電子設(shè)計工程；2012年13期

[3]王建強；吳辰文；李曉軍；車聯(lián)網(wǎng)架構(gòu)與關(guān)鍵技術(shù)研究[J]；微計算機信息；2011年04期

[4]王笑京；沈鴻飛；中國智能交通系統(tǒng)發(fā)展戰(zhàn)略研究[J]；交通運輸系統(tǒng)工程與信息；2006年04期

[5]劉小洋；伍民友；車聯(lián)網(wǎng)：物聯(lián)網(wǎng)在城市交通網(wǎng)絡(luò)中的應(yīng)用[J]；計算機應(yīng)用；2012年04期