汽車企業大數據應用平臺的總體設計探討

黃 莉

（武漢商學院 信息工程學院，湖北 武漢 430056）

汽車企業大數據應用平臺的總體設計探討

黃 莉

（武漢商學院 信息工程學院，湖北 武漢 430056）

大數據平臺的應用正在深刻影響著汽車領域生產方式的變革、服務模式的轉換以及消費者生活方式的改變。汽車企業只有通過對大數據的分析和挖掘，才能為公司運營決策提供數字化支持。文章主要從技術層面探討建設汽車企業大數據應用平臺的總體設計問題。

大數據；汽車企業；面向服務的架構

大數據和云計算帶來新的業務模式變革，使人們進入了大規模生產、分享和利用數據的時代。大數據是一個比較抽象的概念，從文字上來解釋，大數據指的是規模十分龐大的數據。麥肯錫全球研究院將大數據定義為“無法在可承受的時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合”。業界用4個“V”概括大數據的基本特征，即Volume（大量）、Variety（多樣）、Velocity（高速）和Value（價值）。大數據的分析和應用，無疑會為各行各業創造新機遇和無限的可能性[1]。

在過去的10年里，數據總量增長了750倍，并還在持續加速增長中。大數據的收集、分析與應用，正在深刻地影響著互聯網大潮下的汽車工業領域。無論是在汽車的生產過程，還是在面向客戶的服務環節中，大數據平臺的應用正在深刻影響著汽車領域生產方式的變革、服務模式轉換，以及消費者生活方式的改變[2]。

本文以某汽車公司為例，主要從技術層面來探討該汽車企業在建設大數據應用平臺時的總體設計。該汽車公司計劃在2017年對公司各經營數據進行分析和挖掘，實現該企業決策層、管理層、業務層分別享受信息化成果。為支持公司的經營管理需求及汽車IT規劃，收集企業資源管理、生產管理、營銷管理等領域實施（或正在實施）企業資源計劃（Enterprise Resource Planning，ERP）、制造執行系統（Manufacturing Execution Systems，MES）、數據庫管理系統（Database Management System，DMS）等系統分析數據，計劃實施企業大數據應用平臺，為公司運營決策提供數字化支持。

1 遵循經濟與技術相結合的原則

汽車大數據應用平臺建設要遵循統一性、系統性、規范性和安全性的原則，按照“統籌規劃、統一標準”的要求進行搭建，在當前總體架構的基礎上，應用先進的大數據技術平臺；采用成熟技術和公共組件開展底層數據存儲建設；采用分析模型等相關技術實現數據信息多方位、多視角、靈活多樣的展示及應用；基于行業標準提煉和完善企業的技術標準；按照行業數字安全認證體系及相關安全規范進行項目建設，確保數據安全[3]。

1.1 繼承性與復用性

為保護已有投資，體現統一性和連貫性，充分利用現有的基礎架構和軟硬件設備，進行總體設計和實施，并根據新需求進行新技術應用、完善和拓展，滿足汽車信息化建設“統一標準、統一平臺”的需要。增強信息資源整合、數據共享的靈活性，為汽車信息化應用的建設提供基礎支撐。

1.2 開放性與先進性

基于開放式標準與技術，利于移植，滿足所有應用系統建設的共用化需求，同時采用先進成熟的設備和技術，確保系統的技術先進性，保證投資的有效性和延續性。

1.3 靈活性與可擴展性

系統應易于擴展、升級和移植，并具備支持業務處理的靈活的參數化配置、技術架構可以適應業務功能的重組。

1.4 安全性與可靠性

提供良好的數據安全可靠性策略，充分利用汽車認證授權（Certificate Authority，CA）安全認證平臺、網絡安全體系等，采用多種安全可靠的技術手段，保證系統及數據的安全與可靠。

2 分層設計規劃數據存儲

數據資源管理系統能夠永久存儲聚合后的汽車優質資源以及互聯網優質資源，并能夠長期存儲全部的數據，并對外提供訪問服務接口，實現數據資源的共享。數據資源管理系統底層數據統一存儲規劃能夠滿足上層應用對底層數據的存儲及使用需求，具體規劃如下。

系統根據數據匯總層（B/S）（Data Warehouse，DW）模型，按照各個應用層次對數據的需求，對數據存儲進行了劃分，共分為5個層級，每個層次滿足不同的應用，分別是數據準備層（Operational Data Store，ODS）、數據明細層（Data Warehouse Detail，DWD）、DW、數據集市層（DataMart，DM）、數據應用層（ST）。

ODS/DWD層使用分布式文件系統hdfs、kafka等存儲原始數據，以及明細數據；DW層使用hive存儲應用數據、匯總數據；DM層將業務主題應用數據、匯總數據存儲在關系型數據庫統或者hive中；ST層將使用Hbase、es等保存分析結果數據以及匯總加工后的數據（標簽、累積數據等）；另外MDW層則使用關系型數據庫mysql或者非關系型數據庫Mongodb存儲元數據以及基礎數據；關系型數據庫和Mongodb互為備份，包括內容數據和分類元數據。在其中一個數據庫出現問題后，另一個數據庫可以單獨對外提供主要功能服務，提高數據庫的可用性。

3 采用基于架構的方法進行總體設計

汽車大數據應用平臺是涉及數據中心、業務系統等數據集成、管理、應用和服務的系統，要保證系統能夠順利實施并發揮預期的效用，必須借助科學的方法。本文將借鑒基于架構的規劃方法進行總體設計，即從企業的業務架構入手，明確各業務條線的戰略需求和數據集，統一規劃系統的數據架構、應用架構和技術架構，制訂系統運行維護的治理架構，使系統數據層面達到標準、規范、分布清晰、模型完整；應用層面對業務、管理和決策的支撐作用明顯；技術層面先進、高效、準確、安全；運維管理層面有能力管、容易管、管得住、管得好[4]。

汽車大數據應用平臺架構設計過程中，遵循“業務驅動”的設計方法，通過業務架構分析，推演出應用架構設計和數據架構設計，再結合應用架構和數據架構的要求進行技術架構設計，從而形成汽車大數據應用平臺的完整架構體系，保證系統對業務的有效支撐。汽車大數據應用平臺的總體架構包括業務架構、應用架構、數據架構、技術架構（見圖1）。

圖1 汽車大數據應用平臺的總體架構

業務架構從業務角度對汽車大數據應用平臺進行細化、抽象、歸納、總結，形成整體業務能力視圖，為應用架構和數據架構提供關鍵輸入；應用架構基于業務架構，從系統應用功能的角度定義應用功能、應用劃分和應用分布，形成汽車大數據應用平臺應用架構藍圖；數據架構基于業務架構和應用架構，從系統數據支撐的角度對數據模型、數據分類、數據存儲、數據流轉等方面進行規劃設計；技術架構基于應用架構和數據架構，從系統技術實現的角度定義各類系統組件、集成關系、部署方式和系統安全防護體系。

4 采用基于SOA的思想進行技術設計

面向服務的架構（Service-Oriented Architecture，SOA）是當今信息系統開發的重要方法。是當前開發靈活、可配置、可復用的信息系統的技術路線。汽車大數據應用平臺要面向多種業務系統，動態采集數據，要適時調整應用展現等，有必要采用SOA系統架構進行設計。SOA架構系統具有高內聚、低耦合的特點，有利于系統的調整、重組。

SOA的中心思想是模塊化與封裝這兩大原則，模塊化將復雜的大任務分解成相對簡單的小步驟，封裝則將其內部的復雜性屏蔽代之以用清晰的接口。在這兩項原則指導下，開發人員只需關注應用中與其相關的部分而無須知道其他部分的細節，只要各個組件都遵守接口“契約”，這些組件的開發、測試和修改都相對獨立，無須太多的協調，使得基于SOA的應用易于開發和維護。

很多的企業應用由于缺乏統一的、長遠的規劃，通常情況下很少共享數據，幾乎從不共享程序邏輯。但很多的服務具有通用性，而非某一應用獨有，一個通用服務架構能幫助企業在上述的原則下共享部分數據和程序邏輯。

最后對企業發展戰略、管控模式、組織架構、業務模式和運營流程進行深刻的理解，據此對本系統進行頂層設計和整體規劃，并且充分尊重信息化的建設規律，對實施階段和系統模塊進行重點把握，分階段、分步驟有序建設。同時在項目總體建設目標的指導下，在項目建設過程中建立階段性目標，確認階段建設成果，降低項目總體建設風險，便于企業快速認識建設成果，并且為后期建設提供良好基礎。在實施過程中把握重點問題、關鍵問題，運用正確的方法，尋找恰當的突破點，集中力量進行突破。

[1]胡熙.汽車企業與大數據融合趨勢分析（上）[J].商用汽車，2015（12）：104-107.

[2]胡熙.汽車企業與大數據融合趨勢分析（下）[J].商用汽車，2016（1）：100-103.

[3]張懿，劉焰.大數據時代下的智能網聯汽車發展研究[J].江蘇科技信息，2016（24）：7-9.

[4]夏妍娜.大數據在德國汽車制造商寶馬集團中的應用[J].智慧工廠，2017（2）：81-84.

Discussion on overall design of big data application platform in auto corporations

Huang Li
(Information Engineering Department, Wuhan Business University, Wuhan 430056, China)

Application of big data platform is profoundly affects the production mode reform of automobile industry, conversion of service mode and change of consumer lifestyle. Only through the analysis and mining of big data, auto companies can provide digital support for the company’s operational decision-making. This article mainly discusses the overall design of big enterprise application platform for automobile enterprises from the technical level.

big data; auto corporations; service-oriented architecture

黃莉（1984— ），女，湖北武漢人，講師，碩士；研究方向：矩陣分析及其應用。