以一卡通業(yè)務(wù)系統(tǒng)為主的大數(shù)據(jù)平臺建設(shè)思路分析

李琛

摘要：隨著大數(shù)據(jù)技術(shù)和其他相關(guān)技術(shù)的發(fā)展，我國諸多行業(yè)和領(lǐng)域開始引進(jìn)了大數(shù)據(jù)技術(shù)，而一卡通業(yè)務(wù)也不例外，依托于大數(shù)據(jù)平臺的一卡通業(yè)務(wù)有諸多的優(yōu)勢和特點，但是在平臺的設(shè)計和建設(shè)上還存在一定的思路問題。由此，本文就針對一卡通大數(shù)據(jù)平臺的建設(shè)思路為主題，首先分析了一卡通大數(shù)據(jù)平臺的基本概況，其次闡述了一卡通大數(shù)據(jù)平臺的平臺設(shè)計和詳細(xì)架構(gòu)設(shè)計，最后總結(jié)了一卡通大數(shù)據(jù)平臺的邏輯架構(gòu)設(shè)計、網(wǎng)絡(luò)拓?fù)浜拖到y(tǒng)功能。

關(guān)鍵詞：大數(shù)據(jù);平臺建設(shè);數(shù)據(jù)分析

1.一卡通大數(shù)據(jù)平臺的基本概況

一卡通大數(shù)據(jù)平臺就是利用大數(shù)據(jù)技術(shù)和其他技術(shù)組合設(shè)計出的平臺系統(tǒng)。該系統(tǒng)的主要作用就是收集公交線路、站點信息、交易信息等內(nèi)容，然后將這些數(shù)據(jù)和信息制作成詳細(xì)的表格，提供給企業(yè)和公司進(jìn)行相關(guān)的數(shù)據(jù)分析、和運營決策，為城市公交的正常運轉(zhuǎn)提供有力的主持。

一卡通大數(shù)據(jù)平臺的發(fā)展是隨著計算機(jī)技術(shù)、互聯(lián)網(wǎng)技術(shù)、大數(shù)據(jù)技術(shù)、移動支付技術(shù)發(fā)展而發(fā)展的，特別是大數(shù)據(jù)技術(shù)和移動支付技術(shù)的發(fā)展和應(yīng)用，很大程度上起到了支撐和輔助一卡通系統(tǒng)運作的功能，包括用戶數(shù)據(jù)、實時信息、路況變化、天氣情況等都可以通過大數(shù)據(jù)技術(shù)和其他相關(guān)技術(shù)進(jìn)行實時記錄和播報;而移動支付技術(shù)則很好地解決了資金問題，如果沒有良好的移動支付功能，一卡通的支付、充值等功能就需要更多的人力和財力物力的投入。但是，當(dāng)前的大數(shù)據(jù)平臺的構(gòu)件還是存在一定問題，最關(guān)鍵的一點在于現(xiàn)階段數(shù)據(jù)過于龐大且來源較多，其本身很難產(chǎn)生較強(qiáng)的關(guān)聯(lián)性和完善的利用價值，這也就造成了一定程度的資源浪費。

2.一卡通大數(shù)據(jù)平臺的平臺設(shè)計

一卡通大數(shù)據(jù)平臺的的架構(gòu)框架主要由圖中部分組成，該平臺在設(shè)計上利用Spark引擎技術(shù)作為開發(fā)框架。從圖中我們可以看出，該平臺的數(shù)據(jù)儲存于分布式文件系統(tǒng)中;該平臺的用戶畫像處理分析主要是通過Kettle、Hive等技術(shù)進(jìn)行分析處理，方便運營方為不同的用戶提供更加個性化的服務(wù)[1];Lambda是該大數(shù)據(jù)平臺中的重要組成部分，該架構(gòu)可以通過系統(tǒng)架構(gòu)的三個層次，實現(xiàn)系統(tǒng)數(shù)據(jù)的快速且大量處理，Lambda計算框架的三個層次分別是批處理層、實時處理層、服務(wù)層，該計算框架對于數(shù)據(jù)的處理起到了很大的作用。

3.一卡通大數(shù)據(jù)平臺的詳細(xì)架構(gòu)設(shè)計

一卡通大數(shù)據(jù)平臺在設(shè)計的過程中，可以分為七個層次，這七個層次都有各自的特點和功能，我們從上往下依次分析。

第一層就是應(yīng)用層，應(yīng)用層就是為用戶提供一個可視化的、便于操作的交互界面，該交互界面可以通過手機(jī)APP或網(wǎng)頁的方式存在。第二層就是數(shù)據(jù)服務(wù)層，數(shù)據(jù)服務(wù)層的主要功能是提供一個良好的數(shù)據(jù)使用環(huán)境和數(shù)據(jù)服務(wù)體系。第三層就是引擎層，引擎層主要為應(yīng)用層執(zhí)行各種數(shù)據(jù)處理和服務(wù)工作。第四層就是計算層，計算層顧名思義是進(jìn)行各種數(shù)據(jù)計算。第五層就是存儲層，存儲層就是對各種數(shù)據(jù)和信息進(jìn)行存儲，以便于系統(tǒng)的調(diào)用。第六層就是接口層，接口層的功能是對數(shù)據(jù)進(jìn)行篩選，并將篩選后的數(shù)據(jù)傳輸?shù)酱鎯舆M(jìn)行存儲。第七層就是數(shù)據(jù)源層，數(shù)據(jù)源層就是接收各類數(shù)據(jù)的接口。

4.一卡通大數(shù)據(jù)平臺的邏輯架構(gòu)設(shè)計

一卡通大數(shù)據(jù)平臺的邏輯架構(gòu)，在設(shè)計上可以分為三層，下面對這三層進(jìn)行分別分析探究。首先是數(shù)據(jù)處理層，數(shù)據(jù)處理層主要作用是對系統(tǒng)中的無效數(shù)據(jù)和制定的數(shù)據(jù)進(jìn)行清除、整合，以保障平臺的流暢性。其次是數(shù)據(jù)服務(wù)層，數(shù)據(jù)服務(wù)層就是針對系統(tǒng)中的各項數(shù)據(jù)進(jìn)行標(biāo)簽化和處理華，方便對數(shù)據(jù)的需求和使用。最后是數(shù)據(jù)應(yīng)用層，數(shù)據(jù)應(yīng)用層的重要功能就是對系統(tǒng)中的各項數(shù)據(jù)進(jìn)行整合，以方便相關(guān)人員對一卡通系統(tǒng)進(jìn)行相應(yīng)的操作和開發(fā)。

5.一卡通大數(shù)據(jù)平臺的網(wǎng)絡(luò)拓?fù)?/p>

一卡通大數(shù)據(jù)平臺的網(wǎng)絡(luò)拓?fù)浒硕囗梼?nèi)容，具體情況如圖1所示。

6.一卡通大數(shù)據(jù)平臺的系統(tǒng)功能

一卡通大數(shù)據(jù)平臺的數(shù)據(jù)功能包含較多內(nèi)容，以下為具體功能的概述和分析。

第一，數(shù)據(jù)抽取接口。數(shù)據(jù)抽取接口主要是對系統(tǒng)中的數(shù)據(jù)信息進(jìn)行抽取和調(diào)用，并將相關(guān)數(shù)據(jù)打包匯總到關(guān)系數(shù)據(jù)庫中，并將關(guān)系數(shù)據(jù)庫中的數(shù)據(jù)調(diào)用并輸送到分布式文件系統(tǒng)中，供系統(tǒng)的調(diào)用。第二，數(shù)據(jù)清洗接口，數(shù)據(jù)清洗接口就是對數(shù)據(jù)信息進(jìn)行篩選，將無用的數(shù)據(jù)信息進(jìn)行清除，保障數(shù)據(jù)的可用性和系統(tǒng)的流暢性。第三，數(shù)據(jù)整合接口。數(shù)據(jù)整合接口就是對數(shù)據(jù)進(jìn)行整合，整合的主要目的就是為了保障數(shù)據(jù)在引用過程中的關(guān)聯(lián)性。并且能夠?qū)σ驗閷嵺`改變而改變的數(shù)據(jù)進(jìn)行重新判斷和整合，以此確保數(shù)據(jù)能夠長期處于有效關(guān)聯(lián)狀態(tài)。

第四，集群性能監(jiān)控模塊。該模塊的主要作用就是進(jìn)行有效的集群監(jiān)控，包括系統(tǒng)中各項硬件的使用狀況和健康狀態(tài);各項軟件和系統(tǒng)的運行情況等都能進(jìn)行監(jiān)控，并且對于可能存在的故障還可以進(jìn)行相應(yīng)的預(yù)警。第五，平臺任務(wù)調(diào)度模塊。該模塊的主要功能和作用，就是能對系統(tǒng)的任務(wù)進(jìn)行合理的安排和調(diào)度，以此保障系統(tǒng)執(zhí)行任務(wù)的流暢。第六，數(shù)據(jù)展示。數(shù)據(jù)展示的主要作用就是對相關(guān)用戶的各項數(shù)據(jù)進(jìn)行深度挖掘和分析，例如用戶的年齡、性別、消費習(xí)慣、消費情況等，通過這一套的分析和研究，系統(tǒng)可以總結(jié)出一套方便快捷的可視化大數(shù)據(jù)，方便工作人員使用。

結(jié)語

綜上所述，一卡通大數(shù)據(jù)平臺的設(shè)計和構(gòu)建需要設(shè)計到諸多方面，從系統(tǒng)到具體功能都要有良好的構(gòu)思，但是一卡通大數(shù)據(jù)平臺一旦設(shè)計構(gòu)建完成，就可以成為企業(yè)和公司的優(yōu)秀工作助手，在數(shù)據(jù)的收集、處理和分析上，能起到很大的作用。

參考文獻(xiàn)

[1]李詠梅.企業(yè)大數(shù)據(jù)平臺建設(shè)及應(yīng)用探討[J].風(fēng)能，2020（06）：58-59.

江蘇交通一卡通有限公司，江蘇南京 210000