基于云計(jì)算的地鐵大數(shù)據(jù)分析方法研究

丁軍

【摘要】? ? 地鐵軌道交通信息化水平隨著城市軌道工程的發(fā)展而持續(xù)提升，而伴隨著地鐵軌道交通的持續(xù)運(yùn)行，其形成的數(shù)據(jù)量規(guī)模也逐漸龐大。在此背景下，若基于傳統(tǒng)數(shù)據(jù)處理方法展開操作，會(huì)存在成本高、管理難度大等問題，并且不利于程序的編寫。對此，本文將地鐵信息系統(tǒng)作為基本出發(fā)點(diǎn)，對地鐵軌道交通發(fā)展需求進(jìn)行分析，基于云計(jì)算平臺(tái)創(chuàng)建出高度成熟化的軌道交通數(shù)據(jù)挖掘平臺(tái)，同時(shí)展開有關(guān)于地鐵軌道交通大數(shù)據(jù)的深度分析工作。

【關(guān)鍵詞】? ? 地鐵工程? ? 云計(jì)算? ? 大數(shù)據(jù)? ? 分析方法

當(dāng)前，我國多數(shù)大中型城市都紛紛推行了地鐵工程，總體建設(shè)運(yùn)營里程正在持續(xù)增加。就地鐵運(yùn)營企業(yè)而言，需要做好客流分析工作，這是線網(wǎng)規(guī)劃以及運(yùn)營組織的關(guān)鍵前提。在當(dāng)前信息技術(shù)持續(xù)發(fā)展的大背景下，地鐵系統(tǒng)已經(jīng)累積了大量的乘客出行信息，基于對地鐵AFC刷卡數(shù)據(jù)的分析，能夠達(dá)到資源合理配置的效果，并且可以更好地滿足地鐵客流的基本需求，有效緩解了供需不平衡的問題，從根本上滿足了地鐵客流需求。而基于云計(jì)算技術(shù)，能夠?yàn)榇隧?xiàng)工作提供有效指導(dǎo)，所以本文重點(diǎn)對云計(jì)算技術(shù)展開探討。

一、云計(jì)算介紹

在當(dāng)前的地鐵客流大數(shù)據(jù)分析工作中，重點(diǎn)圍繞政策性、前沿性兩大方面展開，由此探尋出客流的基本特征。相較于傳統(tǒng)的交通數(shù)據(jù)而言，現(xiàn)代化的交通大數(shù)據(jù)與之存在明顯的區(qū)別，在大數(shù)據(jù)特征描述時(shí)涉及到了3V、4V和5V這3方面內(nèi)容。除此之外，加之交通大數(shù)據(jù)基本特性的影響，可以進(jìn)一步延展出6V特征，具體為：體量巨大、處理快速、模態(tài)多樣、真假共存、價(jià)值、可視化[1]。

二、大數(shù)據(jù)分析方法

（1）數(shù)據(jù)讀取。基于Jave展開編程操作，在此基礎(chǔ)上實(shí)現(xiàn)對原始數(shù)據(jù)集的分析，讀取其中的數(shù)據(jù)結(jié)構(gòu)，主要涉及到行與列的分隔符，此時(shí)能夠確保數(shù)據(jù)集順利的上傳到云端數(shù)據(jù)庫中，諸如“2aa2a04|/N|104.063028|30.508351|雙流縣|1|104.127465|30.26802|雙流縣|1|27459.749617”，則列分隔符為“|”，行分隔符為“/n”。（2）數(shù)據(jù)存儲(chǔ)。基于MapReduce分布式上傳功能可以實(shí)現(xiàn)對大數(shù)據(jù)的讀取工作，以便將豐富的大數(shù)據(jù)完整的存儲(chǔ)于云端數(shù)據(jù)之中。（3）數(shù)據(jù)清洗。基于云平臺(tái)展開對數(shù)據(jù)的清洗工作，例如，對String類型的值進(jìn)行轉(zhuǎn)換，使其變更為Int類型，此舉能夠?yàn)楹罄m(xù)的匹配計(jì)算提供良好的條件，如果列中存在一些不規(guī)則字符，則可以對其格式統(tǒng)一操作。將其中的無效數(shù)據(jù)篩除，以統(tǒng)計(jì)客流情況為例進(jìn)行分析，則可以將員工卡進(jìn)出站這一無效數(shù)據(jù)隔離出來，此后再對缺失部分做以自動(dòng)填充處理。（4）數(shù)據(jù)分析。當(dāng)完成對數(shù)據(jù)的清洗操作后，便可以展開SQL分析操作，對AFC數(shù)據(jù)記錄進(jìn)行全面篩選，從中獲得客流情況、高峰期分布特性等多方面內(nèi)容。（5）在上述的基礎(chǔ)上，將會(huì)得到相關(guān)數(shù)據(jù)結(jié)果，對其進(jìn)行存儲(chǔ)并基于百度地圖API作進(jìn)一步的程序開發(fā)，以展開可視化分析。

三、云計(jì)算技術(shù)效率測試

云計(jì)算的方式具有更強(qiáng)的適應(yīng)性，能夠從根本上避免資源集中消耗的現(xiàn)象，而分布式的處理機(jī)制則可以創(chuàng)造出更為優(yōu)良的數(shù)據(jù)處理效率。本次分析工作圍繞阿里云計(jì)算服務(wù)大數(shù)據(jù)平臺(tái)展開，將其與傳統(tǒng)數(shù)據(jù)庫展開對比分析，探尋二者在效率方面的差別。在阿里云大數(shù)據(jù)服務(wù)體系之中，可以有效地支持SQL等相關(guān)模型，其可以在極短的時(shí)間內(nèi)做好相關(guān)計(jì)算任務(wù)。其中Tunnel服務(wù)發(fā)揮出重要的作用，其每天都可以滿足TB/PB級(jí)的數(shù)據(jù)傳輸要求，這點(diǎn)對于歷史數(shù)據(jù)的導(dǎo)入導(dǎo)出尤為適用，且吞吐量高，具有優(yōu)良的可擴(kuò)展水平，能夠?yàn)閿?shù)據(jù)的批量處理提供良好的條件。MaxCompute SQL建立在標(biāo)準(zhǔn)SQL算法的基礎(chǔ)上，所帶來的計(jì)算框架能夠有效地服務(wù)于SQL計(jì)算模型，相較于常規(guī)的MapReduce模型而言，帶來的執(zhí)行效率得到了顯著的提升，借助于在線運(yùn)維以及離線任務(wù)調(diào)度等一系列豐富功能，離線調(diào)度任務(wù)量可以達(dá)到百萬級(jí)別。若PC的內(nèi)存為4G，同時(shí)配置有AMD處理器（其主頻可以達(dá)到2.2GHz），將此作為硬件條件展開各方法對于SQL運(yùn)算速度的分析工作，具體操作對象均為成都地鐵AFC刷卡數(shù)據(jù)。實(shí)際結(jié)果表明，相較于常規(guī)的SQL Server數(shù)據(jù)庫，基于MaxCompute所帶來的運(yùn)算效率明顯提升，如果SQL語句復(fù)雜度較高，此時(shí)運(yùn)行優(yōu)勢將會(huì)更為明顯。在實(shí)際操作中，如果基于云MaxCompute展開首次運(yùn)算，此時(shí)所需要的時(shí)間將長達(dá)4s，而相比之下SQL Server僅需1s便可以完成[3]。對此現(xiàn)象進(jìn)行分析可得，在阿里云計(jì)算平臺(tái)的作用下，將會(huì)對MaxCompute進(jìn)行拆分處理，使其變?yōu)橐粋€(gè)分布式的任務(wù)以便后續(xù)調(diào)用，但相比之下，MapReduce在初始化過程中便會(huì)耗費(fèi)大量的時(shí)間，盡管SQL較為精簡，但依然需要得到充足的時(shí)間支持。在上述基礎(chǔ)上持續(xù)進(jìn)行SQL運(yùn)算，發(fā)現(xiàn)SQL Server需要的運(yùn)算時(shí)間表現(xiàn)出了成倍增長的特性，但無論運(yùn)算次數(shù)如何發(fā)生變化，MaxCompute需要的運(yùn)算時(shí)間都處于相對穩(wěn)定的狀態(tài)。由此可以得知，在數(shù)據(jù)規(guī)模持續(xù)擴(kuò)大的背景下，加之SQL復(fù)雜度的提升，基于云計(jì)算平臺(tái)所需要的初始化時(shí)間明顯縮短，其在整體時(shí)間中占比較低，相比于傳統(tǒng)的數(shù)據(jù)庫技術(shù)而言，通過云計(jì)算平臺(tái)展開的分布式調(diào)用方法具有高度的可行性。

結(jié)束語：綜上所述，當(dāng)前的城市居民交通出行半徑表現(xiàn)出明顯的規(guī)律性，即普遍集中在地鐵45min區(qū)域內(nèi)，日常出行時(shí)間主要以15～30min居多，部分情況下將會(huì)達(dá)到30～45min。無論是工作日還是非工作日，地鐵車站的人流量都相對較大，此時(shí)運(yùn)營管理部門的監(jiān)管工作至關(guān)重要，需要為之制定可行的疏導(dǎo)方案。在可視化技術(shù)的作用下，能夠推相較于傳統(tǒng)數(shù)據(jù)處理技術(shù)而言，基于云計(jì)算技術(shù)可以創(chuàng)造更高的效率，在運(yùn)行過程中不會(huì)占用過多的計(jì)算機(jī)資源，在此背景下圍繞大數(shù)據(jù)的地鐵客流分析工作具有高度的現(xiàn)實(shí)意義。而大數(shù)據(jù)發(fā)展需要得到云計(jì)算的支持，換言之，在云計(jì)算的作用下能夠提供彈性可拓展設(shè)備，以便大數(shù)據(jù)分析工作的順利展開。

參? 考? 文? 獻(xiàn)

[1]殷瑋川，何世偉，李玉斌，等.基于云計(jì)算的地鐵大數(shù)據(jù)分析方法研究[J].鐵道科學(xué)與工程學(xué)報(bào)，2018，15（11）：2995-3002.

[2]朱建生，汪健雄，張軍鋒.基于NoSQL數(shù)據(jù)庫的大數(shù)據(jù)查詢技術(shù)的研究與應(yīng)用[J].中國鐵道科學(xué)，2014（01）：135-141.

[3]蔡昌俊，姚恩建，張永生，等.基于AFC數(shù)據(jù)的城軌站間客流量分布預(yù)測[J].中國鐵道科學(xué)，2015（01）：126-132.