基于云計(jì)算模式的大數(shù)據(jù)處理技術(shù)

王建軍 閆洪利 姜子琛 顏蜜蜜 岑蕓蕓

濟(jì)南軌道交通集團(tuán)有限公司 山東濟(jì)南 250014

1 相關(guān)理論基礎(chǔ)

1.1 云計(jì)算技術(shù)

云計(jì)算技術(shù)是我國(guó)服務(wù)范圍最廣的計(jì)算技術(shù)，它通過運(yùn)用集中式遠(yuǎn)程計(jì)算機(jī)資源池進(jìn)行數(shù)據(jù)的存儲(chǔ)、計(jì)算，以按需分配的方式為用戶提供相應(yīng)的服務(wù)。云計(jì)算以其超強(qiáng)的計(jì)算能力，超高的服務(wù)質(zhì)量，超大的存儲(chǔ)空間，在諸多數(shù)據(jù)處理技術(shù)中體現(xiàn)出巨大的優(yōu)勢(shì)。其特征主要表現(xiàn)在：①透明化。云計(jì)算的資源池對(duì)每個(gè)用戶都是透明的，并且保證數(shù)據(jù)的開放性；②無限制。云計(jì)算可以為計(jì)算機(jī)系統(tǒng)提供不受任何時(shí)間限制、行業(yè)限制的服務(wù)，允許各行業(yè)根據(jù)需要科學(xué)選取合適的計(jì)算模式，以期得到更精準(zhǔn)且有效的數(shù)據(jù)信息；③便捷性。數(shù)據(jù)獲取方便快捷，成本較低，為用戶處理數(shù)據(jù)節(jié)省時(shí)間，提升數(shù)據(jù)處理的效率；④靈活性。云計(jì)算提供靈活的服務(wù)與方式。可根據(jù)用戶需求選擇合適的計(jì)算方法，提供針對(duì)性服務(wù)，更能提升用戶的滿意度[1]。

1.2 大數(shù)據(jù)技術(shù)

大數(shù)據(jù)技術(shù)能夠?qū)Ａ啃畔⑦M(jìn)行獲取、組合和傳輸。通過大數(shù)據(jù)技術(shù)，可以有效收集結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)集的規(guī)模大幅提升，從TB級(jí)到PB級(jí)，有效增大了數(shù)據(jù)容量。大數(shù)據(jù)的主要特征可以用“5V”來描述，即：Volume、Velocity、Variety、Veracity、Value。大數(shù)據(jù)的應(yīng)用主要包括三個(gè)架構(gòu)：①融合化架構(gòu)。這是一種客戶機(jī)/服務(wù)器的架構(gòu)模式。在此架構(gòu)下，服務(wù)器起主導(dǎo)作用，管控應(yīng)用系統(tǒng)，進(jìn)行數(shù)據(jù)調(diào)度及邏輯處理等操作；②分散式架構(gòu)。此架構(gòu)中，由不同客戶端來進(jìn)行系統(tǒng)的管控及管理。由于客戶端的自治，使其更具備擴(kuò)展性和靈活性。但這種分布存儲(chǔ)與操作的模式，給數(shù)據(jù)的儲(chǔ)存和維護(hù)帶來了一定的困難，在用戶注冊(cè)時(shí)容易出現(xiàn)數(shù)據(jù)錯(cuò)誤等提示問題。③混合式架構(gòu)。此架構(gòu)很好地結(jié)合的前兩種架構(gòu)的優(yōu)勢(shì)，由服務(wù)器負(fù)責(zé)數(shù)據(jù)信息的分發(fā)與傳播，客戶機(jī)則主要實(shí)現(xiàn)用戶數(shù)據(jù)的交互[2]。

2 云計(jì)算與大數(shù)據(jù)處理技術(shù)實(shí)現(xiàn)的關(guān)鍵技術(shù)

2.1 大數(shù)據(jù)采集技術(shù)

按照不同采集方法，劃分大數(shù)據(jù)采集問題，例如分布式采集、集中式采集等。不同方法都具備優(yōu)勢(shì)與不足，通過以下方法優(yōu)勢(shì)做好分析。集中式收集，可以掌握控制各類數(shù)據(jù)；分布式采集的靈活性高。在大數(shù)據(jù)采集時(shí)，不僅要收集企業(yè)內(nèi)部數(shù)據(jù)信息，還需要采集企業(yè)之間數(shù)據(jù)信息，在企業(yè)內(nèi)部設(shè)置不同服務(wù)器，存儲(chǔ)企業(yè)共享數(shù)據(jù)。通過分布式計(jì)算方式，可以同時(shí)使用多種采集方法，全面提升數(shù)據(jù)收集水平。對(duì)于企業(yè)內(nèi)部，可以應(yīng)用集中式采集方法，企業(yè)之間通過分布式采集方法；針對(duì)中心服務(wù)器組織，可以應(yīng)用分布式采集法。聯(lián)合不同結(jié)構(gòu)類型劃分大數(shù)據(jù)類型，包括結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)。在收集數(shù)據(jù)信息時(shí)，應(yīng)當(dāng)按照系統(tǒng)要求，科學(xué)分析數(shù)據(jù)種類。依照系統(tǒng)種類，全面展現(xiàn)出云計(jì)算技術(shù)優(yōu)勢(shì)，例如擴(kuò)展和容錯(cuò)等，以此提升信息同構(gòu)化，完成數(shù)據(jù)對(duì)接。

2.2 大數(shù)據(jù)存儲(chǔ)技術(shù)

傳統(tǒng)數(shù)據(jù)存儲(chǔ)為單結(jié)點(diǎn)倉(cāng)庫(kù)，容量空間較小，對(duì)于新時(shí)期數(shù)據(jù)，已經(jīng)不具備承載性能。雖然擁有視圖能力、索引能力，但是會(huì)受到空間約束，無法滿足社會(huì)發(fā)展需求。在新歷史時(shí)期下，傳統(tǒng)數(shù)據(jù)運(yùn)行速度緩慢，無法滿足現(xiàn)代社會(huì)數(shù)據(jù)分析與處理。重點(diǎn)分析云計(jì)算技術(shù)，采用列式數(shù)據(jù)存儲(chǔ)方式，準(zhǔn)確區(qū)分?jǐn)?shù)據(jù)屬性，按照不同屬性，分類存儲(chǔ)不同數(shù)據(jù)。通過查找屬性方式，可以及時(shí)獲取所需數(shù)據(jù)，明顯提升數(shù)據(jù)處理水平，凸顯出系統(tǒng)功能性。按照不同屬性分類，可以涵蓋其他特征。按照相似程度，確保數(shù)據(jù)屬性排列的科學(xué)性。在查詢不確定屬性時(shí)，技術(shù)掌握相似屬性，便于后期查詢數(shù)據(jù)，鞏固基礎(chǔ)。同時(shí)可以獲得數(shù)據(jù)壓縮效果，降低錯(cuò)誤查詢所致不良影響[3]。

2.3 大數(shù)據(jù)聯(lián)機(jī)分析

大數(shù)據(jù)聯(lián)機(jī)分析技術(shù)是大數(shù)據(jù)系統(tǒng)的核心。在此階段，系統(tǒng)需要對(duì)獲取的大量繁雜數(shù)據(jù)進(jìn)行分析，在關(guān)鍵部分進(jìn)行決策分析，并將實(shí)際結(jié)果反饋給用戶。一般情況下，大數(shù)據(jù)聯(lián)機(jī)分析時(shí)應(yīng)以分析綜合性數(shù)據(jù)作為切入點(diǎn)，構(gòu)建多維度模型，從而得到整體數(shù)據(jù)分析結(jié)果，為用戶提供決策性參考。大數(shù)據(jù)聯(lián)機(jī)分析還可以實(shí)現(xiàn)多種數(shù)據(jù)的同時(shí)處理，從而有效提升數(shù)據(jù)處理的效率。

2.4 大數(shù)據(jù)可視化技術(shù)

大數(shù)據(jù)可視化技術(shù)，將云計(jì)算技術(shù)作為數(shù)據(jù)挖掘技術(shù)，從復(fù)雜數(shù)據(jù)中，識(shí)別高價(jià)值信息。通過服務(wù)方式，向用戶提供數(shù)據(jù)信息。通過云計(jì)算技術(shù)，可以分析復(fù)雜數(shù)據(jù)，高效處理數(shù)據(jù)程序，以此作為切入點(diǎn)，在總體數(shù)據(jù)上放置原始數(shù)據(jù)，深入挖掘價(jià)值信息。云計(jì)算技術(shù)保障力度強(qiáng)，能夠顯著提升數(shù)據(jù)挖掘水平。在大量數(shù)據(jù)中，通過大數(shù)據(jù)技術(shù)可以挖掘重要信息，云計(jì)算技術(shù)可以匯總碎片信息，掌握內(nèi)在規(guī)律，確保市場(chǎng)經(jīng)濟(jì)發(fā)展趨勢(shì)分析的準(zhǔn)確性。針對(duì)可視化處理技術(shù)，通過趨勢(shì)圖繪制方式，可以展示出可視化處理基礎(chǔ)，確保數(shù)據(jù)結(jié)果具備直觀性和生動(dòng)性，防止企業(yè)出現(xiàn)決策失誤。

3 結(jié)語

綜上所述，注重傳統(tǒng)管理系統(tǒng)改革，能夠有效采集和分析大數(shù)據(jù)。云計(jì)算模式可以滿足大數(shù)據(jù)處理與存儲(chǔ)需求，所以必須基于云計(jì)算模式，深入研究和分析大數(shù)據(jù)處理技術(shù)，以此維護(hù)數(shù)據(jù)安全與質(zhì)量。