基于云計算的大數據分析優化技術研究

摘 ?要：在有效解決大數據應用以及運行問題的措施中，基于云計算的大數據分析體系是主要策略。云計算應用技術處于大數據分析的重要環節中，在對大數據進行分析的流程中不可或缺。云計算技術能夠使數據分析更加簡單、快捷，而且能夠使大數據分析的針對性和有效性大大提高，形成整個數據分析中各個環節的推動力;在大數據處理方面，云計算技術能夠在一定程度上縮短數據處理時間，提高數據處理效率，增強系統響應的敏銳性。本文論述了大數據的基本處理流程，研究了云計算技術在大數據分析中的主要作用，從并行處理技術、存儲與訪問技術兩個方面探究大數據分析流程優化技術。

關鍵詞：云計算;大數據;數據分析;流程優化

中圖分類號：TP311.13 ? ? ?文獻標識碼：A 文章編號：2096-4706（2019）14-0069-03

Research on Big Data Analysis and Optimization Technology Based on Cloud Computing

ZHU Peipei

（Henan Information Consulting Design and Research Co.，Ltd.，Zhengzhou ?450008，China）

Abstract：In the effective solution to big data applications and operational problems，cloud computing-based big data analysis system is the main strategy. In the process of analyzing big data，cloud computing application technology is indispensable and is in an important part of big data analysis. Cloud computing technology can make data analysis simpler and faster，and can greatly improve the pertinence and effectiveness of big data analysis，forming the driving force of all links in the entire data analysis;in the field of big data processing，cloud computing technology can be certain to reduce the data processing time，improve the data processing efficiency，and enhance the sensitivity of the system response. This paper discusses the basic processing of big data，and studies the main role of cloud computing technology in big data analysis. It explores big data analysis process optimization technology from two aspects：parallel processing technology，storage and access technology.

Keywords：cloud computing;big data;data analysis;process optimization

0 ?引 ?言

在當今科技化迅速發展并全面普及的時代，云計算技術的研究與應用、大數據分析技術都是業界關注的熱點問題;云計算從核心技術與應用場景等方面，都處在快速發展階段，所涉及的數據資源也備受關注。信息化、網絡化在各個領域中的應用，產生了大量數據信息，為了從大量數據中提取所需要的各類信息，對大數據的分析必不可少。為了進一步優化升級大數據分析流程，需要逐漸將云計算技術引入到大數據分析流程中，從而縮短海量數據處理花費的時間，提高數據分析的質量與效率，提升數據分析與處理系統的響應能力。在充分應用云計算技術的基礎上，加強探究對大數據分析流程進行優化的路徑，對信息技術的發展意義極其重大。

由于數據規模巨大，傳統數據的存儲與分析系統的容量已經難以滿足大數據分析的要求，需要探究新的解決方案。以企業大數據分析為例，企業相關人員希望能夠通過分析大數據，使潛在的商業價值被發掘出來，從而更好地提高自身產品的品質與服務的質量。在大數據分析的過程中，需要綜合利用無線數據技術、高性能計算技術、高級數據庫技術以及移動互聯技術。數據存儲技術的不斷發展，大大降低了數據存儲的費用開銷。借助云計算技術，在大數據分析過程中能夠更加容易地獲得強大的計算能力;在大數據管理方面，相關技術靈活多樣，各類技術都為大數據分析提供了良好的技術支持，如NewSQL、NoSQL、Hadoop以及圖形數據庫等。

1 ?大數據及其基本處理流程分析

從數據規模來看，大數據是海量數據，利用傳統的數據處理方法和手段難以對大數據進行處理，需要借助高端信息處理方法與技術，在有限時間內對海量數據進行感知、獲取、加工、管理、處理和共享應用。通常情況下，大數據呈現體量大、模態多樣、生成快速、高價值、低密度的顯著特點。對傳統數據處理方法與技術進行升級，可以形成大數據技術。云計算技術出現后，逐漸產生較多的云計算技術平臺，成為大數據處理的技術服務平臺，給大數據處理流程優化帶來較大便利。一般情況下，可以將大數據處理流程劃分為數據采集、數據處理和集成、數據分析、數據解釋。在數據采集過程中，全面采集各個端口的數據信息，并實現數據的預處理，使數據格式統一化，方便后續進行數據分析與計算，數據分析結果可以通過可視化手段傳遞到用戶端。

數據采集階段。由于互聯網技術的快速發展與廣泛應用，數據來源十分廣泛，增加了較多數據生產的環節，使數據產出量得到較大幅度的提升，數據之間的關聯更加緊密，復雜度不斷增加，在數據采集精度和采集速度方面提出了更高要求。因此，需要進一步優化升級傳統數據的整合處理技術，利用相關方法與技術，在短時間內將海量復雜數據進行快速簡化處理，提高數據處理、整合和利用的水平，從而更好地為用戶提供數據服務。在當前形勢下，隨著信息量的不斷增大，如果繼續單一依靠傳統大數據處理技術，將難以應對海量數據帶來的挑戰。因此，企業迫切需要全面整合數據處理流程，研究更加有效的優化處理技術，從而使數據資源的利用價值和服務效能得到提升。

在大數據處理基本流程體系中，不同運行階段的要求不同。在數據處理與集成階段采用去噪、格式化等方式進行數據預處理，采用統一的數據結構，預處理前一階段的采集數據。由于數據類型比較復雜，需要除去較多無效數據，轉化為統一的數據格式，以便更好地利用。通常情況下，可以通過設計過濾器等方式，將無效數據去除，轉化為有效數據。在數據分析階段，根據不同的數據應用需求和價值功能方向、應用數據挖掘工具或者數據倉庫工具，進一步分析原始的采集數據和整理的數據。在數據分析方面，有較多大數據分析服務商，能夠提供專業的支撐產品和服務軟件，對數據進行全面深度分析。在數據顯示方面，當數據量不斷增大時，數據分析結果輸出無法通過傳統模式進行展現，利用數據可視化技術，能夠為數據解釋和直觀展現提供技術支持，向用戶直觀形象地展示數據分析結果，從而提高數據深度利用價值。

2 ?云計算與大數據分析

云計算是為了更好地服務互聯網，設置的一種增加、使用與交付模式，利用互聯網提供動態且易擴展的虛擬化資源，是一種按使用量付費的模式;用戶根據自身需求進行訪問、獲取、利用資源。在大數據處理流程中，數據分析是最重要的部分，體現了數據的價值?；诖髷祿臄祿治鍪侵咐孟嚓P方法與技術快速整合、深度處理獲取的海量數據。作為大數據分析的重要支撐平臺，云計算技術能夠為大數據分析提供具有較強擴展性、經濟性的存儲和計算資源，奠定深度應用的基礎?？傮w來看，大數據技術是云計算的拓展與延伸，從大數據的采集、儲存、處理與應用，需要應用大量的技術;隨著數據的快速變化，信息量日益膨脹，采用云計算的方式進行大數據分析，需要升級數據通信寬帶，加強建設云資源，從而確保不斷增強數據整合體系功能，滿足社會發展要求?；谠朴嬎愕拇髷祿治觯瑢⒃朴嬎闩c大數據分析融合，優勢主要體現在兩個方面：能夠借助云計算虛擬化環境，與用戶的業務需求結合起來，深度優化配置各類資源，從而使大數據的可擴展性得到提升;進一步細化數據分析力度，提升數據本身的挖掘價值，有助于降低數據分析成本，全面提升硬軟件設施利用率。

3 ?大數據分析流程中并行處理技術的優化路徑

3.1 ?大數據邏輯分析的優化

在大數據分析中，按照邏輯關系將具體問題分解為各個要素，通過比較，對各個要素的影響因子進行評判，通過對影響因子的影響程度高低進行排序，從而分清主要影響因素和次要影響因素，經過推理，得到各個要素之間的關系，匯總分析結果，從而揭示問題本質規律。要優化邏輯分析思路，利用云計算技術對數據處理模型進行構建，對海量數據的分析任務進行分解，并行處理海量數據，并匯總計算處理結果，從而完成大數據分析任務。因此，從邏輯分析技術的角度來看，在大數據分析中利用云計算技術架構進行邏輯分析具有可行性。

3.2 ?數據管理架構的優化

在云計算模式下，分布式調度器、分布式鎖服務、GFS文件系統能夠優化升級數據管理架構。GFS文件對海量數據進行貯存，分布式鎖服務能夠管理、處理服務器以及元數據的信息。在主服務器監控方面，通過BigTable進行優化，擴展分布式存儲系統，使其效能得到最大程度的發揮。監控分布式鎖服務中的目錄，從而實現負載均衡處理。在子表服務器存儲系統中，依據時間的遠近來處理數據，實現優化子表服務器存儲系統。

3.3 ?數據模型組織結構的優化

對數據模型組織結構利用云計算技術進行優化時，以分布式多維映射表設計BigTable，實現優化數據模型組織結構。

4 ?大數據分析流程中存儲與訪問技術的優化路徑分析

4.1 ?數據流以及控制流的分離

存儲與訪問是基于云計算的大數據分析流程的關鍵環節，利用GFS文件系統，操作數據流和數據庫。將GFS文件系統節點做成控制集群，分析數據源頭。同時，將應用程序訪問鏈接設置在客戶端，以庫文件形式為主。在GFS集群中，數據操作大小為64MB，在整個文件系統中進行數據操作;為了方便操作，需要對數據塊設置相同的索引號。集群中的數據塊經過上述流程環節，向客戶端統一發送引入信息?？蛻舳耸盏叫畔?，執行存儲與讀寫等操作，該過程完成了服務器和客戶端之間的聯系。在一定幅度下，降低主控服務器的負荷載量，還能夠多種數據塊進行同時訪問。

4.2 ?不緩存數據的優化

由于存在磁盤性能缺陷，文件系統需要頻繁訪問磁盤，產生大量緩存數據，降低了系統的操作性能，訪問速度下降。利于云計算技術構建GFS文件系統，不緩存數據操作，提高文件系統性能。在GFS文件系統中，在內存中存儲需要操作的文件塊，當該文件塊首次被用戶訪問時，系統先從磁盤中讀取文件塊，之后用戶每次訪問該文件塊，可直接讀取緩存，從而提高系統讀、寫操作的性能。

5 ?結 ?論

充分利用云計算技術，優化大數據分析流程，需要與大數據分析整體處理程序的具體要求相結合;對運行規律進行總結，對并行處理、數據存儲與訪問、組織與管理等方面不斷探索，與未來發展和用戶實際需求相結合;利用有效的系統快速整合處理海量信息，從而進一步提升大數據信息儲存的價值，使數據資源應有的功能充分發揮出來。在優化設計過程中，要充分考慮現實需求、運行環境等各方面的因素，加強培訓操作人員，實現理念與技術的有效融合，利用云計算技術，使大數據高效處理與利用的價值不斷提高，從而推動數據的發展。

參考文獻：

[1] 王偉鈞.基于云計算的大數據分析流程的優化路徑 [J].電子技術與軟件工程，2017（21）：164.

[2] 洪漢舒，孫知信.基于云計算的大數據存儲安全的研究

[J].南京郵電大學學報（自然科學版），2014，34（4）：26-32+56.

[3] 韓晶.大數據服務若干關鍵技術研究 [D].北京：北京郵電大學，2013.

[4] 孫海軍.基于云計算的大數據處理技術 [J].信息安全與技術，2014，5（11）：61-63.

[5] 田野，王彪，劉丹.基于大數據的一體化移動警務綜合管控平臺建設與應用 [J].湖南科技大學學報（自然科學版），2017，32（1）：67-72.

[6] 鄧仲華，劉偉偉，陸穎雋.基于云計算的大數據挖掘內涵及解決方案研究 [J].情報理論與實踐，2015，38（7）：103-108.

作者簡介：朱培佩（1984-），男，漢族，河南周口人，項目管理人員，碩士，研究方向：大數據研究。