大數據技術與應用研究分析

付雯 李星俊 唐志賓 彭玉嵐

摘要：如今21世紀，計算機網絡技術發展迅速，網絡發達，隨著大數據時代的來臨，大數據正在不停地深入到各行各業，海量的數據資源漸漸的成為各個行業競爭的資源寶藏。此文從分析和闡述了大數據的基本概念和較為關鍵的技術要求，以及指明了大數據應用的幾個重要的類型，目的在于進一步完善和優化大數據技術與應用技術。

關鍵詞：大數據 應用 分析

1.背景

如今互聯網、云計算技術和物聯網技術發展迅猛，全球已經進入了一個數字化、信息化的時代[1]。龐大的信息資源加上龐大的市場，大數據在這個過程中不斷的被創新，大數據資源競爭也愈來愈烈。人們的思維方式，行為模式，及市場的商業模式日新月異。

2.大數據技術概述

2.1大數據的基本含義

大數據研究機構認為：“大數據”是需要處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產。麥肯錫全球研究所給出的定義為：一種規模大到在獲取、存儲、管理、分析方面大大超出了傳統數據庫軟件工具能力范圍的數據集合，具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低四大特征[2]。

2.2大數據的特征

（1）海量的數據

信息技術的高速發展，伴隨著數據的爆發性增長，如今數據的主要來源分別為以下幾處：社交網絡（QQ、微信、微博、推特、臉書及各個交友APP）、移動通訊、各種智能系統、視頻軟件，購物軟件。淘寶全球近四億的用戶每天產生的交易數據約為20TB;臉書約十億用戶每天產生的數據超過300TB[3]。如此龐大的數據，急切需更加智能的算法和強大的數據處理平臺來對其分析處理

（2）數據的高效性

數據通過算法進行非常快速的邏輯處理，可以非常快的從各種類型當中快速獲得高質高量的信息。如今我們已經邁入了5G時代，絕大部分人的生活都離不開互聯網，所以每天我們每人都在產生大量的數據。如此龐大的數據如果不進行及時的處理就會付出很大的成本代價，所以基于此情況，大數據處理速度有極為嚴格的要求，做到實時分析，實時更新。

（3）數據的多樣性

數據是非常多樣的，對于個人需要有各種各樣的信息，對于社會需要有各個領域的信息數據。數據來源，決定了數據是否具有多樣性。任何數據可產生作用，就如當下應用最廣泛的推薦系統。舉個簡單的例子，如果用戶逛完淘寶，點開抖音，它就會給用戶推相應的廣告宣傳視頻。

（4）數據的高價值性

數據的價值是大數據的核心特性。大數據最大的價值就在于可以通過從海量的數據中挖掘提取出有需要、有價值的數據可以對這些數據進行一個更深入的分析和較準確的未來趨勢預判。大數據的應用更多的在于人工智能上，可廣泛的云用于工業、農業、教育、醫療等各個領域提高生產效率的同時，也提高了質量。

3.大數據的關鍵技術

大數據本身是一種資本，而不僅僅是一種技術，它是信息技術飛速發展的必然結果[4]。對大數據采集技術、大數據預處理技術、大數據儲存及管理技術、大數據分析及挖掘技術、大數據展現與應用技術。進行進一步完善優化可更好地實現一整套大數據技術。

3.1大數據采集技術

通過RFID射頻數據、社交網絡交互數據、傳感器數據及移動互聯網數據等方式進行數據采集從而獲得各類型的結構化、半結構化及非結構化的海量數據，這是大數據知識服務模型的根本[5]。重點是要突破分布式高速可靠的數據爬取或者采集、高速數據全映像等大數據采集技術;突破高速數據解析、轉換和裝載等大數據整合技術;大數據采集通常被分為大數據智能感知層和基礎支撐層。

3.2大數據預處理技術

大數據預處理技術主要完成對已接收的數據進行辨析、抽取、清洗等操作。

3.3大數據儲存及管理技術

大數據存儲及管理需要使用存儲器把采集到的數據存儲起來并建立其相應的數據庫，通過存儲器對數據進行管理與使用。大數據存儲與管理技術其重點在于解決復雜結構化、半結構化和非結構化。主要解決大數據的可儲、可表示、可處理和可靠性等問題。

3.4大數據分析及挖掘技術

大數據分析技術是整個大數據處理的核心技術，通過對數據的分析才能使數據可利用，對趨勢有更準確的判斷。數據挖掘就是從大量的、不完全的、隨機的數據中提取其中隱含的信息。起技術方法有很多，可根據挖掘任務分為分類和預測發現、數據總結、聚類等等。對于挖掘對象可分為關系數據庫、面向對象數據庫、空間數據庫、時態數據庫、文本數據庫、多媒體數據庫、 異質數據庫、遺產數據庫和環球網web。根據挖掘的方法可以大概分為機器學習法、統計方法、神經網絡方法及數據庫方法。

4.大數據展現與應用

大數據技術可以把隱藏在海量數據中的信息挖掘出來，為人類的社會經濟活動提供依據提供方向，從而有效的提高各個行業的運行效率，可極大的提高社會的集約化程度

4.1決策輔助

數據經過數據分析與挖掘可以為政府企業指引一個大概的發展方向輔助其決策，為決策這提供一個直觀、精準的數據支撐有利于業務的開展和高效進行。

4.2商業推廣

使用大數據技術對用戶的習慣需求進行分析，可以精準的獲取消費者的理念習慣，從而實現更加精準的商務推廣。

4.3預測

預測的作用在于在海量的數據信息之中找到相互的關聯、規律，對這些規律做出預判。比如基金股票、天氣。

5.總結

如今世界發展迅速，信息流通、科技發達。大數據這個高科技時代產物，在未來的各個行業，都會產生海量的數據，就需要大數據技術與應用互相促進、共同發展，應用于這些商業模式中，提高數據的價值。數據的采集、存儲、管理、處理、分析和可視化的進步更是有助于我們處理更加復雜的數據，發掘更用價值的信息。這對于一個國家、企業、人民都是一個極具價值的工具，利用好這把利劍，造福人類。

參考文獻：

[1]于艷華 宋美娜 大數據[J].中興通訊技術，2013（1）：57-60.YU Yan-hua，SONG Mei-na.Bigdata[J].ZTECom-municaiton，2013（1）：57-60.

[2]https：//baike.baidu.com/item/大數據/1356941#2

[3]https：//baijiahao.baidu.com/s？Id= 160144504734265 6382&wfr= spider&for=pc

[4]李雨航.大數據應用研綜述[J]-科技前沿 2017年8期