新時期下大數據分析與應用探析

張瑾 對外經濟貿易大學統計學院

一、引言

大數據的概念由麥肯錫提出，大數據是一種規模大到在獲取、儲存、管理、分析方面大大超出傳統數據庫軟件功能范圍的數據集合，其具有大量、高速、多樣、低價值密度與真實性的特征。大數據時代的到來，為國內各行業管理決策模式的改革指明了方向，也為企業管理模式的轉型提供了支持。當前已經進入大數據時代，互聯網技術、云計算、數據庫等技術更新速度非常快，大數據為新型技術的發展提供了助力，提高了信息化平臺數據分析和加工處理的能力。大數據分析和應用受到眾多學者的研究與分析，發掘出許多應用廣泛的理論和方法，如深度學習、模式識別等技術。大數據在國家層面也有很廣泛的應用。國家出臺了一些法律政策、經濟政策和人力政策來支持大數據技術的發展與壯大。

大數據技術已經深入到生產生活的各個方面。從企業來講，大數據技術可以和數據挖掘、人工智能等各種技術融合。以此來為新的生產方式政策提供指導，促進生產力的進一步發展。以“互聯網+制造業”的智能生產方式，大大優化生產流程，縮短了生產時間，降低了產品生產所需要花費的費用。在居民生產領域，以信息技術為支撐的智慧城市的構想，從城市構建的各個方面，例如將城市公共產品的服務系統整合，形成資源的充分共享，不僅提高了居民生活的幸福感，也使環境資源的利用率得到了最大化。因此，深度挖掘大數據分析技術的發展與應用有非常重要的現實意義。

二、大數據概述

有許多機構對大數據的定義做過描述，除麥肯錫給出的大數據的定義以外，國外的國家標準和技術研究院對大數據也作出了定義：“大數據是指其數據量、采集速度，或數據表示限制了使用傳統關系型方法進行有效分析的能力，需使用重要水平縮放技術來實現高效處理數據。”大數據價值鏈可分為：數據生成、數據采集、數據儲存以及數據分析。數據分析是核心步驟，將數據中的價值挖掘出來是數據分析的靈魂所在，根據數據分析得出的有價值的信息，將其整合成有效的方案，從而制定有效的建議決策。根據收集到的信息可進行深度挖掘，發現數據間的聯系與潛在關系。

從大數據的定義看，大數據具有數據量多的特點。大數據的計量單位以PB、ZB 等更大的存儲單位來計量。社會上各種技術的更新，技術不僅在民眾中普及的非常快，專業人員的繼續開發與研究速度也非常快。而且居民生活中的種種痕跡都會被計算機記錄，由此產生的大量的數據就會非常龐大。同時大數據也非常的快。不僅是增長速度快，還有大數據處理的速度快。由于社會上各種活動軌跡都要被記錄下來，數據增長呈現指數式增長態勢，時間短，數據量大；數據量的急劇增加也就增加了對數據處理速度的要求，將實時產生的數據快速轉換為可以被處理的數據以及可以被使用的數據是對大數據技術提出的要求。

三、大數據分析技術

大數據分析就是要從海量的數據提取出有價值的信息。社會信息化程度不斷加深，各個領域和行業對大數據分析愈發青睞。若是在數據量極大的數據中發掘出有用的數據，需要選取正確有效的數據分析方法。

可視化分析是最基本的大數據分析方法，由于可視化分析方法是以圖形的方式來展示數據中提取的信息，簡潔而直觀，可以同時展示大量、高精度、多角度的復雜圖形信息，方便使用者進行觀察與分析，因而受到很多企業管理者的喜愛。同時，可視化分析技術操作簡單，能夠被較多的人所掌握。

數據挖掘是大數據分析的核心方法。數據挖掘就是從非常繁多的數據中提取出有用信息的技術方法，該項技術需要從貼合數據的特性與數據所代表的內涵的角度來挖掘出數據信息的內部價值。數據挖掘可以大大提高數據的價值性，使企業決策者能夠根據數據做出更加有效的決策。但由于數據挖掘技術可以有很多算法，掌握起來有一定的難度。

預測性分析在大數據分析技術中有著舉足輕重的地位。由于數據最終價值是要為未來的決策做出指引，這就需要數據有預測的能力。在商業領域，預測模型根據已經產生的數據，來識別其中的數據規律，從而指導決策。

人工智能可以將人從繁重的大量的數據解放出來，可以綜合數據分析和數據挖掘的技術特點，充分發揮大數據的優點。人工智能技術涉及的領域較多，可以實現文本數據、圖像數據、視頻數據處理，充分發揮數據潛在價值的挖掘，通過相關數據的展示，實現可視化的操作服務。人工智能也是當前計算機重要技術之一，目前利用人工智能可以構建大數據模型，同時動態的實現算法的更新和處理，保證算法能夠準確的實現知識加工，提人工智能的應用精準程度。

大數據分析的方法技術還有很多，例如布隆過濾器、HASH 法、索引、TRIE 樹等。與傳統的數據分析方法相比，大數據分析方法不再是從有限的樣本空間中獲取信息，而是從整個數據量分析，可以通過高效的算法、模式，準確的從大量的數據中獲取信息。

四、大數據分析需注意的方面

大數據分析要明確分析的目標。大數據收集與分析工作事很煩瑣且過程不易逆，在進行大數據分析前，如果對數據分析工作的目標不清晰不明確，那么數據收集工作和分析工作就會有很大的概率做無用功。因此明確數據分析的目標，從根本上把控工作的步驟及進程，可以高效的完成數據分析的工作。

大數據分析要科學規劃分析流程。由于大數據分析工作是一套完整的流程，包括收集、整理、分析以及整理等步驟。大數據分析工作要保障整個流程在規定時間內保質保量的完成，就需要對每個步驟的完成時間進行規定，根據流程中該項工作的重要性和工作量來對每個步驟就那些劃定時間，并嚴格要求每個步驟在桂東時間內完成。這樣可以做到對整個流程的把控與統籌安排。

大數據分析工作的關鍵之處是數據分析后的結果。由于大數據分析過程中每個步驟都是很重要的，數據收集要保障得到的數據是完整有效的，數據整理要保障整理后的數據是可以用于數據分析的，是有價值的數據，數據分析則要求能夠保障分析結果是真實準確的，結果整理是很重要的一步，這部分要最終形成分析報告，來對結果進行說明解釋，從數據中發現的規律及決策方向。因此不能過分關注某一個步驟，由于流程的前后順序，要合理安排數據的收集和整理工作，把更多的精力放在數據分析和結果整理上，最終使得到的結果是對未來的決策有幫助的。

五、大數據分析技術的應用領域

大數據能夠實現多種數據源的融合、加工和處理，幫助用戶實現信息過濾、推薦，為決策提供支撐。大數據時代，若是能及時洞悉數據中包含的價值，將對商業模式產生深遠的變革意義。

大數據分析技術可用于商業銀行。銀行業經過幾十年的發展，在繁榮發展的同時，也需要進行變革。例如依然存在銀行對客戶的行為分析能力不夠，服務水平和質量不夠，產品創新不足，缺乏競爭力等問題。商業銀行可以利用大數據分析技術，研究客戶的金融行為，以提升服務質量和服務水平以手段，以提高客戶的滿意度為目標，提升銀行的科學管理水平。

大數據分析技術可用于農業生產工作。農業生產工作以往都是農民根據經驗來進行農業耕種。通過數據數據技術對氣象數據進行預測，發現特定地域的氣候規律，進而采取科學適宜的舉措，提高農產品的產量收益。通過數據分析技術分析當地土壤成分、肥料的使用等方面，科學施種，選用最有利生長的農戶品品種，選用適宜肥料。通過數據分析農業病蟲害的防治時間，完善病蟲害治療框架。通過遙感技術、監控技術采集生長信息，整體提高對于農作物生長狀況的監管力度，提高農作物整體經濟效益，促進農業生產行業的快速發展。

大數據分析技術可用于企業管理工作中。企業需要將經驗決策轉換為數據決策，利用數據分析找到自身的核心競爭力。確定產品定位，挖掘潛在商業價值，規避風險，對企業發展有更清晰定位。通過數據分析可以了解客戶消費習慣、企業經營狀況，收入情況以及與員工工作詳情。有利于企業大幅提升管理水平，提高營業效益。

大數據分析可以應用的領域還有很多，例如保險公司、金融投資、精準扶貧等等。面對大數據市場的急速發展，產生了大量的大數據人才渴求，亟須合理組織和安排大數據學習課程。整體規劃大數據教學體系，把握大數據課程的整體要求，形成從初級到高級的進階。設計大數據算法、程序和架構，強調實踐應用的重要地位。構建大數據人才培養教學體系架構，培養能力與素質齊備的大數據人才后備軍。