大數據技術的發展與應用

黃玲

【摘? 要】在二十一世紀信息化時代飛速發展的當今，大數據吸引了越來越多的關注，成為信息社會的重要財富，同時也給數據處理與管理帶來了巨大挑戰。大數據本身是沒有任何意義的，它的意義在于我們能夠通過對數大數據的分析與處理，等到具有規律性的結論知道我們的行為和決策。在國家政策和歷史發展機遇之下，大數據技術的發展必將一日千里。

【關鍵詞】大數據;數據挖掘;價值密度

在二十一世紀信息化時代飛速發展的當今，信息技術已經深入到了千家萬戶，在不知不覺中潛移默化的改善這我們的生活。最早提出“大數據”時代到來的是全球知名咨詢公司麥肯錫。該公司稱：數據已經滲透到了當今的每一個行業和業務領域，成為重要的生產因素。

大數據就是我們在使用計算機軟件的時候，在固定時間范圍內所產生的數據集合，大數據本身是沒有任何意義的，它的意義在于我們能夠通過對數大數據的分析與處理，得到具有規律性的結論指導我們的行為和決策。在二十一世紀的今天，由于支付寶、微博、微信等APP 的廣泛應用，數據正在以前所未見的速度膨脹，大數據的時代已經到來了。

一、大數據的來源。大數據分析的數據來源有很多種，包括公司或者機構的內部來源和外部來源。分為以下幾類

1）交易數據。包括POS機數據、信用卡刷卡數據、電子商務數據、互聯網點擊數據、企業ERP系統數據、銷售系統數據、公司的生產數據、庫存數據、訂單數據、供應鏈數據等。

2）移動通信數據。移動通信設備記錄的數據量和數據的立體完整度，常常優于各家互聯網公司掌握的數據。移動設備上的軟件能夠追蹤和溝通無數事件，從運用軟件儲存的交易數據到個人信息資料或狀態報告事件等。

3）人為數據。人為數據包括電子郵件、文檔、圖片、音頻、視頻，以及通過微信、博客、推特、維基、臉書、Linkedin等社交媒體產生的數據流。這些數據大多數為非結構性數據，需要用文本分析功能進行分析。

4）機器和傳感器數據。來自感應器、量表和其他設施的數據、GPS系統數據等。

5）互聯網上的“開放數據”來源，如政府機構，非營利組織和企業免費提供的數據。

二、大數據的4大特點與3大特征。

大數據4大特點

1）海量性

目前大數據的規模尚是一個不斷變化的指標，單一數據集的規模范圍從幾十TB到數PB不等。簡而言之，存儲1 PB數據將需要兩萬臺配備50GB硬盤的個人電腦。此外，各種意想不到的來源都能產生數據。

2）多樣性

數據多樣性的增加主要是由于新型多結構數據，以及包括網絡日志、社交媒體、互聯網搜索、手機通話記錄及傳感器網絡等數據類型造成。

3）高速性

高速描述的是數據被創建和移動的速度。在高速網絡時代，通過基于實現軟件性能優化的高速電腦處理器和服務器，創建實時數據流已成為流行趨勢。企業不僅需要了解如何快速創建數據，還必須知道如何快速處理、分析并返回給用戶，以滿足他們的實時需求。

4）易變性

大數據具有多層結構，這意味著大數據會呈現出多變的形式和類型。相較傳統的業務數據，大數據存在不規則和模糊不清的特性，造成很難甚至無法使用傳統的應用軟件進行分析。傳統業務數據隨時間演變已擁有標準的格式，能夠被標準的商務智能軟件識別。目前，企業面臨的挑戰是處理并從各種形式呈現的復雜數據中挖掘價值。

大數據3大特征

1）數據類型繁多。包括網絡日志、音頻、視頻、圖片、地理位置信息等等多類型的數據對數據的處理能力提出了更高的要求。

2）數據價值密度相對較低。如隨著物聯網的廣泛應用，信息感知無處不在，信息海量，但價值密度較低，如何通過強大的機器算法更迅速地完成數據的價值“提純”，是大數據時代亟待解決的難題。

3）處理速度快、時效性要求高。這是大數據區分于傳統數據挖掘最顯著的特征。

三、大數據的安全保障。

在如此大量的數據資源之下，如何保障數據的安全也是我們需要頭等關注的。我們可以通過對硬件設備的物理上進行隔離和軟件設置上對用戶權限進行控制，保證數據資源的安全性。還可以通過信息加密技術，對硬件設備上的數據資源進行加密處理，進一步加強數據的安全性。還可以讓數據資源分別存儲在云端與硬盤上，讓數據分開保存，合并使用。最后就是法律手段。這樣一來相信數據的安全性就能得到全面保障。

四、大數據技術的應用。

在現今流行的大數據這個概念性的詞語出現之前，廣大網絡個人用戶的數據幾乎全部被忽略了，單位和企業的數據資源被談及最多的。一個大型企業或者單位的內部數據資源是有一定的邏輯結構的，這些有結構的數據多多少少是被使用著的，也就是火遍整個互聯網的數據挖掘。在互聯網技術已經高速發展的今天，企業和個人的數據都已經多到爆炸。因此，從海量數據資源中發現有價值的信息成為了企業和個人迫在眉睫的任務。雖然對這些巨大的數據資源進行處理和分析提取有價值的核心信息比較困難，但是一旦提取出來，對各行各業的改革與發展卻是具有決定性意義的。在公司和單位的管理與經營之中，如果使用大數據技術分析進行決策指導，能夠將管理中的粗放式慢慢地變為精細式管理，大大提高工作的效率，也能夠在經營銷售中根據顧客的相關信息盡可能準確地向顧客推薦他所需要的相關物品，在提高顧客滿意度的同時提高自己得銷售業績。在學校的教學實訓中，如果使用大數據分析進行決策指導，將能根據每一個學生的興趣愛好和特點特長更加有針對性的安排教學資源，真真正正地做到因材施教，物盡其用。在企業的生產之中，如果使用大數據分析進行決策指導，就能夠對生產的各個環節進行優化改革，大大提高工作的流程的效率，節省掉在生產環節中不必要的成本和支出，增加企業的核心競爭力。隨著時代的發展，在不久的將來，大數據技術的優勢肯定會直接體現在國家的綜合國力，對國家的安全和發展起到決定性的作用。在這一點，美國已經在一二年的時候啟動了規模巨大的“大數據研究與開發計劃”，走在了世界的前列。在我國，雖然與大數據相關聯的技術與產業剛剛開始發展，在國家政策和歷史發展機遇之下，大數據技術必將一日千里，飛速發展。

參考文獻：

[1]陳明奇，等.大數據時代的美國信息網絡安全新戰略分析.第 27 次全國計算機安全學術交流會論文集，2012（8）.

[2]陳如明.大數據時代的挑戰、價值與應對策略.中國國際信息通 信展專刊，2012.

[3]張光茫.大數據時代的思考與啟示———讀涂子沛《大數據》[J].水利天地，2012（09）.

（作者單位：重慶工程學院）