淺析大數據時代的機遇與挑戰

周丹妮 唐鴻霞

（1.西華大學 西華學院，四川 成都 610039；2.西華大學 計算機與軟件工程學院，四川 成都 610039）

1 前言

時代和科技的發展使人類進入了信息時代，各種信息數據和更新速度以成倍增長的形式出現，信息時代催生了一個新時代，即大數據時代。誠然，大數據時代已經到來，各方面的動態數據圍繞著人們的生活。通過新技術將生活中的數據捕捉并匯聚起來，為未來的發展提供可靠、有效的數據，也為大數據時代打下堅實的基礎。大數據時代給人們生活帶來便利的同時，也存在著諸多挑戰。任一事物都具有兩面性，我們應擇其善者而從之，其不善者而改之[1-3]。

2 什么是大數據

大數據，又稱海量資料，指的是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產[4-6]。事實上，“大數據”是從越來越多的數據中衍生出來的一種現象，因而在行業中沒有統一的定義。每個供應商或者用戶，站在不同的角度，都會有自己不同的理解。對投資者和創業家而言，大數據是一個熱門的融資標簽；對于大多數互聯網公司或者工程師而言，大數據只不過是把一堆亂七八糟的數據扔到HDFS上面，然后進行計算；可是對消費者或所謂的互聯網用戶來說，大數據是盡量搜集跟終端消費者相關的隱私，然后進行營銷。

2.1 大數據時代的四大特性

第一，海量性，即數據量巨大。截止到2012 年，數據量級已經從TB（240字節）級別躍遷到PB（250字節）、EB（260字節）乃至ZB（270 字節）級別，可稱巨量甚至超量。據國際數據公司（IDC）的報告預測稱，2020 年全世界所產生的數據規模將擴大50 倍。

第二，多樣性，即多種數據類型。數據不僅包括了網絡日志、互聯網搜索記錄、圖片信息、手機通話記錄，還包括了音頻、視頻、位置等信息[7]。

第三，高速性，即創建和移動數據的速度快。由于數據和信息更新的空前快速發展，信息的價值存在時間非常短，為搜集具有價值且能夠利用的信息，必須在很短的時間內摒棄大量數據中的無用信息，所以數據往往為高速實時數據流。

第四，易變性。大數據擁有多層結構，這就意味著大數據會出現多變的形式。相較于傳統數據，大數據有模糊不清和不規則的特點，因此使用傳統的應用軟件進行分析非常困難。

2.2 大數據時代的三大特征

第一，多樣化。相較于以文本為主的結構化數據，網頁、圖片、視頻、音頻及位置信息等半結構化和非結構化數據愈來愈多。

第二，速度快時效高。和傳統數據相比，大數據的效率更高，在數據處理方面有一個著名的“一秒定律”，即要在秒級時間內分析出結果，若超出這個時間，數據就失去價值了。其次，“快”有兩個層面：數據產生快和處理快，因而對數據時效性的要求也提高了。

第三，價值密度相對較低，即有價值的數據比例小，猶如大海里的一根針。以視頻為例，在連續不間斷的監控中，有重大價值的數據流可能只有幾分鐘，甚至僅僅只在那一兩秒中。

3 大數據時代對生活的影響

繼云計算、物聯網之后，大數據在人們毫不察覺的情況下已經悄悄滲透進了人們的日常生活中，它帶來的是前所未有的信息大爆炸，它不僅改變了互聯網的數據應用模式，還深深地影響著人們生活的方方面面。

3.1 營銷購物更便利

目前，大數據廣泛應用于電子商務領域，且應用模式已經成熟。例如我們所熟知的淘寶網，正是通過建立大數據平臺，監測用戶的行為，對數據進行記錄并分析，精確把控用戶的喜好，從而提升用戶的購物體驗感。例如，針對不同用戶的喜好和瀏覽記錄，網站將在其首頁為該用戶推薦適合的商品，這就能提高用戶的購物效率和忠誠度。這就是為什么當我們在網上購物時，頁面總是會顯示我們最想購買的商品類型，而淘寶網也正因為在這基礎上進行營銷，所以取得了較好的業績。

3.2 出行更便捷

大數據已應用于公共汽車、出租車出行等交通領域。現階段的交通出行令很多人頭疼，對天氣、人流量、路況等情況的考慮往往顧此失彼。大數據則可根據天氣、人流量及路況等進行綜合性分析，推測交通規律，合理設計公交路線，及時解決交通擁堵的問題，并減輕城市交通負擔。如滴滴打車可利用用戶的打車記錄和司機行車軌跡等數據分析結果，精準地為乘客匹配合適的司機，提升出行效率。

3.3 醫療體系更精密

保障人民生命和健康的醫療行業也與大數據進行了跨界融合。大數據能更科學地劃分醫療衛生體系，緩解看病難的現狀，還能通過大數據分析某些疾病的高發時期，如流感、麻疹等，提前采取有效措施，減少患病率。例如，谷歌公司通過分析“咳嗽”、“發燒”等特定詞條來預測美國冬季流感傳播趨勢，且預測結果與官方數據的相關性高達97%[8]。對于個人而言，醫生以前只能對患者的當前身體狀況做出判斷，而現在則可對患者的歷史數據進行分析，并綜合國內外治療經驗、遺傳變異等，為患者提供針對性地治療。

3.4 社會安全更有保障

隨著智能手機的發展，在社會安全管理領域內，通過對手機數據的挖掘，可以搜集熱點事件，挖掘輿論，還可追蹤造謠信息的源頭。同時通過數據信息分析，可發現案件屬性和犯罪人員屬性的關聯規則，進而找到犯罪的規律、特點，預防和打擊犯罪，保障城市公共安全。

3.5 信息的傳遞和獲取更便捷

在古代，傳遞信息時往往會借助某種工具或面對面進行，而如今，人們傳遞信息不必局限于時間和空間，甚至打破國界，通過網絡技術可以實現多種多樣的資料傳遞，以及查詢各種所需的資料，還可以通過電子郵件等獲取國外最新消息，促進國際交流。

4 大數據時代面臨的挑戰

4.1 信息安全受到威脅

手機和計算機的使用已經滲透到人們生活的各個方面，大數據使得消息的傳遞和獲取更便捷，但同時也使國家及個人的信息安全受到威脅。人們每時每刻都能產生數據，而這些數據不再具有神秘性和私有性，與之相關的數據也會在毫不知情的情況下被一些大數據公司搜集，且網絡中還存在著很多風險，如木馬病毒、黑客攻擊等，他們像無形的殺手，會悄無聲息地“綁架”你的系統，且需要付費才能“解放”你的系統，若你不從，他們則會“撕票”。他們一旦破壞了你的系統，會對系統數據進行惡意篡改或刪除，且會造成網絡癱瘓、甚至系統崩潰，而很多賬號密碼、個人隱私、文件將會被泄露，一旦被不法分子利用，將可能會造成個人財產損失，甚至會威脅到個人的人身安全。例如杭州某民企財務給假“老板”匯款數十萬的案件，此案件就是不法分子利用大數據技術獲取個人信息，并根據相關數據分析模仿其行為習慣，進行造假并行騙。更嚴重的是，一些國家可能會利用黑客等攻擊來盜取別國機密，這很可能會危及國家安全或者給國家帶來不必要的損失，2013 年的斯諾塔事件為我們敲響了警鐘，我們更要加強維護國家的信息安全。

4.2 信息存儲問題

在網絡還未興起的時代，信息大部分都以紙質存儲為主，浪費資源較多，占地空間大，整理較為麻煩。隨著大數據的興起，人們將紙質存儲改為計算機存儲，節約了大量空間和資源，整理也容易了許多。但隨著大數據時代數據信息的增長速度日益加快，大數據除了數據量巨大之外，還意味著擁有龐大的文件數量，如系統日志、訪問控制列表等，必須需要多臺機器同時提供服務，又由于是文件式讀寫，對元數據（描述數據屬性的信息）的訪問可能會比較困難。其次，對于非結構化數據，存儲、檢索都會存在一定問題，占用空間也較大；對于半結構化數據，存儲、分析都需要轉化為結構化數據，難度較大，不利于實時處理。最后，傳統的技術和數據庫容量有限，不能處理TB 級別的數據，時效性低，對大數據的查詢效率極低，這樣會降低大數據的存儲效率及訪問效率。若想使信息技術繼續發展下去，就需要更大的存儲空間，盡管存儲技術在不斷進步，但是在數據存儲過程中面臨的問題也更多。

4.3 數據處理問題

大數據是一種數量龐大、種類繁多的信息資產，數據的海量性和多樣性使得傳統的工具無法在一定時間范圍內捕捉和管理，這就是想要深入探索其財富十分困難的原因。通常企業所收集的數據來自于物聯網、社交網絡等渠道的非結構化數據，但目前企業現有數據處理方式僅適用于結構化數據處理，而企業中85%的數據屬于非結構化數據，且每一秒數據都呈指數式增長，使得數據處理效率降低，數據的價值難以彰顯，整合、分析速度成為數據應用的瓶頸，更是企業發展的“攔路虎”，不利于企業未來的發展。

4.4 大數據的人才缺乏

近年來，大數據行業越來越熱門，而人才短缺的問題日益突出，特別是數據分析人員的緊缺，數據分析作為大數據產業的核心，是大數據轉為商業利益以及發展其特殊社會意義的關鍵，行業發展也因此到了瓶頸期。由于國內的人才嚴重稀缺，大多企業還選擇從海外發掘人才，但仍存在崗位空缺的現象。為應對大數據落地人才緊缺的發展瓶頸，企業和高校需要共同培養打造一批掌握大數據技術，并有相關經驗的專業人才。

5 大數據時代的機遇

雖然未來的大數據發展仍存在諸多挑戰，但前景依然非常樂觀，就像計算機和互聯網一樣，大數據很有可能是新一輪的技術革命。

5.1 數據分析方式增多

通過對大量數據信息的整理和分析，相關技術人員能及時發現安全威脅以及網絡異常行為，再針對其風險問題制定計劃并及時處理，將其扼殺在搖籃里。當處理的信息出現問題時，傳統的查詢方法就非常耗時傷神，即使找到問題根源也需要消耗大量的資源進行補救。而大數據技術能及時地發現問題所在，并自發性地制定針對性的計劃進行補救，進而能將安全風險降到最低。另外，大數據技術可以把各種數據有機結合起來，在對這些數據分析時可以進行風險預測，對網絡進行實時不間斷地監控，能有效識別釣魚網站、預防黑客入侵。若網絡被非法攻擊就一定會留下數據信息，相關人員利用大數據技術對這些蛛絲馬跡進行整合和分析，便可找到最佳解決方案和防范措施，還可找到非法攻擊的源頭。

5.2 資源配置靈活化

大數據與物聯網、云計算等新技術聯合應用，對全球資源配置進一步地整合和創新，并有效運用資源，使其不再受文化差異、地理位置等因素的限制，實現全球資源共享，從而為各行各業的發展提供了諸多保障，提高人們的生活水平。在此背景下，我相信隨著大數據技術的不斷創新與完善，不僅會為信息安全創造一個良好的發展環境，還能推動全球經濟的發展和社會的重大變革。

5.3 營銷方式創新

一是保護用戶隱私的前提下，利用大數據分析，運營商可為政府、銀行等提供信用查詢服務、目標客戶群消費分析等信息，挖掘出更多有價值的信息，實現互惠互利。二是針對性地投放廣告，通過對客戶位置信息、消費情況的分析，運營商可以幫助廣告商分析目標客戶群聚集區域、消費習慣、關注事物等，并根據其分析的數據更有效地投放相關廣告，從而提升相關業績。

5.4 將成為一種科學的科研方法

在教育、醫療等各個領域，已經證明大數據技術是科學的，如果有足夠的數據來支持其相關性，就不需要分析原因。例如，當有大量數據證明某種藥物對醫治某種疾病有效時，則這種藥物就是對該疾病的科學治療。毋庸置疑，在公眾關注的大環境下，大數據思維的應用在我們的日常生活中隨處可見，程序員將繁冗乏味的數據轉化為一份份真實可靠的分析報告，從而構建一個為公眾提供優質服務的應用平臺。

6 如何應對大數據時代的挑戰

6.1 提高網絡安全防范意識

目前，建立一套完整的安全防范網絡至關重要，不僅要從技術上加強網絡系統的防范能力，還要提高用戶網絡安全防范意識[9]。用戶在使用計算機和手機前，需要認真閱讀操作指南及注意事項，對于不確定信息不要隨意亂點，更不要輕易相信，因為操作不當很有可能會為自己埋下安全隱患。因此，為給網絡安全提供必要的保障，需要用戶對計算機或手機進行定期地維護，檢測系統的安全性；下載相應軟件對網絡漏洞進行及時修復，建議安裝正版軟件并及時更新；規范自己的使用習慣，加強對網絡安全的學習。上述手段可有效防范病毒攻擊系統和黑客入侵系統，還可有效避免隱私被非法分子利用的問題發生。

6.2 完善信息保護體系

一是利用加密技術對個人信息進行加密處理，降低網絡風險問題。二是通過法律來保護個人信息，國家應將個人信息保護條款添加到相關的法律法規中。三是國家應統一擬定信息安全等級技術標準和管理制度，并且通過相關組織采取分等級的形式對信息進行安全保護、管理和監督。

6.3 錘煉數據處理能力

大數據意味著大商機，可以用于強化客戶對企業品牌的認知度[10]。紐約大學教授羅伯特先生曾指出：大數據是一個超越了人們想象力的事物，是一個對企業進行全方面觀察的重要方法。因此，企業必須要弄懂業務的整體概況，并摸清楚產業鏈的整個布局，對行業的上游和下游的經營狀況有大抵地了解，更新自身的信息技術，引進新技術，提高其數據處理能力。

6.4 培養大數據人才

從某些發達國家的經驗來看，先進的企業與優秀的高校合作會帶來意想不到的效果，高校擁有大量有潛力的學生，而企業擁有行業發展前沿的課題和處理這些課題的物質條件，兩者相結合則推動了人才的培養和技術的發展。互聯網企業拿出自己業務上的數據，提出分析目標，在高校中廣泛征集分析方案，舉行大數據分析競賽，這不僅為在校學生提供接觸行業前沿的機會，還可讓學生通過實踐成長，更是一種培養高級人才的方法。

7 結語

大數據時代是科技進步的必然趨勢，有機遇亦有挑戰，且機遇多于挑戰，企業需抓緊大數據時代的機遇，積極應對挑戰，才能在這大數據時代中立于不敗之地。我們所領會的大數據只是一小部分，大數據中還有良多寶藏等待著我們去探索和挖掘。