大數(shù)據(jù)引領(lǐng)我們走向智能化時代

張振興　牟如玲

摘 要：隨著大數(shù)據(jù)時代的來臨，各類智能化新生事物層出不窮。該文通過了解大數(shù)據(jù)的真正內(nèi)涵，分析大數(shù)據(jù)的現(xiàn)狀和面臨的困境，總結(jié)大數(shù)據(jù)分析的深刻意義，我們對大數(shù)據(jù)分析的技術(shù)與方法以及大數(shù)據(jù)工作的開展給出了相關(guān)建議。

關(guān)鍵詞：大數(shù)據(jù) 大數(shù)據(jù)分析 大數(shù)據(jù)方法 大數(shù)據(jù)技術(shù)

中圖分類號：TP31 文獻(xiàn)標(biāo)識碼：A 文章編號：1674-098X（2014）07（b）-0052-02

現(xiàn)象1：重慶市科學(xué)技術(shù)研究院成功研發(fā)的“智能公交站牌”，不僅能顯示本站的公交車車次、途經(jīng)地點以及首末班車時間，還能準(zhǔn)確定位下一班車的位置信息，如距離本站的距離、站數(shù)和到達(dá)本站的時間，甚至能實時監(jiān)測下一班車的擁擠程度，方便市民出行的同時為公交線路的合理規(guī)劃奠定基礎(chǔ)。隨著智能公交站牌的深入人心，一款結(jié)合移動設(shè)備便攜、強(qiáng)交互特性的生活助手類APP“車來了”應(yīng)運(yùn)而生。該應(yīng)用可以實時查詢下一班車的位置信息和擁擠程度，旨在打破在公交站臺等車的局限性，徹底解決在各種惡劣天氣下等待時間長、候車苦的難題，實現(xiàn)真正意義上的出行無憂。

現(xiàn)象2：針對傳統(tǒng)教學(xué)中學(xué)生出現(xiàn)問題但找不到問題所在、被動學(xué)習(xí)效果越來越差、享受不到優(yōu)質(zhì)教學(xué)資源、羞于提問而問題越攢越多等現(xiàn)象，中小學(xué)優(yōu)質(zhì)教育資源共享平臺“梯子網(wǎng)”按照教材版本、章節(jié)、知識點、難易程度、考試比重等多重屬性對擁有的1000多萬道題目進(jìn)行精確定位，通過專業(yè)的在線評測結(jié)果，提供針對性的專項優(yōu)化練習(xí)并給出可視化的成績分析。該系統(tǒng)不僅能讓學(xué)生了解自身學(xué)習(xí)的真實狀況、得到優(yōu)秀教師的在線答疑，還讓那些貧困地區(qū)的學(xué)生享受到最優(yōu)質(zhì)的資源，解決了因地域限制優(yōu)秀師資難以均衡流動的難題，開創(chuàng)了簡單輕松地提高學(xué)習(xí)成績的方法。

現(xiàn)象3：主打公務(wù)員考試、司法考試等成人職業(yè)資格考試的智能在線教育產(chǎn)品“猿題庫”，提供各科目歷年真題及精編模擬題，每題答案和解析均由2位業(yè)界名師編審，經(jīng)過5輪嚴(yán)格審校；根據(jù)用戶目標(biāo)考試的考點、考頻、難度分布和用戶對各個考點的掌握情況，智能調(diào)整出題范圍和難度，實現(xiàn)一對一智能出題；根據(jù)用戶的答題情況實時生成個人能力評估報告并給出專業(yè)化做題建議，還能精確預(yù)測用戶參加目標(biāo)考試可能獲得的分?jǐn)?shù)；支持電腦、智能手機(jī)和平板電腦三種方式的在線練習(xí)，同時支持下載或打印試卷和答題卡，手機(jī)掃描答題卡就能自動實現(xiàn)評分、查看答案和解析。

現(xiàn)象4：“百度遷徙”利用百度地圖LBS開放平臺的定位功能，從時間和空間兩個緯度全程、動態(tài)、即時、直觀地展現(xiàn)中國春節(jié)前后人口大遷徙的軌跡與特征，通過選擇日期、時刻、城市可查看“遷入城市、遷出城市”和“最熱線路”等三個數(shù)據(jù)指標(biāo)排名。該應(yīng)用對用戶位置變化時間、軌跡、省份等進(jìn)行挖掘，以可視化圖表的形式展示不同城市之間、不同時間段的遷移軌跡，旨在通過對大數(shù)據(jù)的創(chuàng)新應(yīng)用服務(wù)于政府部門科學(xué)決策，賦予科學(xué)研究新的觀察視角和方法工具，同時為公眾創(chuàng)造近距離接觸大數(shù)據(jù)的機(jī)會、科普數(shù)據(jù)價值。

現(xiàn)象5：“浪漫指數(shù)”，是百度搜索對大數(shù)據(jù)挖掘的一種新技術(shù)形態(tài)，展現(xiàn)了各個省份區(qū)域網(wǎng)民的實時搜索行為，并通過彩色搜索氣泡在地圖上的不斷閃動顯現(xiàn)網(wǎng)民不斷變化的關(guān)注點。隨著區(qū)域搜索浪漫詞氣泡的數(shù)量增多，地圖顏色也會由淺至深。浪漫指數(shù)不僅展示全國各地不同特點的情人節(jié)，也可以看到網(wǎng)民們共同演繹的“中國式浪漫”。通過對大數(shù)據(jù)的分享，可以讓更多人洞察到數(shù)據(jù)之美，意識到數(shù)據(jù)的價值，并對個人生活和企業(yè)決策提供重要的驅(qū)動作用。

現(xiàn)象6：“快的打車”，是一款立足于LBS的O2O打車應(yīng)用，將傳統(tǒng)出租車與乘客間的被動等待轉(zhuǎn)化為主動聯(lián)系。用戶通過手機(jī)號和用戶名進(jìn)行注冊，打開地圖就能看到自己周邊的出租車，輸入目的地就能叫車，利用支付寶錢包直接支付車費(fèi)。該軟件為打車乘客和出租司機(jī)量身定做，乘客可以輕松發(fā)單，隨時隨地打車或約車；司機(jī)可以選擇接單，降低空駛率。

大數(shù)據(jù)是一場生活、工作、思維的大變革，就像望遠(yuǎn)鏡讓我們能夠感受宇宙，顯微鏡讓我們能夠觀測微生物一樣，大數(shù)據(jù)正在改變我們的生活以及理解世界的方式。大數(shù)據(jù)的科學(xué)應(yīng)用將服務(wù)每一個人，讓每個人受益無窮。

1 大數(shù)據(jù)定義

大數(shù)據(jù)時代的來臨，是互聯(lián)網(wǎng)發(fā)展到一定階段的必然產(chǎn)物。隨著互聯(lián)網(wǎng)的高速發(fā)展，互聯(lián)網(wǎng)中的信息量急劇增加，這些信息有用的部分被稱為數(shù)據(jù)。當(dāng)數(shù)據(jù)規(guī)模越來越大時，量變就會引起質(zhì)變，大數(shù)據(jù)應(yīng)運(yùn)而生。大數(shù)據(jù)的火熱并不意味著對于大數(shù)據(jù)的了解深入，大數(shù)據(jù)不等于大的數(shù)據(jù)而是一種全新的概念。如何定義大數(shù)據(jù)，這是一個仁者見仁、智者見智的問題。

百度給出的定義：大數(shù)據(jù)，或稱巨量資料，指所涉及的資料規(guī)模巨大到無法透過目前主流軟件工具在合理時間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊。大數(shù)據(jù)的4V特點：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（價值）。

大數(shù)據(jù)概念給出的定義：大數(shù)據(jù)是一個體量特別大、類別特別大的數(shù)據(jù)集，并且無法用傳統(tǒng)數(shù)據(jù)庫工具對其內(nèi)容進(jìn)行抓取、管理和處理。首先，數(shù)據(jù)體量（Volumes）大，在實際應(yīng)用中已形成了PB級的數(shù)據(jù)量；其次，數(shù)據(jù)類別（Variety）大，囊括了半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。接著，數(shù)據(jù)處理速度（Velocity）快，在數(shù)據(jù)量非常龐大的情況下能夠做到數(shù)據(jù)的實時處理。最后，數(shù)據(jù)真實性（Veracity）高，企業(yè)愈發(fā)需要有效的信息以確保其真實性及安全性。

研究機(jī)構(gòu)給出的定義：大數(shù)據(jù)是需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。從數(shù)據(jù)的類別上看，大數(shù)據(jù)指的是無法使用傳統(tǒng)流程或工具處理或分析的信息。它定義了那些超出正常處理范圍和大小、迫使用戶采用非傳統(tǒng)處理方法的數(shù)據(jù)集。

2 大數(shù)據(jù)分析的現(xiàn)狀和面臨的困境

大數(shù)據(jù)具有海量、多源、復(fù)雜的信息屬性和高端、前沿的技術(shù)特征，是繼云計算、物聯(lián)網(wǎng)之后又一次顛覆性的技術(shù)革命。大數(shù)據(jù)使人的思維方式、行為模式、管理理念發(fā)生全方位變革，在各個領(lǐng)域蘊(yùn)含巨大的應(yīng)用潛力和創(chuàng)新空間。為了盡快加入大數(shù)據(jù)實踐的行列，從海量數(shù)據(jù)中獲取價值，把大數(shù)據(jù)轉(zhuǎn)為企業(yè)敏銳的洞察力，驅(qū)動業(yè)務(wù)的長足發(fā)展，許多企業(yè)和管理者盲目收集數(shù)據(jù)并進(jìn)行分析，期待能夠得到快速的回報。但很遺憾，大多數(shù)企業(yè)距離從數(shù)據(jù)中提取利潤都差著十萬八千里。endprint

2.1 現(xiàn)狀

數(shù)據(jù)量：由TB級升至PB級，并仍在持續(xù)爆炸式增長。根據(jù)WinterCorp的調(diào)查顯示，最大的數(shù)據(jù)倉庫中的數(shù)據(jù)量，其增長速度遠(yuǎn)超摩爾定律增長速度。照此計算，2015年最大數(shù)據(jù)倉庫中的數(shù)據(jù)量將逼近100PB。數(shù)據(jù)的快速增長成了許多行業(yè)共同面對的嚴(yán)峻挑戰(zhàn)和寶貴機(jī)遇。

分析深度：由常規(guī)分析轉(zhuǎn)向深度分析，數(shù)據(jù)分析日益成為企業(yè)利潤必不可少的支撐點。企業(yè)已經(jīng)不滿足于對現(xiàn)有數(shù)據(jù)的分析和監(jiān)測，而是更期望能對未來趨勢有更多的分析和預(yù)測，從而增強(qiáng)企業(yè)的競爭力。

硬件環(huán)境：由高端服務(wù)器轉(zhuǎn)向由中低端硬件構(gòu)成的大規(guī)模機(jī)群平臺。由于數(shù)據(jù)量的迅速增加，并行數(shù)據(jù)庫的規(guī)模不得不隨之增大，從而導(dǎo)致其成本的急劇上升。出于成本的考慮，越來越多的企業(yè)將選擇由中低端硬件構(gòu)成的大規(guī)模機(jī)群平臺。

2.2 困境

數(shù)據(jù)共享不足：高度數(shù)據(jù)開放是數(shù)據(jù)應(yīng)用的前提。目前一些機(jī)構(gòu)擁有大量數(shù)據(jù)但不愿提供給有關(guān)部門共享，導(dǎo)致信息不完整或重復(fù)投資。另外，政府、企業(yè)和行業(yè)信息化系統(tǒng)建設(shè)往往缺少統(tǒng)一規(guī)劃和科學(xué)論證，數(shù)據(jù)之間缺乏統(tǒng)一的標(biāo)準(zhǔn)，形成了眾多“信息孤島”。無疑，這給數(shù)據(jù)應(yīng)用造成極大障礙。

技術(shù)人才匱乏：高端技術(shù)人才是數(shù)據(jù)應(yīng)用的關(guān)鍵。麥肯錫公司預(yù)測美國到2018年需要深度數(shù)據(jù)分析人才44～49萬，缺口14～19萬人；需要既熟悉本單位需求又了解大數(shù)據(jù)技術(shù)與應(yīng)用的管理者150萬，這方面的人才缺口更大。

3 大數(shù)據(jù)分析的意義

近年來，包括互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計算等信息技術(shù)在內(nèi)的IT通信業(yè)迅速發(fā)展，現(xiàn)代信息社會已經(jīng)進(jìn)入了大數(shù)據(jù)時代。大數(shù)據(jù)改變的不只是人們的日常生活和工作模式、企業(yè)運(yùn)作和經(jīng)營模式，甚至還引起科學(xué)研究模式的根本性改變。

大數(shù)據(jù)中蘊(yùn)含著大價值，大數(shù)據(jù)價值的合理共享和利用將創(chuàng)造巨大的財富。大數(shù)據(jù)智能分析能夠給智慧城市的管理和服務(wù)系統(tǒng)提供新的洞察力，是提升智慧城市“智商”的關(guān)鍵。以大數(shù)據(jù)技術(shù)為支撐的綜合智能化分析和決策系統(tǒng)，使智慧城市的管理系統(tǒng)和服務(wù)系統(tǒng)充分、有效、合理地發(fā)揮各自的作用，解決目前困擾各地的“信息孤島”現(xiàn)象，做到信息資源的共享、智能決策的集成，實現(xiàn)智慧城市讓城市生活更美好、更幸福的目標(biāo)。

4 大數(shù)據(jù)分析方法

大數(shù)據(jù)不單單是數(shù)據(jù)大，而且呈現(xiàn)了不斷增長的復(fù)雜性。當(dāng)前最重要的是對大數(shù)據(jù)進(jìn)行分析，只有通過分析才能獲取智能的、深入的、有價值的信息，大數(shù)據(jù)分析方法是決定最終信息是否有價值的決定性因素。

可視化分析：在信息化建設(shè)過程中，數(shù)據(jù)可分為三種類型：結(jié)構(gòu)化數(shù)據(jù)，非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)。由于所涉及到的數(shù)據(jù)比較分散、數(shù)據(jù)結(jié)構(gòu)可能不統(tǒng)一，而且通常以人工分析為主，加上分析過程的非結(jié)構(gòu)性和不確定性，所以不易形成固定的分析流程或模式，很難將數(shù)據(jù)調(diào)入應(yīng)用系統(tǒng)中進(jìn)行分析挖掘。借助功能強(qiáng)大的可視化數(shù)據(jù)分析平臺，可輔助人工操作將數(shù)據(jù)進(jìn)行關(guān)聯(lián)分析，并做出完整的分析圖表。

數(shù)據(jù)可視化的優(yōu)點：第一，交互性強(qiáng)。用戶不僅能看數(shù)據(jù)，還能方便地管理和開發(fā)數(shù)據(jù)。第二，多維性好。通過每一維的值分類、排序、組合來顯示數(shù)據(jù)的多個屬性或變量。第三，直觀度高。數(shù)據(jù)可以用圖像、曲線、二維圖形、三維體和動畫來顯示。

數(shù)據(jù)挖掘算法：數(shù)據(jù)挖掘是一個從不完整的、不明確的、大量的并且包含噪聲的具有很大隨機(jī)性的實際應(yīng)用數(shù)據(jù)中，提取出隱含其中、事先未被人們獲知、卻潛在有用的知識或模式的過程。數(shù)據(jù)挖掘在有效處理海量且無序的數(shù)據(jù)時，還能夠發(fā)現(xiàn)隱藏在這些數(shù)據(jù)中的有用的知識，最終為決策服務(wù)。數(shù)據(jù)挖掘就是利用一系列相關(guān)算法和技術(shù)從大量的數(shù)據(jù)中提取出為人們所需要的信息和知識，隱藏在數(shù)據(jù)背后的知識，可以以概念、模式、規(guī)律和規(guī)則等形式呈現(xiàn)出來。

預(yù)測性分析能力：根據(jù)可視化分析和數(shù)據(jù)挖掘的結(jié)果，預(yù)測性分析可做出一些預(yù)測性的判斷。可視化分析和數(shù)據(jù)挖掘都是前期鋪墊工作，只要在大數(shù)據(jù)中挖掘出信息的特點與聯(lián)系，就可以建立科學(xué)的數(shù)據(jù)模型，通過模型帶入新的數(shù)據(jù)，從而預(yù)測未來的數(shù)據(jù)，大數(shù)據(jù)分析最終要實現(xiàn)的應(yīng)用領(lǐng)域之一就是預(yù)測性分析。大數(shù)據(jù)的預(yù)測分析能力，能夠幫助企業(yè)分析未來的數(shù)據(jù)信息，有效規(guī)避風(fēng)險。在通過大數(shù)據(jù)的預(yù)測性分析之后，無論是個人還是企業(yè)，都可以比之前更好地理解和管理大數(shù)據(jù)。

語義引擎：非結(jié)構(gòu)化數(shù)據(jù)的多元化給數(shù)據(jù)分析帶來新的挑戰(zhàn)，我們需要一套工具系統(tǒng)的去分析，提煉數(shù)據(jù)。語義引擎需要設(shè)計到有足夠的人工智能以足以從數(shù)據(jù)中主動地提取信息。

數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理：大數(shù)據(jù)分析離不開數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理，高質(zhì)量的數(shù)據(jù)和有效的數(shù)據(jù)管理，無論是在學(xué)術(shù)研究還是在商業(yè)應(yīng)用領(lǐng)域，都能夠保證分析結(jié)果的真實和有價值。

5 大數(shù)據(jù)技術(shù)

大數(shù)據(jù)環(huán)境下，數(shù)據(jù)來源非常豐富且數(shù)據(jù)類型多樣，存儲和分析挖掘的數(shù)據(jù)量龐大，對數(shù)據(jù)展現(xiàn)的要求較高，并且很看重數(shù)據(jù)處理的高效性和可用性。然而，傳統(tǒng)的數(shù)據(jù)采集來源單一，且存儲、管理和分析數(shù)據(jù)量也相對較小，大多采用關(guān)系型數(shù)據(jù)庫和并行數(shù)據(jù)倉庫即可處理；傳統(tǒng)的并行數(shù)據(jù)庫技術(shù)追求高度一致性和容錯性，難以保證其可用性和擴(kuò)展性；傳統(tǒng)的數(shù)據(jù)處理方法是以處理器為中心，而大數(shù)據(jù)環(huán)境下，需要采取以數(shù)據(jù)為中心的模式，減少數(shù)據(jù)移動帶來的開銷。

在數(shù)據(jù)采集方面使用的新方法有以下幾種。

系統(tǒng)日志采集方法：用于系統(tǒng)日志采集，如Hadoop的Chukwa，Cloudera的Flume，F(xiàn)acebook的Scribe等，這些工具均采用分布式架構(gòu)，能滿足每秒數(shù)百M(fèi)B的日志數(shù)據(jù)采集和傳輸需求。

網(wǎng)絡(luò)數(shù)據(jù)采集方法：用于非結(jié)構(gòu)化數(shù)據(jù)的采集，將非結(jié)構(gòu)化數(shù)據(jù)從網(wǎng)頁中抽取出來，將其存儲為統(tǒng)一的本地數(shù)據(jù)文件，并以結(jié)構(gòu)化的方式存儲。它支持圖片、音頻、視頻等文件或附件的采集，附件與正文可以自動關(guān)聯(lián)。

其他數(shù)據(jù)采集方法：對于企業(yè)生產(chǎn)經(jīng)營數(shù)據(jù)或?qū)W科研究數(shù)據(jù)等保密性要求較高的數(shù)據(jù)，可以通過與企業(yè)或研究機(jī)構(gòu)合作，使用特定系統(tǒng)接口等相關(guān)方式采集數(shù)據(jù)。

6 大數(shù)據(jù)工作的開展

第一個是完善信息采集平臺。充分利用物聯(lián)網(wǎng)等技術(shù)，使越來越多的基礎(chǔ)設(shè)施具備信息自動采集和迅捷采集的能力，便于信息的獲取更加便捷和高效。擴(kuò)展采集的設(shè)備類型和支持的協(xié)議類型，使數(shù)據(jù)采集的范圍和通道越來越廣。在此基礎(chǔ)上，打破各行業(yè)的信息資源壁壘，實現(xiàn)信息資源的高度整合和共享。

第二個是加強(qiáng)大數(shù)據(jù)分析和挖掘。大數(shù)據(jù)如何為我所用，如何體現(xiàn)價值，缺少大數(shù)據(jù)分析光有一堆大數(shù)據(jù)的堆積和存儲是沒有任何意義的。我們應(yīng)結(jié)合重點行業(yè)，如水利、交通、城管、公共安全，推動這些行業(yè)的大數(shù)據(jù)分析和預(yù)測挖掘系統(tǒng)，并以典型行業(yè)和典型項目為基礎(chǔ)逐步擴(kuò)展。

第三個是推動大數(shù)據(jù)可視化。現(xiàn)代城市產(chǎn)生的數(shù)據(jù)量非常大，對數(shù)據(jù)價值的挖掘不能只依靠數(shù)字和報表，大數(shù)據(jù)可視化有助于幫助用戶更形象地分析、挖掘數(shù)據(jù)的價值。通過數(shù)據(jù)可視化方式，包括GIS和專業(yè)圖形的可視化方式，用非常直觀的方式幫助業(yè)主去獲取數(shù)據(jù)價值，從而分析、挖掘數(shù)據(jù)中間的關(guān)系和趨勢。數(shù)據(jù)可視化方式是我們未來發(fā)展的重點。

參考文獻(xiàn)

[1] 維克托·邁爾-舍恩伯格.大數(shù)據(jù)時代：生活、工作與思維的大變革[M].盛楊燕，周濤，譯.浙江：浙江人民出版社，2013.

[2] 孟小峰，慈祥.大數(shù)據(jù)管理：概念、技術(shù)與挑戰(zhàn)[J].計算機(jī)研究與發(fā)展，2013， 50（1）：146-169.

[3] 李芬，朱志祥，劉盛輝.大數(shù)據(jù)發(fā)展現(xiàn)狀及面臨的問題[J].西安郵電大學(xué)學(xué)報，2013，18（5）：100-103.

[4] 王元卓，靳小龍，程學(xué)旗.網(wǎng)絡(luò)大數(shù)據(jù)：現(xiàn)狀與展望[J].計算機(jī)學(xué)報，2013，36（6）：1125-1134.

[5] 王珊，王會舉，覃雄派，等.架構(gòu)大數(shù)據(jù)：挑戰(zhàn)、現(xiàn)狀與展望[J].計算機(jī)學(xué)報，2011，34（10）：1741-1751.

[6] 李戰(zhàn)懷，王國仁，周傲英.從數(shù)據(jù)庫視角解讀大數(shù)據(jù)的研究進(jìn)展與趨勢[J].計算機(jī)工程與科學(xué)，2013，35（10）：1-10.endprint