當前我國大數據與數據分析發展的研究

徐達

（西南科技大學制造科學與工程學院，四川　綿陽　621000）

當前我國大數據與數據分析發展的研究

徐達

（西南科技大學制造科學與工程學院，四川綿陽621000）

大數據是國內外最熱門的研究方向之一。在大數據時代，人們身處的世界正在悄然改變。目前，我國大數據與數據分析已經走出了初步理論探索階段，形成了初具規模的產業鏈。首先舉例分析近年來我國大數據分析在商業、輿情分析和醫療領域的發展以及已取得的成就，在此基礎上，總結了我國在大數據與數據分析行業，在產業鏈、軟硬件條件、專業人才、數據資源和相關法律法規等方面所面臨的挑戰和機遇。

大數據 大數據分析 發展現狀

1　引言

人類一直熱衷于對世界的探索，分析事物已知的形態，發現其內在規律，然后利用這一規律預測事物的未來發展。當今互聯網，信息爆炸，人們越來越難以獲取有效的關聯信息。大數據與數據分析幫助人類從海量和復雜的數據中提取互相關聯的信息。

2011年著名調查公司麥肯錫在《大數據：創新、競爭和生產率的下一個前線》的研究報告中提出“大數據時代已經到來”；2013年被業界人士稱為大數據元年。盡管人們對“大數據”的認識千差萬別［1］，但是其基礎技術架構已經形成，其發展成果已廣泛應用于各個行業。

2　大數據與數據分析應用現狀

2.1大數據成為企業的新資本

“大數據為新財富，價值堪比石油”［2］，數據日漸成為企業一項重要的資產，大數據戰略已經進入到企業戰略層面。據IBM在2012年對全球95個國家，26個不同行業領域的1144名企業高管和專業人士的一項調查顯示，超過四分之一正在進行大數據試驗或已經實施具體措施，全數意識到他們應更多地利用大數據［3］。

大數據時代的企業主要分為兩類：①數據服務的提供者：以英特爾、IBM和orcal為代表的數據分析服務提供商。他們有良好的軟硬件開發基礎，為企業提供解決方案；②大數據服務的使用者：大數據分析具有實時和全面的特點，分析結果往往極具價值，為企業決策、拓展市場和創新提供參考，其中最具代表性的是阿里金融，專為小微企業和初創業者提供小額信貸融資服務。自2010年6月成立，截至2014年2月，已經有70余萬家小微企業通過阿里金融獲得融資。阿里金融使用大數據思維確認客戶信息的真實性：對阿里集團積累的客戶信用數據和行為數據，以及稅務、海關和電力等第三方數據進行分析。在此過程中，阿里金融建立了大量模型，通過云計算來篩查所得數據的有效性，給出客戶信用評價結果，并以此結果為依據，向其提供貸款。在貸款過程中，阿里會持續監控客戶數據，明確貸款流向和產生的效益。如發現異常，就會啟動扣款機制。當客戶出現壞賬時，只要其信用評價是正面的，阿里還會提供補充幫助。

這一在信貸評估方法的創新，改變了銀行業的游戲規則，為其自身和客戶創造了巨大利益。相較于傳統銀行的抵押擔保模式，阿里金融利大數據分析技術，將貸款風險分散到貸款前、中、后三階段，有效地控制風險，極大地提升了服務效率。金融業包括銀行業一項重視數據分析，但是傳統銀行業以自身的運營數據為依托，這些數據往往不夠全面，跟不上時代變化，無法為決策提供更具說服力的支撐。

2.2大數據分析技術提升輿情分析能力

輿情分析是根據特定問題的需要，對針對這個問題的輿情進行深層次的思維加工和分析研究，得到相關結論的過程。公共部門通過輿情分析掌握社會輿論走向，企業可以通過輿情分析獲取負面信息預警和競爭者情報等。

如今，網絡成為輿情分析的主戰場，傳統媒體正在被互聯網所取代。據中國社會輿情與危機管理報告（2012），2011年微博首報輿情案例比例占比達到五分之一以上，連年遞增。截止2014年6月，我國網民規模已達6.32億，其中手機網民5.27億［4］。微博、微信和QQ等網絡社交平臺是網絡輿情重要檢測對象，所有的輿情分析平臺都有對微博、QQ群的檢測分析。

目前應用于網絡輿情分析主要有電子問卷調查、非結構文本數據分析、語義識別和基于網絡日志的隱性輿情分析等基于大數據的技術［5］。電子問卷調查是基于互聯網的抽樣調查，所得結果簡單明了，適用于公眾對已知熱點事件的態度調查。非結構文本數據分析針對網絡輿情數據中圖片和音視頻數據。語義識別是指計算機對自然語言的理解和生成，計算機需要語義識別系統才能對自然語言做出響應。現階段對自然語言處理尚無成熟系統，但是特定用途的語義識別系統已經出現，部分輿情分析軟件已經具備面向中文和少數外文的語義識別功能。非結構文本數據分析和語義識別技術可以實時監測，發現熱點，分析一段時間內輿論走向。隱性輿情分析技術提高分析結果的精確度和正確度。網民在瀏覽網站時會在服務器留上不僅會留下點擊量數據，還會留下IP、鼠標停駐時間、鼠標點擊的集中區域和瀏覽時間點等數據。他們來自于實時且海量的數據源，能夠真實地反映了信息到達率和吸引力大小、受眾興趣點和受眾人群特征等信息。

2.3醫療

我國醫療健康領域已經意識到了大數據分析帶來的巨大機遇。總體來說，其發展水平尚停留在擴大數據采集渠道和體系構架建立階段，我國三大互聯網公司BAT均在2014試水互聯網醫療領域。百度與北京市政府聯合推出的北京健康云，主打個性化的健康服務。將個人健康數據與百度的大數據資源結合，為用戶量身定制健康服務。阿里健康與中信21世紀合作，開拓藥品電商市場，欲借此建立中國最大最精準的藥品數據庫。微信智慧醫療利用其在即時通信市場的優勢，主打醫療資源整合，其解決方案貫穿整個患者就醫過程。截至2015年1月，全國已有近100家醫院通過微信公眾號實現移動化的就診服務和快捷支付，累計超過1 200家醫院支持通過微信掛號。

數據分析在健康醫療領域的利用，對于提高醫療水平有著重要的意義。我國醫療領域長期資源分配不均，醫患關系緊張。大數據的應用將會對現有醫療資源進行有效整合，盤活醫院沉淀大量電子病歷，在提高就診效率、減少患者負擔和避免過度醫療方面有其重要意義。從長期來看，以大數據分析為基礎的醫療研究將為國民健康做出巨大貢獻。

3　大數據行業發展的機遇與挑戰

3.1大數據產業鏈初步形成

大數據產業鏈可分為4個層級：數據產生與數據聚集、數據組織與管理層、數據分析層和數據應用層［6］。經過數年發展，我國大數據產業鏈基本形成。2012年，中關村大數據產業聯盟成立，在實現產學研合作、標準制定和技術創新，產業的跨越式發展，推動培植世界領先的大數據技術、產品、產業和市場等方面有重要推動作用。全國首家大數據交易所，也將于2015 年5月在貴陽成立，這標志著產業鏈基本形成。

大數據產業鏈的形成可以提升數據價值，優化資源分配，可以有效化解有數據的公司無法處理，需要數據的公司又沒有足夠的數據來源，具備分析數據能力的公司無處一展身手的怪圈。產業鏈發展初期由三大互聯網公司主導；隨著行業規模擴大的成熟，不斷有初創公司和轉型公司加入，產業鏈內的分工會越來越細化。

3.2軟硬件基礎技術助推大數據產業發展

大數據得益于國內基礎網絡全面發展，以及計算機技術全面發展，使得大數據運算成為可能。諸如Hadoop和mapcover等能夠對大量非結構化數據進行高速處理的軟件技術均采用開源模式。技術壁壘少，國內相關研究起步較快，商業應用上取得了很大成果；但起步時間較晚，在基礎研究領域還是處于落后地位。

大數據重要來源——感知數據，大部分來自于物聯網中各種傳感器等自動化設備。在物聯網中，物與物和物與人，通過物聯網相互連互通，這使得更加數據資源面廣泛。大數據分析需要進行大量運算，只有少數公司具備這樣的實力。隨著云計算技術的興起，使沒有計算環境的企業，也可以通過云計算技術獲得強大的運算能力。如此既避免了硬件資源閑置，也使更多公司可以進行大數據的分析。

3.3專業從業人員缺乏

人才缺乏是全球大數據與數據分析行業面臨的共同挑戰之一。自2013年開始，英美等過開始培養大數據人才，國內高校也相繼開始大數據人才培養。2014年，復旦大學開設數據科學工程碩士和博士學位；人民大學、北京大學等高校開設大數據分析碩士學位；2015年，清華大學開設大數據碩士學位。大數據人才的培養受制于培養周期限制，而人才短板制約著技術進步與應用，所以人才儲備缺乏制約著我國大數據產業初期的發展［7］。

3.4政府數據源仍然缺乏共享

豐富的數據源是大數據產業發展的基礎。政府部門掌握大量優質數據資源，理應在數據資源開放中作出表率。美國政府早在2009年《透明和開放政府備忘錄》中就明確提出“聯邦信息就是全民的信息”，要求各級政府應用現代技術開放政府信息，而我國數字化的數據資源總量遠遠低于美歐，而且沒有相關法律法規的實施細則明確政府數據開放責任，導致政府數據整體開放程度較低。

這一現狀正在改變，在全國性的產業結構轉型浪潮中，數據資源的的價值被放大，各級政府逐步將數據開放納入發展規劃。上海市走在全國政府數據對外開放的前列，根據《2014年度上海市政府數據資源向社會開放工作計劃》，上海已開放190項數據內容，涉及交通、教育、金融和環境等11個領域。

3.5相關法律法規缺失

我國相關法律法規缺失表現在兩方面，一方面欠缺推動數據公開的動力，另一方面公眾對隱私保護的擔憂。2個方面相互牽制，任何一方失調都會連帶影響另一方。現有的文獻對大數據時代政策法規層面做過一些研究，也提出過解決方案，但是基本停留在隱私保護和數據主權等理論方面，并沒有就大數據時代數據分析技術發展相結合。

以網絡爬蟲技術為例，這是一種可以自動抓取網頁信息的技術。網站通過“網絡爬蟲排除標準”這一協議，聲明站點中哪些數據可以被自動抓取，哪些數據受到保護不希望被抓取。自動收集受保護的文件則是侵權行為，這種協議是機器與機器的約定，而人設定機器是否突破這一約定。這一情況在數據分析技術中廣泛存在，這就要求在獲取篩選數據階段要受到監管和限制，如此方能有效保護各方利益。

為了獲得大數據服務帶來的好處，我們不可避免地分享個人數據，例如前文提到的“在服務器日志上留下的瀏覽數據”。對于大眾來說，很難追蹤到自己的某一瀏覽數據儲存在哪里，被分享給誰，用于何種用途，他們對這類數據喪失了控制權，這樣的數據交易方式是否合法我國尚無明確界定。因此對處于大數據產業鏈下游各方，比如數據分析者和數據利用者的規范也有待加強。

4　結束語

本文介紹大數據與數據分析近幾年在商業、輿情分析和醫療健康方面的發展現狀，并以此為基礎，分析了我國大數據行業目前面臨的機遇與挑戰。可以看出，我國大數據的發展之快超越了之前每一次計算機技術革新，全行業面臨的機遇和挑戰也從發展初期單純的技術架構層面變得更加廣泛而多變。

［1］鐘瑛，張恒山.大數據的緣起、沖擊及其應對［J］.現代傳播（中國傳媒大學學報），2013，35（7）：104-109.

［2］鄔賀銓.大數據時代的機遇與挑戰［J］.求是，2013（4）：47-49.

［3］張平.大數據如何在企業落地生根—訪IBM大中華區全球企業咨詢部謝國忠［J］.企業管理，2013（7）：106-110.

［4］中國互聯網絡信息中心.第34次中國互聯網絡發展狀況統計報告［J］.互聯網天地，2014（7）：71-89.

［5］唐濤.基于大數據的網絡輿情分析方法研究［J］.現代情報，2014，34（3），3-11.

［6］迪莉婭.我國大數據產業發展研究［J］.科技進步與對策，2014 （4）：56-60.

［7］吳薛.產業生態圈視角下大數據產業集群培育的研究-以蘇州為例［J］.常州大學學報：社會科學版，2015，16（1）：57-62.

Research on Latest Development of Big Data and Big Data Analysis in China

XU Da
（College of Manufacturing Science and Engineering，Southwest University of Science and Technology，Mianyang Sichuan 621000，China）

Big data is one of the most popular research directions at home and abroad.At present，in China，big data and big data analysis have moved out of the preliminary theoretical exploration stage，and formed a close industrial chain.The paper introduces what big data analytics achieved in business，public opinion analysis and medical field.Based on it，the paper summarizes challenges and opportunities of big data industry development in terms of the industrial chain，software and hardware conditions，professional workers，data resources，laws and regulations.

big data；big data analysis；development

TP274

A

1008-1739（2015）17-68-3

定稿日期：2015-08-12