看美國大數據技術與業務發展

呂 萍

（中國電子信息產業發展研究院，北京 100048）

看美國大數據技術與業務發展

呂 萍

（中國電子信息產業發展研究院，北京 100048）

筆者通過赴美與美國政府組織、科研單位以及眾多IT企業進行實地考察與交流，在本文從概念、技術、運用及行業發展面臨的障礙等多個方面總結了美國業界對大數據的認識，剖析了美國推動大數據發展在體制機制上的特點，提出了推動我國大數據技術與業務發展的政策性建議。

大數據；美國；科技政策

1 引言

當前，大數據正在引發全球范圍內深刻的技術和商業變革。為推動我國大數據技術與業務的發展，學習借鑒美國政府、企業、研究機構等部門發展大數據的相關經驗和做法，筆者通過參加工業和信息化部組織的“美國大數據技術與業務高級培訓班”，與美國政府組織、科研單位以及眾多IT企業進行了交流。其中，美國政府組織包括美國聯邦貿易委員會、美國信息與技術項目辦公室等；科研單位包括加州大學、紐約大學數據科學中心、IBM沃森研究中心等；IT企業包括亞馬遜、IBM、SAP、惠普、思科、甲骨文、蘋果、Cloudera、日立美國數據公司等IT各領域龍頭企業。

2 美國業界對大數據的認識

2.1 大數據就是具備“4V”特征的數據

翻一翻關于“大數據”的專業書籍，對其的解釋說法很多，而美國業界專家對“什么是大數據？”已

2.2 大數據技術與傳統數據分析有相當的不同

傳統數據統計工作主要包括數據的采集、處理分析及展示。大數據技術與傳統數據分析技術本質上都是一樣的，無非都是從數據采集到數據運用的一個處理過程。但大數據處理需要更多更復雜的技術：

一是數據存儲方面。不同于傳統數據處理，大數據處理包括4個關鍵環節：數據采集、數據存儲、數據計算與分析、數據展現。其中，數據存儲技術是大數據處理技術中至關重要的一個環節，而這在傳統數據處理中并不是問題。受大數據數量大、變化快等特性的要求，數據存儲技術需要包括：極高的并發讀寫速度，海量數據的高效率存儲和訪問，高可擴展性和高可用性。

二是數據計算與分析方面。傳統數據分析處理的是結構化數據，而大數據計算與分析將面臨處理大量非結構化數據的困難。處理的復雜性增加了難度，從而會影響速度。目前，大數據計算分析的基本辦法是將大量數據分散到多個節點上，將計算并行化，利用多機的計算資源，從而加快數據處理的速度。目前，基于MapReduce技術的開源實現Hadoop是業界大數據并行計算的常見平臺，被谷歌、Cloudera等互聯網企業廣泛使用。

2.3 推動大數據業務發展面臨四大障礙

這兩年，大數據在我國興起的同時受到了學界與業界不同聲音的質疑，政府在推動大數據業務發展過程中明顯感受到從數據采集到運用過程中障礙重重。盡管美國在高技術領域發展方面一直處于全球領先地位，又是大數據市場運用的主要推手，然而，美國現階段發展大數據業務同樣面臨以下困擾：數據的公開性問題；個人隱私保護問題；國家信息安全問題；跨境數據流動問題等?？梢哉f，在美國大數據發展也仍處于初期階段，在技術和非技術層面有待解決的問題還很多，困難還很大。美國政府正在試圖尋找有效地解決方案。例如，對于個人隱私保護方面，美國聯邦貿易委員會提倡行業建立公共信息平臺，以避免企業與個人之間就個人隱私問題上產生紛爭。美國國家信息和項目辦公室正在對美國各政府機構之間的信息共享、互聯互通，以及跨境數據流動問題積極協調。對于美國業界，大數據運用是互聯網信息技術發展到一定階段的必然，政府、學者、企業都不約而同地認為他們有責任也有信心攻克這些難題。

2.4 大數據業務的運用可無限想象

美國大數據應用的成功案例不僅涉及到金融、電信、智能辦公、醫療、教育、交通等與社會民生密切相關的領域，而且還有如超市倉儲、銷售貨品、航空調度、農場收割、體育競技、動漫影視制作等特別的、小眾的商業和生活領域。例如，Cisco運用云和大數據技術創造的智能辦公環境，最大限度地節約能源方案；SAP利用大數據在足球場上培養球員并實現一場球賽的勝利；IBM沃森智能機器人利用大數據學習成為超過人類智慧的最強大腦；小鎮農場利用大數據實現使用無人收割機進行農作物收割等。IT企業展示了眾多的運用案例，有的還只是概念，但大部分已實現或有了清晰可行的實現路徑。大數據時代將以往只有在科幻熒幕上看到的生活、工作和學習場景真正搬到現實中來。

3 美國如何推動大數據技術與業務發展

3.1 國家高度重視，行業達成共識

美國奧巴馬總統于2012年3月宣布“大數據計劃”，并將“大數據”發展上升為美國國家戰略，并宣布第一輪大數據研究項目開始。2013年11月12日，白宮科學技術政策辦公室（OSTP）和網絡與信息技術研究開發計劃（NITRD）發布大量新的大數據合作項目，刺激私營領域對聯邦數據的興趣，相關項目屬于白宮發起的“從數據—知識—行動”獲得，將分別對醫療服務、能源與交通、網絡安全、前沿技術研究、更大的軟件分析平臺等領域進行研究。

3.2 政企研三方分工明確，界面清晰

在美國，政府主要在制定戰略方針、協調政府組織開放數據源、在公共安全、個人隱私保護方面制定或修正法案、宣傳推廣先進理念、提供產業良性發展的環境等方面發揮作用；高校及研究機構主要專注于理論研究，對關鍵性核心技術進行前沿性科研；而企業則進一步創新技術、將技術市場化、產品化，最終將產品和服務推向市場和公眾，運用于社會。簡而言之，研究機構致力于技術研發，企業致力于推廣產品和應用，而政府專注于協調問題、解決糾紛，三者權責明晰、互不干擾。

3.3 技術創新是根本，來自于以人為本的激勵機制

創新思維是推動高技術發展的源動力。在硅谷，有著名的風險投資一條街。任何具有創新性的點子一旦形成，可馬上作為個人的成果贏得風險投資的資金支持，“思維+技術+資金”的良性循環實現了個人成功與社會進步的雙贏，從而為培養創新思維提供了生根的土壤。大數據技術的發展離不開硅谷眾多的IT企業，而這里處處能看到技術專家創新的本能。與此同時，伯克利大學、斯坦福大學、麻省理工學院等全球最頂尖的大學集中了全球最優秀的人才，求真務實、以人為本的研發環境保障了大量的專家學者獻身于大數據技術的理論基礎研究和實驗。技術創新是高技術產業發展的根本，培育業內各個環節保持長盛不衰的創新氛圍，關鍵在于有一個以人為本的激勵機制。

4 推動我國大數據技術與業務發展的幾點建議

我國大數據技術與業務未來將如何去推動發展呢？除了有必要培養業界“求真務實、戒驕戒躁、勇于創新”的大環境之外，還要做以下工作：

一是各層面主體要統一認識、分工明確、協同推進。美國已將“大數據”發展上升為美國國家戰略，由隸屬于白宮的國家協調辦公室（NCO）進行統一協調部署，向各有關單位分配每年的財政撥款，負責每周召集政府、企業、科研單位召開項目進度溝通例會，交流工作進展及未來發展。在NCO的協調下，各部門彼此了解研發項目，大大減少重復建設的可能性。我國應該借鑒其經驗，將推動大數據發展上升到國家戰略層面，由政府成立多部門共同參與的協調機構，強化頂層設計，政、企、研分工明確，各盡其職，協同推進。

二是要努力打通大數據業務發展在非技術層面存在的障礙。在政務數據開放、數據安全等方面建立相關平臺和制度，打通數據斷層，建立信息共享平臺。在保護個人隱私、國家信息安全、商業機密等方面完善政策法規，促進商業數據和個人數據的開放與共享。做好對敏感和要害數據的監管工作。

三是盡快提高我國中小企業信息化建設水平。中小企業將是大數據時代的信息主要來源，其信息化水平將直接決定大數據行業的發展步伐。鼓勵培育我國中小企業的信息化平臺建設，不斷推動中小企業生產和管理模式的信息化建設，逐步提高企業對大數據的存儲和處理能力。

四是人才與技術的培養。這是一項“十年磨一劍”卻意義深遠的中長期工程。從宣傳、教育入手，從娃娃抓起，培養勇于創新的土壤，在社會教育各層面鼓勵高技術開發思維。就大數據專業培養方面，可以鼓勵技術院校、高校及研究機構開發信息管理方向的系列課程，設計大數據技術與應用課程，把大數據課程、理論、工具、實驗等緊密結合在一起，將體系化的課程和實訓有效結合以培養專業人才。

The Technology and Industry Development of Big Data in America

Lv Ping

(China Center for Information Industry Development, Beijing, 100048)

Based on the investigation and discussion with the governments, research institutes, and many IT companies in America, summarize the U.S. industry knowledge of Big Data including the concepts, the technologies, its application, and the difficulties. Analyze the characteristics revealed in the system and mechanism of U.S. industry that promote the development of Big Data industry, and propose the policy suggestions to push forward our country’s Big Data technology and industry.

Big Data; America; Science and Technology Policy

10.3969/J.ISSN.1672-7274.2015.05.013

TP3，TN91

A

1672-7274（2015）05-0046-03

呂萍，女，1978年生，碩士，在職博士，高級經濟師，主要研究方向是產業經濟。有統一認識，大數據具備“4V”特征：一是數量巨大（Volume）。目前的信息系統數據處理量大概處于TB級別，而未來的大數據處理能力需要擴展到以PB級別為主。二是類型多樣（Variety）。大數據不是單一的結構化數據，還包含了大量非結構化數據（圖片、文本、視頻、聲音等）。未來，非結構化數據將占主流。三是變化快速（Velocity）。大數據的變化快，并且要求快速處理才能獲得應有價值。四是大量價值（Value）。大數據發展的核心是利用數據產生價值，主要體現在不同行業數據的融合使得以往的數據再次產生價值，數據的交易能夠產生新的商業模式，取得相應的價值。大數據的本質是大量的時時刻刻產生在人們生活和工作中的有用信息，包括數字、圖片、文本、視頻、聲音等各種形式的信息，這些信息廣泛存在于生物界甚至是機器之間。之所以人類到現在才提出“大數據”這個概念，主要歸功于世界電子行業和互聯網技術的發展，人類有了采集、儲存、分析及運用這些龐大信息的能力，即大數據技術。