劉小剛
一 、大數據的內涵及其應用
(一)大數據的概念、特征
現代社會正以不可想象的速度產生海量數據。根據IDC(Internet Data Center)即互聯網數據中心預測,2020年的數據增長量將是2010年的44倍,達到35ZB。大數據(big data)是由數量巨大、結構復雜、類型眾多的數據構成的數據集合,是基于云計算的數據處理與應用模式。大數據又稱巨量資料,指的是所涉及的資料量規模巨大到無法透過目前的主流軟件工具,在合理時間內達到擷取、管理、處理、并整理成為幫助企業經營決策的資訊。
大數據具有以下四個基本特征:一是海量的數據容量(Volume Big),目前數據量級已從TB發展至PB乃至ZB;二是快速的數據流轉和動態的數據體系(Velocity Fast),數據流往往為高速實時數據流,而且需要快速、持續的實時處理,處理工具亦在快速演進,軟件工程及人工智能等均可能介入;三是多樣的數據類型(Variable Type),數據類型繁多,主要為網頁、視頻、圖像與位置信息等半結構化和非結構化數據信息;四是巨大的數據價值和數據低密度(Value high and Low density),以視頻安全監控為例,連續不斷的監控流中,有價值的可能僅為一兩秒的數據流,360°全方位視頻監控的“死角”處,可能才挖掘出能被利用的有價值的圖像信息。
(二)大數據的應用領域
大數據是海量交易數據 、海量交互數據以及海量數據處理三種相互關聯又迥然各異的技術趨勢的集合體,每一種技術趨勢都代表著創新突破和發展潛力。隨著各項創新技術的匯集, 大數據的應用已經相當廣泛。
1. 城市管理。搜集城市的地理信息和其他數據,醫院、警察局等公共服務部門的位置,天氣變化,為可能發生的緊急事件提供預案;通過各行業收集到的數據,分析宏觀數據,準確及時地對市場進行調控;通過在城市多處設置的傳感器收集交通數據,從而指導人們確定出行計劃,避免擁堵,有效緩解大城市交通擁擠問題。
2. 農工商業發展。運用大數據對氣象、氣候、地形進行智能分析,形成現代化高科技農業生產模式;形成以大數據信息為背景的新型現代化工業,智能自動化生產;數據分析工具幫助銀行、商店確定最佳的營業網點,優化業務的運營;幫助企業監控客戶的商店活動情況與交易記錄,確定商品種類、商品擺放位置、商品調價的時間和幅度,減少企業存貨,提升利潤率;在電子商務方面,準確分析用戶的購物行為,通過對用戶行為數據的分析,決定購物網站的網頁形式和內容,把消費者和銷售者對應起來,形成新的“銷售—消費”模式;在商品儲存方面,開發一種供應鏈模型,根據產品線的銷售情況、運輸費用、儲存費用,提供極為準確的成本維護視圖,建立最優化的商業經營模式。
3. 市場研究。安裝搜集運營數據的裝置,實時連續地收集網絡信息,使我們更快地對市場做出反應;利用菜單變化、餐廳設計以及勞動生產力的培訓程度對銷售額影響進行建模,獲取各因素與銷售額的相關關系。
4. 個人服務。它能自動記錄個人經常出現的地理位置,并自動生成為數據圖表,幫助分析個人行程路線、生活場所,變成“個人生活助理工具”;也可以通過手機App搜集全球人們對于特定問題的看法,找出對于大眾生活的若干觀察,調查社會群眾對于熱門話題的立場。
除此之外,大數據還在其他領域有著重要的作用,并且隨著大數據收集、整合以及分析技術的提升,大數據的應用領域勢必將更加廣闊。大數據正驅動著傳統產業向現代化、“數據化”產業過渡。
二、 國外大數據產業的發展
(一)美國
2004年,布什政府通過司法程序,將“星風”監視計劃分拆為由國家安全局執行的4個監視計劃,除“棱鏡”外,還包括“主干道”、“碼頭”和“核子”(“棱鏡”用于監視互聯網個人信息)。加上已被有關機構掌握的個人信用數據、犯罪記錄和人口統計等數據,美國公民的一切行為數據基本上被收集儲存。
近日,由前美國中央情報局(CIA)雇員斯諾登揭秘的“棱鏡門”持續發酵。據斯諾登爆料,美國國家安全局和聯邦調查局于2007年啟動了一個代號為“棱鏡”的秘密監控項目,直接進入美國網際網絡公司的中心服務器里挖掘數據、收集情報。在美國猶他州專門用于儲存數據的美國“間諜中心”也正在緊鑼密鼓地修建中。該數據中心主要用于收集、存儲、分析信息,破解密碼,打擊恐怖主義及攔截來自世界各地通信,支持奧巴馬政府的綜合國際網絡安全倡議,并為情報界提供支持。此外,金融信息、國外的軍事情報、外交情報以及一些法律文件等也都會在這里進行解密。
而作為奧巴馬開放政府承諾的產物,2009年至今Data.gov(美國政府數據庫)全面開放了40萬聯邦政府原始數據集。日前Data.gov宣布采用新“開源政府平臺”管理數據,代碼將向各國開發者開放。因此從這個角度看,大數據已成為美國國家創新戰略、國家安全戰略、國家ICT產業發展戰略以及國家信息網絡安全戰略的交叉領域、核心領域。2012年3月,奧巴馬政府將“大數據戰略”上升為最高國策,認為大數據是“未來的新石油”,將對數據的占有和控制作為陸權、海權、空權之外的另一種國家核心能力。
首批共有6個聯邦部門宣布投資2億美元,共同提高收集、儲存、保留、管理、分析和共享海量數據所需核心技術的先進性,并形成合力;對信息技術研發投入推動超級計算和互聯網的發展。目前,已有美國大學專門開設了研究大數據技術的課程,培養下一代的“數據科學家”,一些美國公司也在向大學提供教育研究資助,并贊助與大數據有關的比賽,擴大大數據技術開發和應用所需人才的供給,提高美國的科學發展、環境與生物醫藥研究、教育和國家安全的能力;美國國家衛生研究院開展的免費開放國際千人基因組計劃,它將創建的人類遺傳變異研究數據集,供研究人員自由訪問和使用;美國國家科學基金會和美國國家衛生研究院對大數據進行聯合招標,改進核心科學與技術手段,提高從各種大型數據集中提取重要信息并對其進行有效管理、分析和可視化的能力;美國國防部則計劃每年投資2.5億美元左右,在各個軍事部門開展一系列研究計劃,以創新方式使用海量數據,通過感知、認知和決策支持的結合,加強大數據決策能力;美國能源部則將斥資2500萬美元建立可擴展數據管理與可視化研究所(SDAV),幫助科學家對數據進行有效管理,促進其生物和環境研究計劃、美國核數據計劃等的研究成果。美國正在握緊大數據這個人類科技領域的最新儀表盤,以求繼續保持科技領先地位。當然從現在來看,說大數據改變美國政治或政府的確有些夸張,但從另一層面看,美國政府的開放性數據服務轉型正走在世界前列。
(二)英國
雖然經濟不景氣,財政收緊,但大數據依然是英國政府重點發展的科技領域。今年年初,英國商業、創新和技能部宣布,將注資6億英鎊發展8類高新技術,大數據獨攬其中的1.89億英鎊,將近三成。負責科技事務的國務大臣戴維·威利茨說,政府將在計算基礎設施方面投入巨資,加強數據采集和分析,這也將吸引企業在這一領域的投資,以求在數據革命中占得先機。
今年,英國首個綜合運用大數據技術的醫藥衛生科研中心在牛津大學成立。英國首相卡梅倫在揭牌儀式上說,這一中心的成立有望給英國醫學研究和醫療服務帶來革命性變化,它將促進醫療數據分析方面的新進展,幫助科學家更好地理解人類疾病及其治療方法。據介紹,這個研究中心總投資達9000萬英鎊,可容納600名科研人員。中心通過搜集、存儲和分析大量醫療信息,確定新藥物的研發方向,減少藥物開發成本,同時為發現新的治療手段提供線索。同時,以英國為首的歐洲核子中心(CERN)將在匈牙利科學院魏格納物理學研究中心建設一座超寬帶數據中心。建成后,魏格納數據中心將成為連接CERN且具有歐洲最大傳輸能力的數據處理中心,未來該設施在處理大型強子對撞機(LHC)的數據以及實驗方面發揮重要作用。
威利茨指出,成功的高新技術戰略不僅要著眼于科研本身,更應著力于推動新技術從實驗室到商業應用的轉化。大數據創造價值是基于這樣一個核心邏輯,即當今社會在商業、經濟、政府及相關領域中,決策行為越來越取決于數據和分析,而不再是經驗和直覺。大數據技術可以為決策提供一定的“預見參考”,而成功的分析和預見往往能帶來商業和經濟價值。
(三)日本
日本面臨著由于長期經濟低迷導致國際地位下降、人口老齡化以及日益增大的社會保險費用和社會基礎設施老化等諸多問題。為了扭轉這一現狀,日本政府決定通過大力發展IT產業,特別是大數據及開發數據和云計算。日本從2006年開始的《IT新改革戰略》推出了促進ICT(Information、Communication、Technology)應用的戰略。在2010年由新執政的日本民主黨政府領導下IT戰略本部啟動了《新信息通信技術戰略》,5月發布《智能云研究報告》明確提出智能云戰略,促進智能云服務的推廣普及、新一代云技術的戰略性研發、開展云技術相關的國際合作。同年6月份推出的IT戰略實施工程表中將中央和地方政府行政、醫療保健、教育、農業等公共領域作為推廣云計算的重要領域。同時,為了提高信息通信領域的國際競爭力、培育新產業,應用信息通信技術應對抗災救災和核電站事故等社會性問題。2012年7月新發布“活躍ICT日本”新綜合戰略,積極利用云技術改革行政業務辦事流程,構筑政府信息公共平臺,促進不同系統間的溝通合作,最終建立一個全國統一的電子政務服務體系。2013年,推出的新ICT戰略,將致力于提升日本經濟的效率,在網絡上實現行政信息全部公開并可被重復使用,以進一步推進開放政府的建設進程。2013年6月,日本第二次安倍內閣正式公布了新IT戰略——“創建最尖端IT國家宣言”。全面闡述以發展開放公共數據和大數據為核心的日本新IT國家戰略,提出要把日本建設成為一個具有“世界最高水準的廣泛運用信息產業技術的社會”,并且,將其發展成就擴展到國際范圍內。目前,無論在大數據技術還是企業實際應用方面,日本都在亞洲占據明顯優勢。
對于大數據的探索和發展,歐美和日本已經走在世界的前列。各國政府已將大數據發展提升至戰略高度,創造積極的政策、法律環境;增加產業發展的財政投入,加強人才培養和核心技術的研發,建立先進、巨大的數據中心,促進大數據產業發展。
三、對我國的啟示和建議
那么,面對國際社會大數據發展的熱潮,作為全球第二大經濟體,我們政府應當如何抓住大數據戰爭的脈搏,制定合理的策略,以促進我國經濟的進一步高速發展?
(一)上升為戰略角度,制定規劃
從國家戰略層次的角度出發,將大數據產業發展納入國家發展的戰略性項目,與國際大數據發展接軌,解決現階段大數據發展的核心問題。啟動、設立國家級“數據銀行”,對數據資產的交易和流通進行保護,占領國際數據資產制高點。制定大數據發展的"三年規劃"或“五年規劃”,制定產業發展的階段性目標,完成階段性任務,力爭國際社會大數據發展的優勢地位。
(二)加大關鍵技術的研發和應用
就核心技術而言,要給予核心技術、知識產權以專利保護, 激勵軟件開發的積極性;充分利用中國人口數量多產生數據量大,大學生基數大的人才資源雄厚的優勢,培養從事大數據科研工作的尖端人才進行關鍵技術研發,實現核心技術的突破。政府要掃清大數據產業化發展的一切阻力,促進大數據技術從實驗室到工業化生產的轉移,加強大數據在實際生活生產方面的應用,推進大數據核心技術產業化發展的步伐,創造大數據的社會價值。
(三)出臺鼓勵政策,加大財政稅收扶持
政府要為大數據的發展提供積極的鼓勵政策;優先發展在重要部門應用的大數據產業,降低大數據發展的門檻;建立大數據科技研發部門,加大大數據科研及相關人才需求的缺口,刺激大數據人才市場的發展;完善科技創新獎勵機制,創造良好的科研環境。
加強財政稅收扶持,政府要增加大數據產業的財政投入。每年扶持資助一批獲得大數據核心技術突破并實現產業化的項目,設立大數據產業發展專項基金;對大數據企業按比例減免營業所得稅,為企業提供補貼,重點扶持核心技術部門的發展。
(四)拓寬融資渠道,創新融資方式
為了給大數據發展創造良好的融資環境,必須拓寬融資渠道。首先,政府參與,為大數據產業提供啟動資金、搭建信貸平臺,拓寬融資渠道;其次,充分利用銀行貸款,提高大數據產業銀行貸款信用;最后,扶持企業進入資本市場,通過引導大數據企業進入資本市場,通過上市直接在資本市場上融資,充實資本實力。
由于大數據產業發展的特殊性,可以創新融資方式。一是私募股權融資,融資對象以管理層為主,內部職工適度參與;二是“轉貸”民間借貸;三是商業信用,企業以商品讓渡的形式為下游企業提供融資。