根據IDC的統計,每過18個月,人類所積累的數據總量就會增加1倍。全球在2010年正式進入ZB(zetabyte)時代;預計到2015年,每個聯網用戶每天將會生成超過4 GB的數據流量(相當于一部片長4小時的高清電影的流量)。物聯網的蓬勃發展,更讓數以億計的各種傳感器24小時不間斷地采集海量數據。暴漲的數據量給傳統計算和存儲帶來了前所未有的挑戰,從而催生了云計算技術。
數據量暴漲的這一現象,其實用“海量數據”描述較為恰當,但這個詞過于普通,已無法引起公眾的興趣。于是,有人便使用了 “大數據”這個詞。大數據的“大”和“云計算”的“云”異曲同工,從一開始就充分引起了公眾的疑惑和好奇。慢慢地,人們感覺沒有其他的詞能夠代替它們,因而使得大數據成為繼云計算之后又一個在IT界炙手可熱的名詞。
在大數據相關技術的發展史中,Google公司有著舉足輕重的地位。Google從2003年起,先后通過論文公開了Google文件系統(GFS)、并行分布式編程模型MapReduce、大數據數據庫bigdata等技術,引起全球的效仿。2011年,Facebook效仿Google,將其全新設計的服務器和數據中心方案開源,在全球引起新型數據中心建設熱潮。
本專題旨在揭示大數據現象所帶來的歷史性變革,闡述大數據應用的技術體系、關鍵技術與潛在問題,并介紹在國際處于領先水平的PB級超低功耗云存儲系統和EB級實時云計算數據庫,最后還探討了基于云計算的大數據挖掘平臺的構建,大數據在電信行業的解決方案及應用實踐,以及大數據在面向城市信息感知的社交網絡的應用案例。每篇論文都凝聚著作者對大數據研究的心血和汗水,希望這些成果與觀點可以讓讀者受到啟發,拓寬思路,開拓視野。在此,對各位作者的積極支持和辛勤工作表示衷心的感謝!
劉鵬
2013年5月20日
劉鵬
清華大學博士畢業;解放軍理工大學教授、博導、學科帶頭人,中國云計算專家咨詢委員會副主任/秘書長,中國電子學會云計算專家委員會云存儲組組長;主要研究方向是信息網格、云計算;已主持完成基金項目18項;已發表論文80余篇,出版專著12部。