大數據面臨的挑戰復雜艱巨

文/中國工程院院士 陳 鯨

大數據面臨的挑戰復雜艱巨

文/中國工程院院士 陳 鯨

未來的信息世界是“三分技術，七分數據”，得數據者得天下。繼實驗科學、理論科學、計算機科學之后，以大數據為代表的數據密集型科學將成為人類科學研究的第四大范式。

大數據中蘊藏著關乎社會動向、市場變化、科技發展、國家安全的重要戰略資源。大數據會為國內處理器芯片自主研發行業提供重大機遇，也會有更多應用數據技術的新興公司和經營模式出現。

不過，雖然大數據的前景燦爛，但其面臨的挑戰也非常復雜和艱巨。

首先便是數據的異構性和不完備性。大數據來源多樣，且越來越多地分散在不同的管理系統中。據不完全統計，目前采集的數據85%以上是非結構化和半結構化數據，因此不能用已有的簡單數據結構來描述。而傳統關系數據庫又無法高效處理這些復雜數據結構表示的數據。數據的不完備性主要是指所獲取的大數據常常包含一些不完整信息和錯誤數據。因此，在進行大數據分析處理之前，必須對這種數據的不完備性進行有效處理。

另一個嚴峻挑戰便是大數據處理的時效性。隨著時間的流逝，大數據中所蘊涵的知識價值也隨之衰減，其價值與時效性密切相關。一般數據樣本量越大，分析處理時間會越長，但在許多情況下，大數據用戶要求立即獲得數據分析結果。這就要求為復雜結構的數據建立合適的索引結構，并要求索引結構的設計簡單、高效，且在數據模式發生變化時能很快進行適應性調整。

據當前所掌握的資料分析：人們在互聯網上的一言一行，基本上都掌握在互聯網商家手中。例如，淘寶知道用戶的購物偏好，騰訊知道用戶的好友聯絡情況，百度知道用戶的檢索習慣等。而目前，中國還沒有專門的法律法規來界定用戶隱私。另外，如何在大數據環境下確保信息共享的安全性？如何為用戶提供更為精細的數據共享安全控制策略？這些問題都值得深入研究。

據2012年的資料顯示：谷歌數據中心的年電功率約為3億瓦，Facebook為6000萬瓦左右。最令人驚訝的是，在這些巨大能耗中，實際只有6%～12%的能量是真正用于響應用戶查詢請求的，絕大部分電能則是被用來確保系統服務器處于正常待機狀態，以應對突如其來的用戶查詢網絡流量高峰。

對此，可以考慮采用新型低功耗硬件以及建立計算核心與二級緩存的直通通道，從應用、編譯器、體系結構等多方面協同優化，另外就是引入可再生新能源。

復雜的分析過程和難以理解的分析結果會制約各行各業從大數據中獲取知識的能力。大數據分析結果的可視化呈現，將是大數據管理易用性方面要解決的重要問題。

我國亟待提出適合國情的大數據發展戰略和技術路線。大數據研發計劃是搶占信息技術發展制高點的重大舉措，將解決數據爆炸性增長帶來的管控和利用難題，同時改進對大數據的獲取、管理、挖掘和利用能力，實現數據到知識、知識到決策、決策到行動的快速轉化，推動人類社會進一步向智能化邁進。

（本文摘自陳鯨在“大數據與數據科學進展主題論壇”上的發言）