目前,數字資源在圖書館館藏資源的比重在不斷增加,并且還有進一步擴大的趨勢。在這樣的背景下,各國國家圖書館都非常重視館藏數字資源的建設,中國國家圖書館也已將數字資源建設視為文獻資源建設的重點。同時,中國國家圖書館作為我國的國家總書庫必須將大量記載著人類文化遺產的數字資源進行長期保存,使數字資源得到持續利用和保護,以便將來人們所使用。
由此可見,隨著數字資源數量的日益增多、種類的日益豐富、重要性的逐漸增強,如何構建合理的數字資源保存體系,制定合理的數字資源保存策略,將有價值的數字資源進行永久保存,確保各種數字資源能隨時提取利用,以便為今后的數字信息提供保障,是國家數字圖書館當前亟待解決的問題。
國家圖書館信息中心主任、總工程師于洪波表示:“為實現國家圖書館全面數字化,國家圖書館一直在進行改造,預計建成之后的數字化圖書館從非結構數據存儲量上,將達到800TB左右。考慮到數據的安全性、穩定性,目前國家圖書館的數據多以光存儲為主。”
但是暫且不說光存儲能否真正做到永久保存,其離線保存功能也使得數據讀取會較為復雜,同時在大數據時代,它也無法將數據的最大價值充分發揮出來。
進入2013年,全球數據迅速膨脹并變大,數據價值越來越被重視,數據爆炸性增長給像國家圖書館類似的企業帶來了諸多問題,于是,在大數據時代,企業駕馭數據的能力遭到空前挑戰。
“對企業而言,大數據時代把各種技術都推至極限,其中包括獲取數據、管理數據、處理數據等?!崩ヲvStorNext工程副總裁Ivan Pittaluga指出,“目前,在全球范圍內部署了85000套獲得許可的StorNext系統客戶端,管理的數據總量超過400PB,而且這個數據量每天仍在不斷增長中。通過對這些用戶的分析我們發現,大數據時代,企業對于數據的全生命周期管理和永久保存需求旺盛?!?/p>
那么,對于企業而言,什么樣的存儲平臺最具優勢——它應該能夠給數據流提供最高的性能,如果數據需要長期保存起來,其成本是最低的,同時數據的耐久度又非常好??傊徽搹男阅芊矫娉霭l還是從存儲周期方面出發,都能夠為企業提供靈活的選擇?!半S著數據對于企業的重要性愈發明顯,對于數據的永久存儲,有相當一部分企業早已出現需求,但由于成本過于昂貴只得作罷?!盜van Pittaluga表示,但隨著技術不斷演進,把數據永久保存起來,對企業來說已經不再遙不可及。
“一個明顯的趨勢可以看出,此前傳統的存儲,幾乎都是通過在線方式對數據進行加工、保留以及歸檔,但現在已經開始有一些企業采用新的數據流的方式,他們將加工完的數據、現階段不用的數據放到歸檔里面,需要用的時候再將其提取出來,同時,將歸檔存儲實現永久保留,也就是幾千年甚至幾萬年的保留?!盜van Pittaluga表示,“而這些也正是我們一直在推動的,比如說高性能文件系統、可拓展文件系統和可拓展文件管理系統,這些技術就能夠使得用戶以最快的速度實現數據的存取自如,這些性能的提升在StorNext5.0上已有充分體現,從數據的產生、獲取過程,再到分發、歸檔存儲,StorNext貫穿了整個大數據生命周期的管理?!?/p>
此外,對于數據永久保存,針對其成本過高的問題,目前的技術也對其有了應對之策。以昆騰新推出的Lattus存儲技術為例,這個技術最大的功能就是支持海量的數據,幾乎是無線的拓展能力,在地理分布上可以把整個系統分布到不同的位置;具有自我治愈、自我遷移的功能,在一定程度上損失多少外盤、損失多少界面,數據仍然可以在線訪問。此外,相比于傳統的RAID,Lattus將使用更少的磁盤,由此,耗電量和占用機房空間自然也都有不同程度的減少。
“總之,無論是硬盤的購置成本、能耗成本、冷卻成本還是節省空間的成本,Lattus都比其他技術要少,除了降低成本外,使用該技術后,硬盤的利用率也比傳統RAID技術的硬盤提升了44%?!盜van Pittaluga表示。