系統管理員嘉年華——LISA 2010之一海量數據管理時代來臨

系統管理員嘉年華
——LISA 2010之一海量數據管理時代來臨

世界上并不只有研究人員和技術人員的會議，系統管理員們同樣有自己的會議，LISA（Large Installation System Administration）會議就是系統管理員們一年一次的嘉年華。LISA會議是由USENIX舉辦的會議，專門討論系統管理的技術與工具，讓全世界的管理員們有機會交流彼此的經驗，分享最新的工具和管理思想。

第24屆LISA會議于2010年11月在美國的圣何塞市召開。協辦方組織是LOPSA（the League of Professional System Administrators）和SNIA(Storage Network Industry Association)。LOSPA是USENIX下屬的一個獨立組織，主要面向系統管理員。

2010年LISA會議的一個重要主題是海量數據的管理，一方面由于會議的主題是針對大規模系統，另一方面也是由于互聯網內容的不斷變化（視頻數據的增加）。本文將介紹LISA會議上關于海量數據管理的幾篇報告。

大型強子對撞機的計算處理挑戰

擁有據說能毀滅地球的大型強子對撞機（LHC）的CERN（歐洲粒子物理研究中心）的IT部分負責人Tony Cass解說了這臺大型物理實驗設備背后的計算處理設施。

為了捕捉實驗中每個質子或中子的活動，系統需要拍攝數百萬張的電子照片，并將它們存儲下來。目前的數據量大約是每秒100MB到1GB,每年大約需要存儲25PB（25，000TB）的數據。CERN采用雙層的數據處理機制，在CERN中心只保存短期的數據，通過遍布世界的網格系統存儲長期數據。

在軟件上CERN采用了Oracle公司的RAC系統來保證系統的擴展性，并開發了CVMFS（CERNVM-FS，一種緩存文件系統）作為底層的文件系統支持。

這個系統除了擴展性，最重要的問題是可靠性，由于組成網格系統的每一臺機器并非都是高性能的穩定服務器，基本上每個小時都會在網格中出現某臺機器的存儲故障，CERN通過冗余分配存儲任務來保證系統的穩定性。

維塔數碼的存儲性能管理

維塔數碼是新西蘭著名的電影特效公司，由于3D技術的引入，它必須面對管理數據的海量增長。維塔公司最主要的工作就是少數藝術工作人員制作模型，然后將模型的渲染任務發布到后端強大的并發系統上。

維塔公司在文件系統上遇到了很多具體的問題。維塔公司并沒有采用真正的并發文件系統，因為他們認為并發文件系統采用了過多的數據存儲文件的元數據件系統的管理，同時并發文件系統需要將文件劃分成若干塊存儲到不同的存儲系統中，而維塔公司處理的數據包含大量的小文件和少量的大文件，把小文件再進行劃分是一件沒有效率的事情，因此維塔公司采用文件鏈接方式重新組織位于不同目錄的文件，實現了一個偽并發文件系統LinkFarm。

為了提高文件系統的性能，維塔還實現了一種硬盤空間的隱藏技術，因為當硬盤可用空間很少時，文件系統大部分的時間都用在搜索空閑塊上，通過隱藏小的可用空間，可以通過一小部分硬盤空間的損失來換取文件系統性能的大提升。

以太網統治存儲大勢已定

盡管光纖存儲系統比現有網絡存儲系統(iSCSI)更安全、更快，但基于以太網的存儲最終將代替或占據存儲系統的主流。iSCSI協議的方便、便宜和廣泛支持將讓其獲得更大的發展，而10Gb以太網的發展將給iSCSI協議超越光纖存儲系統的機遇。而各大主流存儲廠商提出的光纖存儲系統和以太網的融合技術尚不成熟。而最高層的網絡文件系統(NFS，network File System)也在繼續著自己的發展，NFS的第四版是相當成熟的文件系統，而并發NFS(pNFS)也是現在存儲廠商主流支持的協議。盡管未來網絡存儲鹿死誰手依然難以預計，但以太網統治存儲的大勢已不會改變。