摘要:通過分析現有服務器資源使用情況,利用虛擬化及Trunk技術,采用ESXI加光纖交換機和光纖盤陣進行業務試點系統的設計與實現;通過實施前后的性能對比分析,闡述虛擬化技術在提升系統資源利用率、方便用戶日常維護管理、降低能耗以及節省開支等方面的優勢。
關鍵詞:虛擬化;資源整合;ESXI;vCenter;vSphere Client;HA;Fault Tolerance
中圖分類號:TP338 文獻標識碼:A
1引言
本著節約成本、提高資源利用率、提高標準化管理程度以及高性能高可靠性的原則,北京市氣象局于2012年實施了虛擬化技術業務應用試驗。虛擬化把操作系統和應用程序與服務器硬件分離開來,提供了很強的靈活性。不用關閉及拆卸物理服務器,就可以實現虛擬機系統資源的動態調整。通過服務器虛擬化試驗,大大提高了服務器資源利用率,增強了業務運行可靠性,提高了機房空間和各種端口的利用率,方便了系統管理員管理,同時大大降低了能源消耗。服務器虛擬化實驗運行以來,在北京市氣象信息中心和部分直屬業務單位得到了應用,各虛擬服務器運行穩定,服務器的管理變得更簡單,虛擬化實驗取得了很好的效果,得到了大家的認可。
2現狀分析
目前北京市氣象局業務系統大多數是單應用一臺服務器或者多臺服務器的運行模式,隨著應用越來越多,服務器數量急劇增加,一方面服務器資源分配不合理的現象層出不窮,磁盤空間、內存I/O使用率的不足也隨著業務系統的增加日益突顯,另一方面部分服務器資源卻得不到有效的利用,硬件系統的擴容維護必須停機等問題日益嚴重。
在進行虛擬化部署前,通過部署系統資源監控軟件Ganglia,對北京市氣象局部分服務器CPU 、MEM、硬盤利用率、I/O負載、網絡流量等情況做了統計,統計結果見圖1。
通過統計結果來看,大部分服務器資源閑置嚴重,73%的服務器CPU使用率不到10%,48%的服務器內存使用率不足50%,67%的服務器磁盤使用率不到50%,90%的服務器網絡帶寬使用率不到10%。盡管如此,還有一些開發人員的需求無法滿足。由此看來,進行服務器資源整合,合理化利用迫在眉睫。
4應用情況
目前試點部署了兩個虛擬化集群,一個用于實時業務,另外一個用于移動辦公和業務實驗。總共部署了25個虛擬服務器,12個實時業務虛擬服務器分別是Micaps數據處理服務器兩臺,縣站服務器,風云2D2E處理服務器,細網格處理服務器,雷達Pub服務器,一體化試點服務器,自動站處理服務器,文件共享服務器,后置機服務器,自動站服務器兩臺;3個業務測試虛擬服務器分別是開發試驗服務器,2臺地面氣象觀測自動化試點服務器;移動辦公虛擬服務器8個。虛擬服務器分別部署Windows XP、Window2003、Windows2008、Suse 、Centos、Red hat等操作系統。下面就四個方面分析虛擬化技術在氣象業務應用方面的優勢。
4.1大幅度縮減系統部署的時間成本
在實際應用中,我們是通過虛擬機模板克隆方式來部署虛擬服務器。相比傳統方式,克隆模板部署虛擬機極大地提高了服務器部署效率,傳統部署模式下服務器上架、連線、申請端口、安裝系統、安裝驅動等步驟需要4-10個小時,25臺服務器需要兩個人至少10個工作日才能完成部署,此外,物理服務器維護重啟過程耗時較長。采用虛擬化技術,一臺服務器部署時間縮減到幾分鐘,25臺虛擬服務器的部署實際僅需半天既可完成。具體數據對比見圖3,服務器自檢時間參考IBM 3650 2分鐘 HP 580G7 3分鐘。圖中“虛擬化”是指虛擬主機,“物理機”是指未虛擬化的主機。
4.2虛擬機在資源利用率方面的優勢分析
根據虛擬機運行情況統計來看,所有虛擬機的內存,IO,網絡資源都能通過調節滿足應用需求,只有細網格處理服務器的CPU資源不能滿足需求,分析應該是解碼程序對多線程多CPU支持不好,而其他虛擬服務器的CPU資源都能通過調節滿足應用需求。按照一周運行數據統計,虛擬化集群CPU最大使用量14GHz,內存最大使用量60GB,網絡帶寬最大占用150Mbps,跟物理機對比數據見圖4,物理服務器內存參考政采標配內存。物理服務器系統資源使用情況通過Ganglia獲取,虛擬機資源使用情況通過vCenter獲取。
可以直觀的看出,不管是虛擬機還是物理機,內存的利用率都很高,但是CPU和網絡帶寬利用率低下。可見我們在做虛擬化的時候可以在主機數量滿足冗余需求的時候,主機內存盡量要大,以達到充分利用其他資源的目的。
4.3方便管理,節能減排,實現綠色IT
從機房空間利用率來看,7臺物理服務器占用機柜空間14U,SAN交換機和盤陣占用6U,網絡和PDU端口各14個;如果不做虛擬化需要25臺物理服務器至少需要50U的機柜空間、網絡接口至少25個、PDU端口50個;從能耗的角度來看,按照每臺服務器200W的功耗計算,25臺物理服務器每天耗電120度,采用虛擬化后7臺服務器每天耗電33.6度,一年能節約用電31536度。具體數據對比見圖5(圖中數據是轉換成的百分比)。
從管理角度來說,現在管理員操作服務器都得去機房的KVM終端。有時候遇到大的故障或者系統切換,就會出現多個人搶用一個KVM終端的情況,及其不便。
采用虛擬化技術,管理員通過vCenter集中管理虛擬主機,能實時了解每個主機的資源使用情況,硬件健康狀況。使用VMware vSphere Client管理虛擬機,可以管理任意主機的任意虛擬機桌面,通過賬戶權限控制不同用戶管理不同的虛擬機,使用VMware vSphere Web Client管理跨平臺的虛擬機管理方式,支持IE,Firefox,有瀏覽器就能管理虛擬機,靈活方便(見圖6、圖7)。
4.4多種技術手段提升業務系統的可靠性
從可靠性來說,現有服務器單機作業,硬件故障會導致數據丟失或者生產中斷。安裝在同一服務器的不同應用有時候也會相互影響;而虛擬化集群各個環節物理設備都實現冗余,單一硬件故障不會造成業務中斷。同時利用HA和fault tolerance技術,可實現停機不停業務,方便我們進行硬件擴展和維護升級。另外對相互不兼容或者有沖突的應用我們可以單獨部署一個滿足需求的虛擬機來運行。
通過HA提供的VMotion技術熱遷移虛擬機,我們可以實現無縫多物理機的遷移過渡,在線遷移運行中的虛擬機,改變其主機位置,整個遷移過程虛擬機應用不會中斷。也就是說在虛擬機不停機的情況下將一臺虛擬機從一個ESXI 服務器上遷移到另外一臺服務器上,這樣可以非常方便的在不影響業務的前提下對ESXI 主機進行維護。HA 技術可以實現對物理機監聽當藍屏或發生物理故障時,自動遷移到健康的物理機上,保證業務的正常(內存信息會丟失)。
另外更可靠的方式是利用VMware Fault Tolerance技術在其他主機上創建虛擬機的一個完全相同的副本,實現雙機熱備,2臺實體機虛擬機映射了2個鏡像,活動的主副本和監聽狀態的備副本,當主副本所在的主機死掉后,主副本虛擬機藍屏,備副本可以切換上去。主要副本處于活動狀態時,備副本接收與主副本相同的輸入。備副本完成的所有任務都依照主副本的變動。主副本所有非決定性的活動都將被捕捉,發送到運行在其他Host 上的備副本,備副本在一秒內將活動進行重演(內存不會丟失)。Fault Tolerance 需要很大的網絡和IO消耗,實際應用中我們可以對極其重要的服務器開啟Fault Tolerance,以確保業務可靠性。其他服務器通過vMotion遷移即可滿足需求。
5問題總結
目前北京市氣象局在部分業務系統試點應用了虛擬化技術,由于在少數幾臺服務器上虛擬了數倍的虛擬服務器,因此對物理服務器的性能要求較高,尤其是內存的需求較大;其次,虛擬機需要復用網絡資源,所以對網絡帶寬和可靠性要求較高。最后,由于虛擬機將原本分散在多個獨立服務器的單點風險集中在了某幾臺服務器上,因此我們需要更加關注系統的可靠性以及長期大數據量壓力下虛擬機的性能表現。
6結束語
VMware虛擬化技術的成熟和可靠性是毋庸置疑的,但是在我們氣象業務中還沒有大力推廣和采用,分析原因主要有兩點,一是我們現有的基礎架構都比較復雜,二是安全風險角度考慮。如何解決好這兩大難題將會影響到我們今后的虛擬化進程。計算機硬件技術的突飛猛進,使得我們的服務器在完成獨立任務的時候會有大量的系統資源富裕,虛擬化技術的出現使我們能夠對這些閑置的資源進行充分利用。同樣隨著復雜計算和海量存儲的出現,單個計算機無法快速完成的運算和存儲任務,可以使用虛擬化技術將多個物理服務器集成在一起,共同分擔運算和存儲任務。隨著新技術的不斷廣泛應用,技術上的可用性和穩定性也越來越被用戶所接受,虛擬化技術在氣象部門的應用也會進入一個高速發展的時期。
參考文獻
[1]汪華,黃笞,方斌.貴州省氣象信息業務系統的虛擬化實現[J].成都信息工程學院學報, 2012,27(2):186-191.
[2]許志敏,白克壯.服務器虛擬化技術在數據中心的應用探索[C].第二十四屆全國計算機信息管理學術研討會論文集,286-291.
[3]左軍.基于SAN存儲架構的x86服務器虛擬化測試方案[J].電力信息化,2008,(10):94-96.
[4]周俐軍,林澤東,劉偉科.基于VMware的高校數據中心虛擬化管理探究[J].中國管理信息化,2009,(16);61-65.
[5]董兆殷.基于ESX Server的校園數據中心虛擬化技術的研究[J].電腦知識與技術,2010,(12):3140-3141.
[6]李琳,祁天者.服務器虛擬化技術探討——Hyper-V與VMware的分析與比較[J].科技傳播,2010,(11):114-118.
[7]吳海洪,鄭民,張偉勝.基于VMware的校園網服務器虛擬化管理[J].計算機與信息技術,2008,(10):63-65.
[8]辛軍,陳康,鄭緯民. 虛擬化的集群資源管理技術研究[J].計算機科學與探索,2010,(4):324-329.
[9]朱建新. 趨于云計算的虛擬服務器集群[J].南通大學學報:自然科學版,2009,(1):22-25.