段仙瓊


摘要:基于西南諸河水文水資源工作特點,設計并構建了一個高效、穩定及模塊化的虛擬化平臺,作為西南諸河水文信息平臺的基礎支撐平臺。該平臺使用基于Linux的內核虛擬機(KVM),采用全虛擬化及半虛擬化技術,設計了隔離區DMZ和局域網兩個虛擬化集群。結合硬件網絡化、應用模塊化技術,制定了行政、物理資源劃分、網絡、安全、運維5個方面的管理策略。虛擬化平臺可模擬WindowsLinux及Unix等多種類型操作系統,從而實現對該局服務器群計算及存儲資源的有效整合和利用。該設計成果可為西南諸河水文水資源信息化作業提供穩定、高效、易擴展的基礎虛擬資源平臺。
關鍵詞:虛擬化平臺;水文信息;KVM;西南諸河
中圖法分類號:TP393.05? 文獻標志碼:A DOI:10.15974/j.cnki.sIsdkb.2020.07.014
1西南諸河流域現狀
西南諸河(瀾滄江及以西)位于我國青藏高原及云貴高原地區,包括雅魯藏布江、怒江、瀾滄江、伊洛瓦底江、藏南、藏西諸河等流域,橫跨我國第一級臺階和第二級臺階。西南諸河在西藏境內的雅魯藏布江流域面積最大,但站網分布較少。云南境內大部分屬于西部型季風氣候",千濕季節分明,春冬季受西風帶環流控制,夏秋季節受西南季風環流控制;河流中下游還受到副熱帶低緯度天氣系統及副高邊緣的東南氣流影響,主要降雨集中在5~10月,枯汛期明顯2。由于獨特的氣候類型,地質構造活躍,巖性復雜3等因素使得該地區水資源總量豐富但時空分布不均,導致水資源的開發利用程度低4。為了在水量調度分配過程中統籌考慮生產生活供水、發電、航運、生態等需求,需要收集大量的西南諸河流域水文情報信息。
西南諸河流經東南亞地區的越南、老撾、柬埔寨、緬甸、泰國及印度等國家。西南諸河地區集水面積在3000km'以,上的國際河流多達18條,其中瀾滄江(湄公河)流經6國,屬亞洲第三、世界第七大河流,也是我國連接東南亞國家的橋頭堡5。由于該區域涉及眾多國家、行政區和國際組織,以及不同的水文、氣象、電力等部門單位,如何及時、持續地獲得該區域內各種水文情報預報信息,并對其進行有效整合,做好河流水文、水資源分析評價工作,為“一帶一路”東南亞沿線國家提供有效水文情報、預報及水資源信息服務,是搭建西南諸河水文信息平臺必須考慮的內容。
2信息中心工作現狀及特點
長江水利委員會水文局西南諸河水文水資源勘測局(以下簡稱“西諸局”)成立以來,配置了2間機房、2臺服務器,目前,運行中的水文信息化應用系統有2套。隨著西南水文業務的逐步開展,對于水文水資源的信息化及其信息化設備的需求不斷增加。傳統業務系統大量利用物理服務器構建信息中心的建設模式6已無法滿足西南諸河水文信息中心多樣化的業務需求和發展方向。經研究分析,西南諸河水文信息中心的業務工作具有如下特點。
(1)數據來源多樣化。作為西南諸河水文水資源信息的歸集終點,西南諸河信息平臺匯集的水文水資源數據既有結構化數據也有非結構化數據。大致可分為:各省市滿足SL323-2011《實時雨水情數據庫表結構與標識符》口的交換數據、各類非標準結構化數據、各類非結構化數據以及外方提供的結構化和非結構化數據等。數據來源的多樣性決定了數據傳輸途徑、交互接口的多樣化,從而使得支撐其運行的系統和軟件標準多樣。
(2)服務對象多樣化。西南諸河水文水資源信息中心的主要服務對象是我國的西南地區以及東南亞各國及國際組織,并為瀾滄江、怒江、伊洛瓦底江、雅魯藏布江等流域及其下游國家提供防汛減災和水資源服務。針對不同的服務對象,需提供不同的服務方式、軟件技術類型,軟件架構和運行環境較為復雜。
(3)業務特點多樣化。鑒于西諸局面向的水文水資源服務對象業務多元化,面對不同服務對象并提供多元化的服務模式是西諸局水文水資源工作面臨的挑戰。因此需要配備專業化和多樣化的水文信息軟件平臺。
鑒于此,亟待構建一個可連接廣域網、因特網等多種網絡,支持多種途徑的數據來源[8],具備多種類型的數據交互接口,同時可提供豐富的專業化水文信息服務的軟件平臺。對于支撐其運行的服務器軟件環境層必須具備硬件利用率高、穩定、模塊化、易擴展、富有架構彈性并兼容多種操作系統平臺的特性。在選擇信息化設備,尤其是設計總體信息化架構時,需汲取歷史經驗和教訓,避免出現單臺服務器利用率低下、老舊設備堆砌或大量計算資源遭到浪費的現象。
3KVM虛擬機技術及其優勢
對比當前主流的虛擬化平臺,考慮到西南諸河水文信息平臺特性,選取KVM虛擬機技術為核心構建西南諸河水文信息中心虛擬化平臺[9-10]。KVM是基于Linux的內核虛擬機12,也是基于硬件虛擬化技術完全開源的Linux原生虛擬化解決方案3。硬件方面,其支持對x86、AMD64等架構的虛擬;軟件方面,其支持對Linux、Unix、Windows等操作系統的完全虛擬化以及半虛擬化4。
相較于VMWare的vSphere、微軟Hyper-V等虛擬化技術5,KVM具有高性能高安全、低成本、擴展強的特點,其技術優勢如下。
(1)可與Linux內核集成,運行穩定,速度快。無需任何變更就能享受Linux內核進程調度、內存管理和設備支持。
(2)屬于開源軟件,可免費使用及升級,不受軟件授權限制。
(3)具有完善的自動更新機制,各組件隨Linux升級,可直接享受Linux內核代碼優化帶來的性能提升。
(4)KVM是OpenStack私有云的虛擬層,虛擬化平臺可選擇向OpenStack私有云演進6。
(5)支持Windows、Linux、Unix等操作系統,是異構環境的最佳選擇。
虛擬化平臺設計
4.1總體框架
根據西南諸河水文水資源業務信息化系統應用體系的特點,西南諸河水文信息中心虛擬化平臺(以下簡稱“平臺”)由隔離區DMZ和局域網兩大虛擬化集群組成,見圖1。
局域網虛擬化集群主要承擔國內水文水資源
數據及應用平臺的虛擬化實現。按照數據匯集、審核、統計、分析及應用等不同環節和應用,分別部署虛擬邏輯服務器,實現系統運行環境的隔離,保障各個系統平穩運行、互不影響。在局域網虛擬化集群外,配置獨立的核心數據庫服務器(集群)和虛擬化平臺控制服務器。其中,獨立的核心數據庫服務器(集群)提供高性能、高安全數據存儲服務;虛擬化平臺控制服務器提供局域網虛擬化集群和DMZ虛擬化集群的監控、控制、故障轉移等服務。
DMZ虛擬化集群”部署在與因特網連接的DMZ區域內,主要承擔對其他國家及國際組織提供服務應用平臺的虛擬化實現任務。DMZ虛擬化集群利用KVM虛擬化技術支持多種操作系統的特點,可為東南亞國家及相關國際組織提供多種接口及多樣化形式的水文情報、預報及水資源分析評價等服務。
DMZ虛擬化集群和局域網化虛擬集群使用橋接模式的,虛擬交換機接入局域網,與物理計算機和網絡設備組,成混合網絡。其間可根據需要,選擇單、雙向防火墻和入侵檢測訪問過濾或更高級別的完全物理隔離,在滿足不同區域業務發展需要的同時,保證足夠的網絡信息安全防護。
4.2單虛擬化集群架構
DMZ虛擬化集群和局域網虛擬化集群均使用多臺物理服務器(宿主服務器)安裝虛擬化軟件,形成單虛擬化集群的服務器硬件層和虛擬層。單集群內各物理服務器上運行多臺虛擬邏輯服務器。各應用系統分別安裝、運行在各自獨立的虛擬邏輯服務器內,可擁有不同的操作系統及軟件架構。各虛擬邏輯服務器共享虛擬化層提供的計算、存儲資源池,并通過各自的虛擬網卡經由宿主服務器的虛擬交換機訪問外部網絡。單虛擬化集群基本架構見圖2。
虛擬邏輯服務器由安裝在虛擬化平臺控制服務器上的虛擬化控制臺進行控制及資源調度,提供虛擬機的開關機、快照、備份、掛載遷移以及性能監視等功能。虛擬化控制臺使用基于非對稱加密的SSH傳輸方式,可對各虛擬邏輯服務器進行控制、管理及遷移等操作。另外可通過克隆模板快速部署虛擬邏輯服務器,提高業務系統上線速度。
虛擬化控制臺可實現虛擬邏輯服務器在本單集群內的多臺物理服務器上動態或靜態遷移,當某個物理服務器出現問題時,可將虛擬邏輯服務器遷移到其他物理服務器,以保證業務的連續性。
4.3單虛擬化集群功能設計及組成
單虛擬化集群主要包含3個功能。
(1)硬件網絡化。減少與服務器硬鏈接的設備,盡量采用網絡等柔性連接代替原來使用的服務器外圍設備。水文信息中心服務器較常見的外圍設備包括:RS-232/RS-422/RS-485串口卡[18]。主要連接串口設備用于數據收發;各種USB接口設備,主要用于數據收發、USB一KEY電子狗認證;使用PCI一E接口用于浮點計算與并行計算的圖形加速處理器(GPU)等。
針對這些設備,使用串口網絡服務器代替串口卡、連接串口線;使用USB網絡共享設備(軟件)代替USB設備及USB一KEY認證;使用GPU虛擬化技術,解決用戶對于浮點計算與并行計算的vGPU需求。
(2)系統虛擬化。宿主服務器使用基于Linux系統的KVM虛擬化解決方案!叫,方案結合了全虛擬化和半虛擬化技術。使用全虛擬化技術隔離各個虛擬邏輯服務器,保證運行在各個虛擬邏輯服務器上的應用獨立運行和維護。虛擬邏輯服務器安裝串口服務器驅動程序和USB網絡共享設備驅動程序,通過網絡訪問串口和USB設備資源。使用半虛擬化技術可大幅增加虛擬邏輯服務器的網絡I/0性能,提供接近非虛擬環境中原生系統的性能。
(3)應用模塊化。設置虛擬邏輯服務器中的應用系統盡量使用本機資源。應用系統的運行庫中間庫均建立、運行在各個虛擬邏輯服務器中。規范所有應用系統對核心數據庫的訪問權限,細化配置數據庫用戶的讀取寫人權限。
4.4管理策略
初步搭建虛擬化平臺后,需要有與之配套的管理策略以保證其安全、穩定長效運行。管理策略包括行政管理、物理資源劃分、網絡管理、安全管理運維管理5個方面。
(1)行政管理策略。根據虛擬化平臺的特點,通過劃分宿主服務器和虛擬邏輯服務器的行政管理邊界以及物理網絡和虛擬網絡的行政管理邊界,形成清晰的分層管理架構,對虛擬化平臺技術管理提供堅實的行政管理保障。
(2)物理資源劃分策略。根據宿主服務器不同的配置和硬件架構,形成對于虛擬邏輯服務器的物理資源劃分策略,包括CPU核心劃分策略NUMA跨越策略、動態內存分配策略等。
(3)網絡管理策略。主要針對虛擬化的服務器集群架構,規劃、架設及配置相應的網絡架構,形成切合工作需要以及網絡安全的信息鏈路。設計并配置分別運行在西諸局局域網廣域網以及與因特網連接的混合網絡中的物理和虛擬網絡架構。物理鏈路層包括光/電網絡規劃、路由規劃、VLAN劃分、網絡帶寬配置形成網絡負載均衡策略等;虛擬網絡層包括虛擬交換機、虛擬網橋、虛擬NAT、虛擬SAN的劃分及配置。
(4)安全管理策略。主要包括網絡安全策略、系統安全策略2個部分。網絡安全策略需要對物理和虛擬混合網絡做出安全配置,包括混合網絡架構的合理規劃,防火墻、入侵檢測系統等安全設備的規劃配置。系統安全策略需要針對在虛擬集群中運行的多種操作系統及應用軟件做出相應的安全配置,形成軟件安全補丁更新、病毒庫升級、數據庫權限分配等多項安全策略。
(5)運維管理策略。主要包括備份策略、遷移策略和快照策略3個部分。需要形成物理服務器以及虛擬邏輯服務器中運行的數據庫、網站、應用軟件及配置乃至整個軟件系統的備份策略,以防止因虛擬化程度和系統密度大幅度增長而出現單一乃至多虛擬化節點軟、硬件故障導致的大面積虛擬邏輯服務器宕機、下線。需要針對虛擬服務器集群配置囊括離線和在線兩種方式的遷移策略,分別形成針對虛擬邏輯服務器和虛擬硬盤的快照策略,在滿足應用的同時,保證系統快照和差異硬盤穩定運行。
運行成果及效益分析
(1)提高了物理服務器的利用率。通過服務器整合,控制了物理服務器的使用數量,提高了服務器、CPU、內存以及硬盤的使用率,降低了硬件采購成本,從而降低了數據中心機房、機柜、用電量等運行和維護成本。
(2)提高了系統模塊化率。通過虛擬化軟件創建多個虛擬邏輯服務器,使應用軟件成套運行在各自的虛擬邏輯服務器,軟件運行環境可針對本機應用軟件高度定制。整個西南諸河水文水資源業務信息化系統應用體系可實現虛擬邏輯服務器集群的形式,圍繞核心數據庫高度模塊化運行。除核心數據庫外,任何單一虛擬邏輯服務器宕機都不會影響其他應用軟件,避免了多種軟件共享軟件環境帶來的兼容性和維護性等問題,大大提高了整個系統的穩定性。
(3)加強了信息安全性。根據西南諸河水文信息平臺接收及處理水文信息的渠道及來源,設計了局域網與DMZ兩個獨立并可連接的虛擬化集群。DMZ虛擬化集群的獨立運行保證了不同來源水文信息的專網專用。兩個虛擬化集群之間可根據需要,選擇單、雙向防火墻訪問過濾或更高級別的完全物理隔離,在滿足不同區域業務發展需要的同時,提高了整個信息化體系的安全性。
(4)增強了系統可維護性。不同的應用軟件、平臺可以安裝在各自獨立的虛擬邏輯服務器中。避免了共享應用軟件運行環境的情況,在軟件部署升級時,軟件環境針對性及可配置性更強,不受其他軟件運行條件的制約,增強了軟件可維護性。串口服務器的引入使得數據接收中心站軟件不再與硬件強相關,易于更換服務器硬件底層。使用物理或者宿主服務器,亦可使虛擬邏輯服務器在擁有不同硬件的宿主服務器之間動態遷移。
(5)提高了管理維護水平。西南諸河水文信息化平臺管理員主要負責虛擬化平臺和核心數據庫的管理。各虛擬邏輯服務器可由開發維護公司管理、維護,管理權限明確、范疇清晰,對于數據的安全性、可靠性起到了積極作用。建議定期對各虛擬邏輯服務器的維護管理情況進行評估,有利于對系統和應用平臺的維護服務外包情況進行質量評價。
6結語
平臺通過引入硬件虛擬化技術,結合數據端口的網絡化技術,使用全虛擬化技術實現各應用系統在虛擬邏輯服務器中的獨立運行。在使用半虛擬化技術提高系統性能的同時,基于虛擬化平臺的特點,有針對性地制定了管理策略,使系統架構及拓撲流程更加合理。在服務器利用率、系統模塊化率、信息安全、可維護性及管理等方面均有明顯提高。同時,該方案技術難度不高,架構清晰合理,各模塊邏輯清楚簡單,有利于排錯并能保障信息平臺長期穩定運行。服務器虛擬化技術帶來的高密度、高能效、模塊化優勢是水文信息中心系統架構優化中值得重點考慮及深入研究的方向。
同時,平臺存在開源軟件獲得官方技術支持相對較弱、對運維人員水平要求較高等問題,建議在工作中加強開源軟件的使用,逐步提高水文行業開源軟件的使用比例,培養對開源軟件的使用習慣,增強運維人員對開源軟件及相關技能的熟悉度。在水文行業軟件的使用中,為從國外商業軟件到開源軟件再到國產軟件的過渡打下基礎。
參考文獻:
[1]張景華,封志明,姜魯光,等.瀾滄江流域植被NDVI與氣候因子的相關性分析[J].自然資源學報,2015,30(9):1425-1435.
[2] W hitehead P G,Jin L, Bussi G, et al.W ater quality model-ling of the Mekong River basin: Climate change and so-cioeconomics drive flow and nutrient flux changes to theMekong Delta[J]. Science of theTotal Environment ,2019,673: 218-229.
[3]崔鵬,王道杰,范建容,等.長江上游及西南諸河區水土流失現狀與綜合治理對策[J].中國水土保持科學,2008,6(1):43-50.
[4]孫周亮,劉艷麗,劉冀,等.瀾滄江-湄公河流域水資源利用現狀與需求分析[J].水資源與水工程學報,2018,29(4):67-73.
[5] Zhang M L,Lin C S, He M, et al. Stratigraphic architec-ture ,shelf-edge delta andconstraints onthe develop-ment of the Late Oligocene to Early Miocene continental margin prism, the Pearl River Mouth Basin, northernSouthChina Sea [J]. Marine Geology, 2019, 416:105982.
[6]劉正龍.傳統服務器架構向服務器虛擬化的改造研究[J].數字通信世界,2018(10):246.
[7]SL3232-2011實時雨水情數據庫表結構與標識符[S].
[8]秦昊,張晶,高珺,等.異構水文信息系統間的數據共享技術介紹[J].中國防汛抗旱,2018,28(11):46-49,54.
[9]姚春雷.分析服務器虛擬化技術在數據中心建設中的具體運用[J].電腦知識與技術,2019,15(22):21-22.
[10]鄭彬.傳統服務器架構向服務器虛擬化的改造探討[J].數字通信世界,2017(5):257-258.
[11]High Class KVM Switches Market 2018 Global Indus-try-KeyPlayers,Size ,Trends, Opportunities,Growth-Analysis to 2025[R]. M2 Presswire ,2018.
[12]Uchit G, Mitul M, Mitali R, et al. Distributed virtualiz za-tion manager for KVM Based Cluster[J ]. Procedia Com-puter Science ,2016,79: 182-189.
[13]楊華,梅瀚林.Linux虛擬機網絡配置故障[J].網絡安全和信,息化,2019(7):141-144.
[14]劉宇明.分析WindowsServer2008Hyper-V虛擬化技術攻略[J].電腦知識與技術,2017,13(3):40-42.
[15]陳景亮,張金石,陳晨.Hyper-V服務器虛擬化技術探究[J].青島科技大學學報(自然科學版),2017,38(S1):172-175.
[16]連鴻鵬.基于OpenStack的高可用云桌面設計與實現[J].數字通信世界,2018(2):176-177.
[17]肖巍巍.基于vSphere技術的高校虛擬化服務器集群設計與實現[J].電腦知識與技術,2019,15(24):263-264.
[18]農摯著,邱杰.HXSP-2108C光電隔離型RS-232/RS422/RS485接口轉換器的工作原理、檢測與維修[J].視聽,2010(12):42-47.
[19]彭曉平,張雪堅,黃波.基于KVM的虛擬化技術研究[J].中國新通信,2017,19(20):77-80.
(編輯:李曉蒙)