面向氣象領域的應用支撐系統①

王 力,曹錦飛

(江蘇省蘇州市氣象局,蘇州 215131)

引言

近年來,隨著云計算、虛擬化技術的發展和應用[1],云計算平臺產品得到各行各業的廣泛使用.越來越多的應用領域,構建了適宜于自身的應用支撐系統[2,3].氣象部門作為科技密集型部門,對新技術有天然的應用需求,同時,信息技術在氣象行業的深度應用,能夠解決業務中存在的突出問題.從信息化角度,地市級氣象部門承擔著氣象數據的收集、存儲、分析、共享,公共氣象服務產品的發布等職能,特別是災害性、極端天氣來臨前,公共氣象產品的短時、海量的數據請求,氣象災害信息的及時發布,對計算資源、支撐系統的可靠性、健壯性、并發處理能力提出較高要求,譬如,在災害性天氣來臨時或天氣預警發送時點,蘇州氣象APP客戶端有約5萬用戶的并發訪問,常常造成服務器崩潰,傳統的服務支撐模式已無法滿足公共氣象服務需求.因此,急需應用新技術,結業應用需求,運用工程思維構建面向氣象領域的應用支撐系統.

目前,面向地市級的氣象應用支撐系統存在以下幾方面問題急需解決:(1)計算資源還處在單服務器單應用模式,資源需要整合.(2)應用支撐系統整體可靠性、可擴展性差.(3)系統并發處理能力滿足不了短時海量的數據訪問.(4)監控運維困難,集約化的運維監控系統缺失.因此,針對氣象應用中所面臨的諸多問題,構建一種集約整合、彈性可擴,可靠性高,且能夠實現應用端負載均衡的氣象應用支撐系統非常必要.這也是氣象業務、公共氣象服務得以有效開展的基礎性工作.

在計算資源整合,提高資源利用率和系統可靠性上,虛擬化技術的發展,使得計算資源的使用效率和資源的動態配置和擴展都有了很大提升[4].目前,包括KVM (Kernel-based Virtual Machine)[5]、VMware[6]、Xen等[7]在內的基于裸金屬架構的虛擬化產品在各領域私有云搭建上得到廣泛應用.張千等[8]基于KVM虛擬化技術,提出一種私有云平臺實現方案,并應用于石油勘探開發行業.華連生等[9]采用VMware虛擬化,開展了氣象業務省級資源池的設計與應用,并推進了省市縣氣象業務的整合.蔣建軍等[10]提出一種基于虛擬化技術的應用交付設備,終端用戶以虛擬桌面或虛擬應用方式運行部署在虛擬服務器上的應用程序,實現了應用虛擬化.李成功等[11]針對空管信息系統建設中存在的資源利用率低、軟件緊耦合、數據存儲分散等問題,提出一種混合云模式的新一代空管信息系統.

為解決虛擬機集群資源利用負載能夠均衡分配的問題,易星宇等[12]通過遷移高負載主機上的虛擬機到低負載主機,使得各主機處理器頻率更均勻,以達到節省能耗的目的.何倩等[13]提出基于軟件定義網絡的反飽和負載均衡方法,通過周期性獲取云主機負載和權值調整來保證云主機集群負載更加均衡.劉勝楠等[14]在Xen虛擬化環境中,實時監視宿主機和虛擬機的負載狀態,通過虛擬機啟動和關閉來提高Web服務集群的伸縮性和自動化能力.

本文面向氣象領域的應用需求,從信息系統支撐更加集約、高效、可靠、靈活的角度,采用云計算、虛擬化技術,負載均衡策略配置及與虛擬化的聯動技術,構建一種面向地市級氣象領域的應用支撐系統,并投入業務使用,極大地提升了信息系統支撐能力,在系統運維方面,實現了自動化運維和監控.

1 系統總體設計

按照分層架構思想,將系統分為4個層次,各層之間各司其職,分層解耦,系統框架圖如圖1所示.

圖1 系統框架圖

如圖1所示,將系統分為物理資源層、虛擬資源層、負載均衡與分發層,應用層.其中,虛擬資源層、負載均衡與分發層是本次應用支撐系統設計的核心,虛擬資源層基于KVM虛擬化技術實現計算、存儲資源的整合、虛擬化和池化,完成資源管理、業務負載監控及基于業務負載的動態資源調度等功能,構建更為可靠、高效、彈性的基礎計算資源支撐平臺,并實現集約化的運維監控.負載均衡與分發層是面向不同類型的氣象應用,采用合適的負載均衡策略,將負載均衡與虛擬資源的分配相結合,完成聯動資源擴展和回收,實現面向氣象應用的精準資源支撐,同時,增強氣象業務系統的并發處理能力.

2 關鍵技術

2.1 虛擬化資源平臺

針對蘇州市氣象部門數據中心存在的單應用單服務器的支撐現狀,采用服務器虛擬化技術進行資源整合是基礎性工作.因此,本文基于X86刀片式服務器和部分利舊服務器搭建了虛擬化資源管理平臺,實現了資源的集約和統一管理,完成日常氣象計算資源的便捷式分配、管理及相關資源的監控,進一步提高了系統運維水平.資源集約的前提是搭建更為可靠的計算資源支撐系統,本文分別采用虛擬化管理平臺雙機熱備、虛擬機快照備份、關鍵氣象業務系統整體備份等方式實現計算資源和氣象業務的雙重備份,提高系統可靠性.虛擬化資源平臺系統結構圖如圖2所示.

圖2 虛擬化資源平臺系統結構圖

如圖2,在搭建共享存儲基礎上,系統采用14把刀片式服務器,安裝虛擬化內核軟件組成計算集群,虛擬化軟件采用基于KVM架構的H3C CAS3.0解決方案.為了避免虛擬化管理平臺主機故障,導致的無法進行及時資源管理和維護的問題,本文在管理主機的搭建上采用2臺性能一般的利舊機架式服務器,通過雙機熱備的形式提高管理平臺的可靠性.

虛擬化平臺管理主機雙機熱備功能是基于數據同步復制的方式實現,主備服務器之間數據的同步是采用DRBD (Distributed Relicated Block Device)分布式存儲復制方法來實現,當主服務器數據發生變化時,該數據變化會實時同步到備用服務器,這樣就保證了主備服務器之間的數據一致性.當主服務器發生故障,主備切換是基于開源的高可用資源管理器Pacemaker和集群框架Corosync來實現.Corosync監測主備服務器之間的心跳.當檢測到主服務器發生斷電故障或網絡故障時,Pacemaker會進行主備管理平臺的切換,備用服務器接管主服務器對外提供業務,并成為主服務器.

2.2 動態資源擴展

動態資源擴展(dynamic resource extension)是通過業務負載監控和業務資源調度兩個模塊實現虛擬資源的動態擴展和回收.業務負載監控模塊實時監控虛擬機的CPU、內存、網絡、磁盤和連接數等負載情況,實現業務系統性能的自動化感知,為資源擴展與回收提供依據,而在實際的應用中,通過劃分不同的動態資源擴展服務器組來實現組內資源的監控和感知.當業務負載達到一定條件后(如超出事先設定的閾值后),業務負載監控模塊向業務資源調度模塊上報資源擴展時間,由業務資源調度模塊進行虛擬機的調度,進行虛擬資源的擴展或回收.同時,結合負載均衡設備,制定不同的負載均衡策略,完成精確到不同業務系統的彈性、可伸縮的動態資源擴展.

本文的動態資源擴展是通過虛擬機模板快速部署或者源虛擬機克隆的方式擴展業務虛擬機.因此,虛擬機要通過DHCP來獲取地址,在實際應用中,通過設置IP地址段來指定具體業務資源擴展的IP地址范圍.動態資源擴展與負載均衡技術的聯動,可解決氣象應用領域突發、短時、高并發數據訪問的問題.

2.3 負載均衡與虛擬化聯動技術

服務器負載均衡技術研究將業務較均衡地分配到多臺虛擬機上,從而提高系統的整體性能.同時,在系統可擴展性、高可靠性方面都有較大的技術優勢,譬如,在不降低業務質量的前提下,可以很方便的增加虛擬機,單個機器故障不會導致業務中斷.負載均衡及其與虛擬化的聯動是動態資源擴展的關鍵技術.針對不同的氣象業務應用,制定適宜的業務負載分發及聯動擴展策略,可以實現面向具體應用的聯動資源擴展.

2.3.1 基于應用的負載均衡

通過劃分面向具體業務的虛服務器,并將虛服務器映射到實服務器組來實現基于應用的負載均衡,系統框架如圖3所示.

圖3 負載均衡框架圖

如圖3所示,將負載均衡框架系統分為以下幾個模塊:

(1)虛服務器:面向具體業務的虛擬載體,只有匹配虛服務器的報文才需要負載均衡處理.具體表現為一個虛擬IP和端口地址,每一種虛服務對應一種應用.

(2)實服務器組:處理業務的實體,一組功能相同的服務器組.實服務器可被虛服務器和負載均衡動作引用,本文通過動態資源擴展技術,動態調整實服務器組.

(3)負載均衡策略:負載均衡分類和負載均衡動作關聯起來構成負載均衡策略.負載均衡策略可被虛服務器引用.

(4)負載均衡分類:將IP報文分類,以便對不同類型的報文執行不同的負載均衡動作.

(5)持續性組:將具有一定相關性的會話分配給同一個實服務器處理,保證會話的持續性.

(6)參數模板:定義對負載均衡IP報文進行處理的模板.

系統將需要負載均衡的業務對外公布一個虛擬IP或虛擬IP和端口地址,通過虛擬化資源平臺和動態資源擴展技術定義實服務器組集合,并將虛服務器與實服務器組形成對應關系.同時,對不同的負載均衡IP報文定義不同的負載均衡策略,當系統檢測到相應的IP報文時,會根據事先定義好的負載均衡分類,采取對應的負載均衡動作,啟動實服務器組中服務器資源負載分配.持續性組模塊是將有一定相關性的會話(如有登錄認證功能的應用)分配到同一個服務器進行處理,保證應用的連續性.

負載均衡與虛擬化的聯動是通過在虛擬化資源平臺定義面向具體業務的動態資源擴展組,在對虛擬機資源監控自動化感知的基礎上,當應用達到預先設定資源擴展或回收條件時,自動進行資源擴展或回收,這對于負載均衡是透明的.也就是通過虛服務器與實服務器組之間的映射,根據實時業務負載情況,動態調整實服務器組,實現了負載均衡與虛擬化資源之間的聯動.

2.3.2 負載均衡策略

采用合適的負載均衡策略是應用得以有效支撐的關鍵,因此,需要根據不同的應用場景選取合適的負載均衡算法.

2.3.2.1 源/目的IP地址哈希算法

源IP地址哈希算法是針對請求的源IP地址的負載均衡,用源IP地址作為散列鍵(Hash Key)從分配的散列表中找出對應的服務器,通過虛擬化計算資源監控模塊自動化感知服務器健康狀況和負載情況,若該服務器是可用的且未超載,則將請求分配到該服務器.假設有一個服務器集合S={S0,S1,…,Sn},HashTable[]表示一個Hash表,初始值是將服務器集合順序、循環地放置到HashTable中.當有IP地址請求時,通過Hash函數計算出Hash值,然后,在HashTable中,找出對應的待分配服務器,本文采用素數乘法Hash函數,通過乘以素數使得Hash值達到較均勻的分布.負載均衡與虛擬化的聯動,使得服務器集合S中的服務器是動態變化的,相對于傳統的靜態調度算法,更有益于保證應用的穩定性和可用性.

2.3.2.2 最少連接算法

客戶端的每一次請求服務,在服務器停留的時間可能有較大的差異,隨著調度時間的加長,如果采用簡單的輪詢或隨機算法,每一臺服務器上的連接進程可能會產生很大的不同,并沒有達到真正的負載均衡.

最少連接算法對需要進行負載均衡處理的每一臺服務器都有一個數據記錄,記錄當前該服務器正在處理的連接數量,當有新的服務連接請求時,把當前請求分配給連接數最少的服務器.最少連接算法是一種動態的負載均衡算法,使負載更加均衡.

2.3.3 持續性方法

從某種意義上講,負載均衡技術使得各服務器的負載更加均勻,同時帶來了會話分配具有一定的隨機性的問題.為了解決具有一定相關性的會話分配給同一個實服務器處理,本文在實現負載均衡的同時,采用持續性方法,建立持續性表項,以保持會話的持續性.根據氣象應用的類別,分別根據源IP和端口信息、報文的Cookie和報文的某些特定內容進行持續性處理.

IP和端口信息持續性處理方法將同一個網段的地址訪問流量統一分給同一臺服務器處理,適合于星型的網絡布局,對于同一分地的用戶提供同樣的服務.報文的Cookie持續性處理方法較適宜于對同一用戶的不同時間內的業務分發到同一臺服務器.Cookie的作用是用來區分用戶以及跟蹤用戶的訪問特征,以Cookie做為持續性可以提高用戶的訪問體驗.利用報文的某些特定內容(如HTTP報文的報文體)進行持續性處理,如報文體中的UserName提取,以用戶名匹配持續性表項內容,進行會話保持.

3 系統應用及運行效果

在搭建虛擬化資源平臺和負載均衡技術的基礎上,在氣象領域,選取有條件的典型應用(如前后端服務分離、分層解耦等氣象應用),進行了系統應用,并解決短時、突發的業務請求難題.

分別選取了氣象APP、云視頻系統、氣象數據接口平臺3個系統進行了系統應用.應用分析如表1所示.

表1 氣象應用分析

首先對3類應用進行虛IP服務調整,改變原有的單服務器單應用模式,利用虛擬化資源平臺建立實服務器組,創建各應用對應的資源克隆模板和動態資源擴展與回收策略.對于氣象APP、數據接口平臺兩個公共服務系統,采用最少連接負載均衡算法.而云視頻系統是一個市縣氣象部門內部分析系統,在IP地址段明確的前提下,采用源IP地址Hash負載均衡算法,因需要用戶登錄,為保持應用持續性,采用用戶名進行持續性表項匹配,以保證應用的持續連接.實驗證明,3類氣象應用,在實際的業務化運行中在穩定性、并發處理能力、流暢度均較之前有了明顯提升.

氣象云視頻系統應用效果如圖4所示,視頻的分發和調度較為流暢.

圖4 氣象云視頻可視化解碼終端軟件

4 結束語

本文面向地市級氣象領域的應用需求,針對目前存在的信息系統可靠性低、可擴展性差、應用端高并發處理能力弱等問題,從信息系統集約、高效、可靠、靈活的角度,采用云計算、虛擬化技術,負載均衡策略配置及與虛擬化的聯動技術,搭建了虛擬化資源平臺,完成了計算資源整合,在此基礎上實現了動態資源的擴展與回收,設計并實現了一種基于應用端的負載均衡方法,并在實際的氣象領域中進行了應用.通過系統的測試和業務化使用,對氣象應用有一個較為適宜的信息化支撐,整體上,構建了資源彈性可擴,應用端負載均衡的氣象應用支撐系統,極大地提升了信息系統支撐水平.目前該系統運行穩定、高效.