文|戚永
媒體融合發展的新架構
——全融合基礎架構 重報集團打造私有云平臺的實踐
文|戚永
加快傳統媒體與新媒體的融合,促進全媒體數字化轉型升級,是重慶日報報業集團這兩年的重要戰略。集團要求構建全媒體采編、發布、經營、管理為一體的綜合性技術支撐平臺。同時要求這個平臺能夠承載未來大數據應用、移動互聯網的發展以及社會化計算,成為報業集團真正的私有云平臺。
為此報業集團技術處經過歷時半年的考察、實驗、論證,最終決定采用全融合基礎架構(內部產品代號eCLOUD)。這種架構做到了從服務器計算資源、網絡資源、存儲資源、安全資源全部池化、虛擬化,實現資源的統一管理與調度,這樣全媒體平臺各種應用可以靈活遷移,數據存儲通過采用分布式存儲、統一調度的結構,完全融合,徹底打通信息孤島。
1、 隨著業務系統的發展,維護越來越復雜:隨著重慶日報報業集團業務不斷的發展,可以預見會有越來越多的應用被采用。重慶日報報業集團未來建設的云數據中心從業務層面看,需要對集團內重慶日報、晚報、商報等提供全媒體及新業務的支撐服務,服務器數量和客戶端數量將大大增加,亟待解決提高服務器的利用率并提高服務質量,并減少維護工作量、降低維護成本。同時,更要關注到硬件故障及系統故障后,業務是否具備高可用性并持續提供服務,以及在計劃時間內的停機維護時的業務是否正常運轉。
2、 信息孤島現象非常嚴重:
重報集團有多個應用,包括全媒體生產、全媒體運營、內網門戶、對外網站、財務系統等,這些系統硬件相對獨立,數據資源分別存儲,之間的打通只是靠軟件的接口,對于將來大規模數據運營,特別是各個系統的數據之間頻繁交互會形成性能瓶頸,從而導致信息孤島的現象。
3、 IOPS(IO每秒)性能差:融合媒體帶來的新應用類似搜索、輿情、大數據等,與數據交互的頻率非常高,并要求交互的時延非常小,這要求在整個架構中不僅要保證吞吐量、更要降低時延。在傳統構架里集中存儲的性能一直是個很大的瓶頸,這也是類似互聯網大佬們紛紛采取融合架構的原因之一。全融合的存儲與計算架構就是解決這些性能問題的最佳方案
4、 非結構化的文件急劇膨脹:報業集團隨著融合媒體的發展,視頻和圖片量激增,對存儲的要求也加大,但存儲的規劃一直是困擾技術部門的難題。規劃大了怕浪費,規劃小了又不夠,同時傳統專業存儲價格居高不下,讓相應的規劃更是捉襟見肘。在這樣的前提下分布式存儲的需求就變得越來越迫切

圖一

圖二

圖三
5、 系統的復雜性與安全隱患的矛盾:報業集團用到的應用系統將越來越多,但采用傳統構架方式下,安全隱患理論上是隨著系統復雜度的增加而增加。要保證數據的容災,應用的高可用等在傳統構架下的方案都非常昂貴,費用問題往往導致最終不是每個系統都能夠享有高可用方案。
eCLOUD將融合基礎設施、橫向擴展架構和軟件定義存儲的各種優勢結合在一起,可提供極佳的服務器虛擬化體驗。每一臺eCLOUD服務器均包含CPU、內存、網絡、SSD閃存、以及HDD存儲功能。eCLOUD存儲控制器是一種虛擬化的分布式存儲控制器系統,運行于每臺服務器上,并將本地存儲轉換成為共享存儲。eCLOUD完整集群中的所有可用存儲均作為統一的裸設備資源池提供支撐,并提供分布式文件系統的性能優化(圖1)。
盡管沒有專門的SAN或NAS,eCLOUD仍然能夠無縫提供高可用性、DRS和容錯等企業虛擬化功能。為了將性能最大化,eCLOUD存儲控制器將特定虛擬機的所有數據保存在同一服務器上,從而將時延最小化、網絡開銷最小化,并發揮SSD閃存的最大化優勢(圖2)。
1、eCLOUD存儲容量規劃
通過分布式存儲軟件,將不同服務器節點的磁盤做統一管理。所以在用戶服務器上磁盤需要如下配置:
一套服務器配置4節點,每節點2塊400G SSD盤,4塊1T SATA盤,共8塊4 0 0 G S S D盤,1 6塊1TSATA盤,同時考慮一份冗余,實際可用容量為8TB。
通過如上配置,每個服務器配置2塊SSD 用于提供高IOPS性能,配置大容量1TB SATA硬盤用于存放非熱點數據。
2、重報融合架構方案實現的亮點
1) 高性能:該系統高性能優勢通過熱度優化分層緩存實現。分層緩存是一種高性能的緩存,受到集群中每個節點的SSD的支持。虛擬機寫入數據時,數據寫入緩存盤后在后臺清空,在本地SSD上保留一個數據副本,并在不同的節點上保留另外一個數據副本。 采用的分布式元數據技術,元數據可在整個集群上進行分布,實現可擴展性;還可將數據復制到多個節點,高度可用,并能夠容忍多個模塊故障,保證重慶日報報業集團的業務連續性。
2) 易擴展:本次融合基礎架構云數據平臺建設集群從4個節點起步,擴展至8節點,集群以一次添加一個節點的方式逐步進行擴展。未來可隨業務的增長靈活擴展至1000個節點以上。集群添加節點是一個完全動態的過程,無須停機即可在線完成。同時隨著節點數的增加,性能也將線性的提升(圖3)。
3) 成本低:省去了大量的前期投入(資金開銷),可隨增長擴展(運營開銷),能夠靈活選擇行業標準硬件。
4) 管理簡單自動:可以迅速創建出虛擬機以供新應用使用,流程簡單、時間短,且不用再增加任何硬件投資,解決了之前為新應用部署不能快速搭建計算環境、采購新設備流程復雜、時間長的難題。 節省管理成本。
5) 安全穩定:借助基礎構架軟件所提供的HA、容錯等功能,可以為所有的虛擬機提供高可用性,使所有應用得到保護,提供不間斷服務,通過策略配置,實現了數據冗余,即使集群中部分硬件故障,也不會造成宕機,最大化保證業務連續性。
6) 節能:該系統整合后機房中所有服務器、機房空調、UPS等所有硬件設備用電量與之前的減少百分比達到22%以上。
1、 大數據業務:比如希望看到讀者(或未來讀者)的行為數據,希望看到網站(或移動終端)內容的點擊分析,希望看到微博、微信的讀者偏好分析,希望看到用戶產生的UGC(信息、評論),準備開展數據挖掘、文本挖掘、網絡挖掘,發現價值作預判,涉足電子商務的網站……類似以上需求,特別是“實時性”要求,融合構架解決方案可以帶來成本與性能的最優體驗——徹底解決計算與存儲之間的瓶頸,
2、 桌面虛擬化平臺建設:VDI已經成為媒體行業解決遠程作業、內外網隔離、數據安全的最佳解決方案,融合基礎架構給VDI虛擬化環境帶來的重要差異化因素之一就是基礎設施在進行擴展時其性能也隨之增長,不會形成瓶頸問題。融合基礎構架為客戶提供經過實踐檢驗的可靠參考架構,一方面將創造價值的時間最大化,同時盡量降低風險。
3、 降低運維管理成本:集中化管理,同時集群中所有虛擬存儲控制器不斷彼此通信。當檢測到某個節點發生故障時,集群便立即采取行動,自動恢復到節點故障發生之前的保護水平。減少管理和運維成本,自動保障數據一致性及業務高可用性。
隨著重慶日報報業集團全媒體業務的不斷發展,一定會有越來越多的新媒體、全媒體應用需要部署或者調整到融合基礎構架中。融合基礎構架在軟件定義數據中心領域擁有十分廣泛的經驗,能夠提供極其詳細的指導,幫助客戶選擇適當規模的虛擬化數據中心基礎設施,隨時進行架構改造與擴展。
(作者單位:上海怡德依云信息技術有限公司)