低成本構(gòu)建云渲染平臺(tái)

渲染是影視動(dòng)畫作品制作的最后一步，這一過程需要大量的計(jì)算資源和時(shí)間。尤其在電影工業(yè)蓬勃發(fā)展的今天，渲染所需的時(shí)間也呈現(xiàn)出爆炸式的增長(zhǎng)。2013年上映的《瘋狂原始人》，其渲染所耗費(fèi)的規(guī)模是8000萬核·小時(shí)，而今年年初上映的《冰雪奇緣》，其渲染時(shí)間則更長(zhǎng)。隨著CG（電腦圖形/數(shù)碼圖形）數(shù)字影像技術(shù)的發(fā)展，未來渲染所消耗資源的規(guī)模會(huì)越來越高。

贊奇科技是國(guó)內(nèi)專業(yè)從事三維圖形云渲染服務(wù)的一家公司。他們面向CG行業(yè)，將圖形的高密度計(jì)算通過云計(jì)算的手段提供在線實(shí)時(shí)渲染服務(wù)，并與集云公司合作，采用定制化的一體機(jī)和分布式存儲(chǔ)，打造出渲云平臺(tái)，在中國(guó)眾多民營(yíng)企業(yè)所提供的渲染平臺(tái)中，成為出類拔萃的領(lǐng)先者。

渲染平臺(tái)面臨挑戰(zhàn)

2012年，由贊奇科技自主研發(fā)的渲云正式上線對(duì)外運(yùn)營(yíng)，這是贊奇科技針對(duì)高端三維動(dòng)畫電影的渲染需求，通過頂級(jí)的圖形處理技術(shù)和超大規(guī)模集群渲染服務(wù)，為幫助三維數(shù)字制作企業(yè)提升CG作品渲染效率、降低制作成本而推出的云渲染服務(wù)平臺(tái)。

贊奇科技總經(jīng)理?xiàng)铌考榻B說，渲云自對(duì)外運(yùn)營(yíng)以來，已為國(guó)內(nèi)上千家數(shù)字創(chuàng)意公司提供了三維渲染服務(wù)，受到業(yè)界的一致認(rèn)可。不過，由于用戶渲染量的不斷增加，贊奇科技的渲云平臺(tái)也面臨著來自不同方面的挑戰(zhàn)。

楊昕吉說，集群渲云平臺(tái)是典型的I/O密集型高性能計(jì)算應(yīng)用，任務(wù)提交到集群調(diào)度系統(tǒng)后，Head Node為任務(wù)指派空閑的Computing Nodes或進(jìn)行隊(duì)列編制，Computing Nodes接到調(diào)度指令后立即到存儲(chǔ)路徑下讀取待處理的數(shù)據(jù)。該過程是多節(jié)點(diǎn)并發(fā)的，存儲(chǔ)系統(tǒng)并發(fā)I/O吞吐壓力與集群規(guī)模成正比，在渲染任務(wù)處理過程中，所有渲染節(jié)點(diǎn)仍然會(huì)有和存儲(chǔ)節(jié)點(diǎn)的頻繁數(shù)據(jù)交互過程，直到每個(gè)節(jié)點(diǎn)分別完成各自分配的渲染任務(wù)，并將結(jié)果回存至存儲(chǔ)目錄下。存儲(chǔ)系統(tǒng)的I/O吞吐壓力在渲染作業(yè)執(zhí)行過程中持續(xù)存在且在任務(wù)分發(fā)階段最為明顯，存儲(chǔ)系統(tǒng)的性能偏低會(huì)導(dǎo)致Compute Nodes遲遲不能從存儲(chǔ)節(jié)點(diǎn)拷貝到數(shù)據(jù)，進(jìn)而影響渲染作業(yè)的啟動(dòng)。

“如何給出合理的框架和有效的設(shè)計(jì)方法，來建立高性能、高可伸縮、高可用的文件存儲(chǔ)服務(wù)，是擺在系統(tǒng)設(shè)計(jì)者面前極富挑戰(zhàn)性的任務(wù)。”楊昕吉說。

分布式存儲(chǔ)打破瓶頸

為打造規(guī)模化與低能耗的優(yōu)質(zhì)渲染集群，贊奇科技開始了數(shù)據(jù)中心的二期建設(shè)。

在這次升級(jí)建設(shè)中，贊奇與集云科技密切合作，采用了集云科技研發(fā)的一體機(jī)存儲(chǔ)管理系統(tǒng)，實(shí)現(xiàn)了文件的快速存儲(chǔ)、訪問和安全備份，保證高性能和高擴(kuò)展性。“一期采用的是磁盤陣列，但最終性能被限制在了存儲(chǔ)讀取設(shè)備中，沒有辦法突破。而第二期我們做了存儲(chǔ)的分布式系統(tǒng)。”楊昕吉說，集云一體機(jī)分為客戶端和服務(wù)器端，客戶端用圖形化方式簡(jiǎn)化管理，服務(wù)器端則執(zhí)行存儲(chǔ)優(yōu)化。同時(shí)，它可對(duì)存儲(chǔ)空間，如卷、塊等，進(jìn)行最大自由度的分配，并具有靈活的集群方式，適應(yīng)不同的業(yè)務(wù)模型，通過存儲(chǔ)的集群和協(xié)同工作，提升整體存儲(chǔ)能力，使存儲(chǔ)速度達(dá)到Gb級(jí)。

新的系統(tǒng)上線后，系統(tǒng)的訪問效率得到了大大提升。楊昕吉說，通過后期IT部門的測(cè)試，他們發(fā)現(xiàn)，首先，存儲(chǔ)設(shè)備的網(wǎng)絡(luò)占用率明顯下降，比原有占用率下降了2/3。第二，整體系統(tǒng)存儲(chǔ)和訪問速率提升3倍多。使得整個(gè)系統(tǒng)規(guī)模目前已經(jīng)可以突破到500臺(tái)。我們系統(tǒng)的負(fù)載有一個(gè)自動(dòng)調(diào)配的過程。通過英特爾至強(qiáng)服務(wù)器，充分降低了我們TCO的指數(shù)。“分析測(cè)試結(jié)果表明，集云存儲(chǔ)一體機(jī)系統(tǒng)在讀、寫性能和IOPS等方面均優(yōu)于舊系統(tǒng)。隨著我們客戶端的增加，其訪問性能也呈線性上升的趨勢(shì)。”

系統(tǒng)性能提升了，也吸引了新的客戶利用渲云平臺(tái)進(jìn)行動(dòng)畫渲染。像常州的恐龍園動(dòng)漫、卡龍、炮炮兵、蘇州的天潤(rùn)安鼎等都與贊奇科技有密切的合作。“總的來說，新的計(jì)算架構(gòu)的存儲(chǔ)效率確實(shí)比原來系統(tǒng)的讀取穩(wěn)定性更高。”楊昕吉說。

新模式帶來低成本

在贊奇科技渲染數(shù)據(jù)中心升級(jí)過程中，集云科技在其中起到了很重要的作用。江蘇集云信息科技有限公司CEO陳寶輝表示，集云從2012年就開始與英特爾合作，投身做云存儲(chǔ)，用低成本的存儲(chǔ)服務(wù)器橫向擴(kuò)展達(dá)到高性能的要求。而這恰好成為贊奇科技渲云平臺(tái)的關(guān)鍵技術(shù)。

據(jù)介紹，集云“優(yōu)之存”存儲(chǔ)一體機(jī)是集成了軟、硬件的一體化存儲(chǔ)設(shè)備，具備強(qiáng)大的橫向擴(kuò)展能力、卓越的存儲(chǔ)性能，是一個(gè)穩(wěn)定的、可持續(xù)擴(kuò)展的大型存儲(chǔ)池。在軟件方面，預(yù)裝了分布式文件存儲(chǔ)系統(tǒng)，可根據(jù)不同類型的存儲(chǔ)場(chǎng)景需要進(jìn)行存儲(chǔ)規(guī)則配置，如分布式、條帶、復(fù)制等，亦可對(duì)規(guī)則進(jìn)行組合，實(shí)現(xiàn)文件的快速存儲(chǔ)、訪問和安全備份，保證高性能和高擴(kuò)展性。硬件方面，針對(duì)存儲(chǔ)容量、可擴(kuò)展性、訪問模式、容災(zāi)備份等要求進(jìn)行了定向配置，與存儲(chǔ)軟件一起集成使用，從而發(fā)揮出最大的性能優(yōu)勢(shì)。

陳寶輝解釋說，云渲染主要是利用兩個(gè)能力，即計(jì)算能力、存儲(chǔ)的讀寫能力，而瓶頸往往不是在計(jì)算，而是在存儲(chǔ)上。集云科技與英特爾進(jìn)行合作，參照英特爾提供的參考架構(gòu)，設(shè)計(jì)了一體化的存儲(chǔ)系統(tǒng)，并與贊奇科技的技術(shù)人員一起調(diào)優(yōu)。“整個(gè)系統(tǒng)真正做到了分布式，其核心就是橫向擴(kuò)展（scale-out），硬盤采用低成本的SATA盤，從而降低了成本。”陳寶輝說，在系統(tǒng)設(shè)計(jì)過程中，英特爾的技術(shù)人員給予了大力支持，多次進(jìn)行系統(tǒng)調(diào)優(yōu)，保證了系統(tǒng)的性能。英特爾的參考構(gòu)架是基于開源程序的，其中對(duì)像防死、防鎖住等管理性都有設(shè)計(jì)。

在贊奇科技的渲染數(shù)據(jù)中心里，我們看到一排排的機(jī)柜中放置的不是一個(gè)個(gè)機(jī)箱，而是一個(gè)個(gè)托盤，這些托盤中的服務(wù)器或存儲(chǔ)設(shè)備已經(jīng)被大大簡(jiǎn)化了，它們是針對(duì)渲染云平臺(tái)而專門設(shè)計(jì)的。采用這種定制化的設(shè)計(jì)可將成本降低多少？陳寶輝說，粗略算一下，這樣的系統(tǒng)其成本只是原來高性能存儲(chǔ)設(shè)備的1/5到1/3，而且系統(tǒng)性能基本在同一個(gè)數(shù)量級(jí)。

新系統(tǒng)上線了，可楊昕吉和陳寶輝還有沒實(shí)現(xiàn)的夢(mèng)想，楊昕吉說：“未來我們希望繼續(xù)與集云和英特爾合作，探討超大規(guī)模的并發(fā)訪問。我們目前只有500個(gè)節(jié)點(diǎn)，未來我們希望能做到2000甚至5000個(gè)節(jié)點(diǎn)，只有這樣，我們才可以面向好萊塢大片這樣的影片提供高性能的渲染服務(wù)。”