


大數據、云計算,這無疑是近些年來IT業界最為炙手可熱的兩個“流行詞”。不過,當人們熱衷于談論這些概念的時候,卻忽視了其背后的一個重要技術:高性能計算。盡管高性能計算不是實現大數據和云計算應用的惟一支撐,但是毫無疑問,沒有了高性能計算,大數據和云計算概念是有缺憾而且不完整的。
不過,時至今日還是有很多人認為,高性能計算和超級計算機只是停留在實驗室里的產物。殊不知,其目前已經應用于包括金融、能源、地質勘探、互聯網等多種領域之中。“高性能計算正在逐漸深入到我們的實際應用之中?!痹?013年10月29日~31日舉辦的全國高性能計算學術年會(HPC China 2013)上,業內多位專家均拋出了這樣的觀點。
大數據大發現
高能物理、高性能可視化與可視化分析、生物學、氣象,甚至社交網絡,這些都成為了HPC China 2013會議的演講主題。與以往不同的是,本屆全國高性能計算學術年會不僅將重點放在了對高性能計算技術的論證和研討上,同時還將多場演講的主題與大數據應用掛鉤。
這也就無外乎,為什么大數據分論壇成為本次大會最為火熱的一個場次了?!皬拇髷祿酱蟀l現”,這是中國科學院高能物理研究所研究員孫功星在HPC China 2013上的演講題目。這一題目其實可以很好地概括高性能計算與大數據之間的聯系。
孫功星介紹說,在高能物理領域的大數據處理過程主要包括三個方面:首先是Data Recording,也就是從探測器中獲取Raw Event,以二進制格式記錄探測器信號,再由計算機產生模擬實驗的蒙特卡羅模擬數據,將物理信號數字化;然后是Data Processing,即讀出Raw/MC Raw,處理產生相關物理信息,如動量、對撞頂點等;最后就是Data Mining,這一步是物理學家對由上千個屬性所組成的DST Event文件進行分析,并最后產生物理結果。
“現在我們已經在開始嘗試采用Hadoop本地系統進行研究。采用Hadoop方案之后,對于網絡、磁盤陣列的需求減少很多?!睂O功星表示,“未來高能物理領域將會產生出更多數據,這會為計算帶來更大的挑戰。因此,高能物理未來的發展趨勢是與新型的計算機體系結構,以及高性能計算機結合起來?!?/p>
孫功星的觀點也可以說是代表了目前業界的一種普遍觀點。曙光公司副總裁邵宗有在本屆學術年會上就向記者表示:“高性能計算完美契合了大數據在運算能力、高性能存儲等方面需求,而大數據則給高性能計算提供了新型商業市場,有助于推動高性能計算拓展新的市場藍海,兩者在產業生態鏈上的緊密銜接可以很好地推進信息資源組織模式的深入變革與發展。在應對大數據挑戰的過程中,高性能計算可以起到重要作用。從數據的存儲與處理的角度來說,采用高性能計算系統不僅可以大幅降低大容量存儲的成本,而且其處理數據、傳輸數據、恢復數據的速度會遠遠超過普通的計算系統。在過去完整恢復一塊硬盤的速度可能需要48個小時,但融合了曙光高性能計算技術的存儲產品,能將時間控制在十幾分鐘,顯著降低了大規模集群存儲系統中用戶運維的壓力,提高了系統效率?!?/p>
構建完整生態體系
從全球領域來看,伴隨著技術的不斷進步,高性能計算的應用范圍不斷擴大,其正在迸發出前所未有的活力。而在這一過程中,相關廠商的作用不容忽視。一方面,他們將科研成果加以實踐和應用;另一方面,他們還在積極地營造出一個高性能計算的生態系統,培養更多技術人員。
孕育技術、培植市場、發現商機,再由廠商對科研進行資助,這種循環模式在高性能計算的領域已經形成了一種良性商業循環。HPC China 2013現場所舉辦的“2013全國教育科研并行應用程序優化大賽”,就是這種循環的體現。在這場主題為“尋找優秀并行應用,提高并行程序性能”的比賽中,匯集了來自中科院計算所、中科院軟件所、中科院超算中心、國防科技大學計算機學院、中國科學技術大學、西安郵電大學、清華大學計算機系,以及山東大學等研究機構和高校的8支團隊。
中國計算機學會高性能計算專業委員會(CCF TCHPC)與英特爾(中國)有限公司共同主辦了這次比賽,并由北京并行科技有限公司所承辦。最終,國防科技大學計算機學院以優異的并行程序性能奪得桂冠,獲得5萬元獎金和“微異構優化獎”獎杯及證書。中國科學技術大學和清華大學計算機系共同獲得第二名,分別獲得1萬元獎金,以及“微架構優化獎”和“多線程及MPI優化獎”獎杯及證書。另外五支參賽團隊分別獲得5000元獎金及“并行應用優化獎”獎杯。
在本次比賽中,應用到了并行科技所開發的大數據可視化軟件 Paramon應用運行特征收集器和Paratune應用運行特征分析器。并行科技總經理陳健表示:“對很多人而言,高性能計算有如陽春白雪,過于高端。而實際上高性能行業的發展趨勢即是讓更多的人較為直觀地看到一些應用運行特征?!彼J為,用戶需要的不僅僅是英特爾所提供的方便的工具和良好的開發環境,還需要更直觀的應用環境。
英偉達(Nvidia)也在HPC China 2013上闡述了他們對于高性能計算生態系統的看法。眾所周知,英偉達在很早以前就已經在高性能計算領域推出了GPGPU(通用GPU)的概念,并積累下大量的應用實例。在這個從無到有的過程中,英偉達構建起了一套完整的體系。英偉達公司高性能計算開發技術經理王鵬表示,高性能計算系統的開發是非常耗費成本和精力的,英偉達在其中的做法是,以GeForce產品系列的開發為基礎,將算法移植到高性能計算方面。王鵬介紹說,在英偉達,由于算法部分擁有很高的相似度,因此科學計算與游戲編程已經很好地結合在了一起,“模擬分子運動也可以等同于模擬游戲”。同時,無論是密集型科學計算還是帶寬密集型科學計算,都可以應用到游戲方面的經驗,從而使高性能計算真正為應用服務。
王鵬表示,英偉達正在致力于繼續開拓高性能計算應用開發的市場,降低進入門檻。“未來所有采用英偉達顯卡的個人電腦和工作站,即使是消費領域的GeForce產品,都可以進行高性能計算應用的開發?!蓖貔i說,“這將為高校學生接觸高性能計算打開一扇窗。”
鏈接1
TOP100,重磅級發布
每一年的HPC China大會,很重要的內容都是HPC TOP100排行榜的發布。北京應用物理與計算數學研究所研究員袁國興在本次大會上發布了2013年最新一期的TOP100超算排行榜單。在榜單中,天河二號當之無愧而且毫無懸念地成為了第一名,第二名則是去年的冠軍天河一號A,這兩臺超級計算機均來自國防科大,神威藍光位列季軍。據悉,本次TOP100榜單共有59臺超級計算機系統全新上榜,榜單內容相比去年進行了大幅度的更新。值得一提的是,來自國家氣象局、廣東省氣象局的3臺IBM超級計算機分別獲得了榜單排名的并列第11名和22名。
本次TOP100榜單中的亮點不止于此。近日剛剛發布的上海交通大學高性能計算機在榜單中排名第37位,也是目前為止第一次采用CPU+GPU+MIC三重架構的產品。而從榜單的整體來看,采用異構計算的超級計算機數量相比去年有了明顯的提升,包括了排名第75位的廈門超算中心的神威4000H和排名第100位的中科院理論物理所的曙光GHPC1000。
為什么每年TOP100都會收到很大的關注度?實際上,這個榜單就是中國高性能計算領域的一個縮影??偨Y這幾年的TOP100,我們會發現,不僅高性能計算的性能在逐漸提高,其市場也在逐漸擴大,新技術層出不窮。結合大數據和云計算應用的普及,我們可以毫不猶豫地判斷出,這個世界已經進入了一個“高性能計算時代”。
鏈接2
英特爾展示微異構Embree照片級光線追蹤解決方案
在HPC China 2013現場,英特爾展示了基于至強 E5處理器和至強融核協處理器平臺的Embree照片級光線追蹤解決方案。
英特爾數據中心及互聯系統事業部技術計算和平臺應用支持團隊平臺架構師何萬青介紹說,所謂光線追蹤(ray tracing)就是一個在二維(2D)屏幕上呈現三維(3D)圖像的方法。這個技術的原理就是通過一個光線跟蹤程序利用數學方式確定和復制一幅圖像的光線的路線。在計算機圖形領域中,這種技術被普遍應用于生成高質量的照片級圖像,大大簡化了構建渲染模型,并且最大化地還原物體的細節。目前,該技術被廣泛應用于游戲、動畫、電視和DVD制作、電影等專業圖形應用領域。但是在實際使用中,光線追蹤技術應用運行的速度成為了最大挑戰之一。
Embree 是一組由英特爾研究院開發的高性能光線追蹤內核。這些內核經過專門的優化,并且支持 SSE 和 AVX 指令集,可在最新的英特爾處理器上進行照片級的渲染。除了光線追蹤內核,Embree 還提供了一個照片級渲染引擎的示例。Embree 專為 Monte Carlo 光線追蹤算法而設計,其中大部分光線都不連貫。在這種情形下,Embree 中特定的單條光線穿越內核可以提供最佳性能,而且它們極易集成到現有應用當中。
在本次的展示中,Embree系統被運行于基于英特爾至強處理器與至強融核協處理器的微異構平臺之上。 何萬青表示:“之所以采用微異構,是因為光線追蹤技術對計算、尤其是并行計算的能力需求很高,以實現高質量的實時渲染,這也是至強融核協處理器最擅長的。與傳統架構平臺對比,采用至強處理器與至強融核協處理器的平臺將渲染速度提升至4倍之多?!?/p>
鏈接3
國際高性能計算咨詢委員會中國研討會召開
作為歷屆高性能計算學術年會的重要組成部分,由國際高性能計算咨詢委員會主辦的中國研討會也在桂林召開。來自中外的高性能計算研究人員、程序開發人員、系統管理員,以及眾多大學相關領域老師學生匯集一堂,共同探討高性能領域的最新動態及未來發展。
科學計算和大數據給高性能計算帶來了更多的應用需求,進一步促進高性能計算向百億億次計算的目標進軍。在這個過程中,包括體系架構、應用編程、運維管理等多方面的問題,都在拷問高性能計算的方方面面。
來自美國俄亥俄大學的Panda教授在其演講中指出,未來基于RDMA特性的InfiniBand產品將會在高性能計算系統中大有作為,不過這些新的解決方案需要在軟件方面進行全新的設計,以發揮出它們的特性。Panda教授的觀點也得到了來自Mellanox公司Richard Graham教授的認同,后者曾經在美國橡樹嶺國家實驗室工作。在他看來,百億億次計算平臺面臨著來自通信、Scalable MPI標準等多方面的挑戰,而基于Infiniband解決方案能夠帶來高性能計算性能方面極大的提升。在演講中,Graham教授結合美國德州TCAA超算中心、中國深圳超算中心等實際應用,介紹了Mellanox相應的IB解決方案是如何幫助用戶解決網絡傳輸帶寬和延遲的問題。
在本次會議上,除了來自各方專家的報告外,還公布了首屆RDMA編程大賽的獲獎名單。國際高性能計算咨詢委員會的劉通表示,RDMA作為一種能夠克服傳統以太網缺陷,在高速網絡上實現互聯的新型通信方式,正在越來越被業界所關注。但是,目前國內高校尚缺乏對RDMA技術的關注,自然在人才培養上也存在不足。國際高性能計算咨詢委員會之所以舉辦這樣的比賽,就是希望能與眾多教育機構一起,推動相應人才的培養。本次大賽,吸引了21所高校的參賽隊伍,最終來自華中科技大學和西北工業大學的同學獲得了一等獎?!斑@樣的比賽還將繼續下,以推動更多的同學能夠投身到在高速網絡通信技術的研究上?!眲⑼ㄕf。