高性能計算：企業需求升溫

John Edwards

在當今數據驅動的世界中，高性能計算（HPC）正成為企業尋求深入了解基因組、計算化學、金融風險建模和地震成像等領域的首選平臺。最初，高性能計算受到需要進行復雜數學計算的研究科學家們的歡迎，而現在，越來越多的企業開始關注這一領域。

高性能計算機數據存儲系統提供商Panasas公司的系統工程總監Dale Brantly介紹說：“依靠數據的收集、分析和分發而蓬勃發展的環境，以及依靠可靠的系統來支持具有巨大計算能力的工作流程等等，都需要高性能計算。”

雖然中小企業采用的仍然相對較少，但對于愿意投資于技術和員工專業知識的企業來說，這項技術具有巨大的潛力。

通常，高性能計算應用情形主要集中在某種類型的仿真上。谷歌云首席技術官辦公室高性能計算和量子計算技術總監Kevin Kissell解釋說：“例如，機翼氣流模擬、發動機燃燒、行星天氣系統、核反應以及投資組合估值等。”其他應用情形則針對分析目標，例如，衡量廣告投資回報率，或者評估業務部門的績效等。還有其他的應用情形可以歸類為轉換應用或者轉型應用。他說：“比如電影和視頻渲染。”

沒有超級計算機的高性能計算

很多企業和IT領導們都有一個誤解，那就是所有的高性能計算系統都是基于超級計算機的。事實上，雖然由Atos、IBM、HPE/Cray和Fujitsu等公司生產的超級計算機是很多專業高性能計算系統的核心，但一種使用更廣泛的方法是將多臺小型計算機集中到互連的集群中，以提供高性能計算功能。在這種布局下，集群中的每臺計算機都是一個節點。每個節點通常配置多個處理器，稱為計算核心，用于處理計算任務。每個節點內的處理器、圖形處理單元（GPU）和內存資源相互連接，以創建高性能計算系統。

由于實現并運行超級計算機及其定制軟件的成本很容易達到數百萬美元，因此，這項技術仍然遠遠超出大多數企業的財務承受能力。集群式的高性能計算機使用相對便宜的聯網計算機，運行現成的軟件，通常更易于部署和運行。盡管如此，對于大多數企業來說，特別是那些高性能計算需求有限的企業，即使是規模不大的集群型高性能計算也是很大的投資。

現在，這種情況正在改變。希望在不突破IT預算的情況下使用高性能計算的企業可以選擇轉向公有云服務，例如，谷歌云、微軟Azure、亞馬遜網絡服務（AWS）和IBM云等。

數字服務和軟件工程公司Ciklum的.NET技術主管Maksym Pavlov說：“利用這些服務，企業能夠通過高性能計算功能來滿足其業務需求，而無需對高性能計算集群的硬件基礎設施進行大量投資。”IBM的百億億次計算副總裁David Turek補充道：“云的出現在某種程度上拉近了小企業和大企業之間的差距。”

從高性能計算集群到高性能計算云

北卡羅萊納大學教堂山分校（UNC-Chapel Hill）長期以來一直依靠其內部高性能計算集群來支持多個科學、工程和醫學領域的研究活動。然而，隨著研究計算需求的不斷增長，當前系統的計算資源和容量開始滿足不了用戶需求了。大學并沒有擴大現有的高性能計算投資，而是決定轉向云，為用戶提供一個按需的高性能計算環境。

該方法證明既有成本效益又非常靈活。北卡羅萊納大學教堂山分校臨時首席信息官Michael Barker介紹說：“借助于云計算，我們可以提供完成必要工作所需的計算能力，并且只要工作需要，我們就可以隨時提供這些計算能力。這是一種滿足運行計算工作需求非常有效的方式。”

北卡羅萊納大學教堂山分校高級研究助理Jeff Roach表示，遷移到云端既有必要，也非常受歡迎。他說：“我們有一個非常傳統的本地集群。”然而，隨著時間的推移，越來越明顯的是，該系統逐漸跟不上需要先進計算能力和更快性能用戶的需求。他說：“我們發現，我們的本地集群對其設計目標用戶的工作效果非常好，但除此之外，其一些優勢應用卻變得不那么有優勢了。”

隨著計算需求應用情形迅速流行起來，北卡羅萊納大學教堂山分校開始與谷歌云和仿真分析軟件提供商Techila技術公司合作，規劃進入高性能計算云的旅程。規劃后的第一步是概念驗證評估。Roach說：“我們找了一名在校研究人員，他的工作就是進行大量的高內存、交互式計算，我們想要測試一下他的工作量。”他說，這個結果絕對是成功的。“研究人員真的很喜歡，他完成了工作。”如果在大學的本地高性能計算集群上運行，同樣的任務可能需要一個星期才能完成。Roach說：“而他僅用幾個小時就可以完成很多工作。”

在大西洋的另一邊，約克大學也決定采用基于云的高性能計算方法。英國皇家學會行業研究員、約克大學生物系教授James Chong介紹說，生物、物理、化學和計算機科學等理科系以及語言學和其他一些學科的師生廣泛采用了高性能計算。

Chong的團隊目前正在使用谷歌云來分析DNA序列數據。他解釋說：“具體來說，我的團隊對微生物群落很感興趣，這是一種混合微生物群落，參與了把廢物（在我們的研究中，是污水污泥）轉化為沼氣的過程。我們使用高性能計算把DNA短序列重組成一個宏基因組，然后分離出不同微生物的基因組，這樣我們就可以理解這些微生物是怎樣對其生長條件的變化做出反應的。”

與北卡羅萊納大學教堂山分校的同行一樣，Chong也非常欣賞高性能計算云服務所能提供的強大功能和靈活性。他說：“我們的高性能計算能力能夠滿足一系列需求，有些用戶需要大量的處理器，而有些則需要大容量內存機器。作為生物學家，我們使用的一些應用程序很快就會綁定到I/O，因此我們也非常需要超高速硬盤訪問功能。”

大學使用的高性能計算云也能夠適應不斷變化的需求。Chong指出：“我們中的很多人開始使用機器學習技術，希望能夠利用不同的體系結構。”他補充道：“這所大學的用戶范圍很廣，這意味著我們還需要使用一系列不同的軟件包。”與大多數高性能計算云一樣，約克大學使用的服務支持各種類型的研究人員輕松快速地在軟件工具之間切換，而不會在獲取、部署或者配置問題上浪費時間。

使用超級計算機的高性能計算

雖然高性能計算云服務有某些優勢，但對于關心安全和隱私的企業來說，它并不總是最佳或者最合理的選擇。Turek注意到：“這些企業對于數據存放的位置非常敏感。例如，尤其是當考慮到歐洲的GDPR限制時。”（GDPR是歐盟隱私法《通用數據保護條例》的縮寫。）

為了同時滿足隱私和對巨大計算能力的需求，邁阿密大學最近選擇投資一個基于超級計算機的內部部署的高性能計算新系統。最關鍵的是，該大學認為，擁有大量多維數據集的研究項目在專門設計的高性能超級計算機上能夠運行得更快。

去年8月，該校推出了基于Power Systems AC922服務器的IBM Triton新型超級計算機。邁阿密大學計算科學中心主任、數據和研究計算副教務長Nicholas Tsinoremas介紹說，已有2千多名師生使用該系統開展氣候預測、基因組學、生物信息學、計算機視覺和人工智能等項目。

雖然部署成功了，但還是遇到了一些基本的障礙，這是任何采用高性能計算的用戶都能預料到的——無論其規模、領域或者計算需求如何。Tsinoremas說：“遷移總是一個問題。”還必須解決用戶培訓和再培訓問題。他指出：“新系統與傳統存儲系統的集成則是另一個難題。”

所有這些問題都強調了這樣一個事實：無論高性能計算系統是基于本地的還是在云端的，要想順暢地采用都要做好計劃和準備工作。Tsinoremas提醒說：“內部的專業知識是必要的，各部門也必須有計劃。”理解工作負載的性質和要求也很重要。他說：“換言之，采用者應了解他們要解決的問題，自己知道希望高性能計算怎樣幫助解決這些問題。”

高性能計算工作負載入門

另一個關鍵點是，要清楚地知道選擇正確的資源管理工具非常重要，只有這樣，企業才能使用好并優化高性能計算環境。仿真軟件以及其他高性能計算工具和服務提供商Altair的高級產品管理主管Jérémie Bourdoncle說：“無論是購買傳統的高性能計算硬件環境，還是在云端利用高性能計算，或者兩者的結合，根據企業的工作類型和吞吐量需求選擇合適的高性能計算工作負載管理器都是非常重要的。”工作負載管理器能夠自動進行作業調度，實現管理、監視和報告功能。

Kissell建議應用策略應注重知識性、簡單性、選擇性和謹慎性。他建議：“這可能是一個漫長的旅程，所以計劃好你的旅行，但也要給自己調整旅程的機會。”選擇一個簡單但有代表性的測試應用情形，從中可以清楚地看到從高性能計算模擬或者分析中獲得的知識和深度分析結果。“然后針對你的問題類別選擇一個簡短的軟件包列表，并進行嘗試。”

John Edwards是一位資深的商業技術記者。他的文章發表在《紐約時報》、《華盛頓郵報》以及很多商業和技術出版物上，包括CIO、ComputerWorld、《網絡世界》、CFO雜志、IBM數據管理雜志、RFID雜志和《電子設計》等。

原文網址

https：//www.networkworld.com/article/3444399/high-performance-computing-do-you-need-it.html