地震預測重點實驗室高性能計算平臺計費服務系統的設計與實現

劉桂平 李閩峰 李圣強 王 斌

（中國地震局地震預測研究所，地震預測重點實驗室，北京 100036）

引言

高性能計算與科學研究的發展密不可分，科學研究永無止境的計算需求和高性能計算能力既相互制約又相互促進。在我國地震研究領域中，高性能計算也有廣泛應用，并取得了比較好的效果。如在地震預報（趙毅等，2007；郭婷婷等，2011）、抗震救災（呂弋培等，2009）、地震勘探（張軍華等，2010；龍桂華等，2011）、地震工程（王洪濤等，2009；馬新生等，2010；陸新征等，2014，2015；占昌寶等，2016）以及地震動力學研究（廖凱寧等，2015）等方面，高性能計算均提供了重要的技術支撐。

中國地震局地震預測研究所結合自身科研需要，于2009年建成了1套高性能集群計算系統（李閩峰等，2009；李圣強等，2012），其理論最高運算能力可達17.38TFLOPS，實測最大運算能力達到14.1TFLOPS。該系統于2009年10月正式投入使用，2012年成為中國地震局地震預測重點實驗室的高性能計算平臺，并持續運行至今。作為動力地震預測方法研究的重要技術支撐平臺之一，該系統以震源環境、地震過程和震源破裂機理等地震科學基礎研究為理論依據，在技術上已可以為地震行業用戶提供計算服務。

高性能計算平臺屬于高投入、高消耗的綜合性軟硬件系統，運行成本較高，電費成本是其主要組成，研制高性能計算平臺計費系統是平臺建設和管理的重要內容之一（林皎等，2012）。此外，統計高性能計算平臺的使用效率、考評用戶的績效量化指標數據等都需要獲取較為詳細的系統使用資源。盡管作業管理軟件本身包含作業統計模塊功能，但因其統計資源不盡合理，不能真實反映系統使用情況，無法滿足作業計費需求。因此，考慮到地震預測重點實驗室高性能計算平臺的良好應用前景和用戶計量統計需求，同時也方便平臺應用評價參考，開發1套簡單、實用的高性能計算平臺計費服務系統尤為必要。

1 高性能計算平臺概況

中國地震局地震預測重點實驗室的高性能計算平臺硬件主要由192個計算節點、9個I/O節點、1個登錄節點、1個管理節點、4組盤陣、1組計算與I/O網絡和1組管理網絡組成。該平臺不僅提供了Linux操作系統自帶的GNU C/C++、GNU Fortran免費編譯器，還配置了豐富的商業編譯器和數學庫資源，如NAG Fortran、Intel C++，Fortran 77/90、Intel MPI、Platform MPI、Intel MKL等，同時配置了TotalView并行調試器協助用戶更好地調試并行程序；此外，還配置了GMT、MATLAB及與地震應用密切相關的專業模塊。經過幾年的穩定運行，該平臺集成了豐富的專業應用程序，主要包括三維譜有限單元法軟件SPECFEM3D，并行有限元程序生成系統pFEPG，全波三維Fréchet核反演程序，GPS專業解算軟件GAMIT/GLOBK、QOCA，分子動力學模擬軟件VASP、PWSCF、Materials Studio等。

經統計，地震預測重點實驗室高性能計算平臺運行作業數量超過38萬個，消耗CPU資源超過1700萬CPU機時，表明系統的應用現狀良好。此外，通過對歷史作業消耗資源的分析發現，計算應用從高性能并行應用為主轉向大量可分解的串行應用為主的普惠計算。目前，該平臺的主要應用如下：

（1）川滇地區和高分示范區三維模型構建與計算以及區域走滑斷層模型構建與計算。

（2）解析GPS原始觀測數據，進行地殼形變分析，并進行地震斷層破裂模型的反演；重力數據處理及地下構造反演；利用彈性和粘彈性球體位錯理論計算大地震導致的同震和震后變形。

（3）利用高性能計算平臺融合地震波形數據系統進行地震波形處理、圍陷波的正反演、強震動模擬以及觸發地震和微震的模板掃描檢查等。

（4）利用從微觀到宏觀（量子力學、第一性原理、分子動力學、耗散粒子動力學和有限元方法）的跨尺度模擬方法，研究地球內部高溫高壓條件下高壓礦物（長石、方鎂鐵礦）、含水礦物（橄欖石、蛇紋石、角閃石、云母等）的物理化學性質；探討孕震介質的演化及其動力學環境，探索地震預測理論方法。

2 計費服務系統設計

2.1 問題分析

目前主流的高性能計算平臺計費系統包括基于PBS或TORQUE作業管理軟件設計的計費或記賬系統（王偉等，2008；陳振婭等，2009；李惠歡等，2016）和基于LSF作業管理軟件設計的計費配額系統計時統計系統（牛鐵等，2010；盛樂標等，2014）。此外，還有基于校園網格計費研究（劉明良，2008）和基于神威4000A系統及IBM系統設計的統一資源管理系統（沈瑜等，2014）。

地震預測重點實驗室高性能計算平臺因集群管理軟件升級改造，運行期分為2個階段，增加了研制開發計費服務系統的難度。第1階段從2009年6月至2012年10月，該平臺的集群管理軟件為CHESS2，作業管理系統為TORQUE/MAUI。此階段存在2個問題，一是部分成熟的商業應用軟件和免費應用軟件對GCC、INTEL、HP等MPI并行程序的編譯運行環境要求較高，TORQUE作業管理系統無法記錄完整準確的CPU時間信息，需要人工校正；二是雖然具備多個開源命令行作業日志信息分析工具，如PBSACCT、MYPBS、PERL-PBS-LOGS、PBSACCOUTING，但不具備友好的作業信息查詢、統計、計費等功能。第2階段從2012年11月完成升級改造至今，該平臺的作業管理系統由TORQUE更換為LSF 8.3 Express Edition，但缺乏相應的用戶交流平臺和合理準確的作業信息查詢、統計以及計費功能。

2.2 設計思路

以作業管理系統日志為數據基礎，實現作業信息的提取、分析和校正，建立完整準確的作業信息庫，存入MYSQL數據庫，通過B/S架構滿足用戶準實時作業查詢和歷史作業查詢、統計、計費功能以及作業預約服務，并融合Ganglia集群監控功能、留言板功能和信息發布功能，整合成1套高性能計算平臺計費服務系統。

2.3 關鍵技術

實現計費服務系統需要重點解決2方面技術問題，即采取何種方式計費和作業日志信息如何提取。

2.3.1 計費方式

在高性能計算平臺作業計費服務系統中，作業計費核心要解決的是如何計費（何戈等，2003）。準確的作業計費信息不僅可以為高性能計算用戶提供可靠的計算量數據，也可為制定計算服務價格提供參考。

高性能計算平臺提供給用戶CPU時、內存、虛擬內存、硬盤空間、網絡帶寬等資源。與作業CPU time（CPU執行程序指令累計所用的脈沖時間）相比，Wall time（墻上時間，即作業開始執行和作業結束的時間差）更符合作業對計算資源的實際占用，因此，用戶使用集群完成計算任務后，采用Wall time為基礎計算CPU消耗量（盛樂標等，2014），考慮到作業有串行和并行情況，可表示為：

而內存和虛擬內存資源的使用是動態的，因此采用了作業日志信息中的最大物理內存和虛擬內存作為計算參考。另外，網絡帶寬屬于集群系統環境和性能指標，不單獨在作業計費中體現；硬盤空間通常是分配給用戶的固定存儲空間，不屬于單獨作業，該部分可以通過按年或按月的方式收取存儲空間費。

考慮到CPU、內存、虛擬內存在作業計算中的需求重要性有所差別，因此為不同種類的資源賦予不同的權重因子以體現其計費的差異性。

綜上所述，作業資源使用計費公式可表示為：

2.3.2 作業日志信息提取

（1）TORQUE歷史作業信息提取

PBS是目前歷史最久、支持最廣、功能較為豐富的集群作業管理軟件包之一，其包括3個主要分支：OpenPBS、PBS Pro和TORQUE。TORQUE是Adaptive Computing公司基于OpenPBS后續支持的開源版本，通過和Maui調度器相結合，成為當前分布式集群最流行的資源調度和作業管理開源系統。TORQUE作業日志信息一般存放在/var/torque/server_priv/accounting目錄下，每天的日志信息存放在以日期命名（文件格式：YYYYMMDD）的文件中，日志記錄8種不同的標記事件，包括作業開始（S）、作業設置檢查點（C）、作業放棄（A）、作業排隊（Q）、作業返回（R）、作業刪除（D）、作業檢查點重啟（T）和作業退出（E）（李惠歡等，2016）。采用Linux shell和Perl腳本程序分別完成歷史作業信息收集、作業信息入庫和數據的匯總。

通過Perl語言編寫腳本程序提取數據到數據庫computing表torque_job。作業數據表包含用戶名（user）、作業名稱（jobname）、作業提交節點（jobsubmithost）、作業編號（jobid）、作業核數（cores）、作業隊列（queue）、作業創建時間（jobcreatetime）、作業進入排隊時間（jobqueuetime）、作業可執行時間（jobexcutabletime）、作業開始時間（jobstarttime）、作業結束時間（jobendtime）、作業退出狀態（exitstatus，0為正常退出，其它為異常退出）、作業CPU時間（cputime）、作業消耗物理內存（mem）、作業消耗虛擬內存（vmem）、作業運行時間（walltime）、校正系數（correctfactor）、作業CPU校正時間（correctcputime）、作業CPU時間轉化為秒（cputimesec）、作業運行時間轉化為秒（walltimesec）、作業完成記錄時間（eventtime）。

（2）LSF作業信息提取

LSF是加拿大Platform公司研制的分布式管理和調度集群管理軟件，在系統容錯、負載平衡、進程遷移、檢查點操作上具備更好的實用性，已成為集群管理軟件領域中的國際工業標準。

LSF日志信息通常存放在以“lsb.acct”或“lsb.acct.X”格式命名的文件（其中X是阿拉伯數字）中，文件的每行存儲1個作業日志，包含作業ID、作業完成時間、提交時間、調度時間、開始時間、結束時間、使用CPU核數、作業屬主、執行節點列表、隊列名、執行文件名等50多個字段，這些文件保存在LSF系統的管理節點logdir目錄下。

目前，主要有2種方式獲取LSF作業信息：①使用腳本語言處理，如基于Python的Python LSF collection開源軟件包，通過引用該包提供的類編寫相應的腳本提取作業信息，這種方法比較簡單；②基于LSF API和LSB API的底層接口，通過C語言提取結構化數據方式獲取作業的詳細信息（盛樂標等，2014）。本文采用第1種方式，通過Python腳本acctfile.py實現歷史作業信息的提取和入庫功能，利用Crontab定時器結合Shell腳本定時更新（每5分鐘）MYSQL數據庫lsf_job表中的歷史作業信息，以供查詢。

此外，為了方便用戶查詢運行作業（running）、即將運行作業（pending）、掛起作業（suspended）、隊列（queue）和主機（host）信息，本文采用shell腳本提取bjobs、bqueues、bhosts命令輸出信息和存儲入庫，并利用Crontab定時更新（每5分鐘），實現準實時的作業信息查詢和隊列、節點信息查詢。

3 系統實現

3.1 開發環境

系統采用開源的免費框架結構（Linux、Apache、PHP和MySQL），具備功能強大、運行穩定、技術成熟等特點。WEB開發語言PHP具有以下優勢：

（1）安全性好。PHP是開源軟件，可以看到所有PHP的源代碼，同時PHP具有公認的安全性能，它與Apache編譯相結合的方式也可以使其具有靈活的安全設定。

（2）移植性強。PHP幾乎支持所有的操作系統平臺及數據庫系統，并廣為流行。

（3）執行效率高。PHP是1種強大的CGI腳本語言，語法混合了C、Java、Perl和PHP式的新語法，執行網頁速度比CGI、Perl和ASP更快，且內嵌Zend加速引擎，性能穩定，占用系統資源少，代碼執行速度快。

（4）擴展性好。PHP具有很好的開放性和擴展性，其源代碼完全公開，便于擴展附加功能。

3.2 系統功能

系統具備如下功能：①用戶可查詢、統計、計算已消耗資源的費用和正在運行的作業情況、隊列情況、節點情況、集群概覽；②用戶可提交作業預約申請，管理員審核通過后線下處理預約作業；③用戶通過留言和在線服務功能，較好地實現交流；④用戶可以通過平臺資源下載文檔資料和查詢相關平臺制度，促進了信息化和制度規范化；⑤采用分級用戶管理模式，根據用戶權限的不同進行不同的功能操作；⑥可根據實際需要進行調整和擴展。

系統前臺和后臺功能模塊如圖1、2所示，后臺計費功能管理如圖3所示。

圖1 前臺功能模塊Fig.1 Front function models

圖2 后臺功能模塊Fig.2 Back function models

3.3 計費統計

綜合考慮作業實際消耗資源和運維電費，并依據前文提出的計算公式，本研究提出了一種可操作的資源價格計算方法及相應的權重賦值，見表1。此外，選取了5個實際用戶2009—2017年的年度歷史作業進行計費統計，如圖4所示。

圖3 后臺計費功能管理界面Fig.3 Back accounting function models

表1 計算資源價格及權重賦值Table 1 The price and weight value of computing resoureces

圖4 用戶年度計費統計Fig.4 Annual accounting statistics of users

4 結語

基于中國地震局地震預測重點實驗室高性能計算平臺良好的應用前景和計費需求，本文在高性能計算平臺作業計費系統的基礎上，提出了利用作業管理系統TORQUE和LSF日志文件提取作業信息的方法，建立了可滿足復雜高性能計算平臺下作業計費需求的簡單、實用系統。該系統不僅可以準實時查詢和顯示作業完成信息，還可以對消耗資源記錄信息進行自動校正并完成作業的正確計費，與簡單的命令行工具以及商業軟件相比，具有更廣泛的兼容性和普適性；另外，該系統還實現了對未完成作業、隊列、節點等集群系統查詢顯示功能、集群計費參數配置管理功能以及欄目信息發布、在線交流等功能，這有利于促進高性能計算平臺向管理公開透明化和信息化方向發展，同時可充分發揮高性能計算平臺的科研輔助作用，并提高用戶使用高性能計算平臺的效率和便捷性。

隨著高性能計算技術的快速發展，云計算技術也日臻成熟，利用云計算技術實現地震行業的高性能計算資源整合并服務于地震研究領域將是大勢所趨。基于高性能計算平臺作業日志的計費服務系統只要稍加修改和完善，即可移植到云計算平臺應用，具有較好的可擴展性和應用前景。