６４位Ｌｉｎｕｘ并行計算大氣模型效率優(yōu)化研究

摘 要：研究了CMAQ大氣模型在64位Linux操作系統(tǒng)上不同CPU核心數(shù)目并行計算模擬耗時以及結(jié)果的差異情況。研究結(jié)果表明，并行計算能大幅縮短CMAQ模擬耗時，以16個CPU核心并行處理為性價比最佳值；此時連續(xù)模擬中國區(qū)域37天空氣質(zhì)量狀況（分辨率36 km、167行×97列、垂直14層）平均耗時小于16 min/d，而相同情況下單核模擬耗時大于2 h/d；多于16個核心并行處理時，隨核心數(shù)量的增加模型性能提升的趨勢減緩；操作系統(tǒng)和參與運算的核心數(shù)目對CMAQ模型模擬結(jié)果沒有影響。

關(guān)鍵詞：并行計算； 空氣質(zhì)量模型； CMAQ； Linux

中圖分類號：TP39文獻標志碼：A

文章編號：1001-3695(2009)06-2266-04

doi:10.3969/j.issn.1001-3695.2009.06.081

Air quality model parallel computation optimized research

using 64-bit Linux platform

ZHU Yun1， LIN Che-jen1，2， CHEN Chun-yi3， JANG Carey4， ZHONG Yi-long1

(1. College of Environmental Science Engineering， South China University of Technology， Guangzhou 510006， China; 2. Dept. of Civil Engineering， Lamar University， Beaumont， TX 77710-0024， USA; 3.Guangdong Province Environment Information Centre， Guangzhou 510640， China； 4. USEPA/Office of Air Quality Planning Standards， RTP， NC 27711， USA)

Abstract:

The computational efficiency and simulation results of community multiscale air quality (CMAQ) model developed by U.S. EPA were analyzed using a variety of parallel CPU cores under two 64 bit Linux OS platforms. The results show that the parallel computing can significantly reduce the CMAQ run time， and 16 appear to be the optimal performance comparing hardware investment parallel CPU cores number. The average simulation time per day was reduced to less than 16 minutes using the 16 parallel cores， compared to up to 2 hours using single core when the air quality were simulated by CMAQ for a 37-day period over a main Chinese national domain with a 36km resolution， 167 row×97 column， 14 layers. The improvement of computational efficiency per CPU seemed to drop rapidly when more than 16 CPU cores were used. In addition， this paper verified that the simulation results were not be affected by the usage of different number of parallel CPU cores or different operation system.

Key words：parallel computation; air quality model; community multiscale air quality(CAMQ); Linux

0 引言

CMAQ^[1]是美國環(huán)保總署（USEPA）為仿真分析各種復(fù)雜大氣物理、化學(xué)過程而發(fā)展的數(shù)學(xué)模型。CMAQ系統(tǒng)考慮了多種污染物之間的反應(yīng)過程，并能準確描述大氣中復(fù)合污染物質(zhì)濃度的時空分布，適合處理復(fù)雜的空氣污染問題^[2]。目前CMAQ已經(jīng)在國內(nèi)外空氣質(zhì)量管理尤其是相關(guān)科研中得到了廣泛的應(yīng)用^[3~10]。

如圖1所示，CCTM（化學(xué)傳輸模型）是CMAQ模型的核心程式。

輸入數(shù)據(jù)由以下幾個子程式生成：經(jīng)過MCIP（氣象化學(xué)界面處理器）編譯處理后的氣象模型（MM5）數(shù)據(jù)；經(jīng)過排放模型（SMOKE等）處理過的排放源數(shù)據(jù)，其中大點源的排放數(shù)據(jù)還需要經(jīng)過包含子網(wǎng)格PinG（煙羽網(wǎng)格模型）的PDM煙羽動力模型處理；ICON（初始條件處理器）和BCON（邊界條件處理器）生成的初始與邊界條件數(shù)據(jù)；JPROC（光解速度處理器）計算得出的光解速率常數(shù)。

上述生成CCTM輸入數(shù)據(jù)的子程式基本沒有涉及到復(fù)雜大氣化學(xué)反應(yīng)的計算，因此，其運算速度較快，可以在幾秒至十幾分鐘內(nèi)完成幾天甚至是一個月的輸入數(shù)據(jù)處理。但CMAQ的核心程式CCTM需要進行擴散效應(yīng)、云程序機制、氣/液相化學(xué)反應(yīng)機制、氣溶膠動力與粒徑機制、煙流化學(xué)效應(yīng)、氣溶膠干/濕沉降速率仿真等海量、復(fù)雜的物理和化學(xué)反應(yīng)運算，因此在順序計算時CCTM速度非常慢（模擬中國區(qū)分辨率36 km、167行×97列、垂直14層的平均耗時大于2 h/d），是CMAQ模型運算效率的瓶頸，并阻礙了CMAQ在實際空氣質(zhì)量模擬中的推廣應(yīng)用^[11]。上述瓶頸可以通過并行計算^[12，13]技術(shù)來解決。本文研究了不同CPU核數(shù)對CMAQ核心處理程式CCTM并行計算效率的影響，比較了運算結(jié)果，得出了最優(yōu)并行計算CPU核心值。

1 CCTM/CMAQ并行計算原理

CCTM/CMAQ系統(tǒng)是利用基于netCDF數(shù)據(jù)存儲格式的IOAPI 3.0來進行輸入/輸出數(shù)據(jù)的管理^[12]。CCTM/CMAQ并行計算數(shù)據(jù)是通過主服務(wù)器在局域網(wǎng)內(nèi)NFS共享目錄方式存取。如圖2所示，一次并行計算任務(wù)由主服務(wù)器分發(fā)給自身及各從服務(wù)器同一時間序列的計算任務(wù)和計算輸入數(shù)據(jù)“O”開始；各計算節(jié)點將計算任務(wù)完成后所得結(jié)果“D”異步寫入主服務(wù)器的內(nèi)存中，然后由CMAQ中的PARIO進行拼接后再順序?qū)懭胫鞣?wù)器惟一的netCDF 文件^[12]中為本次并行計算任務(wù)的結(jié)束；這之后再開始新一輪的并行計算。

從以上并行計算原理可以看出，要提高CCTM并行計算效率可以：

a)采用更快運算速度的CPU。

b)主服務(wù)器的內(nèi)存要足夠大（遠大于一次并行計算所產(chǎn)生的數(shù)據(jù)量）。

c)參與運算的節(jié)點機器性能要均一，避免最慢一個節(jié)點形成瓶頸。

d)網(wǎng)絡(luò)通信帶寬盡可能高。

e)磁盤I/O盡可能快。

以上因素必須綜合考慮并優(yōu)化才能有效提高并行計算效率。

2 實驗方法與流程

2.1 軟件環(huán)境

隨著CPU成功由單核到多核、由32 bit到同時支持32和64 bit操作系統(tǒng)的演變并普及，目前主流的中、低檔服務(wù)器均采用多核CPU并能支持64 bit操作系統(tǒng)。在高性能計算領(lǐng)域，64 bit系統(tǒng)經(jīng)過實際測試可以比同類32 bit系統(tǒng)提高近50%的性能^[14]。

目前主要的并行處理編程語言是基于消息傳遞模型的PVM (parallel virtual machine)^[15]和MPI(message process interface)^[16]。其中，MPI是目前最主要的并行環(huán)境，它具有移植性好、功能強大、效率高等多種優(yōu)點，而且有多種不同的免費、高效、實用的實現(xiàn)版本，幾乎所有的并行計算機廠商都提供對它的支持。CMAQ的并行計算主要通過MPICH程序進行。MPICH是MPI的可移植執(zhí)行程序，目前它同時支持MPI-1和MPI-2。

實驗用軟件和數(shù)據(jù)環(huán)境如表1和2所示。

2.2 硬件環(huán)境

實驗硬件環(huán)境由4臺服務(wù)器、1臺磁盤陣列柜和1臺千兆交換機組成，CMAQ模型運算數(shù)據(jù)存取是通過NFS局域網(wǎng)內(nèi)共享目錄方式在主服務(wù)器加掛的磁盤陣列柜中進行。圖3為網(wǎng)絡(luò)拓撲圖，具體硬件參數(shù)如表3所示。

由于MPI進行細粒度的并行時會引發(fā)大量的通信，而且其動態(tài)負載均衡困難^[17]，當CMAQ并行處理節(jié)點增加到一定程度時，MPI并行程序進程間的通信帶寬和延遲問題將會嚴重影響CCTM的執(zhí)行性能。為了在網(wǎng)絡(luò)傳輸上盡量減緩上述問題，本文在搭建硬件環(huán)境時采用了雙網(wǎng)卡綁定負載均衡^[18]和交換機端口LAG（鏈路聚合組）^[19]兩個技術(shù)，使主服務(wù)器的網(wǎng)絡(luò)通信帶寬理論上達到2 Gbps（250 MBps），并提供了網(wǎng)卡和交換機端口的冗余。采用上述兩技術(shù)后的64 bit Linux下NFS共享目錄的實測局域網(wǎng)內(nèi)寫入持續(xù)速度由平均33 MBps提高到平均38 MBps。

2.3 實驗流程

實驗流程如圖4所示。開始的前四個環(huán)節(jié)主要是為CCTM準備并行計算運行環(huán)境，將它們運行一次即可在所有不同的并行處理實驗中直接利用。單核非并行處理實驗時，前三個環(huán)節(jié)可直接利用，第四環(huán)節(jié)時要“#”掉bldit.cctm.pgf中“ParOpt”項，并重新編譯該文件即可。整個CMAQ的運行是在C shell下，基本參照CCTM/CMAQ 4.6 run.cctms的默認設(shè)置進行，每模擬一天將產(chǎn)生六個數(shù)據(jù)輸出文件共2.1 GB(表4)，以及通過./run.cctms | tee run.cctms.2005176-212.log方法生成的一個日志文件，第一天的輸出文件CCTM_CONC將作為第二天的ICON輸入文件，如此循環(huán)運行至最后一天。并行計算耗時通過time方法直接得到。

CCTM輸出的31個（2005年7月1日~31日）每小時即時濃度數(shù)據(jù)文件CCTM_CONC經(jīng)過NCO軟件處理得到O3、PM2.5兩種污染物月平均濃度，之后用PAVE軟件得到污染物濃度分布圖、最大濃度及其位置、最小濃度及其位置數(shù)據(jù)。CCTM模擬一天所耗時間取37天的平均值。

名稱大小/MB名稱大小/MB

CONC小時即時濃度1 954WETDEP小時濕沉降69.9

ACONC小時平均濃度10.2AEROVIS小時能見度5.83

DRYDEP小時干沉降68.4CGRID下一天模擬初始化文件87.5

合計: 2.1 GB

3 實驗結(jié)果與討論

3.1 模擬一天計算耗時比較

圖5為不同并行處理CPU核心數(shù)（1、2、4、8、16、24、32）模擬一天的所耗平均時間。從圖4可見，并行計算能大幅減少CMAQ模型運算時間，但CPU核心數(shù)目增加到16核以上時，進一步增加CPU核心數(shù)縮減的時間并不明顯。圖6是以1個核心為基準得到的加速比。圖6表明，加速比隨著參與并行處理CPU核心數(shù)目的增加而增加，在1～16核間增加明顯，大于16核后增加幅度逐漸趨緩，從24核后加速比增加幅度非常小。這主要是因為CMAQ并行處理CPU核心數(shù)量超過24核時，MPI并行程序進程間的通信帶寬和延遲問題已經(jīng)嚴重影響到了CCTM的執(zhí)行性能，雖然已經(jīng)按2.2節(jié)中所述盡量解決了網(wǎng)絡(luò)通信帶寬問題，但并不能解決通信的延遲以及系統(tǒng)硬盤I/O瓶頸問題。

5中，CMAQ在不同版本的平臺上模擬所花時間基本相同的結(jié)果說明同類平臺不同的版本對模型運行效率影響很小。在核心數(shù)為24和36時，在Red Had Linux Enterprise 5平臺上并行計算一段時間后會出現(xiàn)主服務(wù)器死機情況。這主要是因為所采用的是測試版本，不能穩(wěn)定并行處理核心數(shù)超過16核時所產(chǎn)生的大量通信和過度頻繁的磁盤I/O操作。

3.2 不同并行計算條件所得結(jié)果比較

O3為二次污染物^[20]涉及到多個復(fù)雜化學(xué)反應(yīng)的運算，PM2.5為多種一次和二次污染物^[21]混合而成的復(fù)合污染物，這兩種污染物質(zhì)在CMAQ模擬運算以及后期處理中最容易出錯。因此本文按照圖4實驗流程，重點比較了不同核心并行處理條件下O3和PM2.5的數(shù)據(jù)偏差，結(jié)果如表5及圖7～9所示。

由表5可見，不同并行處理條件下兩種污染物最小濃度和最大濃度出現(xiàn)的位置完全一致。圖7說明不同并行處理條件下所得結(jié)果誤差非常小，最小濃度的偏差率在1‰以內(nèi)，最大濃度偏差率在0.5‰以內(nèi)。圖8和9表明并行處理條件下兩種污染物濃度的分布情況幾乎完全一致，從宏觀分布圖上看不出差別。圖7存在的輕微偏差率，主要是由于CMAQ模型運算是采用單精度float數(shù)據(jù)機制進行，只能精確到小數(shù)點后七位；不同并行處理條件下CCTM并行計算所分配給每個CPU核心的計算任務(wù)不盡相同，由此產(chǎn)生了計算過程中的四舍五入誤差，該舍入誤差將在計算過程中被隨機累積。以本文連續(xù)進行37天模擬為例其誤差將有可能被累計放大24×37倍，如果以10為計算基準其可能的最大偏差率為±4.4‰。

4 結(jié)束語

a）并行計算能大幅減少CMAQ模型運算時間，且參與并行計算的CPU核心數(shù)目存在最佳值。在本文的實驗條件下，兩臺服務(wù)器共16核時可以獲得較好的并行處理效能，超過16核時所獲得效率的提升相對硬件的投入和電耗的增長大幅趨緩。以實驗用兩臺雙路4核CPU服務(wù)器的硬件環(huán)境為例，CMAQ平均模擬時間小于16 min/d，而無并行處理、相同條件下的耗時為2 h/d；此并行計算條件下連續(xù)模擬37天時間小于10 h，連續(xù)模擬1年時間小于4.5 d。

b）不同的并行計算軟硬件環(huán)境并不會影響CMAQ模型模擬運算結(jié)果。由于存在計算過程的舍入誤差，基于不同平臺、不同并行處理CPU核心數(shù)目運行的CMAQ程序模擬所得結(jié)果會存在輕微的偏差，但這些偏差均在容許誤差范圍內(nèi)，對最終的結(jié)果并無影響。

c）美國EPA提供的CMAQ參考文檔是基于Red Hat Linux Enterprise 3 32 bit運行平臺。經(jīng)過大量并行處理實驗證明CMAQ在64 bit Red Hat Enterprise Linux 4 64 bit平臺上能夠穩(wěn)定運行；在Red Hat Enterprise Linux 5 64 bit測試版本上超過24核并行時所出現(xiàn)的死機現(xiàn)象可望在這之后的正式版中解決。以推薦運行硬件環(huán)境：兩臺服務(wù)器，一臺8口帶網(wǎng)管交換機，軟件僅需購買PGI計，CMAQ并行計算軟硬件環(huán)境將以低于6萬元人民幣的成本帶來巨大的運算效率提升。

d）雙網(wǎng)卡綁定負載均衡和交換機端口LAG兩個硬件配置技術(shù)的使用可以提高網(wǎng)絡(luò)傳輸?shù)睦碚搸捯约疤峁┚W(wǎng)絡(luò)通信冗余，能在一定程度上增強CMAQ多節(jié)點運行的穩(wěn)定性。但由于存在硬盤I/O瓶頸，使得在千兆網(wǎng)絡(luò)環(huán)境下基于NFS共享硬盤存取的實際持續(xù)傳輸速度相對單千兆網(wǎng)卡而言的實際性能提升非常有限。

致謝：論文研究工作得到了美國環(huán)保總署和清華大學(xué)環(huán)境科學(xué)與工程系的大力支持，在此深表感謝。

參考文獻：

[1]DAEWON B， KENNETH L S. Review of the governing equations， computational algorithms， and other components of the models-3 community multiscale air quality (CMAQ) modeling system [J]. Applied Mechanics Reviews， 2006， 59: 51-76.

[2]ONEILL S M， LAMB B K， JACK C， et al. Modeling ozone and aerosol formation and transport in the pacific northwest with the community multi-scale air quality (CMAQ) modeling system [J]. Environmental Science and Technology， 2006， 40(4): 1286-1299.

[3]CHEN D S， CHENG S Y， LIU L， et al. An integrated MM5-CMAQ modeling approach for assessing trans-boundary PM10 contribution to the host city of 2008 Olympic summer games-Beijing， China [J]. Atmospheric Environment， 2007， 41(35): 1237-1250.

[4]DAVIS J M， SWALL J L. An examination of the CMAQ simulations of the wet deposition of ammonium from a Bayesian perspective [J]. Atmospheric Environment， 2006， 40(24): 4562-4573.

[5]OTTE T L， GEORGE P， PLEIM J E， et al. Linking the eta model with the community multiscale air quality (CMAQ) modeling system to build a national air quality forecasting system [J]. Weather and Forecasting， 2005， 20(3): 367-384.

[6]SAN J R， PEREZ J L， GONZALEZ R M. The use of MM5-CMAQ for an incinerator air quality impact assessment for metals， PAH， dioxins and furans: spain case study[C]//Proc of the 5th International Confe-rence on Large-Scale Scientific Computing. 2005: 498-505.

[7]SOKHI R S， SAN J R， KITWIROON N， et al. Prediction of ozone levels in London using the MM5-CMAQ modeling system [J]. Environmental Modeling and Software， 2006， 21(4): 566-576.

[8]STEIN A F， ISAKOV V， GODOWITCH J， et al. A hybrid modeling approach to resolve pollutant concentrations in an urban area [J]. Atmospheric Environment， 2007， 41(40):9410-9426.

[9]XU J， XU X， LIU Y， et al. Study of statistically correcting model CMAQ-MOS for forecasting regional air quality [J]. Science in China， Series D: Earth Sciences， 2005， 48(SUPPL.2):155-172.

[10]張美根. 多尺度空氣質(zhì)量模式系統(tǒng)及其驗證II.東亞地區(qū)對流層臭氧及其前體物模擬 [J]. 大氣科學(xué)， 2005， 29(6): 926-936.

[11]遲妍妍，張惠遠. 大氣污染物擴散模式的應(yīng)用研究綜述 [J]. 環(huán)境污染與防治， 2007， 29(5):376-381.

[12]KORDENBROCK T， OLDFIELD R， YOUNG J. Parallel I/O advancements in air quality modeling systems[C]//Proc of the 2006 ACM/IEEE Conference on Supercomputing.2006.

[13]劉正華， 楊決寬， 陳云飛. 分子動力學(xué)并行算法的優(yōu)化與應(yīng)用 [J]. 計算機應(yīng)用研究， 2008， 25(3):718-720.

[14]CHANG V. Experiments and investigations for the personal high performance computing (PHPC) built on top of the 64-bit processing and clustering systems[C]//Proc of the 13th Annual IEEE International Symposium and Workshop on Engineering of Computer Based Systems. 2006:477-478.

[15]WU C L， LOUD C， CHANG T J， et al. Integer factorization for RSA cryptosystem under a PVM environment [J]. Computer Systems Science and Engineering， 2007， 22(1-2):25-35.

[16]BATTRE D， ANGULO D S. MPI framework for parallel searching in large biological databases [J]. Journal of Parallel and Distributed Computing， 2006， 66(12):1503-1511.

[17]RAMOS L E S， MARTINS C A P S. A reconfigurable MPI broadcast function[C]//Proc of the 8th International Conference on High-Performance Computing in Asia-Pacific Region. 2005:538-543.

[18]曹連剛， 由德凱， 關(guān)慧. Linux 下雙網(wǎng)卡綁定技術(shù)的實現(xiàn)[J]. 甘肅科技， 2008， 24(1):43-44.

[19]吳名歡， 劉羽， 張烈平. 高可靠性網(wǎng)絡(luò)的研究與實現(xiàn)[J]. 計算機與信息技術(shù)，2008(Z1):65-66.

[20]ZHANG M， UNO I， ZHANG R， et al. Evaluation of the models-3 community multi-scale air quality (CMAQ) modeling system with observations obtained during the TRACE-P experiment: comparison of ozone and its related species [J]. Atmospheric Environment， 2006， 40(26): 4874-4882.

[21]JIANG W， SMYTH S， GIROUX E， et al. Differences between CMAQ fine mode particle and PM2.5 concentrations and their impact on model performance evaluation in the lower Fraser valley [J]. Atmospheric Environment， 2006， 40(26): 4973-4985.