基于隨機(jī)森林的高能物理數(shù)據(jù)放置策略

程振京 ，程耀東，3，陳 剛，汪 璐，李海波 ，胡慶寶

1.中國科學(xué)院 高能物理研究所，北京100049

2.中國科學(xué)院大學(xué)，北京100049

3.中國科學(xué)院 高能物理研究所 天府宇宙線研究中心，成都 610041

1 引言

隨著高海拔宇宙線觀測實驗LHAASO[1]、大亞灣及江門中微子實驗JUNO 等高能物理實驗建成運(yùn)行和陸續(xù)建成，數(shù)據(jù)累積規(guī)模不斷擴(kuò)大。超大規(guī)模的數(shù)據(jù)量對數(shù)據(jù)存儲的性能和效率提出了更高的要求。高能物理領(lǐng)域一般使用EOS[2]、Lustre[3]等分布式集群文件系統(tǒng)，整合集群存儲空間，數(shù)據(jù)分散存儲在集群各個節(jié)點(diǎn)服務(wù)器上，對外提供統(tǒng)一的文件訪問服務(wù)。

為了應(yīng)對超大規(guī)模數(shù)據(jù)集的存儲和降低系統(tǒng)構(gòu)建成本、提供較好的訪問性能，集群系統(tǒng)一般使用統(tǒng)一命名空間的分級存儲架構(gòu)，使用介質(zhì)包括傳統(tǒng)機(jī)械磁盤HDD 和固態(tài)硬盤SSD 等。在現(xiàn)有計算和存儲架構(gòu)上，大數(shù)據(jù)集在節(jié)點(diǎn)和存儲設(shè)備之間的移動會與性能和用戶體驗產(chǎn)生諸多負(fù)面影響。因此，合理的數(shù)據(jù)放置策略對于提升集群存儲系統(tǒng)效率非常重要。

海量數(shù)據(jù)治理的公認(rèn)最佳實踐是分類分級管理[4]。傳統(tǒng)的高能物理文件放置方法是根據(jù)文件內(nèi)容，對實驗原始數(shù)據(jù)、蒙特卡洛模擬數(shù)據(jù)和重建數(shù)據(jù)進(jìn)行簡單分類。這種方式是基于規(guī)則的，非常依賴系統(tǒng)管理員和用戶的先驗知識[5]。文獻(xiàn)[6]利用文件已創(chuàng)建時間與訪問熱度之間的相關(guān)性完成文件放置，保持各存儲節(jié)點(diǎn)的負(fù)載均衡，但未考慮存儲節(jié)點(diǎn)異構(gòu)情況。文獻(xiàn)[7]考慮節(jié)點(diǎn)負(fù)載、節(jié)點(diǎn)硬件性能和網(wǎng)絡(luò)距離找到最佳文件副本放置節(jié)點(diǎn)，但未考慮文件的訪問特點(diǎn)和訪問場景。

本文在這些方法的基礎(chǔ)上，提出了基于隨機(jī)森林算法的高能物理文件放置策略。綜合考慮訪問場景和訪問特點(diǎn)將文件劃分為兩類：交互式文件和批處理文件。相比于批處理文件，交互式文件隨機(jī)訪問占總體訪問的比例較大，讀寫帶寬和用戶體驗聯(lián)系更加緊密。數(shù)據(jù)放置過程中優(yōu)先將交互式文件放置在隨機(jī)IO性能更好的固態(tài)硬盤SSD 中，同時考慮各存儲設(shè)備當(dāng)前負(fù)載情況。實驗結(jié)果表明，使用此算法可以在不升級擴(kuò)容現(xiàn)有存儲節(jié)點(diǎn)和硬盤的情況下，優(yōu)化數(shù)據(jù)放置和用戶體驗，發(fā)揮固態(tài)硬盤的性能優(yōu)勢，同時維持各節(jié)點(diǎn)的負(fù)載均衡。

2 相關(guān)工作

2.1 高能物理計算模式

典型的高能物理計算模式是從海量數(shù)據(jù)中挖掘出稀有事例。事例以文件形式存儲在分布式存儲系統(tǒng)中。基于上述特點(diǎn)，高能物理領(lǐng)域普遍采用集群文件系統(tǒng)以及計算和存儲分離的模式，如圖1所示。

海量實驗數(shù)據(jù)存儲在I/O服務(wù)器中，通過EOS分布式存儲系統(tǒng)來管理，計算節(jié)點(diǎn)通過高速網(wǎng)絡(luò)從I/O 服務(wù)器中獲取數(shù)據(jù)[8]。中科院高能物理研究所計算中心開發(fā)了基于DNS負(fù)載均衡的前端登錄系統(tǒng)[9]，提供大規(guī)模用戶登錄服務(wù)，作為用戶在計算和存儲集群的單一入口點(diǎn)。用戶在前端登錄節(jié)點(diǎn)可以進(jìn)行數(shù)據(jù)文件檢查、計算程序調(diào)試、分析作業(yè)提交等交互式操作，存儲系統(tǒng)的數(shù)據(jù)訪問性能對于用戶使用體驗影響較大。后端計算集群通過作業(yè)調(diào)度系統(tǒng)統(tǒng)一調(diào)度和執(zhí)行用戶批處理計算作業(yè)。作業(yè)執(zhí)行時間受任務(wù)類型、CPU 主頻、I/O、網(wǎng)絡(luò)等因素共同影響。作業(yè)完成后，用戶將數(shù)據(jù)分析結(jié)果拷貝到個人計算機(jī)上做進(jìn)一步分析，存儲系統(tǒng)的數(shù)據(jù)訪問性能對于用戶使用體驗影響相對較小。

圖1 高能物理計算系統(tǒng)典型結(jié)構(gòu)

2.2 EOS架構(gòu)及數(shù)據(jù)放置策略

為了滿足PB 級甚至EB 級的高能物理數(shù)據(jù)存儲與分析壓力，歐洲核子中心CERN 于2010 年開發(fā)了EOS文件存儲系統(tǒng)。EOS 是一種基于xrootd 協(xié)議[10]框架實現(xiàn)的分布式并行文件系統(tǒng)，采用基于內(nèi)存的元數(shù)據(jù)管理架構(gòu)，節(jié)點(diǎn)支持條帶化、文件多副本，可擴(kuò)展性較好。它提供較高的聚合I/O 帶寬，數(shù)據(jù)可以透明地在不同存儲池間轉(zhuǎn)儲，特別適合高能物理高吞吐量的計算模式，和其他傳統(tǒng)分布式文件系統(tǒng)相比具有很大優(yōu)勢。EOS 主要由元數(shù)據(jù)管理服務(wù)器（MGM）、消息隊列（MQ）和文件存儲服務(wù)器（FST）、客戶端四部分組成，如圖2所示。

圖2 EOS典型架構(gòu)

元數(shù)據(jù)服務(wù)器MGM管理文件系統(tǒng)的元數(shù)據(jù)，維護(hù)數(shù)據(jù)條帶和文件位置等信息，并且提供命名空間、用戶配額、用戶認(rèn)證等功能。文件存儲服務(wù)器FST使用本地文件系統(tǒng)存儲數(shù)據(jù)條帶，響應(yīng)客戶端請求讀出或?qū)懭霐?shù)據(jù)。消息隊列MQ負(fù)責(zé)元數(shù)據(jù)管理服務(wù)器MGM和文件存儲服務(wù)器FST之間的信息同步，數(shù)據(jù)傳輸?shù)取Ｔ贓OS元數(shù)據(jù)服務(wù)器設(shè)計了存儲池（storage group），存儲池是一組存儲服務(wù)器FST 和本地文件系統(tǒng)目錄FS 的集合。可以為每個存儲池配置不同的用戶配額、負(fù)載均衡策略、數(shù)據(jù)冗余、副本和糾刪碼級別等。實際應(yīng)用中通常根據(jù)硬件性能劃分不同存儲池，對用戶提供透明、統(tǒng)一的文件訪問入口。

EOS 中文件寫入過程如圖3 所示。客戶端將請求發(fā)給元數(shù)據(jù)服務(wù)器，元數(shù)據(jù)服務(wù)器收到請求后首先檢查用戶權(quán)限和文件邏輯路徑，如果成功則創(chuàng)建一條元數(shù)據(jù)記錄，包括用戶名uid、用戶組名gid、創(chuàng)建時間、訪問權(quán)限、邏輯路徑、文件名等，但不會記錄文件大小和文件在存儲集群中的物理路徑。客戶端初始時先把文件寫入本地緩存，完成后再借助放置策略確定數(shù)據(jù)在存儲集群中的物理位置。最后客戶端和相應(yīng)存儲服務(wù)器FST 建立連接，通過xrootd協(xié)議將文件或數(shù)據(jù)條帶寫入到各存儲設(shè)備中。

圖3 EOS文件寫入過程

3 改進(jìn)的數(shù)據(jù)放置策略

3.1 問題描述

EOS 默認(rèn)的文件放置策略是隨機(jī)選擇一個當(dāng)前活躍的存儲池，通過GroupBalancer 組均衡程序選擇一個存儲服務(wù)器FST 和本地文件系統(tǒng)目錄FS，但只考慮了存儲空間利用率。高能物理實驗交互式訪問數(shù)據(jù)和批處理訪問數(shù)據(jù)（見2.1節(jié)）混合放置在不同性能的存儲設(shè)備上，可能導(dǎo)致某些存儲設(shè)備比較空閑，造成存儲節(jié)點(diǎn)負(fù)載不均衡。

3.2 策略基本思想

EOS 在數(shù)據(jù)放置過程中沒有考慮高能物理數(shù)據(jù)訪問特點(diǎn)和訪問場景的差異。考慮EOS 使用的存儲設(shè)備既包含前期部署的基于SATA協(xié)議的廉價HDD盤，又包含后期擴(kuò)展的基于PCIE等協(xié)議的高性能SSD盤，將存儲服務(wù)器FST和硬盤設(shè)備按照性能劃分為快慢兩種存儲池。

改進(jìn)的數(shù)據(jù)放置策略首先使用基于決策樹的隨機(jī)森林對文件訪問場景進(jìn)行識別。決策樹[11]是一種無參數(shù)的有監(jiān)督學(xué)習(xí)模型，本質(zhì)上是從帶有標(biāo)簽的訓(xùn)練數(shù)據(jù)集中學(xué)習(xí)分類和決策規(guī)則。決策樹計算速度快，能處理訓(xùn)練數(shù)據(jù)的離散值和連續(xù)值，訓(xùn)練后的決策樹能夠生成在邏輯上解釋的規(guī)則，缺點(diǎn)是容易過擬合，對輸入噪聲和異常值敏感，準(zhǔn)確率不高。隨機(jī)森林（Random Forest，RF）[12]是一種基于決策樹的集成模型，包含多棵決策樹的弱分類器，通過重采樣從原始訓(xùn)練樣本集N中有放回地抽取n個樣本構(gòu)成新的訓(xùn)練樣本集，進(jìn)而訓(xùn)練m棵決策樹，輸出的類別由個別樹輸出的類別的眾數(shù)而定。因此隨機(jī)森林有很好的抗噪聲和泛化能力。本文使用sklearn[13]數(shù)據(jù)挖掘和分析工具，在隨機(jī)森林訓(xùn)練和推理過程中利用多核CPU 的并行計算能力，對于大規(guī)模數(shù)據(jù)集計算速度比較快，適合對于性能要求較高的存儲系統(tǒng)場景。

如圖4 所示，在文件寫入本地緩存后，采集文件后綴名、文件大小、文件目錄、訪問權(quán)限、創(chuàng)建時間、文件所屬用戶uid、用戶組gid 等信息，經(jīng)過預(yù)處理、特征提取、One-hot編碼[14]作為隨機(jī)森林的輸入數(shù)據(jù)。隨機(jī)森林模型保存了文件訪問場景的識別規(guī)則。例如，同種訪問場景中的高能物理實驗數(shù)據(jù)往往文件格式一致，訪問權(quán)限相似，甚至共同的父級目錄等。

圖4 基于隨機(jī)森林的文件放置框架結(jié)構(gòu)圖

硬盤性能和IO負(fù)載是影響存儲節(jié)點(diǎn)數(shù)據(jù)寫入和讀出快慢的重要因素之一。隨機(jī)森林根據(jù)輸入將文件識別為交互式數(shù)據(jù)或批處理數(shù)據(jù)，根據(jù)系統(tǒng)管理員事先定義的規(guī)則，分別存儲在快速存儲池和慢速存儲池中。存儲池的劃分標(biāo)準(zhǔn)主要考慮硬盤IOPS和吞吐量[15]。同時本文定義了IO 負(fù)載指標(biāo)來衡量存儲設(shè)備的負(fù)載情況。在存儲池內(nèi)部選擇FST和硬盤時，綜合考慮所有服務(wù)器和硬盤的當(dāng)前負(fù)載。負(fù)載指標(biāo)可以用以下公式來表示：

其中，avgqu表示服務(wù)器平均I/O隊列長度；svctm表示服務(wù)器平均每次I/O 請求的服務(wù)時間；util表示每個硬盤用于I/O操作時間的百分比；iowait表示CPU等待I/O請求時間的百分比。Linux中的top命令和iostat命令[16]主要用于監(jiān)控節(jié)點(diǎn)系統(tǒng)設(shè)備的I/O 負(fù)載情況，以時間段為單位提供了上述硬盤負(fù)載指標(biāo)。改進(jìn)的策略模型對同一存儲池內(nèi)所有服務(wù)器和硬盤的負(fù)載進(jìn)行計算，選取負(fù)載最低的存儲位置。

3.3 算法描述

算法思想：針對高能物理計算和存儲模式，在文件創(chuàng)建時，從本地客戶端緩存寫入到集群存儲系統(tǒng)之前，根據(jù)文件元數(shù)據(jù)特征，識別為交互式訪問文件或批處理訪問文件，分別選擇合適的數(shù)據(jù)放置位置，提升數(shù)據(jù)訪問效率和用戶體驗。

輸入：文件屬性信息，各節(jié)點(diǎn)和存儲設(shè)備空間利用率、負(fù)載指標(biāo)等

輸出：可以放置文件的FST節(jié)點(diǎn)和硬盤

偽代碼如下：

1.while（客戶端發(fā)出數(shù)據(jù)提交至存儲系統(tǒng)的請求）{

2.i（f在EOS中分離了快速和慢速存儲池）{

3.提取新創(chuàng)建文件元數(shù)據(jù)特征，包括文件名后綴、文件大小、文件路徑（各級目錄）、訪問權(quán)限、創(chuàng)建時間、文件所屬用戶uid、用戶組gid等

4.if（已訓(xùn)練隨機(jī)森林模型）{

5.文件元數(shù)據(jù)特征輸入隨機(jī)森林模型進(jìn)行推理

6.對文件進(jìn)行分類，并轉(zhuǎn)至步驟10

}

7.else{

8.根據(jù)用戶使用場景不同標(biāo)記訓(xùn)練數(shù)據(jù)

9.離線訓(xùn)練隨機(jī)森林模型，并轉(zhuǎn)至步驟4

}

10.根據(jù)文件類別選擇快速或慢速存儲池

11.統(tǒng)計節(jié)點(diǎn)FST 空間利用率以及集群平均空間利用率

12.從步驟11 中挑選空間利用率小于集群平均值的FST節(jié)點(diǎn)，計算節(jié)點(diǎn)下各存儲設(shè)備的IO負(fù)載，挑選負(fù)載最低的存儲設(shè)備作為文件存儲位置。算法結(jié)束

}

13.else{

14.使用EOS原有數(shù)據(jù)放置策略，隨機(jī)選擇一個可用存儲池，根據(jù)存儲空間利用率選擇一個節(jié)點(diǎn)和硬盤存儲設(shè)備。算法結(jié)束

}

}

4 實驗結(jié)果及分析

4.1 實驗環(huán)境

本文以中科院高能物理所部署的分布式集群存儲系統(tǒng)EOS 0.4.31[17]為基礎(chǔ)，重寫了元數(shù)據(jù)服務(wù)器MGM中Scheduler 類，該類負(fù)責(zé)將新創(chuàng)建的文件從客戶端緩存?zhèn)鬏斨链鎯海J(rèn)隨機(jī)選擇一個可用存儲池并調(diào)用GroupBalancer類，調(diào)用Strategy類選擇FST節(jié)點(diǎn)。繼承Strategy 類并重載了其中的FilePlacement 方法，增加了使用隨機(jī)森林推理文件類型的PredictFileCategory方法，同時增加了GetServerLoad和ChooseDisk方法，計算服務(wù)器和硬盤IO負(fù)載，選擇一個當(dāng)前時間段（10 min）內(nèi)負(fù)載最低的存儲節(jié)點(diǎn)和硬盤。

實驗環(huán)境配置如下：EOS的MGM元數(shù)據(jù)管理器操作系統(tǒng)選用centos7.4，通過虛擬機(jī)構(gòu)建了四個FST文件存儲服務(wù)器節(jié)點(diǎn)，根據(jù)硬盤介質(zhì)種類分別定義了快速和慢速兩個存儲池。fst01 和fst02 節(jié)點(diǎn)位于快速存儲池，分別配有兩塊240 GB固態(tài)硬盤SSD（SSD01-04）。fst03和fst04 節(jié)點(diǎn)位于慢速存儲池，分別配有兩塊2 TB 機(jī)械硬盤HDD（HDD01-04）。

4.2 實驗結(jié)果分析

在算法驗證中，以位于四川稻城的高海拔宇宙線觀測實驗LHAASO為例，針對2019年1月1日至2019年2月1日這一個月內(nèi)新創(chuàng)建的565 254個數(shù)據(jù)樣本文件作為訓(xùn)練集。并根據(jù)文件創(chuàng)建后，數(shù)據(jù)訪問請求的主要來源（前端登錄節(jié)點(diǎn)或計算節(jié)點(diǎn)）標(biāo)注不同訪問場景，包含交互式樣本文件80 135 個和批處理樣本文件485 099個，離線訓(xùn)練隨機(jī)森林模型。文件大小介于十幾KB和GB之間。在測試中采集2019年2月2日這一天內(nèi)新創(chuàng)建的19 149個實驗數(shù)據(jù)文件樣本作為測試集，其中交互式文件樣本2 731 個，批處理文件樣本16 418 個。本文首先驗證隨機(jī)森林模型對高能物理實驗中產(chǎn)生的交互式訪問的數(shù)據(jù)和批處理訪問的數(shù)據(jù)分類和識別的準(zhǔn)確率，如圖5所示。

圖5 文件類別識別結(jié)果

測試中分別使用了RF1（單棵決策樹）、RF7（集成7棵決策樹的隨機(jī)森林）、RF15、RF31、RF63、XGBoost（eXtreme Gradient Boosting）極端梯度提升樹、GBDT（Gradient Boosting Decision Tree）梯度下降樹、SVM支持向量機(jī)等模型。使用隨機(jī)森林對文件類別識別準(zhǔn)確率最好能達(dá)到84%以上，超過了XGBoost、GBDT、SVM等機(jī)器學(xué)習(xí)分類模型。本文假設(shè)初始時各存儲節(jié)點(diǎn)都處于空載狀態(tài)，硬盤空間使用也是從0開始。數(shù)據(jù)分布分別如圖6所示。

使用EOS 原有放置策略（圖6（a）），LHAASO 交互式訪問的物理數(shù)據(jù)和批處理訪問的物理數(shù)據(jù)混合存儲在所有節(jié)點(diǎn)，固態(tài)硬盤SSD 和機(jī)械硬盤HDD 盤上數(shù)據(jù)分布幾乎無差異。使用改進(jìn)的放置策略（圖6（b）），交互式訪問的數(shù)據(jù)集中存儲在fst01、fst02 節(jié)點(diǎn)以及掛載的固態(tài)硬盤SSD上，批處理訪問的數(shù)據(jù)集中存儲在fst03、fst04節(jié)點(diǎn)以及掛載的機(jī)械硬盤HDD上。

圖6 原有策略和改進(jìn)策略下數(shù)據(jù)在存儲節(jié)點(diǎn)的分布

數(shù)據(jù)放置完成后集群存儲節(jié)點(diǎn)和硬盤空間使用率如圖7所示，可以看到，相比原有放置策略，改進(jìn)放置策略提升了固態(tài)硬盤存儲池對于交互數(shù)據(jù)的空間使用率。由于固態(tài)硬盤不需要尋道，隨機(jī)讀寫速度快，能夠極大提升交互式數(shù)據(jù)操作效率和用戶使用體驗。改進(jìn)放置策略同時保證了同一個存儲池內(nèi)部下各硬盤的負(fù)載均衡。

圖7 原有策略和改進(jìn)策略下集群空間使用率

5 結(jié)束語

高能物理一般使用分布式集群存儲系統(tǒng)來存放實驗產(chǎn)生的海量物理數(shù)據(jù)。傳統(tǒng)數(shù)據(jù)放置策略沒有考慮用戶不同訪問場景，也沒有考慮同時包含固態(tài)硬盤和機(jī)械硬盤的異構(gòu)存儲環(huán)境。針對上述問題，本文利用隨機(jī)森林模型提出了一種改進(jìn)的數(shù)據(jù)放置策略，提取文件大小、文件路徑、權(quán)限、用戶id 等多個維度的數(shù)據(jù)原始特征，對文件創(chuàng)建后的讀寫訪問場景進(jìn)行預(yù)測和識別，分別選取適合放置的存儲池和存儲節(jié)點(diǎn)、硬盤。實驗結(jié)果表明，改進(jìn)的放置策略將交互式訪問數(shù)據(jù)放置在固態(tài)硬盤存儲池，批處理訪問數(shù)據(jù)放置在機(jī)械硬盤存儲池，能夠提升用戶交互式訪問體驗，發(fā)揮固態(tài)硬盤速度快和機(jī)械硬盤容量大的優(yōu)勢。目前以LHAASO為代表的高能物理實驗已積累超過8 200 萬個樣本文件，下一步的工作是在更大規(guī)模的樣本文件集中驗證算法的性能和有效性。同時在放置策略中考慮硬盤磨損程度和壽命，以減少數(shù)據(jù)放置時間和降低數(shù)據(jù)風(fēng)險。