機器學習預測校級計算教學平臺作業運行時間研究

于瀟雪，韋建文，張戰炳，高亦沁，林新華，周 云，周衍曉

（1.上海交通大學 網絡信息中心，上海 200240；2.上海擎云物聯網股份有限公司，上海 200070）

0 引言

當今數字時代，計算對各領域發揮著顛覆性作用。尤其是ChatGPT 火爆全球之后，更是帶動了新一輪算力需求增長，因而亟須培養大批量計算人才以應對不斷增長的需求。上海交通大學積極探索計算人才培養新模式，提出“將計算深度融入專業課教學”的理念，并基于校內強大的算力基座研發校級計算教學平臺，支撐計算課程的線上線下混合式教學和大規模虛擬仿真實驗教學，讓學生有機會在專業實踐中按需學習計算并且用計算解決科研和應用領域的復雜專業問題。

作業調度系統是上海交通大學校級計算教學平臺的核心系統之一，它根據算法預測的作業運行時間安排隊列執行順序，預測準確性影響調度合理性，進而影響平臺整體利用率。機器學習方法能在海量數據中挖掘輸入與輸出的復雜映射關系，在預測作業運行時間任務中被廣泛采用。但是，在實際應用時，如何收集算例數據、選用什么樣的預測方法、選用哪些作業特征、有哪些機器學習技巧可以使用、針對僅有小樣本的訓練集如何提高預測準確度，仍是亟待解決的問題。

基于以上挑戰，本文設計和實現了一套基于深度學習方法的作業運行時間預測方法，在預測高斯（Gaussian09）程序運行時間上取得了比現有工作更好的作業運行時間預測結果。這套方法在特征提取上結合應用無關特征和應用相關特征，并借助深度學習的模型遷移特性，在小樣本數據集上也獲得了較好的預測精度。本文主要貢獻如下：①使用卷積神經網絡提取通用作業特征，使用庫倫矩陣提取高斯作業相關特征，兩種特征融合后，在深度人工神經網絡上獲得了超過現有工作的預測精度；②針對小數據集，采用領域自適應的方法，將預測模型以較小代價遷移到小數據集上，顯著降低了數據收集負擔，提高了模型適用范圍；③模型部署在校級計算教學平臺作業調度系統上，在實際環境中驗證了這套作業運行預測方法的可行性。

1 相關工作

1.1 基于機器學習方法的作業運行時間預測

作業運行時間預測是一個復雜的非線性問題，機器學習方法在解決此類問題上具有優勢。文獻［1］提出一種具有時間嵌入的Transformer 模型，基于用戶歷史作業日志數據提取作業時序特征、資源特征和用戶聚類特征，以此預測作業運行時間。文獻［2］采用KNN 算法，通過歷史數據訓練K-D 樹，獲取新提交作業與歷史作業之間的相似距離，實現作業運行時間的預測。文獻［3］以用戶作業腳本為輸入，對比了多種機器學習算法的預測效果，結果表明決策樹優于其他算法，其準確率達到73%。文獻［4］以VASP 作業為例，提出一種基于RBF 網絡和樸素貝葉斯分類的混合預測方法，取得了良好的預測效果。文獻［5］針對高斯應用程序，提取算例特征，使用線性回歸、深度神經網絡等方法預測作業運行時間。此外，文獻［6］通過仿真實驗說明，調度系統受作業運行時間的準確性影響較大，相比使用粗略運行時間估計，基于較準確的作業運行時間預測作出的作業排布，吞吐量提高了25%。

1.2 用于作業運行時間預測的特征提取

以上預測算法都使用CPU、內存、用戶名等特征，需要人工設計和調整。為了降低特征工程在機器學習任務中的工作量，一些以深度人工神經網絡為基礎的自動特征提取方法被提出。文獻［7］系統梳理了預測作業運行時間所需的作業特征、資源特征、聚類特征以及相應的機器學習方法。文獻［8］以作業腳本作為輸入，使用卷積神經網絡提取字符一級的特征后作為人工神經網絡輸入，進行作業運行時間預測。文獻［9］指出卷積神經網絡因其優異的局部空間特征提取能力，在日志分析、文本情感分析等任務中常常作為特征提取工具。文獻［10］回顧了機器學習技術在預測材料特性、設計新材料上的應用，提出了多種表征材料結構的方法。文獻［11］指出作業路徑是預測作業運行時間的重要特征，對其進行特征聚類處理后，輸入支持向量回歸、決策樹和隨機森林模型，可提升預測準確率。

1.3 模型在小樣本數據集上的準確度提升

增大數據集是提高模型準確度的有效方法之一。文獻［12］指出當數據獲取條件受限時，可采用數據增強（Data Augmentation）方法。數據增強變化已有樣本，生成新的與現實基本一致的訓練樣本。在圖片分類任務中，數據增強方法有剪切、旋轉、縮放、增加亮度等。文獻［13］在樣本數較少的類別上插值采樣，將各類別樣本數擴充到近似程度，避免了樣本數不均造成的預測誤差。文獻［14］保留了在ImageNet 數據集上訓練出的特征提取網絡，替換最后的輸出層后使用少量皮膚病相關照片進行微調，在樣本量較少的皮膚病數據集上也獲得了較好的識別效果。文獻［15］在輸入層將不同數據集歸一到同一概率分布，從而使用同一個模型預測不同集群的作業運行時間。

2 校級計算教學平臺

計算的快速發展對人才培養提出了更高要求，讓學生在實戰中運用所學知識技能解決真實問題是培養計算人才的重要途徑。為此，上海交通大學秉持“應用為王、服務至上、簡潔高效、安全運行”的宗旨，依托校內強大的算力基座打造了校級計算教學平臺。

如圖1 所示，算力基座自2013 年開始建設，采用異構設計理念，建設了云計算、人工智能計算和超級計算三類基座，為教學提供先進的CPU 和GPU 計算資源。在此之上，搭建了校級計算教學平臺，一站式提供課程所需計算軟件、實驗環境和教學資源，支撐課堂直播、實驗實訓、作業考試、在線測評等全過程計算教學。平臺目前已服務全校25 個院系，每學期使用師生數超3 000 人，涵蓋人工智能、計算物理、計算化學、計算材料、生物信息、工程實踐等眾多領域。

Fig.1 Architecture of university-level computing learning plarform圖1 校級計算教學平臺架構

3 用于高斯作業運行時間預測的深度學習模型

3.1 任務定義與方法

本文以高斯（Gaussian09）程序為例，實現調度系統中針對高斯作業的運行時間預測模塊。原因在于高斯作為計算化學領域廣泛應用的軟件之一，在平臺上首批運行至今，具有一定代表性；高斯程序在平臺上使用負載占比較大，預測高斯作業運行時間，能夠優化資源調度，提升平臺利用率。

用戶在使用高斯軟件時，需要提交兩個文件：一個是與計算資源（CPU、內存等）相關的SLURM 作業腳本，另一個是與高斯計算程序相關的算例輸入文件。作業調度系統收到請求后，根據計算資源需求和算例文件，預測同一個作業在不同集群上的運行時間，再根據預設的調度策略，如最短時間、最低價格等，將作業調度到合適的集群上排隊。最后待作業結束后，收集信息錄入作業樣本庫。

高斯程序運行時，從算例文件讀取模型參數和算法需求，然后構建仿真體系模型，通過迭代方法求解體系的薛定諤方程，得到體系穩態能量。高斯作業的運行時間由計算設備的運行速度，以及所要計算的問題決定。使用機器學習算法預測高斯作業的運行時間，需要將“高斯計算任務”轉換成數值特征、選擇合適的預測方法、處理小樣本和數據分布不均的問題。

3.2 基于卷積神經網絡的作業運行時間預測方法

本文借鑒文獻［5］和文獻［16］提取特征的思路，使用卷積神經網絡提取作業的一般特征，并加入表征分子體系的庫倫范數F。作業運行時間預測方法選用與CNN 天然集成的深度人工網絡，并通過超參數搜索、數據增廣等技巧提高準確率。

3.2.1 基于CNN的作業文本特征提取

本文使用卷積神經網絡自動提取作業的通用特征，經過拼接、分詞、詞嵌入、截斷變換得到詞向量矩陣，經過卷積神經網絡處理后得到特征向量用于運行時間預測。

如圖2 所示，在通用作業特征提取中，作業腳本文件與高斯輸入文件首先會被拼接成單行文本，然后對得到的單行文本進行一定的清洗：不同于普通文本存在大量的停用詞、時態等冗余信息，作業腳本與輸入文件的文本多是有用信息。因此，清洗主要是去除一些無實際意義的分隔符號，如括號等，保留具有有效信息的單詞。之后，再將詞語序列的每個元素通過Word2vec［17］轉換為長度為8 的向量。

Fig.2 Schematic diagram of feature extraction based on convolutional neural network圖2 基于卷積神經網絡的特征提取示意圖

由于不同作業腳本與輸入文件提取得到的輸入向量長度不盡相同，故本文在統計所有文本長度后選取了合適的位置將向量進行了截斷。由于作業腳本長度大多相近，因此截斷位置主要考量的是作業輸入文件。而作業輸入由兩部分組成：第一段為作業運行時所需內容；第二段為分子結構，也即每個原子對應的笛卡爾坐標。而前一段對作業如何執行起指導作用，因此需要盡可能保留。因此，本文計算了所有算例輸入文件第一段文本的最大長度，在該位置對向量進行截斷。

3.2.2 使用庫倫矩陣F范數的分子體系嵌入

高斯軟件求解的是輸入原子體系的最小能量狀態，如何數值化地表征原子體系是提高預測準確度的關鍵。現有預測方法只采用了體系的局部特征，如“原子數”“質子總數”等，難以刻畫體系的整體特性。

針對高斯的特征提取方法描述原子體系，本文借鑒其中的“庫倫矩陣”，用以表征高斯作業算例中的體系結構。文獻［18］實現了一個提取和轉換庫倫矩陣的Python 擴展庫，本文使用這個庫提取算例的庫倫矩陣范數F。文獻［5］使用庫倫矩陣作為輸入，它表征了原子核之間的經典相互作用，準確預測了原子材料的材料特性，驗證了庫倫矩陣的有效性。為更好地表征原子體系，本文使用庫倫矩陣的F 范數整體表征原子體系。庫倫矩陣是一個對稱矩陣，表示了體系中原子的兩兩距離和質子數關系。但由于庫倫矩陣的大小隨體系大小而變，二維矩陣不易嵌入一維特征向量中，因此本文改用庫倫矩陣的F 范數表征原子體系。盡管只用一個浮點數表征分子體系會損失大量信息，但在一定程度上體現了分子結構體系的空間特征。

式（1）中，對角線元素可以視作一個原子與其自身的相互作用，它也是對帶有Z 個原子核電荷的原子能的多項式近似。而非對角線上的元素表示原子核i與原子核j之間的庫倫排斥力。庫倫矩陣M 的F 范數定義見式（2），其中p、q表示庫倫矩陣的橫向和縱向維度。

3.2.3 基于深度人工神經網絡的作業運行時間預測

本文使用深度人工神經網絡（Deep Neural Networks，DNN）作為預測高斯作業運行時間的算法。具體地，在神經網絡輸出方面，本文令輸出層具有2 880 個神經元，每個神經元分別代表0～2 880 min。本文對作業運行時間的預測不是傳統的回歸問題，而是轉換為粗粒度的分類問題進行處理。

對于從輸入文件文本映射得到的一維向量而言，本文進一步采用100 個大小為3×8 的卷積核對其進行遍歷，其中8 表示Word2vec 轉換得到的詞向量維數。這樣做確保了卷積核與詞向量的寬度一致，從而使卷積得到不同的完整單詞之間的局部關系，這是因為對單個單詞的詞向量做切分沒有實際意義，而使用該卷積神經網絡可以利用網絡中諸多隱含層中的神經元自動提取更高維度、更重要的特征。相比之下，樸素的機器學習方法如KNN、隨機森林等方法則無法從文本中構建特征并用于分析。使用這種方法的優點在于無需針對應用進行人工的特征提取。后者需要使用基于正則的分割、數據清洗等方法才能得到模型所需要的特征數據，且在不同應用間不具有普適性。而基于文本映射以及1D-CNN 的方法能夠自動提取特征，且適用于不同應用。在經過卷積后，本文得到了一系列新的列向量，為了壓縮過多信息，使用最大池化層提取卷積得到最關鍵信息，然后將更新的列向量連接至全連接層以及最后2 880個神經元的Softmax 層進行分類。

3.3 深度人工神經網絡下的模型遷移

計算環境的差異會導致同一個高斯算例運行時間的差異，這種在數據分布上的差異，最終會導致基于某個集群數據集訓練好的模型，在另一個集群上預測準確率驟降。然而，在新數據集上從零開始訓練一個模型，會遇到數據收集和參數調優等難題，模型遷移（Model Transfer）方法［19］提供了一種復用預訓練模型的方法以解決這些問題。所謂模型遷移，指源域與目標域的特征、輸出值相同，但其特征的分布不同。其中，源域指現有數據集，而目標域指待遷移的數據集。在實現方法上，大致可分為“輸入自適應”和“輸出自適應”，前者保持模型輸出層不變，對輸入數據做變換，使其概率分布統一到模型訓練所用的數據上；后者保持輸入層不變，調整模型輸出層參數，讓輸出層適配新數據集概率分布。

本文在深度神經網絡模型上采用“輸出自適應”方法，原理如圖3 所示。由于模型前3 層為一般特征，而之后的層為針對數據集的表示層，因此可以固定前3 層，并在新數據集上重新訓練并微調后面數層，從而僅需收集少量數據就能達到較好的預測準確度。

Fig.3 Theory of output adaption圖3 輸出自適應原理

3.4 其他提升性能的數據處理技巧

（1）數據增強。在預測高斯作業運行時間的任務中，受限于作業質量和系統權限，能用于模型訓練的作業樣本數遠小于當前主流模型的規模，只有幾千個樣本點。高斯作為一個OpenMP 并行作業，在一個計算節點多核運行時具有超過90%的并行效率，提高一個算例所用的核心數，大致能等比例地縮短該算例的運行時間。基于這樣的觀察，本文對一個使用N 核心、運行時間為T 的算例做變換，生成4 個訓練算例，其核心數和運行時間分別是：（N/4，4T）、（N/2，2T）、（2N、T/2）和（4N，T/4）。

（2）超參數搜索。求解機器學習模型的過程通常是搜索經驗損失函數極小點的過程，模型超參數的設置對能否搜索到極小點具有重要影響，需嘗試多組不同的超參數。

對于深度神經網絡，可調整的超參數主要有：網絡深度、每層的神經元數量、學習率等。這些因素影響模型的泛化能力和收斂速度。由于訓練時間長、搜索空間大，本文采用貝葉斯方法搜索最佳模型設置。在搜索過程中，優化目標變成以超參數為變量的損失函數，貝葉斯函數以高斯過程對其建模，引導搜索過程向最優超參數收斂。

對于梯度提升決策樹，可調整的超參數主要有：最大子樹深度、子樹數量、孩子節點中最小的樣本權重和、子樣本的比例、學習率等。這些參數會影響模型泛化能力、貪心算法保守程度、權重調整幅度等重要因素。本文采取的策略是固定其他超參數，遍歷某組超參數，重復以上步驟直至模型達到最優。

4 實驗結果與分析

4.1 實驗環境

本文實驗均在Intel Xeon Gold 6248平臺上完成。支持向量機（SVM）、決策樹（DT）和深度人工神經網絡模型分別使用scikit-learn、XGBoost和TensorFlow 實現。

4.2 高斯作業樣本數據集

本文使用的高斯作業樣本來自集群A（數據集A）、集群B（數據集B）和集群C（數據集C）。這3個集群分別建設于2019 年、2017 年、2018 年采購，因而單節點性能有較為顯著的差異。作業樣本去掉了因故障終止、超過2 天計算不收斂的算例。此外，本文使用數據增強方法，擴充3 個原始數據集，得到用于訓練的增強數據集。各數據集大小如表1所示。

Table 1 Three datasets of Gaussian09 jobs表1 3個高斯作業樣本數據集

4.3 算法準確度度量標準

本文參考文獻［20］，使用“平均相對百分比誤差”（Mean Relative Percentage Error，MRPE）度量模型準確度。MRPE 是“單次預測相對準確度”的算術平均值，數值越高，模型在數據集上的整體預測結果越接近真實值。相比另一個常用的度量指標“平均絕對百分比誤差”（Mean Absolute Percentage Error，MAPE），MRPE 具有如下優點：數值保持在0-1 區間、易于解釋和對比性能、能處理預測結果為0或無窮大的極端情況。其公式如下：

式（3）中，下標i表示第i個數據點，pred 表示模型預測的作業運行時間，true 表示作業實際運行時間，∈為平滑項。

4.4 實驗流程

在評估算法準確度的實驗中，本文通過組合機器學習算法和可用特征集評估機器學習方法對準確度的影響，使用的是樣本數較多的數據集A。其中，3 種機器學習算法使用傳統特征作為對比基線。DNN 方法額外使用CNN 特征和庫倫矩陣范數特征的組合，以評估新特征的有效性。從頭開始訓練，與使用遷移學習算法的精度進行比較。

在評估模型遷移實驗中，評估遷移學習算法對于小樣本數據集的有效性。模型基線設定為SVM、DT 和DNN 在小樣本數據集上直接訓練出來的模型，接著基于數據集A模型，保留特征提取層訓練出來的參數，在數據集B 和數據集C 上微調并遷移輸出層，并對比這兩組模型的效果。

在評估算法耗時實驗中，比較所用算法的訓練和推理耗時，以評估模型是否適合部署在生產環境中。

在所有實驗中，都使用了進行數據增強的數據集，并將數據增強后的樣本集，按照0.95∶0.05 劃分為訓練集和測試集，分別輸入指定模型中進行訓練。測試集用于評模型準確度，不用于模型訓練。采用SVM、DT、DNN 3 種機器學習方法訓練，比較訓練時間、推理時間和模型精準度。

4.5 評估算法準確度

3 種機器學習算法及其變種在數據集A 上的性能如圖4 所示。在使用相同特征進行訓練時，SVM、DT 和DNN 的效果相仿，分別為66.32%、71.87%、69.59%，DT 在三者中具有微弱優勢。加入CNN 提取特征和庫倫矩陣F 范數特征后，模型效果得到了有效提高。CNN 提取的特征將DNN方法的MRPE 提升了13.36%，而加入了庫倫矩陣的F 范數特征后，模型的MRPE 進一步提升了7.656%。最終，DNN-3模型的MRPE 達到84.93%，證明了兩種方法的有效性。

對于CNN 特征提取的有效性，分析原因如下：原始文本特征大量出現次數很少的文本，例如迭代方法中存在許多僅使用過數次的方法。傳統編碼方法使用one-hot 對這類特征編碼時會導致特征矩陣非常稀疏，使得訓練時很難收斂到一個最優值。而CNN 提取該類型文本特征時得到的特征尺寸是可控的，同時兼顧了傳統方法得到的文本特征，因此效果更好。

4.6 評估模型遷移

各SVM、DT 和DNN 算法變種在樣本總數較少的數據集B 和C 上的精準度如圖5、圖6所示。

Fig.5 Different models’ MRPE performance on dataset B（higher is better）圖5 不同模型在數據集B上的MPRE值（越高越好）

Fig.6 Different models’MRPE performance on dataset C（higher is better）圖6 不同方法在數據集C上的MPRE值（越高越好）

首先，對于“從零開始”訓練模型的算法，SVM、DT、DNN-1 在小樣本數據集上的精準度不佳，未超過38%。CNN 提取特征和加入庫倫矩陣對精準度的影響與上文觀察到的一致，前者作用更顯著。其次，對于“直接使用”預訓練模型的5 個機器學習模型（SVM、DT、DNN-1、DNN-2、DNN-3），準確度相比“從零開始”訓練的模型不升反降，說明由于數據分布差異，在一個數據集上訓練出來的模型通常不能直接用于另一個數據集推理。最后，采用“模型遷移”方法微調的算法DNN-4 在兩個小數據集上都獲得了比其他算法更高的準確度，分別達65.2%、63.3%，證明了模型遷移方法的有效性。

4.7 評估算法訓練與推理耗時

在實際部署模型時，算法訓練時間會影響模型重訓練頻度，推理時間會影響模型響應速度。算法訓練和推理時間大致與算法復雜度保持一致，在生產環境部署算法時，需要考慮處理時間的硬性限制。幾種機器學習算法在數據集A 上的訓練時間和推理時間如表2 所示，算法的變種不影響整體訓練和推理時間，因此采用最基本的算法。

Table 2 Horizontal comparison of 5 models表2 5種模型橫向比較

對于模型訓練，SVM 最快，DT 次之，DNN 最慢。上述算法的訓練時間都不超過10 min，能夠滿足每隔半小時重新訓練一次模型的需求。對于模型推理，耗時從小到大依次是：SVM、GBDT 和DNN。其中，DNN 算法推理時間高于0.5 s，結合生產環境集群作業接收經驗（約每秒收到一個新作業），DNN 足以處理高斯作業預測，但擴展到預測每一個作業的運行時間，會成為整個作業調度系統的瓶頸。

5 結語

本文在上海交通大學校級計算教學平臺作業調度系統的基礎上，實現了一套用于收集特定應用算例的系統，基于該系統收集的高斯作業算例，以及相同算例在其他集群上的運行結果，評估了不同機器學習方法結合不同的特征提取方式對于預測高斯作業運行時間的適用性，并探討了提高小樣本數據集預測準確度的方法。

最終發現，梯度提升決策樹方法和深度神經網絡方法優于傳統的支持向量機方法；使用Text-CNN 對文本提取特征優于提取單詞并做one-hot 編碼；在模型中加入表示原子體系的表征后準確度明顯提高，相比使用原始特征作為輸入的DNN，使用Text-CNN 提取文本特征加上庫倫矩陣F 范數作為輸入特征的MRPE 提升了22.04%；對于小樣本數據集，采用模型遷移的方法復用預訓練模型，能有效提高模型準確度。下一步，嘗試將這套方法用于高斯之外的科學應用，為高效率智能化的集群作業調度提供依據。