CatBoost算法結合Optuna框架預測砂土液化

文章編號：1671-3559（2024）04-0496-07DOI：10.13349/j.cnki.jdxbn.20230913.001

摘要： 為了解決利用機器學習算法建立的部分砂土液化預測模型僅在特定地區實現高精確預測而泛化能力減弱的問題，從而擴大砂土液化預測模型適用范圍，準確預測砂土液化，以更好地防治地震災害，基于類別型特征提升算法CatBoost并結合自動超參數優化框架Optuna進行調參訓練，建立CatBoost-Optuna砂土液化預測模型；將標準貫入試驗的地震液化數據集劃分為訓練集和測試集，利用5個評估指標評估所建立模型的預測結果，與測試集中多層感知機和支持向量機砂土液化預測模型的評估結果相比較，并以地震液化案例數據作為驗證集，對比不同預測模型的預測效果。結果表明： 與多層感知機和支持向量機砂土液化預測模型相比，所建立的模型在測試集中評估指標較大，有更好的預測效果；在驗證集中，所建立模型的評估指標只有精準率略微減小，其他評估指標都保持穩定，而對比模型的評估指標只有召回率保持穩定，其他評估指標都有所減小，只有所建立模型的預測效果與在測試集中的預測效果保持一致，進一步證明所建立模型的泛化能力較強。

關鍵詞： 巖土工程； 砂土液化預測； 機器學習； CatBoost算法； Optuna框架； 泛化能力

中圖分類號： TU441+.4

文獻標志碼： A

開放科學識別碼（OSID碼）：

Sand Liquefaction Prediction by Using CatBoost Algorithm

Combined with Optuna Framework

HE Jiazhi， FENG Xianda， LIU Tianqi

（School of Civil Engineering and Architecture， University of Jinan， Jinan 250022， Shandong， China）

Abstract： To solve the problem that some sand liquefaction prediction models built by using machine learning algorithms only achieved high accuracy in specific areas and had weak generalization ability， so as to expand applicability of the sand liquefaction prediction models and accurately predict sand liquefaction for better prevention and control of seismic hazards， a CatBoost-Optuna sand liquefaction prediction model was established on the basis of categorical feature boosting algorithm CatBoost combined with automatic hyper parameter optimization framework Optuna for parameter adjustment training. The seismic liquefaction dataset from the standard penetration test was divided into a training set and a test set， and prediction results of the established model were evaluated using five evaluation indexes. Evaluated results of multilayer perceptron and support vector machine sand liquefaction prediction models in the test set were compared， and the seismic liquefaction case data was used as a validation set to compare prediction effects of different prediction models. The results show that compared with multilayer perceptron and support vector machine sand liquefaction prediction models， the established model has larger evaluation indexes and better prediction effects in the test set. Inthevalidationset，onlypre-

收稿日期： 2023-04-08""""""""" 網絡首發時間：2023-09-14T14：19：51

基金項目： 國家自然科學基金項目（51809115）； 山東省自然科學基金項目（ZR2019QEE003）

第一作者簡介： 何家智（1999—），男，四川涼山人。碩士研究生，研究方向為巖土工程。E-mail： Jiazhi_He@outlook.com。

通信作者簡介： 馮現大（1985—），男，山東濰坊人。 副教授， 博士， 碩士生導師， 研究方向為隧道災害預測及防治。 E-mail： cea_

fengxd@ujn.edu.cn。

網絡首發地址： https：//link.cnki.net/urlid/37.1378.N.20230913.2005.002

cision rate among evaluation indexes of the established model slightly decreases， and other evaluation indexes remain stable， while only recall rate among evaluation indexes of the comparison models remains stable， and other evaluation indexes decrease. Only prediction effects of the established model remain consistent with those in the test set， which further demonstrates superior generalization ability of the established model.

Keywords： geotechnical engineering; sand liquefaction predication; machine learning; CatBoost algorithm; Optuna framework; generalization ability

砂土液化是飽和狀態砂土在地震或其他振動作用下承載力突然減小乃至強度完全喪失而呈液態的現象。砂土液化引起的側向位移、 地面沉陷隆起、 噴水冒砂和地基失穩等地質災害對建筑造成重大破壞。如何利用有限的巖土試驗資料精準預測砂土液化，是巖土工程領域中的重要課題。

砂土液化判別試驗方法目前主要有標準貫入試驗、 靜力觸探試驗和剪切波速試驗［1］。在基于試驗數據以及砂土液化原理預測砂土液化的研究中，相對于利用數值模擬計算［2］和經驗公式判別［3-4］，基于機器學習算法建立的預測模型的精度和效率更高。

砂土液化預測可看作二分類問題，即包含液化或非液化2種結果。通過收集、 整理歷史地震液化數據資料，從地震信息、 試驗數據、 地層參數等多個角度選取判別特征，采用不同的算法建立預測模型。肖詩豪等［5］基于中國標準貫入試驗的液化案例庫， 利用廣義線性模型給出了適用于砂土液化概率判別的最優經驗模型。 潘建平等［6］通過邏輯回歸分析200組場地液化實測數據， 建立了關聯校正后的標準貫入次數與循環應力比的液化概率模型。 邏輯回歸模型結構簡明， 能高效計算液化發生概率， 但是對數據集敏感， 很難處理不平衡數據。 Chern等［7］采用模糊神經網絡算法， 結合466組靜力觸探試驗數據計算砂土液化概率。 林志紅等［8］基于貝葉斯正則化反向傳播神經網絡算法， 判別福建省廈門市集美大橋新環島互通橋區的砂土液化。范珂顯［9］基于社會群體優化算法調參的徑向基函數神經網絡， 針對地震砂土液化側移問題建立預測模型。 神經網絡是模仿人腦結構， 針對不完整的液化試驗數據進行訓練也能建立可靠模型的算法， 但是隨著數據復雜程度的增加， 過度訓練擬合會導致模型泛化能力缺失。 胡記磊［10］基于貝葉斯網絡方法， 通過統計計量手段篩選地震液化的重要影響特征， 建立了地震液化的貝葉斯網絡預測模型。張紫昭等［11］基于貝葉斯判別分析理論， 以唐山大地震中21組典型砂土液化數據集為學習樣本， 建立了地震砂土液化預測判別模型。利用貝葉斯方法建立的預測模型有液化影響特征關系結構圖，能深入分析各特征之間的結構關系和對液化影響的強弱， 使預測結果有較高的準確性和穩健性， 但是在計算較復雜、 數據維數較高或數據量較大時效率較低。彭劉亞等［12］采用隨機森林算法， 以唐山大地震中72個場地的實測液化數據及選取的8個特征作為砂土液化的判別指標， 建立了砂土液化判別模型。 Liu等［13］基于225組歷史液化數據， 將隨機森林算法用于基于剪切波速試驗的砂土液化可能性評估。 隨機森林算法是一種集成算法，通過訓練多個決策樹并加權組合而建立模型， 能有效降低過擬合風險，但是基于特征較少的數據集的預測效果通常較差。 毛志勇等［14］采用粒子群算法調參支持向量機（support vector machine， SVM），并選用7個影響特征作為判別依據，建立預測砂土地震液化模型。王帥偉等［15］以4個核心預測特征作為數據集，利用主成分分析法從核心評價指標中提取主成分，采用遺傳算法調參SVM并訓練數據集，建立砂土液化的預測模型。李冰瑤［16］基于歷史震后場地剪切波速試驗資料，采用粒子群優化算法調參的SVM進行建模，以實現砂土液化預測。SVM可以很好地處理非線性、 高維數、 樣本量少等問題，但是對參數要求敏感，有時很難找到合適的核函數。

作為一種集成算法，CatBoost算法有較強的抗過擬合能力， 對數據有較強的處理能力， 并且分布式多核運行能對特征實現并行處理以提高訓練效率， 但是參數眾多會導致難以得到最優參數組合。 本文中基于CatBoost算法并結合自動超參數優化算法框架Optuna進行調參訓練， 以增強預測泛化能力為調參目標， 在地震液化歷史數據集中訓練， 建立CatBoost-Optuna砂土液化預測模型（簡稱本文模型），利用5個評估指標評估本文模型的預測結果，并對比不同砂土液化預測模型的預測效果。

1" 數據集選擇

選用Cetin等［17］收集、 整理、 篩選的1944—1995年20余次地震液化數據作為原始數據，如表1所示。 數據源位置主要分布在美國、 日本、 阿根廷、 中國、 菲律賓等。 在總計208個樣本中， 結果為發生液化的樣本個數為113， 未發生液化的樣本個數為95， 這些數據樣本中包含研究中廣泛采用的砂土液化影響特征。 收集的各歷史地震震級為5.6～8.0， 在收集、 整理過程中， 同樣考慮采用所有樣本結果為非液化的歷史地震， 以防止數據集欠采樣。

數據集中一部分樣本數據僅由單次標準貫入試驗鉆孔得出，另一部分則由密集的標準貫入試驗鉆孔得出，這將導致各案例樣本信息不均衡，因此把同一地點的鉆孔樣本數據分配至單個歷史地震，樣本可組合后共同定義地層信息，以降低單個樣本的貫入次數的不確定性。此外，由于這些液化數據的位置以及年代差異巨大，因此試驗方法的誤差是導致不確定性更高的因素之一。校正后的標準貫入次數是貫入次數的加權平均，并且是有效法向應力、 錘擊能量、 設備桿長、 設備取樣器和鉆孔直徑等試驗變量的校正后的特征，因此在原始數據集中選擇校正后的標準貫入次數作為主要特征。

2" 算法原理

2.1" CatBoost算法

CatBoost算法是梯度提升算法發展、改進的高性能機器學習算法［18］。梯度提升算法的數據集訓練建模原理如圖1所示。首先在函數空間中計算

單

f1（x）， f2（x）， …， fl（x）， …， fm（x）—各決策樹計算的預測值，l=1，2，…，m， m為預測值個數； y—實際值。

個弱機器學習算法（如決策樹）的損失函數，然后通過加權組合弱機器學習算法的方式減小損失函數值并不斷迭代，構建強機器學習算法模型。梯度提升算法一直是訓練具有異構特征、 噪聲數據和解決復雜依賴關系預測問題的主要方法。

CatBoost算法在梯度提升算法基礎上，用預處理的方式在訓練過程中處理分類特征，并利用排序提升策略解決梯度提升算法中存在的梯度偏差和預測偏移問題，同時選擇對稱決策樹結構作為算法基本結構，計算并控制葉節點個數，以加快所建模型的預測并避免過擬合。

CatBoost算法支持預處理類別特征，主要原理是有序目標編碼，即隨機排序數據集中各樣本，然后每個類別特征使用放置在當前樣本之前的樣本計算，將該類別特征轉換為數值特征。假設第k個樣本的第i個特征xi，k是類別特征，則轉換公式［18］為

xi，k=∑xi， j∈Dk

［xi，k=xi， j］yj+ap∑xi， j∈Dk

［xi，k=xi， j］+a ，（1）

式中： xi， j為第k個樣本之前第j個樣本的第i個類別特征； yj為第j個樣本的標簽值； Dk為隨機排序中在第k個樣本之前的數據集； ［·］為艾佛森括號，當xi，k與xi， j為同一類別，即xi，k=xi， j時，［xi，k=xi， j］=1，當xi，k與xi， j不為同一類別，即xi，k≠xi， j時，［xi，k=xi， j］=0； p為添加的先驗項；a為通常大于0的權重系數。

類別特征的信息量對模型的運行影響很大。CatBoost算法將數據集中每個類別特征分組排列、 存儲，但是當類別特征組合過多時，模型的最終規模 仍急劇增長，因此類別特征的存儲容量取決于該特征所采用值的個數。通過在決策樹模型中劃分以減小模型的最終規模，最后考慮類別特征的潛在權重，選擇最佳劃分。在選擇如何劃分時，所有劃分情況得分的計算公式［18］為

snew=sold1+uUM ，（2）

式中： snew為由類別特征或組合特征劃分的新得分； sold為特征劃分的舊得分； u為特征個數； U為u的最大值，即特征所有可能組合的個數； M為模型規模系數。比較不同劃分情況的得分，選擇具有最佳得分的劃分情況。

2.2" Optuna框架調參訓練

設定算法的初始參數及變化范圍，并根據輸入的訓練數據集調參以達到理想結果的過程稱為機器學習算法調參。本文中利用Optuna框架調參。利用Optuna框架編寫的調參過程具有很好的模塊性，可以實現動態化的參數搜索。在整個模型訓練過程中，利用Optuna框架觀察預測過程的中間結果并停止無希望的訓練，優化了參數選擇的效率。

3" 模型建立

3.1" 訓練流程

本文模型的運行環境為Python3.8，運行的依賴代碼庫主要有Sklearn、 Numpy、 Matplotlib等。

本文中選擇具有較強抗過擬合風險的集成算法CatBoost，在高質量數據集中將校正后的標準貫入次數作為主要影響特征，以曲線下面積（area under curve， AUC）為Optuna框架的調參目標，建立具有廣泛應用潛力的本文模型。本文模型建立流程如圖2所示。首先處理原始數據，利用CatBoost算法將類別特征轉化為數值特征，通過嵌入CatBoost算法中的特征重要性函數，計算特征的影響因子并組合

各特征，得出最優特征組合作為數據集， 按訓練集與測試集樣本個數之比為7∶3隨機劃分數據集； 然后利用Optuna框架調參CatBoost算法，并經過交叉驗證在訓練集中確定最優參數組合，從而建立本文模型，最后在測試集中預測并計算本文模型的評估指標。

3.2" 數據處理

數據處理過程主要包括填充缺失值、 替換異常值、 去除重復值、 特征選擇等。本文中以每個特征的均值填補數據集中的缺失值，而數據未出現異常值和重復值，且未發生數據集不平衡的問題。

在特征選擇方面，有31個特征的原始數據集中有28個數值特征、 3個類別特征。 在計算相關性后， 將原始數據初次導入CatBoost算法， 類別特征轉換為數值特征并計算各特征的影響因子， 去除數據中相關性較強的冗余特征以及影響因子較小的特征。

通過組合數據集中的不同特征，利用特征重要性函數計算不同特征組合中各特征的影響因子，經對比、 選擇，以校正后的標準貫入次數、 循環應力比、 地震振幅、 震級、 液化臨界深度、 地下水深度、 垂直總應力、 地震峰值加速度、 剪切波速、 中值粒徑、 細粒含量、 數據等級12個特征作為最優特征組合。

再次使用特征重要性函數進行計算，最優特征組合中各特征的影響因子占影響因子之和的分數如圖3所示。由圖可知，校正后的標準貫入次數作為主要特征對本文模型預測起關鍵作用，符合砂土液化判別基本原理。

占影響因子之和的分數

3.3" 模型預測結果對比

采用準確率、 精準率、 召回率、 平衡F分數、 AUC這5個指標評估預測模型。 準確率是測試集中預測正確的樣本個數占測試樣本總數的分數， 能反映總體預測情況； 精準率是預測結果正確且發生液化的樣本個數占預測結果為發生液化的樣本個數的分數， 精準率過小說明模型預測結果的誤判將造成過度設計損失； 召回率是預測結果正確且發生液化的樣本個數占真實發生液化的正樣本個數的分數， 可以確定預測模型的保守性， 以保證實際項目中的安全性； 平衡F分數是精準率與召回率的調和平均數； 當受試者工作特征曲線（receiveroperatingcharacteristiccurve，ROC曲線）的AUC為0.85～0.95時，模型預測性能良好，根據ROC曲線能夠很容易確定任意閾值對模型泛化能力的影響。

在調參過程中，為了使模型有更強的泛化能力，利用Optuna框架進行調參訓練，以利用交叉驗證計算得到較大AUC作為主要目標。比較確定最優參數組合后的本文模型與多層感知機和SVM這2個常用對比模型在測試集中的預測結果。

為了使各預測模型在測試集中的預測結果穩定并避免訓練過程的隨機誤差， 通過調整隨機數劃分不同訓練集和測試集的方式進行10次重復訓練及測試。 測試集中不同砂土液化預測模型預測結果評估指標的均值和標準差如表2所示。 由表可知， 在測試集中， 本文模型的預測評估指標的均值都大于對比模型的， 而在各評估指標中， 召回率較大， 說明本文模型在有較好預測效果的同時預測結果偏保守。

圖4所示為測試集中不同砂土液化預測模型預測結果評估指標箱線圖， 箱體中線表示結果的中位數， 箱體上下邊表示上下四分位數， 上下邊緣表示上下限， 菱形點表示異常值。 由圖可知預測結果評估指標的分布情況， 相比于多層感知機， 本文模型和支持向量機預測結果評估指標更穩定。

圖5所示為不同砂土液化預測模型的ROC曲線。由圖可知，預測模型的AUC均大于0.85， 并且經過調參的本文模型的AUC優化到0.91，由此說明使用Optuna框架調參獲得了較理想的參數組合。

4" 案例預測

1999年9月21日，臺灣省南投縣集集鎮附近發生震級為7.6且震源深度為7.0 km的地震。之后當日余震頻繁，影響最大的一次余震與主震間隔不到1 h且震級達6.8；次日上午再次發生6.8級余震。地震造成了極大的破壞，并伴隨砂土液化的現象。Hwang等［19］針對此次地震前后液化場地和非液化場地的地質進行調查并收集、 整理了相關數據，本文中在數據處理后，以共計232組數據樣本作為驗證集。

選擇與本文模型訓練過程中相同的特征組合作為驗證集，并換算各特征的計量單位，再利用極小值填補缺失值。完成數據處理后，利用本文模型以及相同訓練條件下的對比模型進行預測并對比預測結果的評估指標，結果如表3所示。對比表2、 3可知：本文模型只有精準率略微減小，其他評估指標都保持穩定，而對比模型的評估指標中只有召回率保持穩定，其他評估指標都有所減小，說明各預測模型的預測結果較保守，并且只有本文模型能在驗證集中保持較好的預測效果，對比模型的預測效果均有不同程度的劣化。

5" 結語

本文中基于CatBoost算法并結合Optuna框架調參，以208個標準貫入試驗地震液化樣本作為數據集并以實現強泛化能力為目標，建立CatBoost-Optuna砂土液化預測模型，并利用5個評估指標與相同訓練條件下基于2種常用機器學習算法所建預測模型的預測結果相對比。砂土液化影響特征眾多且具有多維性和非線性的復雜關系。當預測訓練數據集外的案例數據時，基于常用機器學習算法所建對比模型預測效果明顯劣化，而本文模型的預測結果準確、穩定，表明本文模型有較強的泛化能力，能有效地分析實際工程項目，以防治地震引起的砂土液化地質災害，減輕建筑物的不均勻沉降。

進一步提升砂土液化預測模型在各方面的預測效果，在建設場地中實際發揮作用，需要在收集更多砂土液化特征數據、 提高數據集的質量等方面作出努力；此外，改進算法并結合砂土液化原理進行建模預測也有待進一步研究。

參考文獻：

［1］" 袁曉銘， 曹振中. 砂礫土液化判別的基本方法及計算公式［J］. 巖土工程學報， 2011， 33（4）： 509.

［2］" 葉斌， 宋思聰， 倪雪倩. 制樣方法對砂土液化力學性質影響的離散元模擬［J］. 同濟大學學報（自然科學版）， 2022， 50（7）： 998.

［3］" SEED B H， TOKIMATSU K， HARDER L F， et al. Influence of SPT procedures in soil liquefaction resistance evaluations［J］. Journal of Geotechnical Engineering， 1985， 111（12）： 1425.

［4］" 張思宇， 李兆焱， 袁曉銘. 基于靜力觸探試驗的液化判別新方法［J］. 巖土力學， 2022， 43（6）： 1596.

［5］" 肖詩豪， 程小久， 汪華安， 等. 基于標貫試驗的砂土液化概率判別法［J］. 土木與環境工程學報（中英文）， 2022， 44（5）： 87.

［6］" 潘建平， 孔憲京， 鄒德高. 基于Logistic回歸模型的砂土液化概率評價［J］. 巖土力學， 2008， 29（9）： 2567.

［7］" CHERNSG，LEECY，WANG C C. CPT-based liquefaction assessment by using fuzzy-neural network［J］. Journal of Marine Science and Technology， 2008， 16（2）： 139.

［8］" 林志紅， 項偉. 基于貝葉斯正則化BP神經網絡的砂土地震液化研究［J］. 安全與環境工程，2011， 18（2）： 23.

［9］" 范珂顯. 基于SGO-RBF神經網絡的地震液化側移預測［D］. 武漢： 中國地震局地震研究所， 2021.

［10］" 胡記磊. 基于貝葉斯網絡的地震液化風險分析模型研究［D］. 大連： 大連理工大學， 2016.

［11］" 張紫昭， 陳巨鵬， 陳凱， 等. 砂土地震液化預測的Bayes判別模型及其應用［J］. 桂林理工大學學報， 2014， 34（1）： 63.

［12］" 彭劉亞， 解惠婷， 馮偉棟. 基于隨機森林算法的砂土液化預測方法［J］. 物探與化探， 2020， 44（6）： 1429.

［13］" LIU L， ZHANG S S， YAO X F， et al. Liquefaction evaluation based on shear wave velocity using random forest［J］. Advances in Civil Engineering， 2021， 2021： 1.

［14］" 毛志勇， 黃春娟， 路世昌. 基于PSO-SVM的砂土地震液化預測模型［J］. 中國安全科學學報， 2018， 28（3）： 25.

［15］" 王帥偉， 于少將， 李紹康，等. 基于RS-PCA-GA-SVM的砂土液化預測方法研究［J］. 地震工程學報， 2019， 41（2）： 445.

［16］" 李冰瑤. 基于剪切波速和支持向量機的砂土地震液化預測研究［D］. 長春： 吉林建筑大學， 2020.

［17］" CETIN K O， SEED R B， KAYEN R E， et al. SPT-based probabilistic and deterministic assessment of seismic soil liquefaction triggering hazard［J］. Soil Dynamics and Earthquake Engineering， 2018， 115：708.

［18］" PROKHORENKOVAL，GUSEVG，VOROBEVA，etal.CatBoost： unbiased boosting with categorical features［EB/OL］. （2019-01-20） ［2023-01-08］. https：//doi.org/10.48550/arXiv.1706.09516.

［19］" HWANG J H， YANG C W. Verification of critical cyclic strength curve by Taiwan Chi-Chi earthquake data［J］. Soil Dynamics and Earthquake Engineering， 2001， 21（3）： 243-247.

（責任編輯：王" 耘）