基于PSO-XGB混合優化技術的淺層地下溫度預測
——以長春市為例

于子望,鄭天琪,程鈺翔

1.吉林大學建設工程學院,長春 130026

2.地下水資源與環境教育部重點實驗室(吉林大學), 長春 130021

3.地熱資源開發技術與裝備教育部工程研究中心(吉林大學), 長春 130021

0 引言

隨著全球能源需求不斷增長,能源匱乏已經成為全球性問題。城市化進程、化石燃料燃燒和溫室氣體排放加劇了環境問題的惡化。近年來,淺層地熱能作為一種可再生能源引起了越來越多的關注,它可以替代一些化石燃料,在減輕城市熱島效應和緩解環境污染方面發揮作用。此外,淺層地熱能還可以作為備用能源,提供解決能源安全問題的方案。因此,探查和利用淺層地熱能已經變得至關重要[1-4]。

淺層地熱能的概念最早由瑞士研究者Heinric Zolley于1912年提出。這種熱能通常源于地球內部的熱力學過程,如斷裂活動、火山噴發和地殼內部的熱傳導[5]。淺層地熱能在全球范圍內廣泛分布,并廣泛用于地熱發電和地熱供暖。在冰島、匈牙利、中國、意大利和美國等國家,淺層地熱能被直接或間接用于氣候控制,居民住宅供暖及溫室大棚等空間供暖[6]。這種淺層地熱能的利用方式為人們提供了可持續的能源選擇,有助于減少對傳統化石燃料的依賴,實現能源多樣化,推動可持續發展。

原則上,淺層地熱能是普遍存在的地熱資源,但其開發和利用受到技術和經濟因素的制約。地熱鉆孔由于成本較高,需要進行前期調查研究以降低項目成本[7-8]。詳細的地質考察、野外調查、數據收集和審查對確定地熱底層溫度至關重要。同時,這些任務需要專用設備、儀器和方法,并需投入大量時間和經濟成本。另外,地熱底層溫度的分析和模擬也是一項復雜的工作。

機器學習方法可以自動從數據中提取有用信息并建立預測模型,有效解決前期調研成本問題。通過使用機器學習算法,可以利用現有的地熱數據來訓練模型并預測和估計地熱底層溫度。這種方法可以顯著減少調查成本,提高效率,并為決策者提供可靠的方案。因此,機器學習技術在淺層地熱能的勘探和開發中具有巨大潛力,可為相關研究和項目提供更實用、更經濟的選擇[6,9]。

近年來,淺層地熱能是機器學習廣泛跨學科應用的眾多領域之一。如:Kalogirou等[10]使用人工神經網絡(artificial neural network,ANN)預測塞浦路斯50 m和100 m深處的地下溫度;Assouline等[11]使用隨機森林(random forest, RF)算法預測瑞士極淺層地下溫度分布、地熱導率和熱擴散系數; Bourhis等[12]利用極限梯度提升(extreme gradient boosting,XGB)算法預測瑞士的地下溫度和地熱導率; Mudunuru等[13]使用非負矩陣/張量分解提出了一種無監督機器學習方法,用于預測新墨西哥州可能存在的地熱資源;Shahdi等[14]通過3種機器學習方法進行探索性分析,研究美國東北部的地下溫度和地熱梯度Ishitsuka等[15-16]利用日本地熱田數據,采用神經網絡方法和貝葉斯估計成功預測了地下溫度。這些研究表明,在淺層地熱能方面,機器學習技術具有廣泛的應用。機器學習方法有助于預測和研究淺層地熱能以及其他相關參數,為地熱資源的使用和開發提供可靠的輔助和指導。

基于元啟發式方法的混合機器學習模型在多個領域得到了成功應用,其是通過在大數據集的相關任務上通過元啟發式算法進行預訓練的方式更新原學習器的參數,以達到提升原模型精度的目的[17]。粒子群優化(particle swarm optimization, PSO)是一種兼具有效性和靈活性的元啟發式優化算法。就其應用來說:PSO-SVR(PSO support vector regression)已成功用于預測碳酸鹽礫巖的力學性質,其通過優化支持向量回歸(SVR)模型的參數,提高了模型的準確性和泛化能力[18];PSO-XGBoost、PSO-LightGBM和PSO-CatBoost模型已經成功預測了地震導致的液化引起側向蔓延的發生[19];PSO-BP(back propagation)模型被用于預測隧道施工期間的地面沉降,通過優化BP神經網絡模型的權重和偏置,提高了預測的準確性和模型的穩定性;PSO-XGB模型被用于預測堅硬巖石條件下的隧道掘進速度,通過優化XGB模型的超參數,提高了預測的準確性和模型的有效性[20]。

這些應用實例表明,將PSO等元啟發式算法與機器學習模型相結合,可以提高它們的性能,并產生良好的預測結果。元啟發式優化方法為機器學習模型提供了更好的參數調整和優化策略,提高了其準確性、穩健性和泛化能力。

本研究以中國吉林省長春市為例,考慮地形、地下水等地質條件以及地熱儲層溫度,利用機器學習方法預測地下溫度。基于元啟發式的機器學習混合模型能夠明顯在精度和擬合情況上優于單一機器學習模型,故本文除傳統的機器學習算法,包括K近鄰(K-nearest neighbors,KNN)、支持向量回歸、隨機森林和極限梯度提升外,還使用了基于粒子群優化的極限梯度提升混合模型(PSO-XGB)。

1 場地數據及處理

本文研究區域位于中國吉林省長春市,介于 125°06′E--125°30′E, 43°42′N--44°03′N之間。研究區地形以低山丘陵地貌為主,屬于溫帶季風氣候區。主要構造類型為活動斷層。共采集了54個地熱鉆孔的數據樣本。

地熱系統的形成機制和成因模式非常復雜,與地形、氣候和地質等多種因素密切相關。這些條件對地下結構溫度等參數起著至關重要的作用,具有不可替代性。本文通過查閱文獻,選擇出一系列訓練特征,包括經緯度坐標、區內地質結構、年降平均雨量、年平均氣溫、高程,及與斷裂距離,地下溫度是需要預測的目標變量。

首先,通過去除異常值和處理缺失值對數據進行預處理。然后采用克里金插值法將數據集擴大到149組以滿足機器學習算法需要的大量數據。最后,使用皮爾遜相關系數檢驗訓練樣本之間的相關性,創建熱力圖(圖1)。

圖1 樣本相關性熱力圖

圖1分析結果表明,經度坐標與斷裂距離之間存在較強的相關性(-0.95),而年平均氣溫與年平均降雨量之間存在中等程度的相關性(-0.18)。因此,本研究選擇經度坐標、年平均降雨量、年平均氣溫和與斷裂距離作為訓練特征來建立數據集。為保證在不同方法下使用相同的樣本順序進行模型訓練和測試,數據集被隨機分成訓練集(70%)和測試集(30%)。

2 機器學習算法及原理

本研究采用5種機器學習模型來預測地下溫度,分別為:KNN、SVR、RF、XGB和PSO-XGB。

2.1 KNN

KNN是一種基于距離測量的算法。具體來說,先根據一定的度量標準,在訓練集中找出c個最近的樣本,然后利用這些最近樣本的信息進行預測。在本研究中,K為超參數,使用的距離計算方法是歐氏方程[21]。

(1)

式中:Ei,j為距離;h為空間維度;xic與xjc為數據點坐標。

2.2 SVR

SVR是一種基于支持向量機的回歸算法。它使用核函數將數據映射到一個高維空間,旨在找到一個最佳超平面,盡可能地將樣本點分開。與分類問題不同,SVR 的目標是獲得一個回歸模型,使訓練樣本盡可能靠近超平面,以預測新的數據點[20,22]。分隔樣本點的超平面的表達式為

f(x)=wφ(x)+b。

(2)

式中:w為權重;b為偏差;φ(x)為將變量x映射到更高維度空間的核函數。通過引入拉格朗日乘法器和 Karush-Kuhn-Tucker條件來優化回歸函數,可以用下面的公式來描述:

(3)

2.3 RF

RF是一種基于集合學習的算法,它使用多棵決策樹進行預測,并對預測結果求平均值,從而得出最終預測結果。其使用一種稱為引導的技術,從原始訓練數據集中隨機選擇幾個不同的訓練子集。對于每個訓練子集,節點被隨機劃分為預定數量的特征。每個訓練子集都會生成一棵具有所選特征的決策樹。在隨機森林中,每棵決策樹獨立預測輸入樣本,最終預測結果由每棵決策樹結果的平均值得出[23]。

2.4 XGB

XGB是一種高效且廣泛使用的監督機器學習方法。它是一種基于樹算法的集合算法,類似于GBDT(gradient boosting decision tree)[24-25]。XGB將梯度提升樹與正則化技術相結合,因此性能和準確性都非常出色。它通過迭代建立多個弱學習器,并通過集合方法進行預測。在每次迭代中,XGB會根據上一輪的預測計算樣本殘差,并將這些殘差作為新的目標來訓練新的弱學習器。每一次迭代,新的弱學習器都旨在糾正前一個學習器的不準確性,從而逐步提高整體性能。對于回歸問題,最終預測結果由所有弱學習器的結果匯總得出。決策樹通常被用作弱學習器[26-28]。預測的數學表達式如下:

(4)

(5)

2.5 PSO-XGB

(6)

(7)

式中:u為迭代次數;q為粒子數;d為搜索方向;m為粒子總數;D為空間維度數;w為權重;c1和c2為學習因子;r1和r2為在[0,1]范圍內均勻分布的隨機數[30]。

在這個過程中,每個粒子都會與其他粒子一起工作,以提高其適應周圍環境的能力,并在復雜的空間中尋找最佳的復雜解。PSO-XGB 是 XGB 訓練階段粒子群優化的超參數。平均平方誤差被用作衡量性能的適應度函數。由于 XGB 的結構,所選參數也會隨著每次迭代變得更適合預測模型,從而導致每次迭代的均方誤差減小[28,31]。PSO-XGB 的基本流程見圖2。

圖2 PSO-XGB基本原理流程圖

2.6 模型驗證和評估

模型創建過程中的重要步驟包括模型驗證和評估。在創建模型后,必須對模型的性能質量進行審查,并確定所選模型是否能為預期目的提供正確的結果。本研究中的預測模型使用訓練集進行訓練,生成的模型使用測試集進行驗證。

本研究使用均方根誤差(ERMS)、平均絕對誤差(EMA)、決定系數(R2)和均方誤差(EMS)作為評估指標來解釋預測值與實際值之間的關系,以評估模型的可靠性。EMS表示測量值與真實值之間的平均平方差。ERMS是EMS的平方根,它調整了誤差的大小,能更直觀地衡量模型的預測誤差。R2的值表示模型可以解釋的目標變量變化的百分比。EMA表示預測值與真實值之間的平均絕對差值[32-34]。

(8)

(9)

(10)

(11)

3 結果與討論

在本研究中,本文采用了 KNN、SVR、RF、XGB 和 PSO-XGB 等5種機器學習模型,利用經緯度坐標、年平均降雨量、年平均氣溫和與斷裂距離等特征來預測地下100 m深處的溫度。

在參數設置方面,KNN 采用了歐氏距離算法,超參數K值設為 4。SVR 通過導入 SVM 模型來實現,其核函數RBF(radial basis function)多項式poly函數維度為3,懲罰系數C=1。RF使用 n_estimators=50 和 max_depth=7 作為超參數。XGB 的超參數設置為max_depth=6、n_estimators=200和 learning_rate=0.3。在 PSO-XGB 中,粒子數設為 20,最大迭代次數設為 200,使用的回歸函數為 reg:linear。PSO 被用于優化 XGB 中的3個參數,即 learning_rate、n_estimators 和max_depth。

本研究考慮了這些機器學習模型及其各自的參數設置,以準確預測地下100 m深處的溫度。通過訓練數據集對模型進行訓練,得到了具有不同預測能力的模型。這些模型在訓練過程中表現良好,因為訓練數據點的分布接近最佳擬合線(圖3)。評估指標中EMS、ERMS和EMA越小,R2越大,模型的效果越好[34-36]。

a. KNN;b. SVR;c. RF;d. XGB;e. PSO-XGB。

通過模型在不同指標上的表現按順序對模型進行評分。表1提供了這5個模型的性能評分和排名系統。通過圖3和表1綜合來看,RF模型表現最佳,其ERMS值為 0.059 4,EMA值為 0.038 2,R2值為 0.983 3,EMS值為 0.003 5(圖3c)。其次是 PSO-XGB 模型,其ERMS值為0.065 5,EMA值為0.047 0,R2值為 0.973 4,EMS值為 0.004 3(圖3e)。再次是 KNN 模型,其ERMS值為 0.099 9,EMA值為 0.060 5,R2值為 0.972 5,EMS值為 0.011 0(圖3a)。然后是XGB 模型,ERMS值為 0.077 9,EMA值為 0.047 3,R2值為 0.955 6,EMS值為 0.006 1(圖3d)。SVR 模型的表現最差,ERMS值為 0.108 2,EMA值為 0.071 7,R2值為 0.944 4,EMS值為 0.011 7(圖3b)。所有這些機器學習模型的R2值都高于 0.940 0,表明訓練效果良好。

表1 不同模型性能評分比較

模型訓練完成后,使用測試數據集進行驗證評估。通過圖4觀察測試數據集中預測值與實際值之間的相關性和誤差,可以看出測試樣本的分布在一定程度上接近完全擬合線。根據表1看出預測性能的排名,5個模型從高到低排列為: PSO-XGB、KNN、SVR、XGB 和 RF。通過比較 XGB 和 PSO-XGB 的性能,可以得出結論:PSO-XGB在預測淺層地下溫度方面具有更大的優勢,可獲得更好的預測性能。

a. KNN;b. SVR;c. RF;d. XGB;e. PSO-XGB。

整理每個模型的性能信息,并制作相應的圖表,以便進一步比較和研究這些模型的預測性能。圖5用更易于理解的堆疊圖顯示了總體排名結果。圖6疊加訓練和測試結果,直觀地表現了5個模型4個評估指標的綜合評分。綜合結果表明,每個模型在訓練和測試過程中的表現各不相同。5個模型預測性能由高到低的排名為:PSO-XGB、RF、KNN、XGB、SVR。與其他模型相比,PSO-XGB 混合模型具有更好的學習和預測能力。

圖5 模型評價指標折線圖

圖6 模型綜合排名直觀顯示柱狀圖

4 結論與建議

1)綜合分析結果表明,與其他傳統機器學習模型相比,PSO-XGB 在預測淺層地下溫度方面表現出更好的能力,并能有效地幫助 XGB 進行超參數調整。5個模型預測性能由高到低的排名為: PSO-XGB、RF、KNN、XGB、SVR。

2)基于元啟發式算法對于預測類似問題性能明顯高于單一機器學習模型。后續研究可對利用同一模型不同場地進行實驗驗證模型的泛化性,也可以選擇多種不同元啟發式算法如灰狼算法等對類似問題進行分析比較,找尋精度最高的地熱潛力預測方法。值得注意的是,由于模型參數是根據主觀選擇的特征進行調整的,因此本研究提出的模型建議在類似條件下使用。此外,本文提出的模型可作為挖掘前估算地熱井潛力的參考工具。