基于機器學習算法的輸電線路工程投資預測

盧文飛， 袁競峰*， 張嘉澍， 管維亞， 張建峰

(1.東南大學土木工程學院， 南京 211189； 2.國網江蘇省電力有限公司經濟技術研究院， 南京 210008)

輸電線路是電網工程的重要組成部分，作為國家電力的輸送通道，是滿足國民生產和生活對電力需求的重要保障。在中國新一輪電改中提出按“準許成本加合理收益”的原則進行核價，就是為了引導企業(yè)節(jié)約成本、提高投資效益，對于不合理、無效的投資不納入輸配電價核算[1]。因此，提高輸電線路工程投資預測精度對有效規(guī)劃工程投資、進行工程方案經濟比選、提高工程效率、實現(xiàn)資源合理配置具有重要意義。而傳統(tǒng)的根據定額概預算來確定工程投資的方法無法有效利用歷史數據，且由于技術方案深度不足，定額的不確定性很高，存在計算復雜且預測精度低的弊端，已經不能滿足市場經濟發(fā)展的需求[2]。因此，研究智能化的輸電線路工程投資預測方法，是簡化輸電線路工程投資預測工作流程，提升預測精度的迫切需要。

在電網工程的投資預測中，以往學者主要通過研究造價控制指標的方式來估算輸電線路工程投資。如王歡林等[3]提出了包括基礎工程指標、桿塔工程指標、架線工程指標等估算指標體系的架空線路工程投資估算方法；鄧怡卿等[4]在識別線路工程的典型技術方案的基礎上，確定了新建工程典型技術方案的造價控制指標。而宋倩蕓等[5]在全壽命周期原理的基礎上，建立了增量配電網工程投資的線性模型，但是由于輸電線路工程投資的估算是一個非線性、多變量的復雜系統(tǒng)求解問題，通過指標估算往往難以對輸電線路工程進行準確、客觀的投資預測。而隨著智能算法在國內外的深入研究，已經有學者將反向傳播(back propagation，BP)神經網絡、支持向量機(support vector machine，SVM)、遺傳算法(genetic algorithm，GA)等應用于電力工程投資的預測中?；谏鲜鏊惴ǎ姸鄬W者開展了大量的研究。孫安黎等[6]和凌云鵬等[7]以線路工程影響因素為BP神經網絡的輸入，構建BP神經網絡預測模型。Niu等[8]將輸變電工程分為改造項目和新建項目兩大類，基于GA算法和粒子群優(yōu)化(particle swarm optimization，PSO)構建了輸變電工程的成本預測模型，驗證了GA算法應用于輸變電工程的成本預測比PSO算法更準確。Yi等[9]從成本構成角度提取了輸電線路工程自然、技術和經濟指標，構建了基于最小二乘支持向量機(least squares support vector machine，LSSVM)智能成本預測模型，可為線路工程項目投資決策提供較為準確的參考。雖然現(xiàn)有模型能實現(xiàn)對輸電線路工程的投資預測，但是這些模型在預測中也存在著短板：神經網絡樣本需求量大，訓練時間長，容易出現(xiàn)局部最優(yōu)化的問題，尤其在小樣本時過學習、泛化能力差等問題較為突出，此外其解釋性較差，算法參數設置復雜也使得其應用存在難點[10]；支持向量機模型在解決非線性、高維數、小樣本、局部最優(yōu)化方面有很大的改善，但是其在模型參數設置上存在著盲目性，在處理輸電工程時易導致誤差較大的問題[8]；而在遺傳算法中其變異率、交叉率等復雜參數的設置也使得其應用難以推廣[11]。

而極端梯度提升(extreme gradient boosting，XGBoost)算法是機器學習算法中梯度提升(gradient boosting machines，GBM)的實現(xiàn)路徑之一，被稱為用于有監(jiān)督學習的性能最好的算法之一，它可以用于回歸和分類問題[12]。XGBoost算法能夠采用多線程并行計算，計算速度快，魯棒性高，泛化能力強，且該模型基于樹結構無需對采集到的多種數據進行歸一化，特別適宜于處理高維數、非線性的電力數據[13-14]。目前，XGBoost算法已經被應用于電壓穩(wěn)定性評估[15]、負荷預測[16]、故障診斷[17]、變電站工程投資預測[18]等領域，但未在輸電線路工程投資預測中應用。而輸電線路工程具有不可預測因素多、非線性、小樣本的特點，非常適合用XGBoost算法進行建模。因此，現(xiàn)采用XGBoost算法構建輸電線路工程投資預測模型，以輸電線路中最常見的架空輸電線路工程為對象，首先，基于相關性分析構建架空線路工程投資預測指標體系；其次，基于XGBoost在實際工程數據訓練集上訓練出投資預測模型，并應用新的測試集評價模型效果。

1 XGBoost算法原理

基于以往關于XGBoost算法的相關研究[12，14，17，19-20]，主要介紹XGBoost算法原理。提升樹算法是基于決策樹構建的，也就是所謂的分類回歸樹(classification and regression tree，CART)。對于一項回歸任務，CART根據一個變量的邊界在每一級將數據集劃分為兩個子集，直到達到用戶設置的樹的最大深度[21]，表達式為

(1)

式(1)中:R1(j,s)和R2(j,s)分別為兩個子集，s為變量的劃分邊界;xj為第j個樣本的輸入。在每個葉子節(jié)點，計算葉子節(jié)點(node)的均方誤差MSEnode，公式為

(2)

(3)

(4)

該算法將尋找變量邊界的最佳解，以使代價函數最小。一旦它成功地將訓練集分割成兩部分，它就會使用相同的邏輯分割子集，然后再依次遞歸地分割子集。一旦達到最大深度，或者無法找到減少誤差的分割，它就停止遞歸。然而，CART樹在處理沒有正則化的回歸任務時，容易出現(xiàn)過擬合。解決這個問題的一個策略是通過打包一組估計量來實現(xiàn)集成，在這種情況下，這意味著集成多個CART模型。

圖1 XGBoost算法決策樹示意圖Fig.1 Decision tree of XGBoost algorithm

(5)

式(5)中：ft(xi)=wq(x)，ft∈F，而ft(xi)為第t棵樹輸入為xi(即輸電線路工程投資的第i個輸入特征)時的結果，F(xiàn)為CART樹所在空間，下角標q(x)為樣本x對應的葉子節(jié)點索引號，每個ft都對應獨立的決策樹結構q與葉子節(jié)點權重w；T為CART樹的數量。

XGBoost擬合殘差的過程就是累加樹的過程，其表達式為

(6)

XGBoost的目標函數由誤差項和正則項組成，記為

(7)

(8)

當XGBoost模型進行如式(6)中的第t次迭代后，其目標函數就可表示為

(9)

式(9)中：n為迭代總次數。將式(9)采用二階泰勒展開后可得

(10)

式(10)中：Ij={i|q(xi)=j}為所有映射到葉子節(jié)點j的樣本索引集合；wj為葉子節(jié)點j的權重；gi為一階導數；hi為二階導數。

(11)

(12)

將式(12)代入式(10)即得到目標函數值的最優(yōu)解為

(13)

(14)

式(14)中：IL與IR分別為分裂后左右節(jié)點的實例集，并且有I=IL∪IR；增益表示的是節(jié)點分裂后損失函數的減少值[20]。在每次分裂時，都會選增益最大的節(jié)點。當樹達到了深度閾值或全部節(jié)點分裂時滿足Lsplit<0，則樹不再分裂，此時有最優(yōu)的集成樹模型。

2 輸電線路工程投資預測模型構建流程及效果評價

2.1 輸電線路工程投資預測流程

圖2展示了基于XGBoost算法的輸電線路工程投資預測總體流程，主要包括下列4個步驟。

步驟1輸電線路工程投資預測指標體系確定。預測指標體系的確定是建立基于XGBoost算法的輸電線路工程投資預測模型的基礎。構建時要考慮指標之間存在的多重共線性等因素會對模型的構建產生影響，導致過擬合的情況，因此需要對選取的指標體系進行相關性分析，對于相關性高的指標進行刪除，去相關性，防止出現(xiàn)過擬合現(xiàn)象。

步驟2歷史投資數據的獲取與清洗。確定指標體系后，依據指標體系獲取投資預測數據。通常獲取的歷史投資數據中包含很多缺失值與噪聲數據。獲取歷史數據之后，可采用Python進行缺失值和重復值的檢索，刪除重復值，對缺失值進行插補。

步驟3基于XGBoost算法進行輸電線路工程投資預測模型構建。首先，將清洗后的全部歷史數據劃分為訓練集(70%)與測試集(30%)；其次，把訓練集采用交叉驗證進行模型訓練，優(yōu)化參數，直到滿足可靠性要求。

步驟4模型結果有效性的評價。在訓練集上得到投資預測模型后，將測試集數據輸入到訓練好的投資預測模型中，輸出預測值，并通過計算擬合優(yōu)度(R2)、均方根誤差(root mean squared error，RMSE)、平均絕對百分比誤差(mean absolute percentage error，MAPE)、平均絕對誤差(mean absolute error，MAE)等指標，對模型效果進行評價。

圖2 基于XGBoost算法的輸電線路工程投資預測流程Fig.2 Investment prediction process of transmission line project based on XGBoost algorithm

2.2 交叉驗證

在數據量不足的研究中，樣本排序的隨機性及劃分方式對預測結果影響很大，單一劃分的測試集與驗證集存在不能充分利用樣本信息以至于預測模型有效性不足的問題。K折交叉驗證基于無重復抽樣技術降低了預測結果對數據劃分方法的敏感性，能夠有效的提高結果的可靠性[22]。將全部的數據分為訓練集和測試集，在訓練集中使用交叉驗證來確定網絡結構，選取模型的最優(yōu)參數，在測試集上對模型進行驗證，用于評估模型性能。

K折交叉驗證被廣泛采用作為模型選擇標準。在交叉驗證中，將數據集分成K個相等大小的子集，K-1折用于模型構建，剩余1折用于模型驗證。這意味著模型構建比模型驗證過程更受重視。在迭代K次的過程中，K份子集的每一份都被依次分配為驗證數據。每次試驗都會得到相應的評價指標。K次結果的評價指標的均值作為對模型精度的估計，在實踐中，K的典型選擇范圍為5～10[23]，研究的K值選擇5。

2.3 模型效果評價

為驗證模型預測效果，要選取評價指標對模型性能進行評價。由于單一指標無法準確地判斷模型優(yōu)劣，因此結合以往學者模型評價經驗[14，20]，綜合選取擬合優(yōu)度(R2)、均方根誤差(RMSE)、平均絕對誤差(MAE)、平均絕對百分比誤差(MAPE)4個性能評價指標對所開發(fā)模型的性能進行評價，其計算公式分別為

(15)

(16)

(17)

(18)

3 算例分析

3.1 架空線路工程投資預測指標體系構建

3.1.1 架空線路工程特點及費用組成

輸電線路通常分為兩類：架空輸電線路與地下輸電線路工程。架空輸電線路通過將導線架設在桿塔上進行電能傳輸，具有施工簡便、結構清晰、檢修維修方便等特點，其比地下電纜輸電的投資成本更低、建設周期更短，因此，廣泛地應用于電能輸送中。

輸電線路工程造價由兩部分組成:本體工程造價和其他造價，而其他造價僅約占總造價的20%。架空輸電線路的本體工程按照費用構成可以分為基礎工程、架線工程、桿塔工程、附件工程、接地工程和輔助工程，而其中又以桿塔工程、基礎工程、架線工程在本體費用構成中占比最大[9]。在考慮架空線路工程投資預測指標時，可以根據費用的組成方式，提取關鍵要素，進行指標篩選。

3.1.2 架空線路工程投資預測指標體系構建

對于機器學習來說，決定機器學習上限的是特征與數據，算法與模型只是接近這個上限而已，因此預測指標體系是影響預測結果的可靠性的關鍵因素?！秶译娋W公司輸變工程通用設計》把地形條件、海拔高度、回路數、桿塔形式、導線規(guī)格、氣象條件等作為輸電線路通用設計模塊的主要技術條件，根據《國家電網公司輸變工程通用設計》中指出的主要技術條件，以及以往研究者對于架空線路工程投資指標選取的經驗[6-7，9，24]，選取了如表1所示的14個指標。

表1 架空線路工程投資預測指標體系Table 1 Indicators for overhead line projects investment prediction

根據上述篩選出的指標，首先對其進行Person相關系數分析，避免存在多重共線性所造成的信息冗余[13]，引起投資預測模型出線過擬合的現(xiàn)象。Person系數是衡量變量之間關系強度的一個常見統(tǒng)計量，計算公式為

(19)

圖3中，右側的刻度顏色展示了不同相關系數對應的顏色深淺。如果兩個指標之間的相關性越高則顏色越淺，高相關性的指標對于機器學習分類器而言屬于冗余變量，可能導致過擬合或者導致預測精度下降。可以看出，選取的架線工程投資預測指標相關性超過0.9的有兩組(圖中紅色方框標記)，分別是基礎混凝土總量和基礎鋼材量(Person系數為0.92)，導線量和土石方量(Person系數為0.9)。為了降低指標之間的相關性，對于具有高度線性相關的兩組指標隨機選取其中一個進行刪除。刪除土石方量和基礎鋼材量之后，總共剩余12個指標構成投資預測指標體系，最終形成的投資預測指標及其編號如表2所示。

圖3 指標相關性熱力圖Fig.3 The heat map of index correlation

在預測對象方面，如果只預測架空線路工程總投資，則無法反映架空線路工程總體的投資狀況。因此，在預測結果輸出中同時選擇了本體投資費用(O1)，靜態(tài)投資費用(O2)和動態(tài)投資費用(O3)作為預測對象。

3.2 案例數據

模型的數據源自國網某省公司自2016—2020年的實際架空線路工程數據，前期刪除了空缺值較多的和有重復的樣本，對于剩余樣本中仍然存在的部分指標空缺值，采用回歸插補法填充該類指標。完成數據清洗后，將測試集和訓練集的劃分比例確定為7∶3，模型構建在Python 3.7的環(huán)境下進行。

3.3 預測結果

根據架空線路工程投資預測流程，利用訓練集中的數據，基于XGBoost算法采用交叉驗證的方式進行模型訓練，再在測試集上用訓練好的模型進行效果的評價。通過將在訓練集上訓練好的模型對測試集數據進行預測，輸出基于XGBoost算法的線路工程投資預測模型真實值與預測值的對比，如圖4所示，其中藍色柱狀圖為樣本真實值，橙色折線圖為樣本的模型預測值，橫軸為樣本在測試集中的樣本序號，縱軸為投資額。

表2 投資預測指標及其編號Table 2 Investment prediction index and its number

從本體工程投資額(O1)、靜態(tài)投資額(O2)、動態(tài)投資額(O3)的預測值與真實值的對比圖可以看出，工程投資的預測值曲線與真實值曲線基本一致，這說明基于XGBoost算法的投資預測模型預測效果良好，可以為架空線路投資者提供較為準確的參考。

圖4 預測結果Fig.4 Prediction results

3.4 模型效果評價

為了對模型的效果進行對比評價，選取了神經網絡模型和SVM模型對線路工程投資數據進行了訓練和測試，采用2.2節(jié)中模型效果評價所述指標，得出預測效果如表3所示。

從表3的預測效果評價指標來看，基于XGBoost構建的投資預測模型的擬合優(yōu)度均達到0.9以上，接近于1，較神經網絡模型和SVM都要高，說明基于XGBoost算法的架空線路投資預測模型的擬合性較好。從誤差結果來看，平均絕對誤差(MAE)和均方根誤差(RMSE)都是顯示觀測值與真實值之間的偏差，當預測值與真實值越吻合時其值越小，從表3可以直觀地看出XGBoost模型的兩個誤差值較于神經網絡模型和SVM模型都要??；平均絕對百分比誤差(MAPE)為0%時為完美模型，大于100%則為劣質模型，即越小越好，基于XGBoost的預測模型偏差都控制在30%左右，相較于神經網絡模型和SVM模型有較大優(yōu)勢。同時，雖然SVM的擬合優(yōu)度相較于神經網絡模型有一定優(yōu)勢，但是綜合RMSE、MAE和MAPE的結果來看，模型的整體效果仍欠佳，而XGBoost模型的各項性能都明顯優(yōu)于SVM和神經網絡模型，說明XGBoost模型的整體效果更佳，更適用于到架空輸電線路工程投資預測。

表3 不同模型投資預測效果對比Table 3 Comparison for investment prediction effect on different models

3.5 指標重要性分析

XGBoost算法中，在模型構建完成后，可以通過計算各指標在所有樹中作為劃分特征的頻率來推導出各指標的重要程度，為模型的建立提供依據，所得對于不同預測對象而言指標重要性前10的結果如圖5所示。對于本體投資來說，I12(基礎混凝土總量)、I10(路徑長度(折單))、I4(海拔高度)三者的影響程度最高；對于靜態(tài)投資和動態(tài)投資來說，I12(基礎混凝土總量)、I10(路徑長度(折單))、I6(耐張轉角塔基數)三者的影響程度最高?；A混凝土總量反映了基礎工程量的多少，路徑長度(折單)則表征著架線工程的投資，而基礎工程和架線工程又是架空線路工程最為關鍵的組成部分，這也反映了基礎工程和架線工程造價在架空線路工程總造價中所占比例較高，與實際情況相符。海拔高度通過影響氣象條件、地形的變化等對架線工程、基礎工程、桿塔工程、接地工程、輔助工程等造成較大的影響，從而使得其在本體投資中影響顯著。耐張轉角塔對鋼材等的耗費較高，且通常會影響輸電線路基礎，從而影響到整個工程的投資。由此可見，在架空線路工程投資中，基礎混凝土的工程量、路徑長度(折單)、海拔高度、耐張轉角塔基數等是投資者應該重點關注的工程指標。

圖5 指標重要性Fig.5 The importance of indices

4 結論

隨著電力體制改革的推進，電網企業(yè)經營將受到政府有關部門嚴格的投資監(jiān)管。而電網企業(yè)目前尚未實現(xiàn)科學、智能化的精準投資機制，投資預測尚無完善的理論與方法支撐，因此，提出了基于XGBoost算法的輸電線路工程投資預測方法，通過采用相關性分析去除關聯(lián)性高的指標，得到輸電線路投資預測指標體系，然后基于投資預測指標體系和XGBoost算法在實際工程數據訓練集上構建投資預測模型，并在測試集數據上對模型效果進行了檢驗。得出了以下結論。

(1)XGBoost模型對本體工程投資、靜態(tài)投資和動態(tài)投資的預測都能達到90%以上的擬合優(yōu)度，相較于神經網絡模型和SVM模型，XGBoost模型預測結果的準確率更高，偏差更小，能為決策者提供較為可靠的投資依據。

(2)該模型可對指標重要性進行排序，能對預測模型進行合理的解釋，為投資者指明了關鍵控制指標，提升了模型的可信度與可用性。

(3)建立的輸電線路工程智能化投資預測的方法體系，進一步豐富了電網投資規(guī)劃的理論體系，有助于提升電網投資精益化管理水平。

創(chuàng)新性地將XGBoost應用于輸電線路工程投資預測中，能實現(xiàn)前期通過輸入少量輸電線路工程特征即可輸出較為準確的投資預測值，同時能輸出輸電線路工程投資預測指標的重要性程度，有望在實際工程預測中得到廣泛應用。