基于深度強化學習的電力基建進度預測研究

摘 要：本文介紹了深度強化學習在電力基建項目進度預測中的應用。通過算法概述，深入探討了強化學習和深度學習的原理，并闡述了將策略梯度算法與電力基建項目管理相結合的方法。結果分析展示了模型在RMSE隨迭代變化、真實值和預測值對比、MES的分布以及預測進度與時間進度對比等方面。深度強化學習技術在電力基建項目管理中表現出良好的預測準確性和實用性，為決策制定提供了有力支持。

關鍵詞：深度學習；強化學習；電力基建項目；進度預測管理

中圖分類號：TP 39" " 文獻標志碼：A

方成等[1]研究了基于深度學習的計算機視覺技術在土木工程健康監測領域的應用，對數據集構建方法和在施工現場安全管理、結構損傷檢測等方面的應用進行總結。司偉等[2]提出了一種機器學習模型，用來預測寒區瀝青路面施工溫度，以保證施工質量。研究結果顯示多層感知機模型在預測中表現最優。張帆等[3]介紹了利用BIM和深度學習點云分割技術進行施工檢查自動化的方法。通過提高比對自動化程度，為施工偏差比對提供了良好數據基礎。廖小烽等[4]提出了一種基于計算機視覺技術實現施工進度自動監控及決策輔助支持的方法。利用三維重建技術獲取建筑物點云模型，對進度偏差進行分析。蘇陽等[5]介紹了基于深度學習三維重建技術搭建的建筑施工進度管理自動化系統。利用高速攝像頭采集數據并結合BIM動態模型技術，對建筑施工進度進行自動管控，并有效提高管理效率。

1 算法概述

1.1 強化學習概述

在電力基建項目中，準確預測進度對資源分配、風險管理和整體計劃至關重要。傳統的方法可能無法充分考慮各種復雜因素之間的相互作用，而強化學習則能夠通過與環境交互來學習最優決策策略。

當電力基建項目中應用策略梯度算法時，將決策過程表達為一個函數π（s，a，θ），該函數接受輸入s（當前狀態）并輸出一個決策a（可選行動）。通常用一個參數向量θ來表示這個決策，參數θ的設置實際上表示進度管理中的一系列決策項目。

將目標函數是設置為J，它通常是與項目進度相關的關鍵指標，比如完成時間、成本等。如公式（1）所示。

（1）

式中：J（θ）為基于參數θ的目標函數；Eπ為按照策略π采樣得到的期望值；γ為折扣因子；rt為在時間步t執行動作后獲得的即時獎勵。

時間是最常見的目標之一，即希望項目能夠盡快完成，因此目標函數可以是項目完成時間的負值；另一個重要的目標是盡可能降低項目成本，亦通常以消耗成本的負值為目標函數，而在有限時間和成本投入規模下的項目規劃中，將復雜長期投資常見使用項目片段安排中的資源利用率概念作為目標函數，尋求最大化。

基于目標函數，用值函數估計每個狀態的長期回報，即在當前狀態下執行某個動作后所能獲得的預期收益。值函數的計算過程如公式（2）所示。

（2）

式中：k為未來偏移步距。

一旦定義了目標函數J和值函數，就可以使用策略梯度算法來優化決策策略。策略梯度算法的目標是調整參數θ，使策略π（s，a，θ）的期望回報J最大化。這通常涉及計算策略梯度，并沿著梯度方向更新參數，通過選擇最佳的決策以推動項目進展，并最大化預期的進度。

1.2 深度學習概述

目前，深度學習技術發展迅猛，且具有強大的表征能力，其與強化學習相結合形成了深度強化學習（DRL）。深度學習擅長感知和表征數據，而強化學習則專注于決策制定，兩者結合能夠相互補充優勢。將深度學習應用于強化學習中，可以處理以前難以解決的問題，例如高維/連續狀態和動作空間下的管理問題。

深度學習源自對人工神經網絡研究進行拓展，并逐漸成為機器學習中一個重要領域，其多個隱藏層的神經網絡是典型的深度學習結構，在輸入數據中可以自動學習特征表示，并逐層提取更抽象、更具代表性的特征。在這個過程中，將多個ANN的網絡參數更新共同擬合，形成狀態-動作者參數。

更新參數的損失函數是指當使用梯度下降等優化算法時，需要最小化的函數。這個函數衡量了模型預測值與真實標簽之間的差異，通過最小化這個差異來調整模型參數，使模型預測更加接近真實數值。以優化決策策略π（s，a，θ）為目標，相應更新參數的損失函數如公式（3）所示。

L（θ）=Eπ[y-Q（s，a）2] （3）

式中：L（θ）為基于參數θ的損失函數；y為優化目標。

這個部分與預測輸入數據相關，并要計算預測值與真實標簽之間的差異。可以用公式（4）計算其優化目標y。

y=rt-γ·maxQ（s，a） （4）

通過最小化損失函數L（θ），可以調整狀態-動作者參數θ，最大程度地縮小預測值和實際值之間的差異。

與傳統機器學習方法類似，深度學習包括監督和無監督學習。卷積神經網絡是監督機器學習下常見的模型之一，而堆疊自編碼器和受限玻爾茲曼機等則屬于無監督機器學習范疇。其中一個重要特點是其能夠從高維數據中提取低維特征表示，在處理文本、圖像、信號等領域有廣泛應用。

將深度強化學習與電力基建項目進度預測相結合，可以更準確地預測項目的進展情況，并為決策制定提供更有力支持。這種方法不僅可以幫助優化資源分配和風險管理，當應對復雜多變情景時也能夠提高項目執行效率并降低風險水平。

1.3 深度強化學習的應用

將深度強化學習與電力基建項目進度預測相結合，涉及多個技術性細節，需要對大規模、高維度的項目數據進行處理，并進行特征工程以提取關鍵特征。在優化過程中，利用策略梯度方法計算梯度并更新參數，通過經驗回放減少樣本相關性影響。

基于數據收集與處理，將深度強化學習運用于進度預測和現場管理過程，在過程中需要重視時間、資源和人力的約束條件，從而設計合適的獎勵函數，以引導模型學習正確的決策策略，并利用交叉驗證或驗證集評估模型性能，并調整超參數和結構。通過訓練、優化模型，過往數據積累和人工標記、驗證能夠為模型提供有效的訓練樣本，基于原始數據的優化處理構建模型后，可以將其應用在實踐領域中。本文討論的電力項目基礎設施建設進度涉及大量預調研活動，可以在前期缺乏充分信息支持的基礎上收集項目信息的必要內容，以對整體進行分析。因此，企業將訓練好的深度強化學習模型嵌入實時決策支持系統中，在項目執行前進行耗時預測，在項目執行過程中提供實時預測和決策建議，在項目竣工驗收環節，要收集過往數據信息補充現有模型，擴大參數收錄范圍并形成更準確的預測模型。這種方法不僅有助于優化資源分配和風險管理，當應對復雜情景時還能夠提高項目執行效率。

2 結果分析

2.1 RMSE隨迭代變化

隨著迭代次數增加，均方根誤差（RMSE）水平能夠反映預測模型的性能收斂速度，其結果如圖1所示。

隨著深度強化學習模型的訓練，管理者觀察到RMSE在不同訓練階段的變化情況。在學習過程中，模型逐漸理解數據特征和建立準確預測的能力導致初始階段快速減少。這種快速收斂通常反映了模型對數據的初步擬合和學習效果。隨著訓練次數增加，RMSE在20代內穩定在較低水平。這表明模型已經較好地捕捉了數據之間的關系，并且達到了一定的預測準確性。這個階段的穩定性顯示了模型在相對短時間內就能夠取得可接受水平的預測結果。當訓練達到50代時，RMSE保持穩定，低于0.1。這進一步確認了模型具有較高的預測準確性，并且能夠在不斷迭代優化后保持穩定水平。RMSE值低于0.1說明模型與實際值之間的誤差非常小，說明它是一個有效且可靠的預測工具。

2.2 預測值表現對比

對比真實值和預測值之間的差異是評估模型性能的重要指標之一。

圖2對比了真實值和預測值，管理者可以看到它們之間的差異非常小。真實值和預測值不僅高度接近，還有著同期波動、相對誤差有限，誤差分布于極值波峰與波谷等特點，滯后性較低、偏差有限，這種高度接近的差異表明深度強化學習模型在預測項目進度方面表現出色。模型能夠準確地捕捉各種因素對項目進度的影響，并由此生成與實際情況相符合的預測結果。

2.3 MES的樣本內分布

對MES（均方誤差）分布進行分析可以幫助管理者更全面地了解模型的預測性能。

樣本內分布如圖3所示，MES值整體低于0.05，這說明大多數樣本的預測誤差非常小且精準。在分布中，有少量樣本的MES值處于中等水平，小于0.1，這表明在某些情況下，模型的預測誤差雖然略有增加，但是仍然保持在相對較低的水平上。極少量樣本的MES值高于0.15，預測誤差較大。盡管存在這些較高誤差值的樣本，但它們數量極少，因此整體上并不影響模型在大多數情況下表現出色的特點。

2.4 預測進度對比

對預測進度與時間進度進行對比可以幫助管理者了解模型在不同階段的表現以及其與實際情況之間的差異。

預測進度與實際進度比較如圖4所示。預測進度與時間進度之間呈現接近y=x的直線關系，即模型預測整體上與實際時間進度保持一致。這種趨勢表明，模型在大多數情況下能夠相對準確地預測項目的進展情況。然而，在觀察到的數據中也存在一些偏差。當實際進度較小時，預測進度可能會出現較高水平偏差的情況，即模型傾向于高估項目完成的程度。相反，當實際進度較高時，預測進度可能會呈現較低水平偏差，即模型傾向低估項目完成情況。模型在不同階段對項目狀態變化的理解程度不同可能會導致出現這種偏差。在項目初期或者某些特定階段，受到各種因素影響，模型可能更容易產生高估或低估的預測結果。這提示管理者，當使用深度強化學習模型進行項目管理時，需要考慮這些潛在偏差，并根據實際情況進行適當調整和優化，以提高預測準確性和可靠性。

3 結論

本文深入探討了深度強化學習在電力基建項目進度預測中的應用及其效果評估。首先，本文從算法概述入手，詳細介紹了強化學習和深度學習原理，并討論了策略梯度算法在電力基建項目管理中的重要性。其次，在結果分析部分，本文觀察到模型在不同方面表現出色：RMSE隨迭代變化體現模型性能收斂速度；真實值和預測值的對比結果說明模型準確性；MES的樣本內分布說明大多數情況下，模型可以提供精準預測；最后，在預測進度與時間進度對比中發現存在一定偏差。這些結果共同揭示了深度強化學習技術在電力基建項目管理中具有良好的應用前景和效果。

參考文獻

[1]方成，于盛鑫，李永剛，等.基于深度學習的土木工程計算機視覺健康監測[J].同濟大學學報（自然科學版），2024，52（2）：213-222.

[2]司偉，茆緯杰，李寧，等.寒區瀝青路面智慧化施工混合料溫度預估機器學習模型[J].中國公路學報，2023，36（3）：81-97.

[3]張帆，孫楚津，覃思中，等.基于BIM和深度學習點云分割的施工檢查方法模擬研究[J].工程力學，2024，41（2）：194-201.

[4]廖小烽，謝艷，田書函，等.基于計算機視覺的施工進度自動監控方法[J].重慶大學學報，2022，45（增刊1）：70-73.

[5]蘇陽，毛超，郭鵬飛.基于深度學習三維重建技術的建筑施工進度管理自動化系統構建[J].土木與環境工程學報（中英文），2024，46（1）：173-181.