多維注意力機(jī)制神經(jīng)網(wǎng)絡(luò)在電力工程數(shù)據(jù)中的應(yīng)用研究

王瓊，呂征宇，薛禮月

（國網(wǎng)上海市電力公司經(jīng)濟(jì)技術(shù)研究院，上海 200233）

電力工程建設(shè)具有投資金額大、建設(shè)周期長的特點，而造價管理是相關(guān)工程管理工作中的重點內(nèi)容[1-4]。電力工程造價數(shù)據(jù)具有多變量及非線性等特征，但傳統(tǒng)的電力工程造價僅依靠人工核算的方法，管理人員通常根據(jù)工程平面圖和相關(guān)報價進(jìn)行計算，數(shù)字化程度較低。同時，現(xiàn)代電力工程的發(fā)展也使得人工核算方法的局限性被不斷放大[5-6]。因此，使用數(shù)字化與自動化的手段對相關(guān)投資行為進(jìn)行合理、科學(xué)的管理及預(yù)測是未來的發(fā)展趨勢。

在其他領(lǐng)域，例如電力負(fù)荷預(yù)測、電力系統(tǒng)故障預(yù)測中，通常采用人工智能的相關(guān)算法，預(yù)測準(zhǔn)確度較高。而電力造價數(shù)據(jù)從屬性的角度來看與這些領(lǐng)域基本一致，均具有高維度、非線性及時序性等特征。因此，文中使用多維注意力神經(jīng)網(wǎng)絡(luò)對電力工程數(shù)據(jù)進(jìn)行分析，并提取數(shù)據(jù)的多維度特征，進(jìn)而實現(xiàn)對數(shù)據(jù)的分析與預(yù)測。

1 電力工程數(shù)據(jù)處理模型設(shè)計

1.1 多尺度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）[7-9]是一種前饋多層神經(jīng)網(wǎng)絡(luò)，一維卷積神經(jīng)網(wǎng)絡(luò)由輸入層、卷積層、池化層、全連接層和輸出層組成。其中，輸入層與輸出層完成數(shù)據(jù)的輸入、輸出，卷積層及池化層對輸入信號進(jìn)行卷積和池化運算，最終通過全連接層獲取數(shù)據(jù)的分類結(jié)果。CNN 網(wǎng)絡(luò)的結(jié)構(gòu)如圖1 所示。

圖1 CNN網(wǎng)絡(luò)結(jié)構(gòu)

文中所采用的卷積層由一維卷積核組成，每個卷積核均對輸入信號的域進(jìn)行卷積運算。卷積運算的過程如下所示：

式中，l為卷積核數(shù)；Xi為第i層的特征向量；wij表示第i層卷積的第j個卷積權(quán)重值；bj表示第j個偏置值；f(·)為激活函數(shù)；Xj為卷積輸出值。激活函數(shù)的作用是將輸入數(shù)據(jù)完成從非線性到線性的映射。常用的激活函數(shù)為tanh 函數(shù)，其計算公式為：

該文將池化層部署在多個卷積層之間，主要作用是對卷積層的高維數(shù)據(jù)進(jìn)行降維，并對卷積得到的結(jié)果加以簡化，進(jìn)而減少計算參數(shù)。池化過程可表示為：

式中，βj表示權(quán)重值；bj表示偏置值；D(·)表示采樣函數(shù)。

全連接層可以將本層神經(jīng)元與前一層神經(jīng)元相連接，進(jìn)而實現(xiàn)從特征數(shù)據(jù)到最終輸出的映射，再通過分類函數(shù)完成最終的輸出。文中通過用Softmax函數(shù)獲得分類結(jié)果，該函數(shù)可表征為：

式中，zi為第i個卷積核的輸出值；C為輸出卷積核的個數(shù)，其對應(yīng)的數(shù)據(jù)即為分類類別的數(shù)量。

輸入數(shù)據(jù)經(jīng)過卷積神經(jīng)網(wǎng)絡(luò)的各層最終輸出，隨著通道數(shù)的增加，特征向量不斷變小，而不同尺寸的卷積核對數(shù)據(jù)的篩選能力也有所不同。因此，對多種不同尺寸的卷積核進(jìn)行合理組合可以全面提升CNN網(wǎng)絡(luò)的特征提取能力。在多尺度CNN中，每個層的卷積層均由不同大小的卷積模塊組成，如圖2 所示。

圖2 多尺度卷積神經(jīng)網(wǎng)絡(luò)

該文采用的多尺度網(wǎng)絡(luò)主要參數(shù)如表1 所示。

表1 多尺度卷積神經(jīng)網(wǎng)絡(luò)主要參數(shù)

1.2 殘差網(wǎng)絡(luò)優(yōu)化

雖然多尺度卷積網(wǎng)絡(luò)相較于一維神經(jīng)網(wǎng)絡(luò)在訓(xùn)練準(zhǔn)確度方面有所提高，但隨著網(wǎng)絡(luò)層數(shù)的不斷增加，訓(xùn)練的計算開銷也會持續(xù)提升，而模型的魯棒性和抗噪性則會進(jìn)一步下降。因此，需要對多尺度卷積網(wǎng)絡(luò)加以改進(jìn)，文中選擇殘差網(wǎng)絡(luò)（Residual Network，ResNet）[10-13]來進(jìn)行改進(jìn)。

殘差網(wǎng)絡(luò)是一種多層次網(wǎng)絡(luò)間的快速鏈接方式，該網(wǎng)絡(luò)并未對多個網(wǎng)絡(luò)的映射關(guān)系進(jìn)行分析，而是直接映射殘差網(wǎng)絡(luò)自身與網(wǎng)絡(luò)的關(guān)系，使原始輸入信息可以無損傳遞到后續(xù)的輸出層中，且通過層與層之間相連，進(jìn)而有效解決網(wǎng)絡(luò)收斂及梯度消失等問題。該文采用的ResNet 網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。

圖3 ResNet網(wǎng)絡(luò)結(jié)構(gòu)

可以看到，ResNet 網(wǎng)絡(luò)以殘差單元為主要組成結(jié)構(gòu)，可將多個殘差結(jié)構(gòu)進(jìn)行堆疊。當(dāng)輸入數(shù)據(jù)為x時，殘差結(jié)構(gòu)的輸出則為F(x)+x，F(xiàn)(x)則為原網(wǎng)絡(luò)的輸出。

雖然ResNet 網(wǎng)絡(luò)可以在一定程度上解決一維卷積網(wǎng)絡(luò)存在的問題，但其存在參數(shù)過大的弊端，因此仍需對ResNet 網(wǎng)絡(luò)進(jìn)行簡化，以降低數(shù)據(jù)過擬合的風(fēng)險。文中將原始的二維ResNet 網(wǎng)絡(luò)降為一維網(wǎng)絡(luò)，從而達(dá)到簡化網(wǎng)絡(luò)、實現(xiàn)特征網(wǎng)絡(luò)重復(fù)利用的目的。更改后的ResNet 網(wǎng)絡(luò)與多尺度網(wǎng)絡(luò)結(jié)合的簡化結(jié)構(gòu)如圖4 所示。

圖4 優(yōu)化ResNet網(wǎng)絡(luò)結(jié)構(gòu)

從圖4 可知，優(yōu)化后的ResNet 網(wǎng)絡(luò)被放置在大尺度卷積中。由于小尺度卷積核提取的多為局部特征，其所包含的時序特性是短期的；而深層網(wǎng)絡(luò)使用的大尺度卷積全局性較強(qiáng)，包含的時序特征則是長期的。因此將局部和全局特征相連接，并將殘差網(wǎng)絡(luò)放置在大尺度卷積中，進(jìn)而使模型獲得更為全面的特征信息，同時還可提升模型的運算速度。

1.3 卷積塊多頭注意力機(jī)制

多頭注意力機(jī)制（Multi-Head Attention）[14-16]是一種并行注意力機(jī)制，其可使輸入數(shù)據(jù)的編碼能力大幅提升。該機(jī)制使用矩陣對原始注意力機(jī)制中的Q、K、V三種向量進(jìn)行映射，同時對原始數(shù)據(jù)完成多次注意力操作，之后再進(jìn)行合并。執(zhí)行過程如下：

式中，Wi表示權(quán)重矩陣，fattention表示注意力拼接函數(shù)。

輸入數(shù)據(jù)經(jīng)由殘差網(wǎng)絡(luò)后，會得到海量的數(shù)據(jù)特征，為了對這些特征進(jìn)行分類，在殘差網(wǎng)絡(luò)后加入多頭注意力模塊，該模塊是對單個卷積中注意力模塊的拼接。設(shè)計的單個卷積注意力模塊的結(jié)構(gòu)如圖5所示。

圖5 單個卷積塊注意力模塊的結(jié)構(gòu)

圖5 中，注意力機(jī)制分為通道注意力模塊和空間注意力模塊。假定輸入特征向量為X，則卷積塊注意力機(jī)制會沿著通道和空間構(gòu)建兩種不同的輸出特征，如下所示：

式中，X″為最終輸出結(jié)果，?為張量積運算。通道注意力的計算方式為最大池化和平均池化，計算公式為：

式中，使用ReLU 作為總的激活函數(shù)，σ則表示Sigmoid 函數(shù)。

空間注意力也是通過兩個池化來完成的運算過程：

1.4 MultiATT-CNN模型設(shè)計

文中最終模型由上述改進(jìn)的多尺度卷積神經(jīng)網(wǎng)絡(luò)、殘差網(wǎng)絡(luò)以及多頭卷積注意力機(jī)制組成。該模型首先通過大尺度的卷積核獲取數(shù)據(jù)的全局特征，進(jìn)而得到多尺度的殘差網(wǎng)絡(luò)；然后，將殘差網(wǎng)絡(luò)結(jié)構(gòu)放置于粗尺度網(wǎng)絡(luò)與細(xì)尺度網(wǎng)絡(luò)之間；最后再放置多頭注意力機(jī)制，并通過全連接層得到最后的預(yù)測結(jié)果。MultiATT-CNN 算法模型結(jié)構(gòu)如圖6 所示。

圖6 MultiATT-CNN算法模型結(jié)構(gòu)

2 實驗測試

2.1 算例數(shù)據(jù)及運行環(huán)境

文中算例數(shù)據(jù)集來源于國家電網(wǎng)中的電力基建工程數(shù)據(jù)，數(shù)據(jù)獲取軟件為D-Grid 基建管理平臺。數(shù)據(jù)可分為5 個類型，具體如表2 所示。同時使用Python3.7 編寫算法代碼，并將TensorFlow 作為深度學(xué)習(xí)框架。硬件配置如表3 所示。

表2 數(shù)據(jù)分類信息

表3 實驗配置信息

2.2 仿真結(jié)果分析與對比

在仿真測試前，還需要對模型的仿真參數(shù)進(jìn)行確定。對深度學(xué)習(xí)而言，迭代次數(shù)的選擇極為關(guān)鍵，次數(shù)過多容易使模型陷入梯度消失的風(fēng)險，次數(shù)過少則會導(dǎo)致準(zhǔn)確度降低。因此，首先對迭代次數(shù)進(jìn)行了仿真，實驗結(jié)果如圖7 所示，設(shè)定迭代次數(shù)為11 次。

圖7 迭代次數(shù)仿真結(jié)果

在仿真測試中，首先進(jìn)行消融實驗，驗證所提改進(jìn)模型與原始模型的差異。對比算法為CNN、多尺度CNN、多尺度CNN-ResNet。算法數(shù)據(jù)中的訓(xùn)練集選擇2016—2020 年的基建投資數(shù)據(jù)，驗證集為2021年的數(shù)據(jù)，評價指標(biāo)則為平均預(yù)測準(zhǔn)確率及運行時間。消融實驗測試結(jié)果如表4 所示。

表4 消融實驗測試結(jié)果

由表4 可知，在添加了殘差網(wǎng)絡(luò)以及注意力機(jī)制后，算法的預(yù)測準(zhǔn)確度會逐漸提升。而多尺度CNN 算法由于采用了多個尺度和數(shù)量的卷積核，相較原始算法其運行時間有所增加，但在加入殘差結(jié)構(gòu)后，運行時間減少了約4 s。

在橫向算法測試中，文中使用同類型算法進(jìn)行了對比仿真測試。對比算法選擇LSTM、XGBoost、BP 神經(jīng)網(wǎng)絡(luò)和隨機(jī)森林算法，評價指標(biāo)為平均預(yù)測準(zhǔn)確率及算法運行時間。最終的測試結(jié)果如表5所示。

表5 橫向算法測試結(jié)果

從表5 中可以看出，該文算法的平均預(yù)測準(zhǔn)確率在所有算法中最高，同時由于算法中加入了可以縮短運行時間的殘差網(wǎng)絡(luò)，因此其在對比算法中的運行時間也最低。這說明該文算法具有良好的性能及效率，魯棒性及工程適用性均較高。

3 結(jié)束語

文中基于改進(jìn)神經(jīng)網(wǎng)絡(luò)提出了一種電力工程造價數(shù)據(jù)的分析算法。在對CNN 進(jìn)行改進(jìn)的基礎(chǔ)上，采用多尺度卷積核提升模型的全局感知能力，同時使用殘差網(wǎng)絡(luò)增加模型的訓(xùn)練速度，利用多頭注意力機(jī)制增強(qiáng)了模型的編碼能力。測試結(jié)果表明，該文算法相較于對比算法具有更高的準(zhǔn)確率及更快的運行速度，說明其工程應(yīng)用能力較優(yōu)。