基于 GSA-AGRU 的擠壓機能耗預測

陳銘俊 印四華

摘要：在鋁型材的生產過程中，擠壓機是核心的生產機器，其能耗占鋁型材生產能耗的60%以上。針對當前擠壓機能耗預測精度低和預測速度慢的問題，提出基于引力搜索優化的注意力機制門控循環單位網絡模型（GSA-AGRU）用于預測擠壓機的能耗，首先構建注意力機制的門控循環單位網絡模型（AGRU），然后加入引力搜索算法（GSA）優化該網絡的權重，最后得到最優的 GSA-AGRU 預測模型。利用某鋁型材企業的擠壓機生產能耗數據進行實驗，結果表明 GSA-AGRU 模型相比于傳統的 GRU、 LSTM、BP 和 AGRU模型具有更高的預測精度和更快的預測速度。

關鍵詞：門控循環單位;能耗預測;擠壓機;注意力機制;引力搜索算法

中圖分類號：TG375文獻標志碼：A

文章編號：1009-9492（2021）11-0021-05

開放科學（資源服務）標識碼（OSID）：

Energy Consumption Prediction of Extruder Based on GSA-AGRU Chen Mingjun1，Yin Sihua2

（1. School of Computers， Guangdong University of Technology， Guangzhou 510006， China;

2. School of Electromechanical Engineering， Guangdong University of Technology， Guangzhou 510006， China）

Abstract： In the process of aluminum profile production， the extruder is the core production machine， its energy consumption accounts for more than 60% of the aluminum profile production energy consumption. In view of the current low extrusion machine energy consumption prediction precision and slow speed of prediction problem. The concentration mechanism gating cycle unit network model （GSA-AGRU） based on gravity search optimization was proposed to predict the energy consumption of extruder. Firstly， the attention mechanism gated cycle unit network model （AGRU） was constructed， and then the gravity search algorithm （GSA） was added to optimize the weight of the network. Finally， the optimal gsa-agru prediction model was obtained. The experiment was carried out by using the production energy consumption data of an aluminum profile enterprise， the results show that the GSA-AGRU model has higher prediction accuracy and faster prediction speed than the traditional GRU， LSTM， BP and AGRU models.

Key words： GRU; energy consumption; extruding machine; attention mechanism; GSA

0 引言

我國是鋁型材生產、出口和消費大國。2017年中國擠壓鋁材產量攀升，達到了19500 kt/a ，占全球總產量的55%，擁有各種擠壓力的現代化油壓機約1850臺，約占全球總臺數的70%[1]。鋁材生產與消費規模在不斷擴大，對鋁型材生產過程的進一步分析，已經成為促進鋁材生產進一步發展的迫切需求。擠壓機的能耗一直是鋁型材生產企業高度關注的問題，而傳統的物理能耗模型和仿真分析是常用的方法。張聰聰[2]通過擠壓機生產理論計算得到連續擠壓工藝參數與擠壓模具結構參數的聯系，設計出合理的模具以減少生產能耗成本。蔣攀[3]對擠壓機的泵控液壓系統進行改進與原系統相比能耗有所降低。

隨著深度學習的發展，各種網絡模型用于工業能耗預測中，Zhou B[4]使用長期短期記憶（LSTM）網絡構建核心預測模型，LSTM區別于傳統神經網絡使用3個門和1個“記憶細胞”實現長距離信息傳遞。但是 LSTM深度學習模型過于冗余，該模型需要較長的訓練時間，這使得預測效率相對較低。Cho[5]對這 LSTM進行了改進，提出了 GRU網絡。He Y[6]使用深度學習對銑床和磨床的能耗進行預測，結果表明比傳統機器學習的預測性能和準確率有明顯提高。為了提高風電的預測精度，李漢[7]提出了一種改進的長期短期記憶（ILSTM）網絡結構。郭久俊[8]為了解決目前還原爐能耗預測精度低和建模困難的問題，在 LSTM 網絡模型的基礎上加入Adaboost來優化模型參數，提高了預測模型精度。

基于以上分析，目前對擠壓機能耗的研究已經有了不少的研究成果，但國內外的研究人員大都從熱力學，擠壓機系統等方面對擠壓機的能耗進行研究，而沒有從預測的角度進行研究，預測工藝參數對擠壓機能耗的影響。深度神經網絡在工業能源預測的豐碩成果表明深度學習在擠壓機能耗預測的可行性，并且擠壓機生產過程中采集的數據具有時間序列性，所以本文采用 GRU網絡模型對擠壓機能耗進行預測，同時結合注意力機制和 GSA對 GRU進行優化以提高模型預測精度和速度。

1 擠壓機能耗分析

1.1 擠壓機系統結構分析

本文研究的擠壓機是華南地區某大型鋁型材生產企業型號為 SY-3600Ton 的臥式擠壓機，其能源消耗來源于電能，基本結構如圖1所示。

鋁型材擠壓機主要由3部分組成[9]，分別為電氣控制系統、機械系統和液壓系統，具體的部件如圖2所示。

1.2 擠壓機工作過程能耗分析

擠壓機每個工作周期完成一個鋁型材工件的擠壓生產，不斷重復單個周期的機械運動達到成批生產的目的。鋁型材擠壓機具體工作流程如下。

（1） 擠壓前，主柱塞及盛錠筒后退直至在盛錠筒與模具之間預留出送棒位置，送棒機構將鋁棒送至擠壓中心線，盛錠錠筒前進并套住鋁棒，同時對模具、鋁棒和盛錠筒進行加熱，直到加熱至預設的溫度為止。

（2） 擠壓中，液壓泵將液壓油壓入主缸驅動擠壓桿，進入擠壓過程棒料在擠壓桿的壓力下和模具進行強烈擠壓產生塑性變形，從而得到需要的鋁型材產品。

（3） 擠壓后，主缸液壓卸壓，擠壓桿回到預設位置。剪刀機對擠壓成型的工件進行剪裁，把擠壓的最后階段留有的壓余部分切掉。

以上是一次工序，當完成一個擠壓工序后，就進入下一個工序循環中。循環生產中擠壓機的工作能量來源于電能，其能耗主要由直接影響因素和間接影響因素決定，直接影響因素有擠壓機工藝、金屬坯料、模具加熱和盛錠筒;間接影響因素有操作人員、環境、設備狀況和型材成品。如圖3所示。

2 模型設計

2.1 GRU概述

為了解決 BP 神經網絡在處理序列信息的缺陷，1990年，Jeffrey Elman提出了全連接的RNN ，即 Elman網絡。 RNN 算法是一種專門用于重復和順序數據學習的人工神經網絡，具有內部循環結構[10]。

RNN 與傳統神經網絡結構一樣有輸入層、隱藏層和輸出層。RNN 網絡隱藏層節點以鏈式結構關聯起來，當前節點可以得到上一節點的歷史信息，還能獲得更早的節點傳遞的重要信息，這使得 RNN 具有一定的記憶性，也是與 BP 神經網絡區分開的一個重要特性。RNN 網絡的單元結構和展開的鏈式結構如圖4所示，其中 h 為隱藏層單元，X 為 h 的輸入， Y 為輸出，u 、v 、w 為神經網絡中的權值。

RNN存在梯度消失和梯度爆炸的問題，為了解決該問題，Hochreiter和Schmidhuber[11]于1997年提出了 LSTM。LSTM是RNN 的特殊變體，在傳統 RNN 的基礎上增加了3個門和1個記憶單元，它具有存儲時間序列的功能，并且可以通過結構中的單元單元存儲，傳輸和處理數據流。與 RNN 相比，LSTM可以存儲時間序列，因為 LSTM 中的每個單元都包含基于 S型神經網絡層的3個邏輯門，即輸入門、輸出門和遺忘門，可以通過這些邏輯門選擇性地傳遞或處理數據。

GRU 神經網絡是通過改進 LSTM 神經網絡得到的，由于 LSTM門控網絡結構過于復雜與冗余，所以把 LSTM 中的3個門縮減到了2個。GRU通過更新門和重置門對時間序列數據進行有針對性地處理，更新門決定了之前的狀態信息在當前狀態中的保留程度，其值越大代表之前的狀態信息保留越多。重置門用來判定是否要結合當前狀態與之前的信息，其值越小說明忽略的信息越多，模型訓練效率得到提高。該模型在數據學習方面不同于傳統的 LSTM網絡，具有較高預測效率的 GRU網絡可以更深入地挖掘輸入的擠壓機能耗數據，使得多維時間序列可以與能耗時間序列建立非線性關系。不僅減少了數據噪聲的影響，而且提高了整個模型的預測效率和準確性。GRU神經網絡結構如圖5所示。

rt =sigmiod（Wr [ht -1，xt]）

zt =sigmoid（Wz [ht -1，xt]）

=tanh（Wt [rt *ht -1，xt]）

ht =ht -1*（1-zt）+ t *zt

式中：*為矩陣的逐元素點乘;[]為向量相連;ht為當前時間序列輸出信息;Wr為重置門權重;Wz為更新門權重;Wt為候選集權重;sigmiod和 tanh為激活函數：

sigmoid（x）=

tanh（x）=

2.2 注意力機制的GRU

注意力機制理論的提出是借鑒人類大腦對于多種信息處理時選擇較為關鍵的信息給予更多的關注。在神經網絡中使用這種思想可以更合理地分配計算資源，從大量的信息中對重要的信息進行聚焦，減少對不重要信息的計算，在信息的有效選擇、信息相關性等方面得到提升。

注意力的本質是加權求和[12]，不同的輸入特征通過計算出不同的概率來分配注意力，關鍵的特征會得到較大的概率值，也就會被賦予更多的注意，在處理時間序列數據的時候注意力機制的效果較好。因為 GRU無法靈活區分前一時期哪些時間數據對擠壓機多目標的影響較大，而注意機制提供了一種關注重要信息的手段，加強了 GRU在長時間序列學習中特征選擇的能力。因此，使用帶有注意機制的 GRU算法來預測擠壓機的生產能耗，把這個模型稱為 AGRU模型。其計算流程如下。

首先通過多層感知器（ MLP ）計算注意力權值 et′t 。

et′t = V Ttanh（Ws St′-1+ Whht） （7）

式中： et′t 為隱含層狀態ht在時間 t 時對時間 t′輸出影響的注意力權重; V T 、WS 和Wh為模型權重;ht為編碼器隱藏層狀態; St′-1為解碼器隱藏層狀態。

接著根據softmax函數對 et′t 進行歸一化，獲得注意力分配概率分布數值。

αti =soft max（et′t）=Texp（et′t）

exp（t′ k）（8）

所有的權重和為1也就是αti =1，加權求和求出context vector：

ct =α tihi

ct和解碼器的最終輸出之間有一個連接。解碼器隱藏層的狀態可以通過ct進行更新，這個更新過程簡單地表示為：

St′=GRU（Yt′-1， ct′ ， St′-1）（10）

AGRU模型具體分為：輸入層、隱藏層、注意力層和輸出層，采用編碼器-解碼器結構，如圖6所示。輸入序列為（X1，X2， … ，Xt），隱藏層為（h1， h2， … ， ht），每個輸入 X 到隱藏狀態 h 通過 GRU網絡，在注意力層使用注意力機制理論計算得到模型的輸出Yt′。

2.3 GSA-AGRU模型

引力搜索算法（GSA）是一種魯棒性高且易于實現的全局優化算法，從前面對 GRU網絡的描述中可以看出Wr、Wz、Wt是該模型的權重，通過模型訓練確定。傳統的模型訓練方法采用的是隨機梯度下降算法，但是該算法的其中一個缺點就是在梯度下降過程中造成預測精度的降低。為了提高 AGRU 模型的預測精度，本文采用引力搜索算法（GSA）實現全局最優。AGRU神經網絡的權重作為空間中粒子的屬性，輸出誤差被用作目標函數。

引力搜索算法的基本原理可以概括為：引力存在與各個粒子之間，引力的大小與粒子的質量成正比與粒子距離成反比。粒子靠它們之間的萬有引力在搜索空間內不斷運動，當粒子移動到最優位置時，最優解便可以求出。現在假設空間維為 D ，對象總數為 N ，第i個粒子在空間里的位置為：

xi （t）=（x（t），x（t）， … ，x（t））i =1， 2， … ， N（11）

式中： x為第i個粒子在第 d 維空間的位置;N 為整個群體粒子數量。

粒子的質量 mi （ t ）公式如下：

fiti （ t ）=f（xi （ t ））i =1， 2， … ， N

best（ t ）= i∈{i，， N}fiti （ t ）

worst（ t ）= i∈， N}fiti （ t ）

mi （ t ）

Mi （ t ）=（12）

（13）

（14）

（15）

（16）

每個粒子所受引力和加速度按以下公式計算：

F（t）=G（t）[x（t）-x（t）]

Fid （t）=∑rj× F（t）

a（t）= b（（esttt））

式中： Fid （t）與 a（t）分別為粒子i在 d 維上所受到的力與相應加速度;Rij為粒子i與粒子j 之間的歐式距離;rj為[0， 1]之間的隨機數;ε為一個與計算精度相關的極小數;kbest為包含適應值最優的K個粒子的集合，K初始值通常為種群中總粒子數，并且隨著算法的迭代線性減少，最終變為1;G（t）為萬有引力常數，可由下式計算得到：

G（t）=G0e -α

式中： G 和α為兩個常數;t 為當前群體迭代的次數; T 為算法總的迭代次數。

粒子的初始速度為0，在每次迭代中，按照下式更新粒子的速度vi（t）與位置xi（t）：

v （ t +1）=ri × v （t）+a（t）

x（ t +1）=x（t）+v （ t +1）

式中：t 為當前群體迭代的次數;ri為[0， 1]之間的隨機數。

構建的 GSA-AGRU如圖7所示。

基于 GSA 算法優化 AGRU 模型參數具體步驟：

（1） 使用原始參數對 AGRU模型進行訓練;（2）初始化 GSA的粒子速度和位置，選擇AGRU的權重;（3）計算適度值，更新粒子;（4）判斷是否達到終止條件，達到即可輸出最優參數并保存最優參數的 AGRU ，否則繼續迭代;（5）把最優 AGRU模型保存并進行測試。對 AGRU模型的改進主要是基于 GSA算法優化 AGRU模型的權重。

3 實驗與結果分析

3.1 實驗環境與模型構建

實驗使用Python 3.7編程語言，系統環境為 Linux ，計算機為 Intel （ R） Core （TM） i5-7300 HQ @2.5 GHz，16 GB RAM ，Windows 1064位系統。GSA-AGRU構建步驟如下。

（1） 查閱擠壓機生產的相關資料，獲得擠壓機工藝中影響能耗的6個主要參數：擠壓速度、擠壓壓力、擠壓溫度、盛錠筒溫度、坯料溫度、模具溫度。這些參數被用作神經網絡的輸入，輸出為該參數下能耗的預測值，該值為使用的電量。

（2） GRU神經網絡。GRU神經網絡包含5層 GRU神經網絡，第一層還用作模型的輸入層，并輸入通過預處理獲得的數據。經過參數調整測試后，每層中隱藏神經元的數量分別設置為48、64、64、32和16。該模型的激活函數使用 sigmoid和 tanh函數，學習率為0.0005。

（3） 模型訓練。建立網絡后，將選擇 GSA優化算法作為網絡優化算法。

（4） 使用 RMSE和 MAE 對模型的泛化能力和輸出誤差進行評估。 RMSE 的值越小模型的泛化能力越強，MAE 的值越小模型的預測準確性越高。

RMSE = yi - y

MAE =（yi - y*i）|

3.2 實驗數據

本文利用某鋁型材企業的歷史生產數據作為訓練數據集和測試數據集。數據為2019年7月1日至2020年7月1日，其中每個月隨機抽取5天的數據作為測試集，其余部分用作訓練的訓練集。后臺系統把每組不同擠壓速度、擠壓壓力、擠壓溫度、盛錠筒溫度、坯料溫度、模具溫度的參數分別生成工藝編號。從后臺導出的加工能耗數據如表1所示。

3.3 結果分析

圖8所示為分別采用 GSA-AGRU 與 AGRU 、GRU、LSTM和BP 模型預測擠壓機生產能耗的數據曲線圖。由圖可知，GSA-AGRU與真實能耗曲線的擬合度要比其他模型的好，與相近的 AGRU模型相比依舊能表現更高的準確性。經典 BP 、LSTM和 GRU網絡的擬合效果就沒有那么理想。綜上可知，使用 GSA-AGRU網絡模型可以降低能耗預測誤差得到更精準的擠壓機能耗預測值。

為了進一步驗證 GSA-AGRU模型的準確性和泛化能耗，計算了5種模型的 RMSE 和 MAE 值，如表2所示。由表可知， GSA-AGRU 模型預測的均方根誤差為7.8142，平均絕對誤差為 5.669 1，低于其他模型，說明該模型的泛化能力較強且準確性較高。其中數據表明 GSA-AGRU模型優于AGRU模型，可見GSA對AGRU進行權重優化是有效的。

深入評估 GSA-AGRU 的訓練和預測效率，將 GSA-AGRU模型與準確較高的模型LSTM、GRU、AGRU 的訓練時間和預測時間進行比較分析。如圖9所示，訓練模型的耗時由短到長分別為： GRU、 AGRU、 GSA-AGRU、LSTM，模型復雜度越大訓練時間越長。預測時間中耗時最短的是GSA-AGRU模型。所以在模型訓練時GSA-AGRU耗時較多，但是在預測時較為快速。

綜合實際生產考慮，GSA-AGRU模型十分符合擠壓機實際生產需求，該模型的高精度確保了擠壓機能耗預測值的準確性，為選擇合適的工藝參數提供了有效參考，其次，該模型預測效率較高，可以提高公司云平臺的響應速度，從而保證在高強度生產時系統的平穩性。

4 結束語

針對擠壓機生產的能耗預測精度低、預測速度慢的問題，提出了一種基于GSA優化的注意力機制GRU神經網絡的能耗預測模型。為了驗證GSA-AGRU遞歸神經網絡模型的性能，使用了與能耗相關的擠壓機歷史數據訓練和測試了GSA-GRU神經網絡、GRU神經網絡、LSTM神經網絡和 BP 4 種模型。實驗表明，所提出的GSA-GRU神經網絡，在模型準確性、泛化能力、預測速度方面優于其他模型，且具有工程應用價值。

參考文獻：

[1] 張世忠，王祝堂.渤海灣鋁擠壓工業[J].輕合金加工技術，2019，47（8）：1-10.

[2] 張聰聰.鋁材連續擠壓擴展變形分析及模具設計[D].南寧：廣西大學，2012.

[3] 蔣攀.擠壓機液壓系統建模仿真與能耗分析研究[D]. 廣州：廣東工業大學， 2015.

[4] Zhou B， Ma X， Luo Y， et al. Wind power prediction based onLSTM networks and nonparametric kernel density estimation[J].IEEE Access， 2019.

[5] Cho K， Van Merrienboer B， Gulcehre C， et al. Learning PhraseRepresentations using RNN Encoder-Decoder for Statistical Machine Translation[J]. Computer Science， 2014.

[6] He Y， Wu P， Li Y， et al. A generic energy prediction model ofmachine tools using deep learning algorithms[J]. Applied Energy， 2020（275）：115402.

[7] Han L， Jing H， Zhang R， et al. Wind power forecast based on improved Long Short Term Memory Network[J]. Energy， 2019（189）：116300.

[8] 郭久俊.基于LSTM-Adaboost的多晶硅生產的能耗預測[J].計算機應用與軟件，2018，35（12）：71-75.

[9] 雷步芳.鋁及鋁合金擠壓工藝及設備[M].北京：國防工業出版社，2014.

[10] Choi D J， Han J H， Park S U ， et al. Comparative Study of CNNand RNN for Motor fault Diagnosis Using Deep Learning[C]//2020 IEEE 7th International Conference on Industrial Engineering and Applications （ICIEA）， 2020.

[11] Hochreiter S， Schmidhuber J. Long Short-Term Memory[J].Neural Computation， 1997， 9（8）：1735-1780.

[12] Li W， Qi F， Tang M， et al. Bidirectional LSTM with self-attention mechanism and multi-channel features for sentiment classification[J]. Neurocomputing， 2020（387）：63-77.

作者簡介：

陳銘俊（1993-），男，廣西北海人，碩士研究生，研究領域為智能制造、綠色制造。

印四華（1983-），博士，研究領域為智能制造、綠色制造。

（編輯：王智圣）