基于PSO-SAE神經(jīng)網(wǎng)絡(luò)的城市燃?xì)夤艿朗Ｓ鄩勖A(yù)測(cè)

陳曉冬

（江蘇省特種設(shè)備安全監(jiān)督檢驗(yàn)研究院（揚(yáng)州分院） 揚(yáng)州 225000）

燃?xì)庖殉蔀楝F(xiàn)代社會(huì)中供應(yīng)城市居民生活以及工業(yè)生產(chǎn)的重要能源,是城市建設(shè)的重要組成部分。城市居民生活用氣主要通過(guò)管道運(yùn)輸、液化天然氣儲(chǔ)運(yùn)2種方式輸送到用戶所在位置。城市燃?xì)夤艿来蠖嗦裼诘叵?且網(wǎng)點(diǎn)多、鋪設(shè)線路長(zhǎng)、覆蓋面廣,具有復(fù)雜性和不可見(jiàn)性,且管內(nèi)輸送的燃?xì)饩哂幸兹家妆U(kuò)散速度快等特點(diǎn),一旦管道出現(xiàn)破損極易發(fā)生爆炸、泄漏等重大安全事故,對(duì)企業(yè)和社會(huì)造成惡劣影響。因此對(duì)燃?xì)夤艿朗Ｓ鄩勖龀鰷?zhǔn)確預(yù)測(cè),保證燃?xì)夤艿涝谑褂闷诘目煽啃院头€(wěn)定性,是各大燃?xì)馄髽I(yè)現(xiàn)階段的首要目標(biāo)。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中一種基于對(duì)數(shù)據(jù)進(jìn)行表征學(xué)習(xí)的算法,通過(guò)逐層挖掘數(shù)據(jù)中的深層特征,使機(jī)器能夠像人一樣具有分析學(xué)習(xí)能力。由于其不依賴專家經(jīng)驗(yàn)、區(qū)域化分層學(xué)習(xí)、多元非線性擬合等特點(diǎn),能夠很好地滿足企業(yè)在過(guò)程優(yōu)化、故障診斷、安全預(yù)警和大數(shù)據(jù)分析等方面的智能化需求,助力燃?xì)馄髽I(yè)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型,走向智能高效的發(fā)展道路。

1 研究現(xiàn)狀

21世紀(jì)以來(lái),歐美國(guó)家針對(duì)管線安全運(yùn)行和經(jīng)濟(jì)效益2個(gè)重要因素,依靠不斷進(jìn)步的科學(xué)技術(shù),提出了建立綜合治理體系的概念,并不斷在工程化、智能化、模式化方向深入發(fā)展。在城市燃?xì)夤艿朗Ｓ鄩勖A(yù)測(cè)方向,我國(guó)的有關(guān)研究起步相對(duì)比較晚,在研究初期主要是針對(duì)燃?xì)夤艿谰徫g劑和涂料開(kāi)展研究。隨著全球范圍內(nèi)的相關(guān)學(xué)者、從業(yè)人員對(duì)燃?xì)夤艿朗Ｓ鄩勖巴暾缘纳钊胙芯?國(guó)內(nèi)的科研人員也開(kāi)展了大量研究,不過(guò)我國(guó)對(duì)城市燃?xì)夤艿朗Ｓ鄩勖A(yù)測(cè)仍然處于探索的初級(jí)階段。

梁成浩等[1]通過(guò)概率統(tǒng)計(jì)的方法建立了材料腐蝕壽命預(yù)測(cè)系統(tǒng),分析推算腐蝕管道的剩余壽命。余建星等[2]統(tǒng)計(jì)了多起海底管道事故原因,采用ANSYS有限元軟件分析多種參數(shù)對(duì)海底管道疲勞壽命的影響作用,并得出了管道失效的主要原因。李增杰等[3]提出一種結(jié)合統(tǒng)計(jì)模型的BP神經(jīng)網(wǎng)絡(luò),通過(guò)用統(tǒng)計(jì)模型修正BP神經(jīng)網(wǎng)絡(luò)的誤差,實(shí)現(xiàn)對(duì)城市燃?xì)夤艿朗Ｓ鄩勖念A(yù)測(cè)。劉穎等[4]提出了一種基于WS-LSTM算法的海底管道剩余壽命預(yù)測(cè)方法,結(jié)合小波變換和LSTM網(wǎng)絡(luò)提高了模型的魯棒性和泛化能力。

綜上所述,國(guó)內(nèi)外學(xué)者對(duì)管道剩余壽命預(yù)測(cè)方法基本大多建立在數(shù)學(xué)模型的基礎(chǔ)上,部分還依賴專家的經(jīng)驗(yàn)和評(píng)估,且得到的精確度較低,而利用深度學(xué)習(xí)算法預(yù)測(cè)管道剩余壽命還處于萌芽階段。本文嘗試將深度學(xué)習(xí)算法應(yīng)用在城市管道剩余壽命的預(yù)測(cè)上,提出了一種基于PSO-SAE算法的城市燃?xì)夤艿朗Ｓ鄩勖A(yù)測(cè)方法。

2 PSO-SAE預(yù)測(cè)模型

2.1 粒子群優(yōu)化算法

粒子群優(yōu)化算法（Particle Swarm Optimization,PSO）是一種通過(guò)模擬鳥(niǎo)類群體搜索食物的行為的進(jìn)化算法,其基本思想在于通過(guò)群體中個(gè)體之間的協(xié)作和信息共享來(lái)尋找最優(yōu)解[5]。粒子群優(yōu)化算法是一種高效的并行搜索算法,同時(shí)保留了基于種群的全局搜索策略,操作模型比較簡(jiǎn)單,避免了復(fù)雜的遺傳操作,并且保留了每個(gè)粒子的個(gè)體歷史極值。PSO算法流程如圖1所示。

圖1 粒子群優(yōu)化算法流程

PSO優(yōu)化過(guò)程可以描述為：首先初始化一個(gè)隨機(jī)粒子群即該問(wèn)題的一組隨機(jī)解。然后通過(guò)重復(fù)迭代找到最優(yōu)解。在每一輪的進(jìn)化求解迭代中,粒子算法通過(guò)關(guān)注2個(gè)極限粒子即全局最優(yōu)粒子和個(gè)體最優(yōu)粒子（pbest,gbest）來(lái)更新整個(gè)種群的全局狀態(tài)。在找到這2個(gè)極限粒子后,通過(guò)式（1）和式（2）來(lái)更新個(gè)體的速度和位置以達(dá)到全局最優(yōu)解：

式中：

vi—— 粒子個(gè)體的速度；

xi—— 粒子個(gè)體當(dāng)前位置；

rand() —— 一個(gè)介于0和1之間的隨機(jī)數(shù)；

c1,c2—— 學(xué)習(xí)因子,通常c1=c2=2；

ω —— 一個(gè)非負(fù)常數(shù),是搜索函數(shù)的慣性因子,當(dāng)ω較大時(shí),模型具有較強(qiáng)的全局求解能力,而局部求解能力較弱；當(dāng)ω較小時(shí),優(yōu)化算法的全局求解能力較弱,局部求解能力較強(qiáng)。

動(dòng)態(tài)變化ω能獲得比固定ω更好的尋優(yōu)求解結(jié)果。動(dòng)態(tài)變化ω在PSO迭代的過(guò)程中線性改變大小,也可以通過(guò)PSO優(yōu)化算法的某個(gè)測(cè)度函數(shù)自適應(yīng)改變大小。現(xiàn)階段一種較為普遍的動(dòng)態(tài)變化策略是線性遞減權(quán)值（Linearly Decreasing Weight,LDW）策略,可表示為式（3）：

式中：

Gk——最大迭代次數(shù)；

ωini——初始慣性權(quán)值；

ωend——迭代到最大次數(shù)時(shí)的慣性權(quán)值。

一組比較常用的權(quán)值是：ωini=0.9,ωend=0.4。

引入慣性因子ω,極大地提高了PSO算法的尋優(yōu)能力,針對(duì)不同的最優(yōu)解求解問(wèn)題,可以自適應(yīng)地調(diào)整局部和全局求解能力,使得PSO算法有效地應(yīng)用于實(shí)際求解問(wèn)題。

2.2 稀疏自編碼網(wǎng)絡(luò)

稀疏自編碼網(wǎng)絡(luò)（Sparse Autoencoder,SAE）是一種無(wú)監(jiān)督的機(jī)器學(xué)習(xí)算法,通過(guò)編碼器和解碼器,得到輸入樣本數(shù)據(jù)的隱藏低維特征。同時(shí)克服低維特征中具有冗余特征的不足,對(duì)隱藏層節(jié)點(diǎn)增加稀疏性約束來(lái)限定不是所有的神經(jīng)元任何時(shí)刻都是處于激活狀態(tài)。網(wǎng)絡(luò)原理如圖2所示。

圖2 稀疏自編碼網(wǎng)絡(luò)結(jié)構(gòu)

其編碼和解碼過(guò)程分別用式（4）和式（5）表示：

式中：

σ ——映射函數(shù)；

x ——輸入數(shù)據(jù)；

h ——編碼器輸出的隱藏層特征；

z ——解碼器輸出的重構(gòu)特征；

W,b ——編碼器的權(quán)重和偏置；

W ',b'——解碼器的權(quán)重和偏置。

將KL散度作為正則項(xiàng)加入網(wǎng)絡(luò)的損失函數(shù)中,以此對(duì)網(wǎng)絡(luò)加以稀疏性約束,見(jiàn)式（6）～式（9）：

式中：

Jsparse(W,b),J(W,b)——稀疏化前后的懲罰函數(shù)；

hW,b(x(i))——訓(xùn)練中的權(quán)重暫存系數(shù)；

s——隱藏層中隱藏神經(jīng)元的數(shù)量；

nl——第l層隱藏層的輸入；

λ——正則化系數(shù)；

i ——每層的節(jié)點(diǎn)；

索引j——依次代表隱藏層中的每一個(gè)神經(jīng)元；

x(i)和y(i)——神經(jīng)元的輸入及輸出；

β——控制稀疏性懲罰因子的權(quán)重；

aj(2)(x) ——在輸入數(shù)據(jù)x,樣本數(shù)為m的情況下,隱藏神經(jīng)元j的激活度。

為了保證平均激活度維持在一個(gè)比較低的水平,引入超參數(shù)稀疏ρ,稀疏率通常是一個(gè)比較小的常數(shù),使神經(jīng)元激活度以此來(lái)降低隱含層神經(jīng)元的活躍度。把相對(duì)熵加入目標(biāo)函數(shù)中,懲罰平均激活度和稀疏率相差較大的權(quán)重,保證最后訓(xùn)練得出的權(quán)重矩陣能夠讓隱藏層神經(jīng)元的平均激活度維持ρ這個(gè)水平。

2.3 PSO-SAE

稀疏自編碼網(wǎng)絡(luò)的訓(xùn)練結(jié)果一定程度上取決于網(wǎng)絡(luò)超參數(shù)的設(shè)置,不恰當(dāng)?shù)某瑓?shù)會(huì)導(dǎo)致網(wǎng)絡(luò)陷入局部最優(yōu)解或是進(jìn)入過(guò)擬合狀態(tài),使得網(wǎng)絡(luò)提取不恰當(dāng)?shù)牡途S特征表達(dá),影響預(yù)測(cè)結(jié)果。針對(duì)這一問(wèn)題本文提出利用粒子群優(yōu)化算法,在網(wǎng)絡(luò)訓(xùn)練過(guò)程中利用粒子群優(yōu)化算法對(duì)SAE網(wǎng)絡(luò)中的學(xué)習(xí)率、稀疏率等構(gòu)成等高維超參數(shù)空間進(jìn)行最優(yōu)求解,動(dòng)態(tài)更新當(dāng)前最優(yōu)超參數(shù)集,自適應(yīng)地調(diào)整網(wǎng)絡(luò)超參數(shù)來(lái)改進(jìn)SAE算法。該算法流程如圖3所示。

圖3 PSO-SAE算法流程

首先初始化SAE網(wǎng)絡(luò)的權(quán)重和閾值,計(jì)算此時(shí)的準(zhǔn)確率。以此時(shí)的準(zhǔn)確率作為PSO的適應(yīng)度值,并根據(jù)該適應(yīng)度更新SAE網(wǎng)絡(luò)的超參數(shù)。以PSO尋優(yōu)得出的超參數(shù)訓(xùn)練SAE網(wǎng)絡(luò)更新網(wǎng)絡(luò)權(quán)重和閾值。重復(fù)以上兩步直至網(wǎng)絡(luò)收斂。

3 城市燃?xì)夤艿朗Ｓ鄩勖A(yù)測(cè)

為驗(yàn)證本文提出算法的可行性,首先選擇與燃?xì)夤艿栏g密切相關(guān)的影響因素作為輸入特征,具體特征為濕度、溫度、含鹽量、電阻率、壓力。通過(guò)PSO-SAE網(wǎng)絡(luò)提取輸入數(shù)據(jù)的隱藏特征,利用softmax層建立前置網(wǎng)絡(luò)提取的隱藏特征和管道剩余壽命之間的映射關(guān)系,使網(wǎng)絡(luò)最終輸出管道剩余壽命的預(yù)測(cè)結(jié)果,將燃?xì)夤艿缐勖A(yù)測(cè)值與真實(shí)值之間的均方誤差作為評(píng)價(jià)指標(biāo)。

考慮城市燃?xì)夤艿浪鶎侪h(huán)境復(fù)雜,管道長(zhǎng)時(shí)間受土壤理化特性影響,因此本文對(duì)輸入的數(shù)據(jù)首先進(jìn)行歸一化處理以消除單位量綱以及尺度之間的差異對(duì)網(wǎng)絡(luò)造成的影響。將總計(jì)1 000個(gè)數(shù)據(jù)樣本按4:1的比例劃分為訓(xùn)練集和測(cè)試集,設(shè)置初始學(xué)習(xí)率為0.001,稀疏率為0.5,對(duì)比固定超參數(shù)的普通SAE算法和自適應(yīng)更新超參數(shù)的PSO-SAE算法的預(yù)測(cè)能力。普通SAE算法的訓(xùn)練損失和預(yù)測(cè)準(zhǔn)確率如圖4、圖5所示。

從圖4、圖5中可以看出,固定超參數(shù)的普通SAE算法無(wú)法很好地克服求解參數(shù)多、收斂速度慢、收斂后震蕩明顯、易過(guò)擬合等不足。本文構(gòu)建的SAE模型的預(yù)測(cè)結(jié)果誤差較大,且測(cè)試集準(zhǔn)確率相比于訓(xùn)練集準(zhǔn)確率也有明顯的降低,說(shuō)明SAE算法泛化能力不強(qiáng),無(wú)法準(zhǔn)確預(yù)測(cè)城市燃?xì)夤艿朗Ｓ鄩勖?容易導(dǎo)致企業(yè)對(duì)管道運(yùn)行狀況做出錯(cuò)誤的預(yù)估,進(jìn)而導(dǎo)致嚴(yán)重的安全事故,造成人員傷亡和經(jīng)濟(jì)損失,對(duì)企業(yè)和社會(huì)帶來(lái)不可估量的損失。因此普通的SAE算法無(wú)法滿足企業(yè)對(duì)城市燃?xì)夤艿缐勖A(yù)測(cè)的要求。

圖4 普通SAE算法訓(xùn)練損失

圖5 普通SAE算法預(yù)測(cè)結(jié)果

相比于普通的SAE算法,本文所提出的PSOSAE算法則很好地克服了這些問(wèn)題。PSO-SAE算法訓(xùn)練損失和預(yù)測(cè)結(jié)果如圖6、圖7所示。

圖6 PSO-SAE算法訓(xùn)練損失

圖7 PSO-SAE算法預(yù)測(cè)結(jié)果

從圖6、圖7中不難看出,PSO-SAE算法損失函數(shù)的收斂速度更快,在5 000輪訓(xùn)練后就實(shí)現(xiàn)收斂,且收斂后震蕩不明顯更加穩(wěn)定。隨著損失函數(shù)的收斂,模型預(yù)測(cè)的準(zhǔn)確率也穩(wěn)定在更高水平,訓(xùn)練集準(zhǔn)確率達(dá)到93.92%,測(cè)試集準(zhǔn)確率達(dá)到92.16%,且二者差距不大。這充分說(shuō)明PSO-SAE算法有較強(qiáng)的泛化能力,對(duì)企業(yè)目前已收集到的城市燃?xì)夤艿捞卣鲾?shù)據(jù)進(jìn)行充分學(xué)習(xí)后對(duì)該特征下的管道壽命有很強(qiáng)的預(yù)測(cè)能力,而且對(duì)企業(yè)未采集的陌生數(shù)據(jù)同樣也具備準(zhǔn)確預(yù)測(cè)能力,可以實(shí)現(xiàn)管理現(xiàn)有燃?xì)夤艿赖耐瑫r(shí),在土壤環(huán)境發(fā)生變化、新管道鋪設(shè)等場(chǎng)景下快速支撐燃?xì)馄髽I(yè)安全維護(hù)工作。

為了進(jìn)一步驗(yàn)證PSO-SEA算法的有效性,本文通過(guò)橫向?qū)Ρ鹊姆椒?將PSO-SAE算法與目前較為常見(jiàn)的人工智能算法對(duì)城市燃?xì)夤艿缐勖A(yù)測(cè)能力進(jìn)行比較。通過(guò)對(duì)相同數(shù)據(jù)集充分學(xué)習(xí)后,各個(gè)算法預(yù)測(cè)準(zhǔn)確率結(jié)果如圖8所示。

圖8 不同算法預(yù)測(cè)結(jié)果對(duì)比

從結(jié)果中不難看出,本文提出的PSO-SAE算法在各種智能算法中具有最準(zhǔn)確的預(yù)測(cè)能力,同時(shí)該算法采用輕量化的網(wǎng)絡(luò)結(jié)構(gòu),通過(guò)較少的算力就可以實(shí)現(xiàn)對(duì)燃?xì)夤艿缐勖母呔阮A(yù)測(cè),且訓(xùn)練效率高、訓(xùn)練速度快。成本低、見(jiàn)效快,可以在燃?xì)馄髽I(yè)的安全管控項(xiàng)目中快速落地,長(zhǎng)效化監(jiān)測(cè)燃?xì)夤艿腊踩闆r。

以上實(shí)驗(yàn)充分說(shuō)明該算法可以精確預(yù)測(cè)城市燃?xì)夤艿缐勖?解決了企業(yè)風(fēng)險(xiǎn)評(píng)估方法缺乏、檢驗(yàn)檢測(cè)技術(shù)單一及風(fēng)險(xiǎn)防控技術(shù)不足等問(wèn)題,賦能企業(yè)安全生產(chǎn)、風(fēng)險(xiǎn)防控,推動(dòng)企業(yè)數(shù)字化、智能化轉(zhuǎn)型進(jìn)入新臺(tái)階。

4 結(jié)論

本文提出了一種基于PSO-SAE算法的城市燃?xì)夤艿朗Ｓ鄩勖A(yù)測(cè)辦法,該算法通過(guò)PSO優(yōu)化算法自適應(yīng)地調(diào)整SAE網(wǎng)絡(luò)中的超參數(shù)很好地解決了普通SAE網(wǎng)絡(luò)自身泛化能力弱、容易陷入過(guò)擬合的不足。通過(guò)實(shí)驗(yàn)數(shù)據(jù)對(duì)其進(jìn)行測(cè)試和對(duì)照分析,實(shí)驗(yàn)結(jié)果充分表明該算法學(xué)習(xí)能力強(qiáng)、訓(xùn)練效率高、泛化能力強(qiáng)、預(yù)測(cè)結(jié)果準(zhǔn)確。同時(shí)相比于傳統(tǒng)方法,該算法不依賴專家經(jīng)驗(yàn)、成本低,對(duì)于燃?xì)馄髽I(yè)的安全生產(chǎn)、管理具有積極的參考意義。