一種基于改進GoogLeNet的油井故障識別方法

宋純賀,李澤熙,于洪霞,劉意楊*,馮鐵英,張雪健

(1.中國科學院 沈陽自動化研究所機器人學國家重點實驗室, 沈陽 110016) (2.中國科學院 網絡化控制系統重點實驗室, 沈陽 110016) (3.中國科學院 機器人與智能制造創新研究院, 沈陽 110169) (4.中國科學院 沈陽自動化研究所, 沈陽 110016) (5.沈陽工業大學 人工智能學院, 沈陽 110870) (6.杭州西奧電梯有限公司, 杭州 311199)

目前油田主要采用的傳統有桿抽油系統,一旦系統出現故障,會造成采油成本增加、設備損壞,以及采油量降低；如果發生事故,則可能引發嚴重的人員和財產損失．因此設計可以及時且準確的識別油井故障類型的解決方法,不但可以減少人力成本,還可以提升油井的工作效率和安全性．文獻[1]將極限學習機的方法應用在有桿抽油機的故障分析中,首先對示功圖的特征進行提取,再利用極限學習機進行故障分類．文獻[2]使用傅里葉變換的方式對功圖進行特征提取,再使用徑向基神經網絡對提取的特征進行故障分類．上述方法雖然可以解決抽油井故障診斷的問題,但是存在訓練時間長,準確率不高,參數設置復雜等問題．

深度學習的發展極大地推動了智能識別技術,目前深度學習模型已經被應用到油井功圖故障識別問題之中[3-5],但仍然存在數據量少、模型識別精度不高的問題．在深度學習的理論基礎上,文中提出了一種基于改進GoogLeNet網絡結構的油井故障識別方法．實驗證明,采用改進的GoogLeNet網絡結構,識別故障準確率為96.05%,相對于基于LeNet、ResNet,以及基本GoogLeNet等網絡的識別方法,識別準確率有了明顯的提升．

1 油田功圖數據集的構建

1.1 示功圖樣本預處理

文中數據來自遼河油田,其中包含了53個油井,從2019年9月～2019年11月這3個月的油井工況數據．數據包括了井號、數據采集時間、位移、載荷、油管內徑、油壓等重要數據．考慮到泵工圖能夠更加準確地表示抽油機的工作裝填,因此將懸點示功圖轉換為地層抽油泵處的泵功圖．泵功圖的橫坐標為位移數據,數據量為200個;縱坐標為載荷數據,數據量為200個,圖像形狀為不規則的閉合曲線．此后對功圖進行標準化處理,生成224像素×224像素大小的標準示功圖．

1.2 示功圖樣本的選擇

在遼河油田得到的大量數據中,選擇具有代表性且已經完成標準化處理的大小為224像素×224像素的示功圖作為樣本．每一種工況類型對應1 050張樣本數據圖像,一共11種工況,總計11 550張圖像．每種功圖的典型圖像如圖1．

圖1 11種工況的示功圖

2 GoogLeNet及其改進思路

卷積神經網絡的應用十分廣泛,在圖像識別,計算機視覺[6-7],人臉識別[8-9]等方面有著重要作用．卷積神經網絡是一種深度學習模型,同時也是一種類似于人工神經網絡的多層感知器,常用于分析視覺圖像,進行語義識別．卷積神經網絡[10]一般包含數據輸入層,卷積層,池化層,歸一化層,全連接層[11]等．目前常用的卷積神經網絡架構包括VGG、GoogleNet、ResNet等，文中比較各種常用深度學習網絡模型在油井功圖故障識別數據集的性能,選擇了GoogLeNet作為基本網絡架構,并進行了相應的改進．

GoogLeNet[12]采用模塊化的結構,即Inception結構,如圖2．GoogLeNet網絡結構模型有22層,由21層卷積層,1層全連接層和2個額外的輔助分類器層所組成．文中對GoogLeNet網絡結構模型進行改進,使得該網絡結構模型更加適合需求．其主要的改進體現在:① 去掉額外的兩個輔助分類器部分,減少網絡復雜程度,提升網絡訓練速度；② 加入CN歸一化層；③ 在每一層卷積層之后加入激活函數,使用ReLu激活函數和ELU激活函數,進一步提升網絡訓練速度和準確率；④ 在平均池化層后加入三層全連接層；⑤ 在三層全連接層后加入Dropout層．

圖2 Block部分的結構

GoogLeNet要求原始輸入圖像像素大小為224×224×3,且都需要進行預處理操作,使用7×7的卷積核,進行特征提取,卷積核的滑動步長為2,填充寬度為3,卷積后進行ReLU操作,再經過3×3的max pooling層,其步長為2,再進行ReLU操作．使用3×3的卷積核再次進行特征提取,卷積核的滑動步長為1,填充寬度為1,卷積后進行ReLU操作,經過3×3的max pooling,其步長為2,再進行ReLU操作，從而分析淺層的特征提取網絡．分析深層網絡中含有Inception結構的部分,由于Inception結構都是一樣的,文中只分析第一個Inception結構部分,其他部分同理．每一個Inception結構分為4個分支,采用不同尺度的卷積核來進行處理第一個分支為1×1的卷積核,然后進行ELU操作．第二個分支為1×1的卷積核,它作為3×3卷積核之前的降維,進行ELU操作,再進行3×3的卷積，其填充寬度為1,進行ELU操作．第三個分支為1×1的卷積核,它作為5×5卷積核之前的降維,進行ELU操作,再進行5×5的卷積其填充寬度為2,進行ELU操作．第四個分支為3×3的池化，其填充寬度為2,再進行1×1的卷積,進行ELU操作,最后將這4個分支連接在一起．在相同的Inception結構之后進行7×7的平均池化層,3個全連接層,將最后一層全連接層的參數設置為該實驗所需要的11,連接softmax分類器進行分類．

3 實驗方法與結果分析

實驗采用搭載了win10操作系統的64位筆記本電腦,處理器為 Intel i5-10210U @2.1GHz,GPU為NVIDIA GeForce MX350,運行內存為16G,操作軟件為MATLAB 2020A．

3.1 訓練集與測試集比例的選擇

訓練集與測試集的選擇是影響最終識別準確率的重要因素(表1)．訓練集占比過高可能導致過擬合現象,測試集占比過高會導致由于訓練集數據量致使模型欠擬合．

表1 訓練集與測試集比例對準確率的影響

從表1可以看出:當訓練集與測試集比例為9 ∶1時其準確率最高,但是訓練集比例大,測試集比例小導致訓練的圖像過多,用來進行測試的圖像數量過少,不具有普遍代表性．所以選擇訓練集與測試集比例為7 ∶3,作為實驗的最終選擇．

3.2 歸一化層的選擇

神經網絡學習過程的本質就是為了學習數據分布,如果沒有做歸一化處理,那么每一批次訓練數據的分布不一樣,從大的方向上看,神經網絡需要在這多個分布中找到平衡點,從小的方向上看,由于每層網絡輸入數據分布在不斷變化,這也會導致每層網絡都在尋找平衡點,顯然,神經網絡就很難收斂了，所以需要在神經網絡的中間層加入歸一化處理．

3.2.1 批量歸一化層(Batch Normalization，BN)

BN是優化深度神經網絡中最激動人心的最新創新之一[13]．大量數據表明,BN在 CNN上改進效果很顯著，具有加快模型收斂速度,增強模型泛化能力的優點，但同時也存在一些缺點,如:對于有些像素級圖片的生成任務來說,BN 效果不佳;對于圖片分類等任務,只要能夠找出關鍵特征,就能正確分類,這算是一種粗力度的任務,因為在 Mini-Batch 內多張無關的圖片之間計算統計量,弱化了單張圖片本身特有的一些細節信息．

3.2.2 通道歸一化層(channel-wise normalization，CN)

文中使用了更細力度的歸一化方法,channel-wise normalization(channel-norm)[14],該方法在每層的channel維度上,使用最大的激活值對權值進行歸一化，其公式為:

(1)

(2)

(3)

圖3 歸一化層對于準確率的影響

表2 使用不同歸一化層對準確率的影響

3.3 學習率的選擇

學習率的選擇是本實驗中的重點問題之一,選取一個好的學習率可以使訓練過程高效準確,因此使用了Adam優化器．

Adam優化器[15]是一種結合了AdaGrad和RMSProp兩種優化算法的優點的自適應調節學習率的優化器．AdaGrad能夠對每個不同的參數調整不同的學習率,對頻繁變化的參數以更小的步長進行更新,而稀疏的參數以更大的步長進行更新[16]．RMSProp算法結合梯度平方的指數移動平均數來調節學習率的變化,能夠在不穩定的目標函數情況下進行很好地收斂[17]．Adam優化器主要包含以下幾個顯著的優點:實現簡單,計算高效,對內存需求少,參數的更新不受梯度的伸縮變換影響,超參數具有很好的解釋性,且通常無需調整．通常設置參數為β1=0.9,β2=0.999,ε=10-8,α=0.000 1[15]．其公式如下:

gt=θf+θt-1

(4)

mt=β1·mt-1+(1-β1)·gt

(5)

(6)

(7)

(8)

(9)

從表3和圖4看出,在未使用Adam優化器時,最優學習率η=0.001,這時驗證集準確率為93.09%,采用Adam優化器之后驗證集準確率能達到94.18%,提升了1.09%．因此,Adam優化器適合文中訓練模型,且對準確率有一定的改進效果．

表3 使用不同學習率對準確率的影響

圖4 使用Adam優化器對準確率的影響

3.4 激活函數的選擇

在基本神經網絡中,通常使用的激活函數為Sigmoid函數或者tanh函數．但由于其容易產生梯度爆炸和梯度消失等問題,逐漸被ReLu函數及其改進函數所替代,例如ELU函數、Leaky ReLu函數等．

3.4.1 ReLu激活函數

ReLu激活函數的公式為：

ReLu=max(0,x)

(10)

可以看到,ReLu函數是一個在特定區間取最大值的函數[19],其收斂速度遠快于Sigmoid函數和tanh函數,而且計算速度快．

3.4.2 ELU激活函數

ELU激活函數的公式為：

(11)

ELU激活函數是一種修正類的激活函數,當其輸入值大于0時,其處理方式類似于ReLu激活函數;但是當輸入值小于0時,ELU激活函數輸出為接近于0的負值,只需要極少的運算量,使計算速度相比于ReLu激活函數更快,且這部分輸出具有一定的抗干擾能力,從而可以消除ReLu激活函數導致網絡“死掉”的問題．

3.4.3 ReLu+ELU激活函數

文中將ReLu激活函數應用在GoogLeNet模型的淺層網絡結構,再將ELU激活函數應用在GoogLeNet模型的深層網絡結構．

從表4可以看出,采用Sigmoid和tanh作為激活函數時,識別的準確率最低,并且運行時間最長．而其他的激活函數,如ReLu、ELU、softplus、leakyRelu,都在一定程度上提升了準確率．在組合方案中,在準確率方面,ReLu+ELU>ReLu+softplus>ReLu+leakyRelu,而在訓練時間方面,ReLu+leakyRelu

表4 使用不同激活函數對準確率和運行時間的影響

3.5 網絡層數的增加與修改

3.5.1 改變全連接層數

在GoogLeNet網絡結構中,經多個卷積層和激活層后,連接著1個或1個以上的全連接層．全連接層中的每個神經元與其前一層的所有神經元進行全連接．全連接層可以整合卷積層或者池化層中具有類別區分性的局部信息，適當增加全連接層的層數,會提升模型的準確率．

從表5可以看出全連接層的層數進行適當地增加確實可以增強識別的準確率,但是不建議全連接層的層數超過4層.單純的增加全連接的層數不一定會增強識別的準確率,有的時候可能會導致相反的情況出現,還會使得訓練時間變長．

表5 全連接層層數對準確率的影響

3.5.2 加入Dropout層

當網絡結構過于復雜且數據量又比較少的時候,會出現過擬合現象．Dropout層的直接作用是減少中間特征的數量,從而減少冗余,即增加每層各個特征之間的正交性．在神經網絡訓練每次迭代過程中,Dropout層隨機扔掉一些神經元．該神經元對應的權重即保持上一步不變,其他的權重即更新,消除減弱了神經元節點間的聯合適應性,增強了泛化能力,這樣就可以避免局部最優和過擬合等問題[20]．

從表6可以看出加入Dropout層對準確率有著一定程度地提升,避免過擬合現象和陷入局部最優的問題．改進Dropout層丟棄神經元的比例也對結果有著一定的影響,一般選擇隱含節點Dropout率等于0.4～0.6,但經過交叉驗證,隱含節點Dropout率等于0.5的時候效果最好,原因是0.5的時候Dropout隨機生成的網絡結構最多．

表6 加入并改變Dropout層比例對準確率的影響

3.6 結果分析

使用多種不同的網絡結構模型進行對比實驗,包括:LeNet,DarkNet-19,ResNet-18,DenseNet-201,MobileNet,SqueezeNet,Shufflent,VGG-16,GoogLeNet，其迭代次數統一設定為500次．從表7可以看出DenseNet-201網絡結構最復雜,是所有網絡結構模型中層數最多的,達到了201層,但是其識別效果并不好,這說明了不是網絡的層數越深,識別的準確率就越高．對比MobileNet,SqueezeNet,Shufflent這3種輕量級網絡結構模型,其運行時間都要短于其他網絡結構,但是準確率不達標所以不予考慮．在對比GoogLeNet,LeNet,DarkNet-19,ResNet-18這4種經典的網絡結構模型中,可以看出GoogLeNet網絡結構模型其個方面性能都要更優越,所以選擇GoogLeNet網絡結構模型作為本實驗的基礎,通過對原始GoogLeNet網絡結構模型的改進得出的改進GoogLeNet網絡結構模型無論從準確率,還是運行時間都要明顯好于其他網絡結構模型．在油井功圖故障識別問題上,文中網絡模型具有高效率,高準確率等優點，避免了由于人工識別功圖故障容易產生誤判的問題,同時也避免了因為不能及時識別油井故障而造成的經濟損失．

表7 不同網絡結構對準確率的影響

4 結論

針對抽油井故障類型識別問題，使用改進的GoogLeNet網絡結構，結論如下:

(1) 在原始GoogLeNet網絡結構中加入CN歸一化層,使其識別準確率提升2.03%．

(2) 使用Adam優化器自適應調整學習率,使其準確率提升1.57%．

(3) 將ReLu和ELU激活函數混合使用,從大幅提升訓練時間,速度提高了122%,準確率提升0.89%．

(4) 改進網絡層數:加入三層全連接層,加入Dropout層(Dropout率為0.5),準確率提升0.46%．

改進后的GoogLeNet網絡結構識別準確率達到了96.05%,運行時間達到了27.32 min．可以看出改進的GoogLeNet網絡結構具有更加高效,準確的優點,且具有更好的魯棒性．在抽油井故障診斷問題中給出了一個實用的解決方法．