深層神經網絡混合剪枝算法在COD軟測量中的應用

孫鴻飛，王仲平

（蘭州交通大學數理學院，甘肅 蘭州 730070）

隨著社會和經濟的發展，城市化和工業化的進程提升了人們的生活水平，隨之帶來的環境保護問題也日益被重視，污水處理作為水環境保護中的關鍵部分，也受到了越來越多的關注，對出水水質指標的實時監測是排水質量的保證。化學需氧量是以化學方法測量水樣中需要被氧化的還原性物質的量[1]。它反映了水中受還原性物質污染的程度，主要是有機物，化學需氧量越高，水中有機物的污染越嚴重，根據《城鎮污水處理廠污染物排放標準》，一級指標A標準的COD最高允許排放濃度達到50 mg/L[2]，如何實時準確地監測這類指標有著重要意義。

為了快速準確并低成本地測量出COD，國內外學者將軟測量方法應用到污水處理過程中來，其中以具有優秀處理非線性能力的神經網絡為主[3]，目前已取得了不少研究成果。管秋[4]等結合污泥濃度法和神經網絡的特點，以能在線監測的ORP、DO、pH值和污泥濃度MLSS為軟測量的輔助變量，BOD等做目標變量進行BP神經網絡和RBF神經網絡的模型，為后續的污水水質研究提供了重要理論和實際意義；李文靜[5]等提出了一種基于互信息和自組織的RBF神經網絡用于BOD測量，對敏感度較低的神經元進行刪除，然后再加以訓練，均方差結果表明此軟測量模型的有效性較好。目前用于污水處理過程的神經網絡軟測量方法大多為三層神經網絡，然而污水處理基本是露天的環境，單隱藏層的神經網絡對復雜極端的天氣干擾下表現并不如深層神經網絡優秀[6]，由此本文提出一種修剪棧式自編碼神經網絡，首先堆疊自編碼網絡，利用逐層廣泛和反向傳播無監督訓練出初始權值，再進行有監督的微調，最終通過OBS剪枝算法對神經網絡結構進行修剪，提升網絡的快速性和精簡性[7]。

1 基于修剪棧式自編碼神經網絡的軟測量模型

1.1 自編碼網絡

自編碼網絡是一種只有一層隱藏層的三層神經網絡，自編碼網絡的輸入神經元個數與輸出神經元個數相同，目的在于重組輸入變量的信息是一種無監督學習網絡[8]。為了達到重構的目的，自編碼網絡選取反向傳播算法進行訓練權值和偏置。

1.2 棧式自編碼神經網絡

棧式自編碼網絡是由堆疊自編碼網絡而成的神經網絡[9]，從輸入層開始，每相鄰的兩層構成一個自編碼網絡，前一層的自編碼網絡的輸出作為后一層自編碼網絡的輸入。網絡是采用逐層廣泛算法來預訓練，每次只訓練一層的參數，通過無監督訓練得到最佳權值和偏置，當一層參數訓練完成后才開始下一層，直到所有層的參數訓練完，在上述預訓練結束得到初始權值和偏置后，加入原始數據標簽，利用反向傳播算法對其進行有監督訓練，此過程一般稱作“微調”，這樣整個訓練過程可以有效地避免隨機化初始參數容易陷入局部最優解。

1.3 OBS剪枝算法

OBS是一種基于Hessian矩陣的剪枝算法[10]，分析權值的擾動對誤差的影響，首先通過將誤差函數泰勒展開：

E是訓練集的訓練誤差，w是神經網絡中的權值和偏置參數，δ是擾動項，是Hessian矩陣，是第三階項和所有高階項。在OBS剪枝算法中，目的是將其中一個參數設置為0，用wq表示，在迭代中最小化δ E，由此得到優化問題：

1.4 軟測量模型的建立

本研究選取輔助變量從目標變量化學需氧量的相關變量和采集的難易程度考慮，選取了以下6個輔助變量：流量（Q）、懸浮物（SS）、出水總磷（TP）、出水總氮（TN）、溶解氧（DO）和污泥濃度（MLSS），作為神經網絡的變量，輸入層6個輸入節點，第一個隱藏層和第二隱藏層分別8個和3個節點，輸出層為單個節點，對采樣數據進行歸一化處理以消除量綱和單位的影響，再對輸出結果進行反歸一化。共選取87天的采樣數據，將其分為訓練集和測試集，對軟測量模型的有效性進行驗證。

2 結果

將本研究的深層神經網絡混合剪枝算法與現有的常用神經網絡BP神經網絡和RBF神經網絡做對比實驗，結果如圖1所示，訓練集和測試集均為隨機選取，使用深層神經網絡混合剪枝算法SAE_OBS共修剪權值44個，優化網絡結構后測試集的均方誤差為1.498，R2為96.7%，BP神經網絡的均方誤差為4.272，R2為90.5%，RBF神經網絡的均方誤差為4.064，R2為91.0%，證明本研究的深層神經網絡混合剪枝算法SAE_OBS比傳統的神經網絡有著更好的擬合能力，預測性能較好，且經過剪枝算法修整后網絡結構更簡單。

3 結論

針對污水處理中出水COD難以實時準確預測的問題，本文提出了一種基于深層神經網絡混合剪枝算法的COD軟測量模型，具有以下特點：

1.使用深層神經網絡比單隱藏層神經網絡的抗干擾能力更優秀，可以應對有極端干擾天氣的影響，對COD預測更貼合實際。

2.對深層神經網絡結構進行修剪，讓本來復雜的深層網絡結構更加簡單，且不影響網絡的預測性能。

3.與現有最常用的神經網絡BP和RBF做對比實驗，本文提出的基于深層神經網絡混合剪枝算法的COD軟測量模型擬合精度更高，證實了此算法的可靠性。