基于改進LeNet-5網絡的污泥沉降比檢測研究

王 告

（中冶華天工程技術有限公司 互聯網+研究院，江蘇 南京 210000）

0 引言

工業廢水處理［1］一直是當前以及未來的重點研究領域，污泥沉降比（SV）是指將曝氣池活性污泥混合液倒進量筒中至滿刻度，靜置一段時間后沉淀污泥和混合液的體積比，在活性污泥法運行中，污泥沉降比是需要測定的主要項目。傳統的污泥沉降比檢測以人工為主，工作量大且不可控，會對結果會造成不可統計的誤差。神經網絡技術目前廣泛應用于圖像處理領域，Lou 等［2］通過分析污水處理工藝并結合人工神經網絡和數學回歸分析法建造污泥容積指的數據驅動模型，該方法可極大提高計算精度，但是數據驅動模型的大部分輸入參數本身就不易測量，從而導致其應用性大為降低。基于粗糙集-BP 神經網絡的污泥測量模型得以改進［3］，在一定程度上改善了神經網絡性能，但不能實現測量的實時性。郭曉燕［4］利用改進粒子群算法優化RBF 神經網絡對污泥容積指進行預測，并用實驗數據證明了有效性，此方法是RBF 神經網絡的一種嘗試，雖然展現了很好的預測效果，但是每次實驗都需要調整輔助變量值且無法做到實時性。針對以上研究方法中出現的問題，本文以傳統的LeNet-5 神經網絡為研究對象，參考Inception-V3 網絡搭建特點對其進行改進，訓練之前先對數據集進行預處理，再對目標進行顏色閾值判定，并在訓練過程中提出一種輕量化特征重用網絡模型和正則分類，經過大量實驗調參和測試，最終準確率可達96%以上，實驗中以100 張圖片作為實驗對象，結果統計每張圖片的平均識別時間只需要0.46s，實時性問題也得到滿足。

1 LeNet-5神經網絡

LeNet-5［5］模型于1998 年被提出，它是第一個成功應用于數字識別問題的卷積神經網絡。LeNet-5 模型總共有7層，模型結構如圖1所示。

Fig.1 Network structure of LeNet-5圖1 LeNet-5網絡結構

LeNet-5 神經網絡包含1 個輸入層、3 個卷積層、2 個池化層以及1 個全連接層。每層都包含可訓練參數，每個層有多個Feature Map，每個FeatureMap 通過一種卷積濾波器提取輸入的一種特征，由于LeNet-5 神經網絡是最早應用于數字識別的網絡，并且對于單個數字的識別效果可達99%以上。由于本次實驗需要研究的是量筒上的數字識別，因此對該網絡進行改進并完成測試可以不破壞原有網絡結構，將并聯搭建方式引入網絡，并根據訓練集的種類和數量進行層數擴充，然后進行參數優化從而得到最優訓練結果。

1.1 LeNet-5模型優化

傳統的神經網絡改進算法中，一般都是以串聯的方式增加卷積層池化層，這樣造成的后果是不但準確率不會有太大改善而且增加了網絡訓練時間。本文參考Inceptionv3［6］網絡搭建特點，將并聯式搭建理論引入LeNet-5 神經網絡中，提高了神經網絡獲取多維特征的能力，而且由于并聯式特征提取可以有效地減少梯度消失問題，增強了模型的健壯性。結合訓練集的數量及所分種類，最終將LeNet-5 神經網絡由7 層擴充到14 層，將串聯和并聯方式進行組合，并且對于卷積核的尺寸和個數也作了改進，具體改進內容如下：①傳統的LeNet-5 神經網絡只有7 層，本文改進后的網絡深度提高到14 層，并采用Dropout 策略減少由于訓練參數過多而導致的過擬合現象；②使用BN 層，BN 層［7］的作用是對數據集進行歸一化處理，解決內部變量轉換從而改善前向傳播過程中的梯度消失問題；③對網絡結構增加了兩個并聯層，增強了復雜圖片特征提取能力，增強了模型健壯性；④對于激活函數的選取，LeNet-5神經網絡的激活函數是Sigmoid，在反向傳播過程中會出現導數為0 的情況，會導致誤差無法向前傳播，因此只能完成淺層次學習。ReLU 激活函數［8］反向傳播過程中可以很快地將梯度傳輸到上層網絡，加快收斂速度。

在卷積核數量和類別選取上。傳統的LeNet-5 神經網絡選擇5*5 的卷積核，對于多維特征難以完整提取出來。為此，本文將5*5 卷積核替換為兩個3*3，并且將3*3 的卷積核轉變為1*3 和3*1 之間的組合進行表示，提高網絡對特征獲取的能力［9］。

改進后的LeNet-5神經網絡模型如圖2所示。

Fig.2 Improved network structure圖2 改進后的網絡結構

如圖2 所示，修改后的神經網絡中一共包含14 層，增加了兩個并聯結構Inception 層，提高了獲取多維特征的能力。并聯層結構如圖3所示。

Fig.3 Schematic diagram of parallel layer structure圖3 并聯層結構

如圖3 所示，Inception 層主要包含3 個卷積層和1 個池化層，卷積核conv_filter1、conv_filter2、conv_filter3 尺寸分別為1*1、3*3 和5*5，卷積核以并聯的形式進行連接，并且在每個卷積核與1*1 進行組串聯。以往研究結果表明，1*1 的卷積核可以很好地降低模型參數。并聯的方式打破了傳統直接增加深度造成的過擬合問題，并且可以很好地增強多維特征提取能力，提高實驗準確度。

1.2 模型正則

對于每一個訓練examplex，模型計算每個Labelk∈{1...K}的概率為：p(k|x)=，其中zi是logits或未歸一化的對數概率［10］。訓練集上單個example標簽的實際概率分布（Ground-TruthDistribution）進行歸一化處理：，為了簡潔計算，忽略p和q對x的依賴。定義單個example上 的crossentropy為l=最小化crossentropy等價于最大化一個標簽的對數極大似然值的期望（expectedlog-likelihoodofalabel），這里標簽根據q(k)選擇。crossentropy損失函數關于logitszk處處可微，因此可以使用梯度下降訓練深度網絡。其梯度有一個相當簡單的形式：=p(k) -q(k)，其范圍為-1～1。

對于一個真實的標簽：對于所有k/=y的情況，要求q(y)=1。在這種情況下，最小化交叉熵［11］等價于最大化正確標簽的對數似然。對于一個標簽為y的examplex，最大化q(k)=δk，y時的對數似然，這里q(k)=δk，y是狄拉克δ函數。在k=y時，狄拉克函數等于1，其余等于0。通過訓練，正確logit的zy應該遠大于其他zk(z/=y)，zy一般取值較大，但是容易引起過擬合：如果模型學習將所有概率分配到真實標簽的邏輯單元上，泛化是沒有保證的。鼓勵最大logit和其他logit的差異（KL距離）越大越好，結合有界梯度（doundedgradient），降低了模型適應能力。直覺上，適應能力降低的原因應該是模型對其預測太過于自信。如果目標是最大化訓練標簽的對數似然，那這很可能不是預期所需，它對模型進行了正則并且使得模型的適應性更強。考慮一個獨立于訓練examplex的標簽分布u(k)，和一個smoothing參數?。對于一個訓練標簽為y的example，替代標簽分布q(k|x)=δk，y為：

新的分布是原始標簽分布和一個指定分布u(k)的混合，兩部分的權重為1 -?。使用標簽的先驗分布作為u(k)=1/K，LSR 的另一種損失函數可以通過研究交叉熵損失函數獲得：

等價于用一對損失函數H(q，p)和H(u，p)代替單個損失函數H(q，p)。損失函數的第二項懲罰了預測標簽的分布和先驗分布u的偏差with相對權重。因 為H(u，p)=DKL(u∣p) +H(u)，所以該偏差可以被KL散度捕獲。當u是均勻分布時，H(u，p)衡量的是預測分布p和均勻分布之間的相似性，該相似性可用負熵-H(p)加以衡量。

2 實驗過程

2.1 實驗流程

本次實驗采用的設備包括顯示器、工作臺、計算機和海康威視攝像頭，具體實驗流程如圖4所示。

Fig.4 Experimental process圖4 實驗流程

（1）數據采集。通過現場人員在廢水池中取得，每次實驗將將1 000ml 廢水置于量筒中作為實驗對象，利用海康威視監測0～30min內污泥沉降比變化。

部分數據集展示如圖5所示。

Fig.5 Partial training dataset display圖5 部分訓練集展示

（2）圖像處理。主要是圖像預處理，由于圖像背景固定，因此預處理重點主要包含目標增強［12］、裁剪、濾波二值等，以更好地突出目標。

（3）區間判定。計算目標在圖像中的高度，通過顏色閾值判定及比例確定污泥所處的大致區間。

（4）圖像訓練。將處理后的訓練集圖像放進改進后的神經網絡中進行訓練，通過大量實驗調參，優化模型參數。

（5）圖像分類。將測試圖片進行模型預測，得到分類結果。

2.2 實驗結果

基于深度學習的污泥沉降比檢測主要是對傳統的LeNet-5 神經網絡進行合理的擴充和優化以完成圖片分類。本文將此次研究的15 類刻度標尺圖片以7∶2∶1 的形式算出的訓練集、驗證集和測試集的數量全部投入訓練，并得出梯度及損失函數變化如圖6所示。

Fig.6 Gradient and loss function change圖6 梯度及損失函數變化

根據實驗結果可知，改進后的神經網絡訓練105輪梯度和損失函數已經趨于穩定。最終測試準確率可達96%以上，測試集訓練過程展示如圖7所示。

Fig.7 Training process display圖7 訓練過程展示

由于本次使用的數據集對背景干擾未做太大處理，且拍攝角度有反光，因此肉眼所見效果不佳，但是由于訓練集和測試集都處于同一環境，在標簽確定下的情況，系統仍然可以對圖片進行很好的分類識別。基于C/S 結構［13］，借助后端語言Python 和Django 框架搭建系統并進行顯示，隨機挑選一張圖片的測試結果如圖8所示。

Fig.8 Identification results of sludge sedimentation ratio圖8 污泥沉降比識別結果

識別結果展示中，左邊為系統對圖片的識別預測，一共設有4 個值，分別是590ml、600ml、580ml、540ml 以及對應的概率，概率最大的值則被認為是該量筒的讀數，右邊為該污泥的照片。可以看出，該系統很好地識別出了讀數，雖然有反光影響，但是由于訓練時增加了該環境下的訓練集，因此當測試集出現這種情況時系統依然可以準確識別出來。為了驗證準確率，分別選取原神經網絡、改進后的神經網絡、AlexNet 和Vgg-16 4 種網絡進行實驗，在100、150、200的測試集進行測試，結果統計如表1所示。

Table 1 Recognition rate statistics表1 識別率統計

結果表明，改進后的神經網絡對測試集的識別準確率基本維持在97%左右，在4 種神經網絡的對比實驗中，改進后的神經網絡的識別率高于其他3 種，與Vgg-16 接近，但是Vgg-16 網絡復雜、訓練難度大，無疑會增加訓練成本。因此性能上還是改進后的網絡更加滿足條件，并且隨著數據集的增大，準確率可以保持穩定，模型健壯性也有所增強。

3 結語

本文提出了基于改進的LeNet-5 的神經網絡污泥沉降比檢測研究，通過參考Inception-v3 網絡搭建特點對LeNet-5 神經網絡進行改進，引入并聯式搭建理論提高模型并行獲取特征的能力，并在訓練過程中引入輕量化特征重用網絡模型和正則分類器模式消除訓練過程中Label-Dropout 的邊緣效應。經過大量實驗結果表明，在相同數據集上改進的神經網絡識別率達97.2%，遠高于原網絡訓練結果。雖然此次訓練集背景并未對背景多做處理，但是使用深度學習的方法仍然可以準確加以識別。后續將繼續參考其他神經網絡搭建特點對該網絡進行優化［14］，并且對數據集進行增強處理［15］，提高訓練速度和準確率，實現在其他復雜環境下真正意義的智能化操作。