改進(jìn)的深度信念網(wǎng)在磨削加工粗糙度值預(yù)測中的應(yīng)用*

田　楊

(遼寧工程職業(yè)學(xué)院 科研處，遼寧 鐵嶺　112000)

?

改進(jìn)的深度信念網(wǎng)在磨削加工粗糙度值預(yù)測中的應(yīng)用*

田楊

(遼寧工程職業(yè)學(xué)院 科研處，遼寧 鐵嶺112000)

深度信念網(wǎng)(DBN)是由無監(jiān)督的受限玻爾茲曼機(jī)(RBM)和有監(jiān)督的BP網(wǎng)絡(luò)組成的神經(jīng)網(wǎng)絡(luò)分類器。針對RBM訓(xùn)練過程中固定學(xué)習(xí)率不利于尋找最優(yōu)的缺點，提出一種動態(tài)學(xué)習(xí)率法則，改進(jìn)RBM網(wǎng)絡(luò)以提高特征向量映射的準(zhǔn)確度；構(gòu)造一個含有兩層RBM和一層BP，并使用對比分散準(zhǔn)則(CD準(zhǔn)則)進(jìn)行神經(jīng)網(wǎng)絡(luò)的自訓(xùn)練的DBN網(wǎng)絡(luò)，提高訓(xùn)練速度，將改進(jìn)型網(wǎng)絡(luò)應(yīng)用于表面粗糙度值的預(yù)測，通過與改進(jìn)前后的預(yù)測模型及RBM預(yù)測模型的對比，預(yù)測模型精度得到了提高。

深度信念網(wǎng)；RBM；粗糙度；預(yù)測模型

0　引言

表面粗糙度是評價工件表面質(zhì)量的重要因素之一，他對工件的疲勞強(qiáng)度、接觸剛度、配合性能、工作精度都有著重要的影響，然而由于不同加工參數(shù)的選擇，加工表面的粗糙度值也隨之改變，為此需要建立一種根據(jù)加工參數(shù)即可確定粗糙度值的預(yù)測模型，國內(nèi)外學(xué)者針對粗糙度預(yù)測模型做了相應(yīng)的研究，王洪詳?shù)萚1]采用回歸分析法建立單點金剛石刀具超精車削表面粗糙度預(yù)測模型，蘇宇等[2]采用自適應(yīng)神經(jīng)模糊推理系統(tǒng)建立了鋁合金銑削加工表面粗糙度預(yù)測模型；周斌等[3]建立了基于BP神經(jīng)網(wǎng)絡(luò)的表面粗糙度預(yù)測模型；劉牧等[4]采用響應(yīng)曲面法建立了鋼及其合金銑削加工表面粗糙度預(yù)測模型；陳杰來等[5]采用遺傳算法優(yōu)化的反向神經(jīng)網(wǎng)絡(luò)法建立了超精密切削表面粗糙度預(yù)測模型；劉曉志等[6]利用線性回歸分析方法建立了硬質(zhì)合金立刀銑削鈦合金才來的表面粗糙度模型。

由于神經(jīng)網(wǎng)絡(luò)法在泛化能力方面尚存在不足、訓(xùn)練時間長、難以表達(dá)結(jié)構(gòu)化知識等缺點，本文提出一種動態(tài)學(xué)習(xí)率策略來訓(xùn)練RBM網(wǎng)絡(luò)，該方法通過在訓(xùn)練過程中逐漸調(diào)整學(xué)習(xí)率，克服了固定學(xué)習(xí)率引起的特征提取精度不高的問題，提高RBM和DBN的特征向量映射能力，將該模型應(yīng)用于磨削表面粗糙度值的預(yù)測中，可滿足粗糙度模型的預(yù)測精度。

1　深度信念網(wǎng)(DBN)

深度信念網(wǎng)(Deep Belief Networks,DBN)由一系列疊加的受限玻爾茲曼機(jī)(Restricted Boltzmann Machine,RBM)和一層BP網(wǎng)絡(luò)構(gòu)成，其結(jié)構(gòu)如圖1所示。DBN的訓(xùn)練過程可以分為兩步：首先，使用無監(jiān)督學(xué)習(xí)方法訓(xùn)練每一層RBM，且每個RBM的輸入為上一個RBM的輸出，即每一層RBM都要單獨訓(xùn)練，確保特征向量映射到不同的特征空間時，盡可能多的保留特征信息；第二，使用最后一層的BP網(wǎng)絡(luò)接收最后一個RBM的輸出，用有監(jiān)督的方式訓(xùn)練整個網(wǎng)絡(luò)，對其進(jìn)行微調(diào)。

圖1　DBN網(wǎng)絡(luò)結(jié)構(gòu)

在第一步中，對每一層RBM的訓(xùn)練能確保本RBM層內(nèi)的權(quán)值對特征向量的映射達(dá)到最優(yōu)，而不能保證整個DBN是最優(yōu)的，因為其不能完全消除映射過程中產(chǎn)生的錯誤和不重要的信息，而多個RBM會逐漸弱化上一層網(wǎng)絡(luò)產(chǎn)生的錯誤和次要信息，該過程可以看成對最后一層的BP進(jìn)行參數(shù)初始化，能有效避免BP網(wǎng)絡(luò)因隨機(jī)初始化的參數(shù)造成容易陷入局部極小和訓(xùn)練時間過長的缺點。而使用第二步的反向傳播網(wǎng)絡(luò)能夠?qū)⒛承┬枰{(diào)整的信息自上而下傳播給每一個RBM，進(jìn)而整個DBN網(wǎng)絡(luò)，已經(jīng)證明在BP網(wǎng)絡(luò)之前，整個網(wǎng)絡(luò)的效果已經(jīng)比較好[7-8]，因此BP的作用是對整個DBN進(jìn)行微調(diào)。

在DBN訓(xùn)練過程中，底層的網(wǎng)絡(luò)接收原始數(shù)據(jù)的特征向量，自下而上的傳遞，每一層提取數(shù)據(jù)的一個或多個方面的特征，并把提取的特征作為下一層的輸入，在上層網(wǎng)絡(luò)中形成更易分類的組合特征向量，因此DBN是一個含有多隱含層的深度架構(gòu)的神經(jīng)網(wǎng)絡(luò)。文獻(xiàn)[9]證明增加網(wǎng)絡(luò)中RBM的個數(shù)仍然能夠保證整個DBN網(wǎng)絡(luò)的穩(wěn)定，且RBM個數(shù)越多，能夠使特征向量更加抽象化，用于數(shù)據(jù)分類的訓(xùn)練結(jié)果也更精確，但一般來講使用3個RBM的結(jié)果已經(jīng)足夠精確[11]。

RBM是DBN的重要組成部分，也是整個網(wǎng)絡(luò)的核心，它由一個可見層和一個隱含層組成，可視層作為輸入部分，同時也是反向傳播的輸出部分，可視層與隱含層之間使用雙向全連接，學(xué)習(xí)規(guī)則采用模擬退火算法，層與層之間進(jìn)行雙向全連接，但同一層內(nèi)沒有連接。

公式(1)為由已知的可視層節(jié)點得到的隱含層節(jié)點的值：

(1)

由于RBM是對稱網(wǎng)絡(luò)，因此可以得到由隱含層節(jié)點得到可視層節(jié)點的值，見公式(2)：

(2)

式中，vi是可視層第個節(jié)點的值，hj是隱含層第個節(jié)點的值，b和c分別表示可視層和隱含層的偏置值，wij為可視節(jié)點i和隱藏節(jié)點j之間的權(quán)值。

公式(3)為可視層的特征向量和隱含層的特征向量的聯(lián)合概率分布：

p(v,h)∝exp(-E(v,h))=ehTwv+bTv+cTh

(3)

(4)

式中，τ為迭代次數(shù)，η為學(xué)習(xí)速度。τ可以根據(jù)網(wǎng)絡(luò)規(guī)模進(jìn)行設(shè)置τ=100～2000，學(xué)習(xí)速率能夠影響網(wǎng)絡(luò)的學(xué)習(xí)進(jìn)度，合適的學(xué)習(xí)速率是保證θ=(W,b,c)學(xué)習(xí)到最佳狀態(tài)的必要條件。在RBM訓(xùn)練過程中，運算初期在大范圍內(nèi)調(diào)整，而到迭代后期，網(wǎng)絡(luò)基本趨于穩(wěn)定，只需要部分且小步的調(diào)整，因此傳統(tǒng)的固定長度的學(xué)習(xí)速率η不適用于迭代尋優(yōu)，因此本實驗通過設(shè)定一個學(xué)習(xí)系數(shù)μ來動態(tài)調(diào)整學(xué)習(xí)速率，學(xué)習(xí)率調(diào)整公示如下：

ηt=μηmax+(1-μ)ηmin

(5)

(6)

式中，為輸入特征向量與其對應(yīng)的隱含層特征向量的點乘的平均值，為馬爾可夫鏈末端可視層特征向量與其對應(yīng)的隱含層特征向量的乘積的平均值，是收斂的。由公式(6)可知，聯(lián)合概率分布的斜率與中間狀態(tài)無關(guān)，只與網(wǎng)絡(luò)的初始狀態(tài)和最終狀態(tài)有關(guān)，根據(jù)公式(5)可以得出修改后的參數(shù)，從而達(dá)到自訓(xùn)練的目的。于是權(quán)值更新公式為：

(7)

實際上，由于難以確定步長，利用馬爾科夫鏈的方法求得的P(v,h)和末端的聯(lián)合概率分布P(vi∞,hj∞)難以保證收斂性，因此實驗中可以使用Contrastive Divergence準(zhǔn)則(CD準(zhǔn)則)[11]來提高計算速度和保證計算精度。CD準(zhǔn)則公式如下所示：

CDn=KL(p0‖p∞)-KL(pn‖p∞)

(8)

式中，p0為RBM在t=0時刻(即初始狀態(tài))的聯(lián)合概率分布，pn為經(jīng)過n步馬爾科夫鏈的計算之后網(wǎng)絡(luò)的聯(lián)合概率分布，p∞為馬氏鏈末端的分布，用KL(p‖p′)表示p和p′之間的差異性，所以CDn就是pn衡量介于p0和p∞之間的位置。在運算中，不斷地將pn賦值給p0，得到新的p0和pn。

在實驗中令n=1，經(jīng)過r次求斜率并用公式(4)修正θ，可以得到其值趨向于0的CDn，且實驗結(jié)果的精度近似于馬氏鏈方法。

2　實驗與分析

相同網(wǎng)絡(luò)結(jié)構(gòu)下，增加訓(xùn)練樣本容量可在一定程度上提高預(yù)測精度，但會增加試驗次數(shù)。總樣本容量的選擇從30～300不等[12]，其中訓(xùn)練樣本和測試樣本容量的經(jīng)驗比值為7:3。因此，本文確定總樣本容量為68，其中訓(xùn)練樣本數(shù)為48，測試樣本數(shù)為20。樣本采用3因素(工件轉(zhuǎn)速vc、進(jìn)給量fz、軸向切深ap)混合水平全組合模型實驗，進(jìn)給量安排了6個水平，工件轉(zhuǎn)速安排4個水平，軸向切深安排了2個水平，具體實驗訓(xùn)練樣本參照文獻(xiàn)[13]。

2.1實驗設(shè)置

實驗分兩步進(jìn)行，第一步，用48個訓(xùn)練樣本值訓(xùn)練RBM，迭代次數(shù)為50，然后用訓(xùn)練好的RBM對48個訓(xùn)練樣本進(jìn)行分類，其中學(xué)習(xí)速率為0.01～0.02；第二，建立一個含有兩層RBM的DBN網(wǎng)絡(luò)，每個RBM含有100個神經(jīng)元，輸入48個訓(xùn)練樣本，利用BP對48個訓(xùn)練樣本進(jìn)行微調(diào)，馬氏鏈迭代次數(shù)為50，學(xué)習(xí)速率為0.01～0.02，訓(xùn)練要求精度為MSE=0.001，最后用訓(xùn)練好的DBN對20個測試組進(jìn)行粗糙度值的預(yù)測。圖2為改進(jìn)的DBN模型訓(xùn)練誤差曲線。

圖2　改進(jìn)深度神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練誤差曲線

2.2實驗結(jié)果

表1所示為20個測試樣本采用不同預(yù)測方法的平均相對誤差。可以看出實測值與預(yù)測值，相對誤差控制在10%以內(nèi)，最大相對誤差為6.8%，最小相對誤差為5.9%，說明采用改進(jìn)DBN模型預(yù)測的粗糙度值比較準(zhǔn)確。

表1　RBM和DBN實驗數(shù)據(jù)

表中黑色部分是改進(jìn)網(wǎng)絡(luò)的數(shù)據(jù)。

通過上邊兩個實驗可以看出，改進(jìn)方法的RBM較原始RBM在訓(xùn)練準(zhǔn)確度上有所提高，并且通過使用兩層RBM的疊加，DBN的訓(xùn)練精度也有較為明顯的提升，證明了改進(jìn)RBM的有效性。

3　結(jié)束語

本文針對算法的固定學(xué)習(xí)率引起的尋找最優(yōu)值準(zhǔn)確度不高的問題進(jìn)行了改進(jìn)，將改進(jìn)策略應(yīng)用于磨削表面粗糙度值的預(yù)測問題中，實驗結(jié)果表明改進(jìn)策略能夠有效提高DBN的準(zhǔn)確性，由于訓(xùn)練樣本的選取均來自高精度形貌儀，通過本文提出的預(yù)測模型，只要獲取磨削時的加工參數(shù)，即可完成對加工表面粗糙度值的預(yù)測，且預(yù)測誤差在6%以下，應(yīng)用該模型可有效的降低產(chǎn)品檢測成本，具有較高的工程價值。

[1] 王洪詳，李旦，董申.超精密車削表面粗糙度預(yù)測模型的建立[J].高技術(shù)通訊,2003(3):77-82.

[2] 蘇宇，何寧，武凱，等.基于ANFIS的鋁合金銑削加工表面粗糙度預(yù)測模型研究[J].中國機(jī)械工程,2005,16(6):475-479.

[3] 周斌，曹勇，王禹林，等.基于BP神經(jīng)網(wǎng)絡(luò)的大型螺紋旋風(fēng)銑削表面粗糙度預(yù)測[J].組合機(jī)床與自動化加工技術(shù),2015(7):5-10.

[4] 劉牧，楊茂奎.基于響應(yīng)曲面法的表面粗糙度預(yù)測模型研究[J].機(jī)床與液壓,2006(7):87-90.

[5] 陳杰來，孫俊蘭.基于遺傳神經(jīng)網(wǎng)絡(luò)的表面粗糙度預(yù)測模型研究[J].制造業(yè)自動化,2011,33(12):10-12.

[6] 劉曉志，陶華，李茂偉.鈦合金TC18銑削表面粗糙度預(yù)測模型研究[J].組合機(jī)床與自動加工技術(shù),2010(7):8-11.

[7] Hinton G E, Osindero S.A fast learning algorithm for deep belief nets[J].Neural Computation,2006,18:1527-1554.

[8] Yoshua Bengio,Pascal Lamblin,Dan Popovici,et al.Greedy Layer-Wise Training of Deep Networks[J].Advances in Neural Information Processing Systems 19 (NIPS 2006),MIT Press,2007,153-160.

[9] Y Bengio. Learning Deep Architectures for AI[Z].Foundations & Trends in Machine Learning,2009.

[10] Hinton GE. Products of experts[A].Proc. of the 9th Int’l Conf on Artificial Neural Networks(ICANN),Edinburgh,1999,1:1-6.

[11] Hinton GE. Training products of experts by minimizing contrastive divergence[J].Neural Computation, 2002,14(8):1771-1800.

[12] DAVIM J P,GAITONDE V N,KARMIK S R.Investigations into the effect of cutting conditions on surface roughness in turning of free machining steel by ANN models[J].Journal of Material Processing,2008,205(1-3):16-23.

[13] 陳廉清,郭建亮,楊勛,等.基于進(jìn)化神經(jīng)網(wǎng)絡(luò)的磨削粗糙度預(yù)測模型[J].計算機(jī)集成制造系統(tǒng)，2013,19(11)：2854-2863.

(編輯李秀敏)

The Application of Improved Deep Belief Network in Surface Roughness of Grinding

TIAN Yang

(Department of Research, Liaoning Engineering Vocational College,Tieling Liaoning 112000,China)

Deep Belief Network(DBN)is a kind of neural network classifier which is made of several Restricted Boltzmann Machines(RBMs)and a layer of BP. In order to improve the disadvantage in optimizing stage due to the fixed learning rate in RBM,this paper proposes a dynamic rule to it.A DBN that includes two RBMs and a BP and the rule of comparison and dispersion was adopted to conduct the rapid training of neural network.The improved network is applied to the prediction of surface roughness, and the accuracy of the model is improved by comparing with the prediction model and RBM model.

deep belief network;restricted boltzmann machine;surface roughness;prediction model

1001-2265(2016)07-0108-03DOI:10.13462/j.cnki.mmtamt.2016.07.031

2015-09-03；

2015-10-02

遼寧省教育廳科學(xué)研究一般項目(L2014589)

田楊(1980—)，男，遼寧調(diào)兵山人，遼寧工程職業(yè)學(xué)院科研處副教授，博士，研究方向為數(shù)字化設(shè)計與制造， (E-mail)remlove@163.com。

TH164;TG65

A