深度神經(jīng)網(wǎng)絡(luò)算法研究及應(yīng)用

劉念++王楓

摘 要：深度神經(jīng)網(wǎng)絡(luò)通過低層特征組合從而形成高層特征，以此來找出數(shù)據(jù)分布特征形式，深度神經(jīng)網(wǎng)絡(luò)同時(shí)也是人工智能研究領(lǐng)域的重點(diǎn)。伴隨計(jì)算機(jī)技術(shù)發(fā)展以及數(shù)字設(shè)備數(shù)量增長，數(shù)據(jù)以非常快的速度增長，如何對(duì)快速增長的數(shù)據(jù)進(jìn)行有效利用并且挖掘其價(jià)值，是面對(duì)海量數(shù)據(jù)需要思考的問題。本文就深度神經(jīng)網(wǎng)絡(luò)算法研究及應(yīng)用做簡(jiǎn)要闡述。

關(guān)鍵詞：深度神經(jīng)網(wǎng)絡(luò)算法 研究 應(yīng)用

中圖分類號(hào)：TP18 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-3791（2017）09（c）-0243-02

人工神經(jīng)網(wǎng)絡(luò)最早是由國外科學(xué)家提出的，通過對(duì)神經(jīng)元進(jìn)行模仿，從而來處理信息。人工神經(jīng)網(wǎng)絡(luò)經(jīng)歷了一個(gè)漫長的發(fā)展階段，近年來研究工作取得了突破性的進(jìn)展，并且其技術(shù)已經(jīng)在相關(guān)領(lǐng)域應(yīng)用。

1 深度神經(jīng)網(wǎng)絡(luò)理論

深度神經(jīng)網(wǎng)絡(luò)理論是一種機(jī)器學(xué)習(xí)方法，是基于人腦學(xué)習(xí)思想而提出的，也可以將其稱之為深度學(xué)習(xí)。深度神經(jīng)網(wǎng)絡(luò)的核心思想可以將其概述為每一網(wǎng)絡(luò)預(yù)訓(xùn)練采用的是無監(jiān)督學(xué)習(xí)，每一層逐漸訓(xùn)練，下一層輸入即是上一層輸出，對(duì)所有學(xué)習(xí)層進(jìn)行微調(diào)工作則是由有監(jiān)督學(xué)習(xí)來完成的。與傳統(tǒng)神經(jīng)網(wǎng)絡(luò)相比，深度神經(jīng)網(wǎng)絡(luò)的區(qū)別主要體現(xiàn)在訓(xùn)練機(jī)制，為克服傳統(tǒng)神經(jīng)網(wǎng)經(jīng)絡(luò)訓(xùn)練速度慢以及容易過擬合等方面不足，深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練機(jī)制方面主要是逐層預(yù)訓(xùn)練。深度神經(jīng)網(wǎng)絡(luò)常見的模型包括了卷積神經(jīng)與深度信念模型，編碼器模型[1]。

2 深度神經(jīng)網(wǎng)絡(luò)的三種常見模型

2.1 深度信念網(wǎng)模型

該模型其預(yù)訓(xùn)練主要是逐層訓(xùn)練RBM從而得到模型結(jié)構(gòu)。而微調(diào)則是在最后輸出層增加與目標(biāo)分類對(duì)應(yīng)的輸出層，之后通過傳統(tǒng)BP算法對(duì)模型參數(shù)進(jìn)行微調(diào)，經(jīng)過上述步驟就可以得到深度神經(jīng)網(wǎng)絡(luò)模型。該模型主要描述數(shù)據(jù)間高階相關(guān)性與類別聯(lián)合概率分布，屬于概率生成模型。

2.2 卷積神經(jīng)網(wǎng)模型

卷積神經(jīng)網(wǎng)是人工神經(jīng)分類中的一種，其應(yīng)用領(lǐng)域非常廣泛，如圖像識(shí)別。結(jié)構(gòu)方面其采用的是權(quán)值共享方式，與生物神經(jīng)網(wǎng)絡(luò)非常類似，優(yōu)點(diǎn)體現(xiàn)在網(wǎng)絡(luò)權(quán)值數(shù)量減少。卷積神經(jīng)網(wǎng)絡(luò)構(gòu)造的目的就是為了處理圖形，其每一層都由數(shù)量眾多的二維平面構(gòu)成，而平面又是由數(shù)量不等的神經(jīng)元構(gòu)成，并且神經(jīng)元是相互獨(dú)立的。圖像經(jīng)過卷積后特征變換圖產(chǎn)生從而得到第一層，之后經(jīng)過函數(shù)特征變化得到第二層，對(duì)變換值進(jìn)行濾波處理從而得到第三層，第四層的特征產(chǎn)生同樣是由函數(shù)變換而得到的。特征在最后經(jīng)過光柵化后，連接成為特征向量輸入神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)從而進(jìn)行識(shí)別得到結(jié)果。

2.3 編碼器模型

（1）編碼器模型來源。編碼器是無監(jiān)督的學(xué)習(xí)算法，也是神經(jīng)網(wǎng)絡(luò)組成部分之一。該模型是一種非線性神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，能夠復(fù)現(xiàn)輸入信號(hào)。而為了實(shí)現(xiàn)復(fù)現(xiàn)輸入目標(biāo)，編碼器就需要捕捉主要元素并且這些元素可以表示原始輸入數(shù)據(jù)。機(jī)器學(xué)習(xí)算法中，編碼器有著十分重要的地位，該模型則是基于神經(jīng)網(wǎng)絡(luò)模型演變而來的。而編碼器模型又可以對(duì)其進(jìn)行細(xì)分。（2）自動(dòng)編碼器。自動(dòng)編碼器組成利用的是神經(jīng)網(wǎng)絡(luò)的某些特點(diǎn)，在神經(jīng)網(wǎng)絡(luò)中當(dāng)設(shè)定的輸出與輸入二者相等時(shí)，神經(jīng)網(wǎng)絡(luò)就相當(dāng)于輸入從自身到映射過程。傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中，輸入信息是帶有標(biāo)簽的，并且輸入是組合的形式，網(wǎng)絡(luò)權(quán)重值調(diào)整依據(jù)是輸出與標(biāo)簽二者間的差異。對(duì)自動(dòng)編碼器模型進(jìn)行預(yù)訓(xùn)練，輸入是無標(biāo)簽數(shù)據(jù)，為了實(shí)現(xiàn)復(fù)現(xiàn)數(shù)據(jù)輸入和，因此在網(wǎng)絡(luò)建模單元增加了解碼器。編碼過程是將數(shù)據(jù)輸入到中間層，解碼過程則是由中間層到輸出層。信息輸入到編碼器，會(huì)得到一個(gè)編碼，編碼體現(xiàn)了輸入的另外一種表示，之后通過解碼器就會(huì)得到輸出信息。如果輸出與輸入的信息是相同的，編碼則是輸入信息的另外一種表示，通過對(duì)編碼器與解碼器參數(shù)的調(diào)整從而使輸入、輸出重構(gòu)誤差達(dá)到最小，此時(shí)就能夠得到編碼。鑒于是正向運(yùn)算，編碼器中間層能夠?qū)斎胄盘?hào)進(jìn)行完整描述，即從中間層對(duì)信號(hào)進(jìn)行重構(gòu)。數(shù)據(jù)不帶有標(biāo)簽，誤差來源則可以從重構(gòu)與原始信息二者間來獲取[2]。（3）單層降噪自動(dòng)編碼器。單層降噪自動(dòng)編碼器。該類型編碼器是對(duì)自動(dòng)編碼器的改造，其思想是通過學(xué)習(xí)的方法去除噪聲并且獲得數(shù)據(jù)，數(shù)據(jù)沒有引入噪聲。算法通過噪聲引入以此來提升魯棒性，增強(qiáng)其泛化能力。（4）深度降噪自動(dòng)編碼器。深度神經(jīng)網(wǎng)絡(luò)其核心思想就在于通過一定的學(xué)習(xí)方法從而來取得原始數(shù)據(jù)驅(qū)動(dòng)變量以及特征。訓(xùn)練方法可以將其分為兩個(gè)步驟，一是采用無標(biāo)簽數(shù)據(jù)學(xué)習(xí)模型參數(shù)，也可以將其稱之為模型預(yù)訓(xùn)練；二是利用少量帶標(biāo)簽數(shù)據(jù)對(duì)模型參數(shù)進(jìn)行微調(diào)，該步驟即模型參數(shù)微調(diào)。依據(jù)神經(jīng)網(wǎng)絡(luò)思想，降噪編碼器是一定神經(jīng)元層堆疊，上層輸入作為下層的輸出，通過該訓(xùn)練方式從而達(dá)到規(guī)定層數(shù)。

3 深度神經(jīng)網(wǎng)絡(luò)的應(yīng)用

深度神經(jīng)網(wǎng)絡(luò)其應(yīng)用的領(lǐng)域非常廣泛，以列車為例，長期運(yùn)行過程中，車輪性能會(huì)退化，輪軌關(guān)系也會(huì)逐漸產(chǎn)生變化，而導(dǎo)致變化產(chǎn)生的一個(gè)重要因素就是車輪磨損，輪軌關(guān)系的變化也會(huì)對(duì)行車安全造成一定的影響。

輪對(duì)的受力情況非常的復(fù)雜，既承受了列車的重量，同時(shí)又承受了鋼軌等各方面?zhèn)鱽淼牧α?。列車在行駛過程中，隨著磨損情況變化，其踏面外形也會(huì)發(fā)生變化，從而導(dǎo)致輪軌的接觸狀態(tài)產(chǎn)生變化，輪軌接觸狀態(tài)主要有兩種，單點(diǎn)接觸與兩點(diǎn)接觸。當(dāng)車輪沿軌道運(yùn)行的時(shí)候，觸點(diǎn)也會(huì)相應(yīng)的發(fā)生變化，而觸點(diǎn)變化，轉(zhuǎn)運(yùn)中心也會(huì)發(fā)生變化。依據(jù)設(shè)計(jì)情況，新軌與新輪在匹配時(shí)通常不會(huì)出現(xiàn)兩點(diǎn)接觸，輪軌之間相對(duì)滑動(dòng)也不存在，但是當(dāng)磨損達(dá)到一定狀態(tài)時(shí)，兩點(diǎn)接觸就可能會(huì)產(chǎn)生，并可能會(huì)產(chǎn)生相對(duì)滑動(dòng)，輪軌間不均勻磨損也會(huì)增加[3]。

為了有效研究磨損就需要對(duì)數(shù)據(jù)進(jìn)行分析，數(shù)據(jù)獲取是通過安裝于列車不同位置的傳感器獲得的。對(duì)數(shù)據(jù)進(jìn)行分析可以采用深度神經(jīng)網(wǎng)絡(luò)模型分類識(shí)別與學(xué)習(xí)磨損振動(dòng)信號(hào)，所應(yīng)用模型包括了降噪自動(dòng)編碼器，自動(dòng)編碼器。實(shí)驗(yàn)主要工作目標(biāo)是信號(hào)特征的提取與分類識(shí)別。采用降噪自動(dòng)編碼器對(duì)車輪損耗的狀態(tài)進(jìn)行分析，算法識(shí)別步驟是，振動(dòng)信號(hào)樣本的輸入，輸出的是車輪損耗狀態(tài)識(shí)別的正確率。對(duì)輸入信號(hào)進(jìn)行變換，訓(xùn)練網(wǎng)絡(luò)層數(shù)初始化，并設(shè)置權(quán)重值，應(yīng)用公式進(jìn)行解碼等一系列過程。訓(xùn)練全部結(jié)束后，對(duì)結(jié)構(gòu)進(jìn)行微調(diào)，由于列車振動(dòng)數(shù)據(jù)是機(jī)械信號(hào)，屬于非平衡時(shí)間序列，依據(jù)流程對(duì)其進(jìn)行變換從而得到頻域信號(hào)，頻域信號(hào)在頻率與幅度分布都有一定差異，而由于列車運(yùn)行時(shí)間增加，從而導(dǎo)致了車輪磨損程度變化，必然會(huì)導(dǎo)致列車振動(dòng)特性的差異。深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練結(jié)束后通過一定的方法對(duì)兩點(diǎn)間的相似度所反映狀態(tài)特征聚焦程度進(jìn)行度量，從而能夠獲得狀態(tài)分布特征的散點(diǎn)圖。訓(xùn)練次數(shù)增加的同時(shí)，訓(xùn)練誤差會(huì)進(jìn)一步的減小，數(shù)據(jù)處理方面，對(duì)各通道依據(jù)算法流程，對(duì)振動(dòng)信號(hào)進(jìn)行變換，之后利用深度網(wǎng)絡(luò)算法進(jìn)行學(xué)習(xí)，之后獲得信號(hào)的特征并對(duì)其進(jìn)行分類與識(shí)別。采用該方法，數(shù)據(jù)處理的效果比較好。

4 結(jié)語

深度神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)研究領(lǐng)域的一個(gè)熱點(diǎn)，同時(shí)其應(yīng)用也非常廣泛，其思想來源于人腦對(duì)信息的處理機(jī)制。該方法能夠?yàn)槎鄠€(gè)領(lǐng)域問題的解決提供基礎(chǔ)，如列車運(yùn)行，從而保障工作正常開展。

參考文獻(xiàn)

[1] 卓維，張磊.深度神經(jīng)網(wǎng)絡(luò)的快速學(xué)習(xí)算法[J].嘉應(yīng)學(xué)院學(xué)報(bào)，2014（5）：13-17.

[2] 高強(qiáng)，靳其兵，程勇.基于卷積神經(jīng)網(wǎng)絡(luò)探討深度學(xué)習(xí)算法與應(yīng)用[J].電腦知識(shí)與技術(shù)，2015（5）：169-170.

[3] 王華利，鄒俊忠，張見.基于深度卷積神經(jīng)網(wǎng)絡(luò)的快速圖像分類算法[J].計(jì)算機(jī)工程與應(yīng)用，2017（13）：181-188.endprint