基于隨機Dropout卷積神經(jīng)網(wǎng)絡(luò)的人體行為識別方法研究

陳倬

摘 要：我們在訓練樣本不多時，仍然可以提高卷積神經(jīng)網(wǎng)絡(luò)的泛化能力，人體行為的識別存在的問題，也可經(jīng)提高卷積神經(jīng)網(wǎng)絡(luò)的泛化能力在視頻中，得到廣泛較好的運用。該文基于隨機Dropout應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)模型的分類器階段，這種方法能夠使一定數(shù)量的神經(jīng)網(wǎng)絡(luò)元，得到有效的凍結(jié)，并且能夠通過網(wǎng)絡(luò)訓練過程中隨機選擇，更好地完成這一特性；這一方法的特性可以使神經(jīng)元的連接在網(wǎng)絡(luò)更新時次序得到改變。

關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò) 人體行為識別 Dropout

中圖分類號：TP391.41 文獻標識碼：A 文章編號：1672-3791（2017）04（c）-0028-02

該文采用隨機Dropout卷積神經(jīng)網(wǎng)絡(luò)，筆者將此法的優(yōu)點大致概況為將繁瑣雜亂的前期圖像處理簡易化，原來的圖像不可以直接輸入，現(xiàn)在的原始圖像即可實現(xiàn)直輸功能，因其特性得到廣泛研究與應(yīng)用。另外，卷積神經(jīng)網(wǎng)絡(luò)在圖像的處理中能夠?qū)⒅付ǖ淖藙荨㈥柟獾恼丈浞磻?yīng)、遮避、平面移動、縮小與放大等其他形式的扭曲達到魯棒性，從而達到良好的容錯能力，進而可以發(fā)現(xiàn)其在自適應(yīng)能力方面也非常強大。因為卷積神經(jīng)網(wǎng)絡(luò)在之前建立網(wǎng)絡(luò)模型時，樣本庫為訓練階段提供的樣本，數(shù)量有限，品質(zhì)上也很難滿足要求，致使網(wǎng)絡(luò)權(quán)值參數(shù)不能夠完成實時有效的調(diào)度與整理。

1 卷積神經(jīng)網(wǎng)絡(luò)

據(jù)調(diào)查卷積神經(jīng)網(wǎng)絡(luò)由K.Fukushima在80年代提出，那時候它被稱為神經(jīng)認知機，這一認知成為當時的第一個網(wǎng)絡(luò)，后來網(wǎng)絡(luò)算法發(fā)生了規(guī)模性變革，由LeCun為代表提出了第一個手寫數(shù)字識別模型，并成功投入到商業(yè)用途中。LeNet被業(yè)界冠以卷積神經(jīng)網(wǎng)絡(luò)的代表模型，這類系統(tǒng)在很多方面都起到了不容小趨的作用，它多數(shù)應(yīng)用于各類不同的識別圖像及處理中，在這些層面上取得了重要成果。

筆者經(jīng)查閱資料發(fā)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)其實是由兩個種類組合而來，它們分別是特征提取、分類器，這種組成我們可以看到特征提取類可由一定數(shù)量的卷積層以及子采樣層相互重疊組合而成，全部都連接起來的1層或者2層神經(jīng)網(wǎng)絡(luò)，就是由分類器來進行安排的。卷積神經(jīng)網(wǎng)絡(luò)中的局部區(qū)域得到的感覺、權(quán)值的參數(shù)及子采樣等可以說是重要網(wǎng)絡(luò)結(jié)構(gòu)特征。

1.1 基本CNN網(wǎng)絡(luò)結(jié)構(gòu)

圖1中就是最為經(jīng)典的LeNet-5網(wǎng)絡(luò)模型結(jié)構(gòu)圖。通過圖1中我們可以獲悉，該模型有輸入輸出層，除這兩層外還有6層，其中特征提取可在前4層中體現(xiàn)，后兩層體現(xiàn)的是分類器。

在特征提取部分，6個卷積核通過卷積，是圖像經(jīng)尺寸為32×32的輸入而得見表1，運算過程如式（1）：

（1）

式中：卷積后的圖像與一個偏置組合起來，使函數(shù)得到激活，因此特征圖變誕生了，通過輸出得到了6個尺寸的特征圖，這6個尺寸均為28×28，近而得到了第一層的卷積，以下筆者把它簡要稱為c1；那么c1層中的6個同尺寸圖再經(jīng)由下面的子采樣2×2尺寸，再演變成特征圖，數(shù)量還是6個，尺寸卻變成了14×14，具體運算如公式（2）：

通過表2我們可以使xi生成的和與采樣系數(shù)0.25相乘，那么采樣層的生成也就是由加上了一個偏置，從而使函數(shù)被激活形成了采樣層的第1個層次，以下我們簡要稱為s1；這種過程我們可反復運用，從而呈現(xiàn)出卷積層中的第2層，可以簡要稱之為c2，第2層簡稱s2；到目前為止，我們對特征的提取告一段落。

神經(jīng)網(wǎng)絡(luò)的識別，我們可以看到它是由激活函數(shù)而形成的一個狀態(tài)，這一狀態(tài)是由每個單元的輸出而得；那么分類器在這里起到的作用是將卷積層全部連接起來，這種通過連接而使1層與上面1層所有特征圖進行了串連，簡要稱之為c5；因而2層得到了退變與簡化效應(yīng)，從而使該神經(jīng)網(wǎng)絡(luò)成為經(jīng)典，簡要稱之為F6，向量及權(quán)值是由F6 輸送，然后由點積加上偏置得到結(jié)果的有效判定。

1.2 改進的隨機DropoutCNN網(wǎng)絡(luò)

1.2.1 基本Dropout方法

神經(jīng)網(wǎng)絡(luò)泛化能力能夠得到提升，是基于Dropout方法的深入學習。固定關(guān)系中存在著節(jié)點的隱含，為使權(quán)值不再依附于這種關(guān)系，上述方法可隨機提取部分神經(jīng)元，這一特性是通過利用Dropout在網(wǎng)絡(luò)訓練階段中隨機性而得，對于取值能夠有效的存儲及保護存留，這一特性在輸出設(shè)定方面一定要注重為0，這些被選擇的神經(jīng)元隨然這次被抽中應(yīng)用，但并不影響下次訓練的過程，并具還可以恢復之前保留的取值，那么每兩個神經(jīng)元同時產(chǎn)生作用的規(guī)避，可以通過重復下次隨機選擇部分神經(jīng)元的過程來解決；我們通過這種方法，使網(wǎng)絡(luò)結(jié)構(gòu)在每次訓練階段中都能呈現(xiàn)不同變化，使一些受限制的特征，不再受到干擾，使其真正能展現(xiàn)自身的優(yōu)點，在基于Dropout方法中，我們可以將一些神經(jīng)元的一半設(shè)為0來進行輸出，隨機神經(jīng)元的百分比可控制在50%，有效的避免了特征的過度相似與穩(wěn)合。

1.2.2 隨機Dropout方法

Dropout方法就是隨機輸出為0的設(shè)定，它將一定比例神經(jīng)元作為決定的因素，其定義網(wǎng)絡(luò)在構(gòu)建模型時得到廣泛采用。神經(jīng)元基于隨機Dropout的方法是該文的重要網(wǎng)絡(luò)輸出途徑，通過設(shè)定輸出為0，使其在網(wǎng)絡(luò)中得到變。圖2是隨機Dropout的加入神經(jīng)元連接示意圖，其在圖中可知兩類神經(jīng)元：一類是分類器的神經(jīng)元，這一階段的神經(jīng)元可分為兩層；另一類神經(jīng)元是由輸出而形成的層次。模型在首次訓練的階段會使神經(jīng)元隨機形成凍結(jié)狀態(tài)，這一狀態(tài)所占的百分比為40%、60%，我們還可以看到30%及50%的神經(jīng)元可能在網(wǎng)絡(luò)隨機被凍結(jié)，那么這次凍結(jié)可以發(fā)生在模型第二次訓練，那么第三次神經(jīng)元的凍結(jié)可從圖示中得出70%及40%，還可以通過變化用人工設(shè)置，其范圍值宜為35%～65%，那么網(wǎng)絡(luò)神經(jīng)元連接次序的多樣化，也因此更為突出與精進，網(wǎng)絡(luò)模型的泛化能力也得到了跨越勢的提高。

2 實驗及結(jié)果分析

2.1 實驗方法

卷積神經(jīng)網(wǎng)絡(luò)通過實驗，通過輸入層呈現(xiàn)一灰色圖像，該圖像尺寸被設(shè)定成28×28的PNG格式，這里我們以圖像框架圖得到雙線性差值，用來處理圖像及原視頻中的影像，將框架圖的卷積核設(shè)定為5×5的尺寸，子采樣系數(shù)控制值為0.25，采用SGD迭代200次，樣本數(shù)量50個進行設(shè)定，一次誤差反向傳播實現(xiàn)批量處理，進行權(quán)值調(diào)整。實驗采用交叉驗證留一法，前四層為特征提取層，C1-S1-C2-S2按順序排列，6-6-12-12個數(shù)是相應(yīng)特征，通過下階段加入隨機Dropout，這階段為雙層也就是兩層，進行連接，連接層為全體，從而可知結(jié)果由分類得出，又從輸出層輸出。

2.2 實驗結(jié)果分析

識別錯誤率可通過卷積神經(jīng)網(wǎng)絡(luò)模型，及訓練過程與檢測過程中可查看到的。在訓練階段中，我們可以將Dropout的網(wǎng)絡(luò)中融入200次訓練，在將沒有使用該方法的網(wǎng)絡(luò)進行相互比較分析，我可以得知，后者訓練時的識別錯誤率稍高于前者，前者與后的相比較所得的差異不是很大，進而我們可知使用Dropout方法，對卷積神經(jīng)網(wǎng)絡(luò)在泛化能力上得到有效的提升，從而有效的防止擬合。

3 結(jié)語

筆者基于Dropout卷積神經(jīng)網(wǎng)絡(luò)，人體行為識別在視頻中進行， 通過Weizmann數(shù)據(jù)集檢測實驗結(jié)果，隨機Dropout在分類器中加入。通過實驗可以得知：隨機Dropout的加入，使卷積神經(jīng)構(gòu)建了完美網(wǎng)絡(luò)模型，并且使其在人體行為識別中的效率贏得了大幅度的提升，近而使泛化能力可以通過此類方法得到提高，可以防止擬合。

參考文獻

[1] 其它計算機理論與技術(shù)[J].電子科技文摘，2002（6）.

[2] 王繼成.基于神經(jīng)網(wǎng)絡(luò)的多目標數(shù)據(jù)壓縮方法的研究[J].小型微型計算機系統(tǒng)，2003（6）：1034-1036.

[3] 王濤，任全.基于神經(jīng)網(wǎng)絡(luò)多屬性決策方法的威脅判斷模型[J].彈箭與制導學報，2003（S4）：178-180.