帶比例因子的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法

徐 喆，宋澤奇

北京工業(yè)大學(xué) 信息學(xué)部，北京 100124

1 引言

目標(biāo)識(shí)別一直是計(jì)算機(jī)圖像處理領(lǐng)域中的一個(gè)熱點(diǎn)問題，隨著智能設(shè)備越來越普及，人們對(duì)識(shí)別準(zhǔn)確率更高，實(shí)時(shí)性更好的識(shí)別算法更加迫切。在眾多視覺檢測(cè)方法中，基于神經(jīng)網(wǎng)絡(luò)的物體檢測(cè)算法在最近幾年發(fā)展迅猛。因?yàn)檫@種檢測(cè)方法不再需要人為選取某些特定的視覺特征作為圖像分類的依據(jù)，而是在訓(xùn)練階段根據(jù)訓(xùn)練樣本自適應(yīng)出更加有效的特征來進(jìn)行分類。神經(jīng)網(wǎng)絡(luò)雖然在檢測(cè)準(zhǔn)確率上遠(yuǎn)超傳統(tǒng)檢測(cè)方法，但是由于其內(nèi)部存在大量的神經(jīng)元參數(shù)，使得神經(jīng)網(wǎng)絡(luò)在檢測(cè)過程中需要進(jìn)行大量的計(jì)算，以至于其檢測(cè)實(shí)時(shí)性相比其他算法有較大差距。

為了在準(zhǔn)確率下降盡量小的情況下得到結(jié)構(gòu)更簡(jiǎn)單，運(yùn)算量更少，檢測(cè)時(shí)間更短的視覺檢測(cè)神經(jīng)網(wǎng)絡(luò)，2006年Caruana等人[1]提出了一種通過學(xué)習(xí)復(fù)雜模型的預(yù)測(cè)結(jié)果來實(shí)現(xiàn)簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)的網(wǎng)絡(luò)壓縮方法，該方法通過讓簡(jiǎn)單模型向復(fù)雜模型學(xué)習(xí)的手段來提高簡(jiǎn)單模型的識(shí)別能力。而后Caruana等人[2]也用實(shí)驗(yàn)證明通過模型壓縮手段可以使結(jié)構(gòu)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)達(dá)到較高的檢測(cè)準(zhǔn)確率。2014年Li等人[3]將這種模型壓縮方法成功地用在了語音識(shí)別技術(shù)中。2015年Hinton等人[4]改進(jìn)了原有算法的誤差計(jì)算方法，并引入了轉(zhuǎn)移控制參數(shù)Q來改善softmax回歸結(jié)果，使得這種模型壓縮方法得到了更高的準(zhǔn)確率，他稱這種模型壓縮方法為“知識(shí)提取”算法。

Geoffrey Hinton在論……