基于遷移學(xué)習(xí)的圖像識(shí)別研究

袁文翠， 孔雪

(東北石油大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院， 大慶 163318)

0 引言

近年來(lái)，學(xué)術(shù)界與工業(yè)界越來(lái)越擅長(zhǎng)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，由于深層的網(wǎng)絡(luò)結(jié)構(gòu)使其能從大量有標(biāo)簽的數(shù)據(jù)中學(xué)習(xí)到非常準(zhǔn)確的輸入到輸出的映射，無(wú)論它們是圖像、語(yǔ)句還是標(biāo)簽預(yù)測(cè)。但是很多情況下帶有標(biāo)簽的數(shù)據(jù)是極難獲取的，根據(jù)Awesome-Most Cited Deep Learning Papers所公布的深度學(xué)習(xí)領(lǐng)域最主要的論文統(tǒng)計(jì)，超過(guò)50%的論文使用了某種形式的遷移學(xué)習(xí)或預(yù)訓(xùn)練。對(duì)于資源有限的場(chǎng)景，遷移學(xué)習(xí)技術(shù)的重要性與日俱增。

1 遷移學(xué)習(xí)

吳恩達(dá)在去年的 NIPS 2016 講座上提出：“在監(jiān)督學(xué)習(xí)之后，遷移學(xué)習(xí)將引領(lǐng)下一波機(jī)器學(xué)習(xí)技術(shù)商業(yè)化浪潮。”

遷移學(xué)習(xí)(transfer Learning)[1]的目標(biāo)是將從一個(gè)環(huán)境中學(xué)到的知識(shí)用來(lái)幫助新環(huán)境中的學(xué)習(xí)任務(wù)。當(dāng)沒(méi)有足夠的標(biāo)記數(shù)據(jù)去訓(xùn)練模型或想訓(xùn)練一個(gè)模型去執(zhí)行一個(gè)新的任務(wù)時(shí)，可以利用遷移學(xué)習(xí)[2]，它能夠利用已經(jīng)存在的相關(guān)任務(wù)或域中帶有標(biāo)記的數(shù)據(jù)去處理這些情況。嘗試在源域(source domain)中解決源任務(wù)(source task)所獲得的知識(shí)，并將其應(yīng)用于另外的任務(wù)。相比于傳統(tǒng)的方法訓(xùn)練模型更加具有廣泛的應(yīng)用價(jià)值。傳統(tǒng)機(jī)器學(xué)習(xí)[3]與遷移學(xué)習(xí)的對(duì)比圖，如圖1、圖2所示。

圖1 傳統(tǒng)機(jī)器學(xué)習(xí)訓(xùn)練模型

圖2 遷移學(xué)習(xí)訓(xùn)練模型

在圖1中，無(wú)論是什么任務(wù)，每一次都需要構(gòu)建一個(gè)模型進(jìn)行學(xué)習(xí)，但是圖2中，通過(guò)在源任務(wù)中所學(xué)習(xí)到的w(權(quán)重)，b(偏向)可以直接遷移到新任務(wù)中，不但可以避免過(guò)擬合的現(xiàn)象，而且可以節(jié)省很多的訓(xùn)練時(shí)間。……