劉佳琦,楊 璐,王龍志
(1天津理工大學(xué) 天津市先進(jìn)機(jī)電系統(tǒng)設(shè)計(jì)與智能控制重點(diǎn)實(shí)驗(yàn)室,天津300384;2天津理工大學(xué)機(jī)電工程國(guó)家級(jí)實(shí)驗(yàn)教學(xué)示范中心,天津300384;3奧特貝睿(天津)科技有限公司,天津300300)
知識(shí)蒸餾是深度學(xué)習(xí)領(lǐng)域一項(xiàng)重要的模型壓縮技術(shù)。傳統(tǒng)的蒸餾學(xué)習(xí)思想是通過提前訓(xùn)練好的大網(wǎng)絡(luò)對(duì)輕量網(wǎng)絡(luò)進(jìn)行知識(shí)傳遞,從而使輕量網(wǎng)絡(luò)能達(dá)到大網(wǎng)絡(luò)的表達(dá)能力,實(shí)現(xiàn)知識(shí)遷移。基于傳統(tǒng)蒸餾學(xué)習(xí)的模型訓(xùn)練主要分為兩個(gè)步驟:首先充分訓(xùn)練一個(gè)結(jié)構(gòu)復(fù)雜、學(xué)習(xí)能力強(qiáng)的教師網(wǎng)絡(luò),使其具有優(yōu)秀的表達(dá)能力;其次在教師網(wǎng)絡(luò)的基礎(chǔ)上設(shè)計(jì)一個(gè)結(jié)構(gòu)簡(jiǎn)單、參數(shù)量小的學(xué)生網(wǎng)絡(luò),使用教師網(wǎng)絡(luò)的特征約束作為軟標(biāo)簽進(jìn)行監(jiān)督,使學(xué)生網(wǎng)絡(luò)通過軟標(biāo)簽對(duì)真實(shí)標(biāo)簽輔助訓(xùn)練,逐漸逼近教師網(wǎng)絡(luò)的表達(dá)水平。從模型推理方面分析,教師網(wǎng)絡(luò)只在訓(xùn)練階段對(duì)學(xué)生網(wǎng)絡(luò)起到約束作用,不參與學(xué)生網(wǎng)絡(luò)的獨(dú)立推理過程的計(jì)算與部署,因此知識(shí)蒸餾在神經(jīng)網(wǎng)絡(luò)模型輕量化領(lǐng)域有著重要的意義。
由于傳統(tǒng)蒸餾學(xué)習(xí)中的教師網(wǎng)絡(luò)對(duì)學(xué)生網(wǎng)絡(luò)的知識(shí)傳遞是單向的,難以從學(xué)生網(wǎng)絡(luò)的學(xué)習(xí)狀態(tài)中得到反饋信息,來對(duì)訓(xùn)練過程進(jìn)行優(yōu)化調(diào)整,從而對(duì)學(xué)生網(wǎng)絡(luò)的訓(xùn)練產(chǎn)生負(fù)影響;其次,采取教師網(wǎng)絡(luò)產(chǎn)生軟標(biāo)簽結(jié)合真實(shí)標(biāo)簽進(jìn)行監(jiān)督的形式,當(dāng)軟標(biāo)簽權(quán)重過高時(shí),學(xué)生網(wǎng)絡(luò)會(huì)過于模仿教師網(wǎng)絡(luò),從而限制學(xué)生網(wǎng)絡(luò)的特征表達(dá)能力;……