面向圖像語義分割任務(wù)的多級(jí)注意力蒸餾學(xué)習(xí)

劉佳琦，楊 璐，王龍志

(1天津理工大學(xué) 天津市先進(jìn)機(jī)電系統(tǒng)設(shè)計(jì)與智能控制重點(diǎn)實(shí)驗(yàn)室，天津300384；2天津理工大學(xué)機(jī)電工程國(guó)家級(jí)實(shí)驗(yàn)教學(xué)示范中心，天津300384；3奧特貝睿(天津)科技有限公司，天津300300)

0 引 言

知識(shí)蒸餾是深度學(xué)習(xí)領(lǐng)域一項(xiàng)重要的模型壓縮技術(shù)。傳統(tǒng)的蒸餾學(xué)習(xí)思想是通過提前訓(xùn)練好的大網(wǎng)絡(luò)對(duì)輕量網(wǎng)絡(luò)進(jìn)行知識(shí)傳遞，從而使輕量網(wǎng)絡(luò)能達(dá)到大網(wǎng)絡(luò)的表達(dá)能力，實(shí)現(xiàn)知識(shí)遷移。基于傳統(tǒng)蒸餾學(xué)習(xí)的模型訓(xùn)練主要分為兩個(gè)步驟:首先充分訓(xùn)練一個(gè)結(jié)構(gòu)復(fù)雜、學(xué)習(xí)能力強(qiáng)的教師網(wǎng)絡(luò)，使其具有優(yōu)秀的表達(dá)能力；其次在教師網(wǎng)絡(luò)的基礎(chǔ)上設(shè)計(jì)一個(gè)結(jié)構(gòu)簡(jiǎn)單、參數(shù)量小的學(xué)生網(wǎng)絡(luò)，使用教師網(wǎng)絡(luò)的特征約束作為軟標(biāo)簽進(jìn)行監(jiān)督，使學(xué)生網(wǎng)絡(luò)通過軟標(biāo)簽對(duì)真實(shí)標(biāo)簽輔助訓(xùn)練，逐漸逼近教師網(wǎng)絡(luò)的表達(dá)水平。從模型推理方面分析，教師網(wǎng)絡(luò)只在訓(xùn)練階段對(duì)學(xué)生網(wǎng)絡(luò)起到約束作用，不參與學(xué)生網(wǎng)絡(luò)的獨(dú)立推理過程的計(jì)算與部署，因此知識(shí)蒸餾在神經(jīng)網(wǎng)絡(luò)模型輕量化領(lǐng)域有著重要的意義。

由于傳統(tǒng)蒸餾學(xué)習(xí)中的教師網(wǎng)絡(luò)對(duì)學(xué)生網(wǎng)絡(luò)的知識(shí)傳遞是單向的，難以從學(xué)生網(wǎng)絡(luò)的學(xué)習(xí)狀態(tài)中得到反饋信息，來對(duì)訓(xùn)練過程進(jìn)行優(yōu)化調(diào)整，從而對(duì)學(xué)生網(wǎng)絡(luò)的訓(xùn)練產(chǎn)生負(fù)影響；其次，采取教師網(wǎng)絡(luò)產(chǎn)生軟標(biāo)簽結(jié)合真實(shí)標(biāo)簽進(jìn)行監(jiān)督的形式，當(dāng)軟標(biāo)簽權(quán)重過高時(shí)，學(xué)生網(wǎng)絡(luò)會(huì)過于模仿教師網(wǎng)絡(luò)，從而限制學(xué)生網(wǎng)絡(luò)的特征表達(dá)能力；……