遷移學(xué)習(xí)在自然語言處理中的應(yīng)用綜述

袁 君

（武漢學(xué)院 湖北·武漢 430212）

1 遷移學(xué)習(xí)簡(jiǎn)介

Bozinovski等人最早明確提出在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中使用遷移學(xué)習(xí)的方法，并且給出了一個(gè)基于數(shù)學(xué)和幾何學(xué)的遷移學(xué)習(xí)模型。遷移學(xué)習(xí)作為一種機(jī)器學(xué)習(xí)的方法，就是把為任務(wù)A開發(fā)的模型作為原始模型，將其重新應(yīng)用在任務(wù)B中來開發(fā)出一套針對(duì)任務(wù)B的模型。其中任務(wù)A和任務(wù)B應(yīng)該具有一定的相關(guān)性或者相似性。其一般的過程如下圖1所示。

圖1：遷移學(xué)習(xí)的一般過程

因此在遷移學(xué)習(xí)中核心的問題是，如何找到目標(biāo)任務(wù)與源任務(wù)之間的相似性，并順利的實(shí)現(xiàn)知識(shí)/經(jīng)驗(yàn)的遷移。簡(jiǎn)而言之，我們希望計(jì)算機(jī)可以利用遷移學(xué)習(xí)的方法像人一樣通過舉一反三的進(jìn)行學(xué)習(xí)。圖2給出了生活中常見的遷移學(xué)習(xí)的例子。

圖2：遷移學(xué)習(xí)的例子

2 遷移學(xué)習(xí)在自然語言處理中的應(yīng)用與分類

在過去幾年的時(shí)間里，以預(yù)訓(xùn)練語言模型為形式的遷移學(xué)習(xí)在自然語言處理中已經(jīng)無處不在，并在各種任務(wù)解決中發(fā)揮了實(shí)質(zhì)性的作用。然而，遷移學(xué)習(xí)在自然語言處理中的應(yīng)用并不是一個(gè)新進(jìn)出現(xiàn)的方法。我們以命名實(shí)體識(shí)別（NER）任務(wù)的進(jìn)展為例，如下圖3所示：

圖3：CoNLL-2003（英語）上的命名實(shí)體識(shí)別（NER）性能隨時(shí)間變化

縱觀其歷史，這項(xiàng)任務(wù)的大部分重大改進(jìn)都是由不同形式的遷移學(xué)習(xí)推動(dòng)的：從早期Ando等人提出的帶有輔助任務(wù)的自我監(jiān)督學(xué)習(xí)和Lin等人對(duì)短語及詞組的研究到近年來Peters等人的語言模型嵌入，以及包括近幾年P(guān)eters，Akbik，Baevski分別提出的預(yù)訓(xùn)練語言模型。……