機(jī)器學(xué)習(xí)之半監(jiān)督學(xué)習(xí)釋義

Martin Heller Charles

在2017年寫給亞馬遜股東的信中，Jeff Bezos提到了亞馬遜語音智能助理Alexa的一些有趣之處：

在美國、英國和德國，通過改進(jìn)Alexa的機(jī)器學(xué)習(xí)組件以及使用半監(jiān)督學(xué)習(xí)技術(shù)，在過去12個月里我們把Alexa的口語理解能力提高了25%以上。（利用這些半監(jiān)督學(xué)習(xí)技術(shù)，實現(xiàn)相同精度所需的標(biāo)記數(shù)據(jù)量減少了40倍！）

鑒于這些結(jié)果，在我們自己的分類問題上嘗試半監(jiān)督學(xué)習(xí)可能會很有趣。那么，什么是半監(jiān)督學(xué)習(xí)呢？它有什么優(yōu)缺點？我們怎樣使用它？

什么是半監(jiān)督學(xué)習(xí)？

顧名思義，半監(jiān)督學(xué)習(xí)介于受監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)之間。受監(jiān)督學(xué)習(xí)采用帶有正確答案（目標(biāo)值）的標(biāo)記過的訓(xùn)練數(shù)據(jù)。在學(xué)習(xí)過程之后，將得到一個經(jīng)過調(diào)優(yōu)的權(quán)重集的模型，這可以用于預(yù)測尚未標(biāo)記的類似數(shù)據(jù)的答案。

半監(jiān)督學(xué)習(xí)同時使用標(biāo)記和未標(biāo)記的數(shù)據(jù)來擬合模型。在某些情況下，比如Alexa的添加未標(biāo)記的數(shù)據(jù)的確提高了模型的準(zhǔn)確性。在其他情況下，未標(biāo)記的數(shù)據(jù)可能會使模型更差。正如我將在下面所討論的，在不同的數(shù)據(jù)特性條件下，不同的算法會有不同的缺點。

一般來說，標(biāo)記數(shù)據(jù)需要花費金錢和時間。這并不總是問題，因為有些數(shù)據(jù)集已經(jīng)有了標(biāo)記。但是如果您有很多數(shù)據(jù)，其中只有一些是標(biāo)記過的，那么半監(jiān)督學(xué)習(xí)這種技術(shù)很值得一試。

半監(jiān)督學(xué)習(xí)算法

半監(jiān)督學(xué)習(xí)至少可以追溯到15年前，甚至更長;威斯康星州大學(xué)的Jerry Zhu在2005年寫了一份文獻(xiàn)調(diào)查。近年來，半監(jiān)督學(xué)習(xí)再次興起（不僅是在亞馬遜），因為它降低了重要基準(zhǔn)的錯誤率。

DeepMind的Sebastian Ruder在2018年4月寫了一篇博文，介紹了一些半監(jiān)督學(xué)習(xí)算法，即創(chuàng)建代理標(biāo)簽的算法：包括自我訓(xùn)練、多視圖學(xué)習(xí)和自我整合。

自我訓(xùn)練使用模型自己對未標(biāo)記數(shù)據(jù)的預(yù)測結(jié)果，將其添加到已標(biāo)記的數(shù)據(jù)集中。實際上，這為預(yù)測的置信水平設(shè)置了一些閾值，通常為0.5甚至更高，高于該閾值時，相信預(yù)測結(jié)果并將其添加到已標(biāo)記的數(shù)據(jù)集中。不斷地重新訓(xùn)練這個模型，直到?jīng)]有更多可信的預(yù)測結(jié)果為止。

這就回避了用于訓(xùn)練的實際模型的問題。和大多數(shù)機(jī)器學(xué)習(xí)一樣，你可能會嘗試每一個合理的候選模型，以期找到一個能很好工作的模型。

自我訓(xùn)練在一定程度上是成功的，可謂是好壞參半。最大的缺點是模型無法糾正自己的錯誤：例如，對異常值高度自信（但錯誤）的預(yù)測可能會破壞整個模型。

多視圖訓(xùn)練在不同的數(shù)據(jù)視圖上訓(xùn)練不同的模型，其中可能包括不同的特征集、不同的模型體系結(jié)構(gòu)和不同的數(shù)據(jù)子集。多視圖訓(xùn)練算法有很多，其中最著名的是三視圖訓(xùn)練。本質(zhì)上，可以創(chuàng)建三個不同的模型;每當(dāng)兩個模型同意一個數(shù)據(jù)點的標(biāo)簽時，該標(biāo)簽就會被添加到第三個模型中。與自我訓(xùn)練一樣，當(dāng)沒有更多的標(biāo)簽被添加到任何一個模型時，就停止了。

自我整合通常使用具有多個不同配置的單個模型。在梯形網(wǎng)絡(luò)方法中，對干凈樣本的預(yù)測結(jié)果被用作隨機(jī)擾動樣本的代理標(biāo)簽，目的是開發(fā)能夠抵制噪聲的特性。

Jerry Zhu在2007年的教程中還考慮了一些其他算法。這包括生成模型（例如，對每一類假設(shè)高斯分布的模型）、半監(jiān)督支持向量機(jī)和基于圖的算法。

云中的半監(jiān)督學(xué)習(xí)

半監(jiān)督學(xué)習(xí)正慢慢進(jìn)入主流的機(jī)器學(xué)習(xí)服務(wù)。例如，Amazon Sagemaker Ground Truth使用Amazon Mechanical Turk對部分圖像集進(jìn)行手動標(biāo)記和邊界確定，并使用神經(jīng)網(wǎng)絡(luò)訓(xùn)練功能對圖像集的其余部分進(jìn)行標(biāo)記。

類似的半監(jiān)督學(xué)習(xí)方法可以用于其他類型的半監(jiān)督學(xué)習(xí)，包括自然語言處理、分類和對多種服務(wù)的回歸。但是，你必須為其中的大多數(shù)算法編寫自己的鏈接代碼。

Martin Heller是InfoWorld的特約編輯和審稿人。他曾是一名網(wǎng)絡(luò)和Windows編程顧問，1986年至2010年間開發(fā)過數(shù)據(jù)庫、軟件和網(wǎng)站。

原文網(wǎng)址

https：//www.infoworld.com/article/3434618/semi-supervised-learning-explained.html