人工智能新突破“HuGE”：讓機(jī)器人高效學(xué)習(xí)的方法

如何讓機(jī)器人更聰明地自主學(xué)習(xí)，是當(dāng)前研究人員探究的重點(diǎn)方向。

為了教會(huì)人工智能一項(xiàng)新任務(wù)，例如如何打開(kāi)廚柜，研究人員通常會(huì)使用強(qiáng)化學(xué)習(xí)方法，即一種試錯(cuò)過(guò)程，在這個(gè)過(guò)程中，如果人工智能采取的行動(dòng)使其更接近目標(biāo)，就會(huì)得到獎(jiǎng)勵(lì)。

在許多情況下，人類專家必須精心設(shè)計(jì)一個(gè)獎(jiǎng)勵(lì)函數(shù)，這是一種激勵(lì)機(jī)制，可以激發(fā)人工智能進(jìn)行探索。當(dāng)人工智能探索并嘗試不同的行動(dòng)時(shí)，人類專家必須反復(fù)更新獎(jiǎng)勵(lì)函數(shù)。這可能會(huì)耗費(fèi)大量時(shí)間，效率低下，而且難以擴(kuò)大規(guī)模，尤其是當(dāng)任務(wù)復(fù)雜且涉及許多步驟時(shí)更是如此。

美國(guó)麻省理工學(xué)院、哈佛大學(xué)和華盛頓大學(xué)的研究人員開(kāi)發(fā)的一種新型強(qiáng)化學(xué)習(xí)方法一一人類引導(dǎo)探索（ HuGE），利用眾包反饋來(lái)高效地教授人工智能復(fù)雜的任務(wù)，在模擬和實(shí)際應(yīng)用中都顯示出良好的效果。

“HuGE”使人工智能能夠在人類的幫助下快速學(xué)習(xí)，即使人類犯了錯(cuò)誤。此外，這種新方法允許異步收集反饋，因此世界各地的非專業(yè)用戶都能為人工智能的教學(xué)作出貢獻(xiàn)。

研究人員將機(jī)器訓(xùn)練過(guò)程分解為兩個(gè)獨(dú)立部分，每個(gè)部分都由獨(dú)立的算法控制。一方面，目標(biāo)選擇器算法會(huì)根據(jù)眾包反饋不斷更新，非專家人員的反饋起到輔助引導(dǎo)作用；另一方面，智能體會(huì)在指導(dǎo)下以自我監(jiān)督的方式自行探索，這種探索可以自主循環(huán)式進(jìn)行。這樣一來(lái)，即使非專家用戶有時(shí)反饋的信息不準(zhǔn)確（數(shù)據(jù)噪聲），也不會(huì)造成太大影響，智能體最終還是可以完成學(xué)習(xí)任務(wù)。

原理提出后，有人表示疑惑，“HuGE”訓(xùn)練方法是否真的能幫助智能體提高學(xué)習(xí)效率呢？

研究人員在一些模擬任務(wù)和實(shí)際任務(wù)中測(cè)試了這種方法。在模擬任務(wù)中，他們使用“HuGE”有效地學(xué)習(xí)了具有較長(zhǎng)操作序列的任務(wù)，例如按照特定順序堆疊積木或在大型迷宮中導(dǎo)航。

在真實(shí)世界的測(cè)試中，他們利用“HuGE”訓(xùn)練機(jī)械臂繪制字母U，以及取放物品。在這些測(cè)試中，他們從橫跨三大洲13個(gè)不同國(guó)家的109位非專家用戶那里獲得了眾包數(shù)據(jù)。

在真實(shí)世界和模擬實(shí)驗(yàn)中，“HuGE”比其他方法更快地幫助機(jī)器人學(xué)會(huì)實(shí)現(xiàn)目標(biāo)。

研究人員還發(fā)現(xiàn)，與研究人員制作和標(biāo)注的合成數(shù)據(jù)相比，從非專家那里眾包的數(shù)據(jù)性能更好。對(duì)于非專業(yè)用戶來(lái)說(shuō)，標(biāo)注30張圖片或視頻所需的時(shí)間不到兩分鐘。

研究人員發(fā)表了一篇相關(guān)論文，他們對(duì)“HuGE”進(jìn)行了改進(jìn)，使人工智能能夠?qū)W會(huì)執(zhí)行任務(wù)，然后自主重置環(huán)境繼續(xù)學(xué)習(xí)。例如，如果人工智能學(xué)會(huì)了打開(kāi)櫥柜，該方法也會(huì)引導(dǎo)人工智能關(guān)閉櫥柜。

研究人員表示， “未來(lái)，這種方法可以幫助機(jī)器人快速學(xué)習(xí)在用戶家中執(zhí)行特定任務(wù)，而無(wú)需主人向機(jī)器人展示每個(gè)任務(wù)的物理示例。機(jī)器人可以自行探索，并通過(guò)眾包的非專家反饋來(lái)指導(dǎo)其探索。”

研究人員還強(qiáng)調(diào)，在這種學(xué)習(xí)方法和其他學(xué)習(xí)方法中，確保智能體與人類價(jià)值觀保持一致至關(guān)重要。他們表示，“下一階段將繼續(xù)完善‘HuGE’，以便智能體可以從其他形式的通信中學(xué)習(xí)，例如自然語(yǔ)言和與機(jī)器人的物理交互。也有興趣應(yīng)用這種方法來(lái)同時(shí)教授多個(gè)智能體。”

未來(lái)，他們希望繼續(xù)改進(jìn)“HuGE”，使人工智能能夠從其他形式的交流中學(xué)習(xí)，如自然語(yǔ)言和與機(jī)器人的身體互動(dòng)。他們還有興趣將這種方法用于同時(shí)教授多個(gè)人工智能機(jī)器人。（綜合整理報(bào)道）（策劃／黃李玲）