機(jī)器人“聽(tīng)音識(shí)物”，準(zhǔn)確率接近百分之八十

近年來(lái)，機(jī)器人各個(gè)方面的能力都在快速追趕人類，甚至在某些領(lǐng)域已經(jīng)超過(guò)人類。在這一過(guò)程中，科學(xué)家和工程師們最喜歡在機(jī)器人身上打造出類似人類的感官模式，以更好地感知世界。不過(guò)現(xiàn)階段的很多技術(shù)都只專注于再現(xiàn)人類的視覺(jué)和觸覺(jué)，比如炙手可熱的計(jì)算機(jī)視覺(jué)技術(shù)。相比之下，復(fù)制人類其他感官的研究卻沒(méi)有太多進(jìn)展。

卡內(nèi)基梅隆大學(xué)（CMU）的研究小組近日發(fā)表一項(xiàng)新成果——探索如何利用聲音開(kāi)發(fā)感知功能更先進(jìn)的機(jī)器人。他們將機(jī)器人命名為 Tilt-Bot，字面意思是 “傾斜機(jī)器人”，實(shí)際上它是一臺(tái)通過(guò)傾斜托盤研究物體運(yùn)動(dòng)和聲音之間關(guān)系的機(jī)器，訓(xùn)練后可以實(shí)現(xiàn)一定程度的 “聽(tīng)音識(shí)物”，準(zhǔn)確率接近 80%。研究成果以論文的形式發(fā)表在《機(jī)器人學(xué)：科學(xué)與系統(tǒng)》 Robotics： Science and Systems 上。

聽(tīng)覺(jué)與視覺(jué)、觸覺(jué)一樣，都是人類收集信息的重要渠道。那么聽(tīng)覺(jué)可以為機(jī)器人帶來(lái)什么呢？在回答這個(gè)問(wèn)題之前，我們可以想象一下沒(méi)有聲音的世界。在這種情況下，我們將極度依賴視覺(jué)系統(tǒng)收集信息。看視頻必須有字幕，與別人溝通必須用文字和手勢(shì)，永遠(yuǎn)不知道背后是不是走過(guò)來(lái)一個(gè)人，除非轉(zhuǎn)過(guò)頭去看。即使眼睛和手可以代勞，很多關(guān)鍵信息也無(wú)法準(zhǔn)確傳達(dá)，比如語(yǔ)氣、聲調(diào)以及這些變量背后的潛臺(tái)詞和深意。

機(jī)器人也面臨著相似的苦惱：感知物理世界的渠道太過(guò)單一，依賴性過(guò)強(qiáng)，因此無(wú)法有效利用普遍存在的信息。如果能有效收集聲音數(shù)據(jù)，再配合上視覺(jué)信息，它們對(duì)環(huán)境的感知力將大幅提升。CMU 團(tuán)隊(duì)以此為核心思想，設(shè)計(jì)出了 Tilt-Bot 機(jī)器人。它本質(zhì)上是一臺(tái)托盤機(jī)器人，由擁有多個(gè)關(guān)節(jié)的機(jī)械臂、托盤和固定裝置組成，托盤四周有邊框，上面貼著用于記錄物體撞擊的聲波捕捉裝置。托盤的正上方還固定了一個(gè)攝像頭，用于捕捉物體運(yùn)動(dòng)軌跡，后期再與聲音變化相匹配。

實(shí)驗(yàn)時(shí)，研究人員會(huì)把不同的物體放到托盤中，機(jī)械臂隨后開(kāi)始向前后左右傾斜，托盤中的物體也隨之移動(dòng)。如果傾斜過(guò)大，物體就會(huì)撞到邊框并發(fā)出響聲，撞擊力度越大，捕捉到的聲波波峰也就越高。團(tuán)隊(duì)總共收集了 60 個(gè)不同物體的 1.5 萬(wàn)次交互記錄，每組記錄都包含匹配的視頻和音頻數(shù)據(jù)。他們用這些數(shù)據(jù)創(chuàng)建了全新的圖像 + 音頻數(shù)據(jù)集，用于訓(xùn)練機(jī)器人在動(dòng)作、圖像和聲音之間建立有意義的聯(lián)系。

一個(gè)有趣的發(fā)現(xiàn)是，受過(guò)訓(xùn)練的機(jī)器人只需要分析物體滑動(dòng)和撞擊的聲音記錄，就可以區(qū)分不同物體。即使同是金屬質(zhì)地的螺絲刀和扳手也可以成功分辨，總體成功率接近 80%。這意味著訓(xùn)練機(jī)器人學(xué)習(xí)物體的音頻表示形式是有意義的。另一個(gè)更有價(jià)值的發(fā)現(xiàn)是，音頻有時(shí)比視覺(jué)提供的有價(jià)值信息更多，或者說(shuō)適用面更廣。由于聲音是以聲波的形式傳播的，其傳播軌跡更直觀，可以更有效地預(yù)測(cè)物體未來(lái)的運(yùn)動(dòng)軌跡，從而幫助機(jī)器人更好地控制物體。用從未見(jiàn)過(guò)的物體測(cè)試機(jī)器人性能時(shí)，如果同時(shí)使用視頻和音頻數(shù)據(jù)，那么它預(yù)測(cè)如何更好操控物體的表現(xiàn)相較于只使用視頻時(shí)提升了 24%。

包含音頻和視頻的數(shù)據(jù)集可以幫助更多人開(kāi)發(fā)機(jī)器人，尤其當(dāng)它們被派去執(zhí)行的任務(wù)需要兩者兼顧時(shí)。研究團(tuán)隊(duì)表示現(xiàn)在的成果只是第一步，未來(lái)將探索聲音數(shù)據(jù)分析還能挖掘出機(jī)器人的哪些潛力，進(jìn)一步提高它們的感知能力，并且將其運(yùn)用到更實(shí)際的任務(wù)中。“這些初步研究成果是令人興奮的，證明了機(jī)器僅憑聲音就能識(shí)別出物體類型，” 研究人員萊雷爾·平托表示，“這樣一來(lái)，機(jī)器人執(zhí)行任務(wù)的時(shí)候就可以更有針對(duì)性，比如學(xué)會(huì)區(qū)別對(duì)待空酒杯和滿酒杯。”

（摘自美《深科技》）（編輯/多洛米）