電子皮膚作為人機(jī)交互界面的機(jī)器人VR真實(shí)再現(xiàn)觸覺(jué)感知，助力元宇宙現(xiàn)實(shí)落地

人機(jī)界面是用戶和機(jī)器及機(jī)器人之間互動(dòng)的媒介。

遠(yuǎn)程操作機(jī)器的人機(jī)界面在醫(yī)療健康（非接觸性生物樣本收集或護(hù)理傳染病患者）、沉浸式游戲或社交、教育培訓(xùn)、假肢或外骨骼控制和極端環(huán)境操作等眾多領(lǐng)域都有著巨大應(yīng)用價(jià)值。

然而，傳統(tǒng)的人機(jī)界面在可穿戴性、舒適性和功能方面有較多限制，其使用的機(jī)器笨重且昂貴，同時(shí)還缺乏足夠的反饋。因此，開(kāi)發(fā)具有精確傳感和反饋功能的閉環(huán)人機(jī)界面變得十分重要。

近日，中國(guó)香港城市大學(xué)團(tuán)隊(duì)提出了一種基于皮膚集成電子設(shè)備的閉環(huán)人機(jī)界面系統(tǒng)。該電子設(shè)備與人的全身兼容，可通過(guò)近場(chǎng)通信、藍(lán)牙、Wi-Fi乃至全球范圍內(nèi)互聯(lián)網(wǎng)進(jìn)行無(wú)線運(yùn)動(dòng)捕捉和觸覺(jué)反饋。通過(guò)皮膚集成的電子設(shè)備將視覺(jué)和觸覺(jué)感知集成到機(jī)器人VR的閉環(huán)人機(jī)界面中。

相關(guān)論文以《電子皮膚作為機(jī)器人VR的無(wú)線人機(jī)界面》為題發(fā)表。中國(guó)香港城市大學(xué)生物醫(yī)學(xué)工程系博士生劉一明為該論文第一作者，中國(guó)香港城市大學(xué)軟生物電子學(xué)實(shí)驗(yàn)室負(fù)責(zé)人于欣格為通訊作者。

據(jù)了解，中國(guó)香港城市大學(xué)軟生物電子學(xué)實(shí)驗(yàn)室致力于開(kāi)發(fā)柔性觸覺(jué)反饋界面、可穿戴電子和生物電子器件，例如可以真實(shí)再現(xiàn)觸覺(jué)感知的皮膚VR、具有兼容物理和化學(xué)特性的生物醫(yī)學(xué)電子設(shè)備，以及實(shí)時(shí)健康監(jiān)測(cè)產(chǎn)品。同時(shí)，該實(shí)驗(yàn)室還進(jìn)行多學(xué)科研究，以應(yīng)對(duì)實(shí)際應(yīng)用中的挑戰(zhàn)。

為了打造新型生物集成電子器件，該實(shí)驗(yàn)室專注于開(kāi)發(fā)和工程化功能材料、設(shè)計(jì)和制作用于傳感、控制和驅(qū)動(dòng)的不同尺度傳感器件、集成和優(yōu)化系統(tǒng)級(jí)電子設(shè)備。

該論文中介紹了一個(gè)皮膚集成電子系統(tǒng)，其可作為一個(gè)帶有類皮膚傳感器和小型化軟驅(qū)動(dòng)器的無(wú)線控制人機(jī)界面。同時(shí)，研究團(tuán)隊(duì)對(duì)它的材料選擇、設(shè)備設(shè)計(jì)、集成策略和系統(tǒng)布局也做了完整說(shuō)明。

近年來(lái)，柔性電子設(shè)備得到快速發(fā)展。目前，各種柔性傳感器被用來(lái)檢測(cè)電生理信號(hào)，如腦電圖、眼電圖和肌電圖或捕獲人體運(yùn)動(dòng)，這些信息同時(shí)被轉(zhuǎn)換為機(jī)器人控制指令。

柔性傳感器可以直接安裝在身體的不同關(guān)節(jié)，并能夠準(zhǔn)確捕捉身體不同程度的彎曲變化。此外，相同的傳感器還可作為機(jī)器人上的壓力傳感器， 用于檢測(cè)機(jī)器人的活動(dòng)。

然而，目前的柔性/可穿戴式人機(jī)界面只能從身體的局部（ 例如手或手臂） 獲取信息，而且，由于缺乏必要的自我調(diào)節(jié)行為反饋系統(tǒng)， 其很難在動(dòng)態(tài)環(huán)境中執(zhí)行復(fù)雜任務(wù)。

因此，為了進(jìn)一步提升先進(jìn)機(jī)器人的控制，閉環(huán)可穿戴系統(tǒng)的人機(jī)界面的發(fā)展極其關(guān)鍵。

作為下一代人機(jī)界面，閉環(huán)人機(jī)界面能夠靈活地與皮膚集成，準(zhǔn)確捕獲廣泛的身體運(yùn)動(dòng)信息;且具有遠(yuǎn)程無(wú)線傳輸功能，在聯(lián)網(wǎng)情況下，用戶在世界任何角落都能發(fā)布指令來(lái)操作目標(biāo)設(shè)備。

同時(shí)，其還擁有良好的反饋系統(tǒng)，用戶可從機(jī)器人那里同步接收信息，以及時(shí)進(jìn)行指令調(diào)整。

閉環(huán)人機(jī)界面系統(tǒng)通過(guò)視覺(jué)、聽(tīng)覺(jué)和觸覺(jué)VR結(jié)合的方式與機(jī)器人進(jìn)行交互，實(shí)現(xiàn)了機(jī)器人VR的廣泛應(yīng)用。

從上圖可看到，護(hù)士戴上閉環(huán)人機(jī)界面，便能通過(guò)遠(yuǎn)程操作機(jī)器人來(lái)虛擬讀取溫度計(jì)示數(shù)。

而當(dāng)閉環(huán)人機(jī)界面用在假肢或外骨骼上時(shí)，用戶可以根據(jù)觸覺(jué)反饋的強(qiáng)度，精確地控制假肢的彎曲角度和力量。這彌補(bǔ)了傳統(tǒng)技術(shù)中反饋不足的問(wèn)題，可以更為精細(xì)地對(duì)機(jī)器人進(jìn)行控制與感知。

另外， 研究測(cè)試結(jié)果還顯示， 柔性傳感設(shè)備能夠長(zhǎng)時(shí)間穩(wěn)定運(yùn)行， 不會(huì)輕易從皮膚脫落。

然后，當(dāng)人們身穿閉環(huán)人機(jī)界面系統(tǒng)的電子皮膚，可通過(guò)VR與機(jī)器人進(jìn)行實(shí)時(shí)交互， 完成各種復(fù)雜的任務(wù)，包括蹲伏、房間清潔和病人護(hù)理等。

值得一提的是，如今，新冠疫情仍在全球蔓延。為了排查病毒感染者，人們通常都需要做核酸檢測(cè)。而利用機(jī)器人VR技術(shù)，醫(yī)務(wù)人員可在實(shí)時(shí)視覺(jué)信息和觸覺(jué)反饋的幫助下，通過(guò)遠(yuǎn)程操作機(jī)械手來(lái)進(jìn)行鼻咽拭子的樣本采集。這既能減輕有限的醫(yī)療資源及人力壓力，又可減少醫(yī)務(wù)人員暴露于傳染性環(huán)境的風(fēng)險(xiǎn)。

除此之外，近來(lái)，元宇宙概念大熱，雖然其目前還沒(méi)有一個(gè)統(tǒng)一的定義，未來(lái)發(fā)展也有待商榷，但VR普遍被認(rèn)為是其一個(gè)入口，不少科技公司都在此有著巨大投入。而觸覺(jué)反饋技術(shù)在一定程度上決定了元宇宙概念的高度。比如，聲稱為了全力發(fā)展元宇宙而改名為Meta的臉書(shū)，近期也展示了一款觸覺(jué)手套，可讓佩戴者在VR中體驗(yàn)現(xiàn)實(shí)中的一系列真實(shí)感覺(jué)。

最后，總的來(lái)說(shuō)，該論文中介紹的皮膚集成閉環(huán)人機(jī)界面，在形式和功能上與以前的可穿戴式人機(jī)界面都有著明顯區(qū)別。其對(duì)人機(jī)交互系統(tǒng)中材料、設(shè)備和集成方案的廣泛實(shí)驗(yàn)和理論研究，為機(jī)器人VR的開(kāi)發(fā)奠定了堅(jiān)實(shí)的基礎(chǔ)。