索尼VR手柄安裝62個(gè)傳感器 可精準(zhǔn)再現(xiàn)每個(gè)手指動(dòng)作

近日，索尼研究人員研發(fā)出一款VR手柄，可以較精準(zhǔn)地跟蹤玩家手指的動(dòng)作，這一技術(shù)或?qū)⒂糜谒髂嵯乱淮鶳S游戲機(jī)。

VR提供一種沉浸式體驗(yàn)，手勢(shì)的自然交互對(duì)于用戶的體驗(yàn)十分重要，但現(xiàn)有的VR手柄在這一點(diǎn)上存在缺陷，能夠感知到的手部動(dòng)作較少。索尼研發(fā)的VR手柄克服了這一局限性，可以較精準(zhǔn)地再現(xiàn)用戶每個(gè)手指的動(dòng)作。

索尼研究人員設(shè)想，可以結(jié)合電容式傳感器和神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)更精準(zhǔn)的手勢(shì)追蹤，用手柄上的電容式傳感器檢測(cè)出用戶手勢(shì)變化，用神經(jīng)網(wǎng)絡(luò)模型預(yù)測(cè)出用戶手指在三維空間的運(yùn)動(dòng)情況。基于上述設(shè)想，索尼研究人員設(shè)計(jì)出VR手柄原型。

首先，研究人員在手柄握把部分安裝62個(gè)電容式接近傳感器，使傳感器盡可能多地覆蓋手柄曲面和頂面。然后，他們又為神經(jīng)網(wǎng)絡(luò)模型建立訓(xùn)練集。選擇12位手形不同的人（男性8人，女性4人）作為參與者，用動(dòng)作捕捉系統(tǒng)OptiTrack以60幀率捕捉參與者動(dòng)作。每個(gè)參與者用右手做出11套不同手勢(shì)。每個(gè)動(dòng)作重復(fù)4次，前3次用于訓(xùn)練，第四次用于驗(yàn)證。據(jù)介紹，準(zhǔn)備好的訓(xùn)練集包含344015幀圖像，驗(yàn)證集包含111165幀圖像。

研究人員基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）ResNet-18構(gòu)建直接回歸網(wǎng)絡(luò)（Direct Regression Network），基于2.5D熱圖回歸架構(gòu)（2.5D heatmap regression architecture）構(gòu)建熱圖檢測(cè)網(wǎng)絡(luò)（Heatmap Detection Network）。最終，他們用驗(yàn)證數(shù)據(jù)集評(píng)估了兩個(gè)神經(jīng)網(wǎng)絡(luò)模型的性能。結(jié)果顯示，直接回歸神經(jīng)網(wǎng)絡(luò)模型更精確地預(yù)測(cè)了手部動(dòng)作。