虛擬現實與人機交互專題論壇：推動和諧自然交互

劉晶

編者按：10月21日，2019年世界VR產業大會云計算和大數據國家重點專項虛擬現實與人機交互專題分論壇在南昌舉辦，論壇由云計算和大數據國家重點專項總體專家組、北京理工大學承辦，江西省科技廳、紫光云技術有限公司協辦。來自各大研究機構的首席科學家、研究領域的領軍學者就虛擬現實環境下的人機互動課題，分享了最前沿進展。本報摘登部分精彩演講，以饗讀者。

史元春：

挖掘人機交互自然性計算原理

我所負責的人機交互自然形態的計算原理這個項目，是系統研究人的基本交互信息處理能力、計算機所提供的交互信道和人機交互情境三個層面上交互自然性的計算原理。它揭示和建立交互自然性的生理心理機理及計算模型、自然交互模態的信道特征與交互語義、基于情境的交互路徑優化原理，創新地建立優化目標明確、量化的自然交互計算框架和評價體系，為穿戴設備、智能空間、VR/AR、機器人等領域自然交互技術的研發提供理論依據和優化方法。

我們的預期成果包括以下方面。一是兩項新理論，即面向自然交互的用戶信息處理模型和自然交互計算框架。二是三項新原理，面向連續與不確定動作的交互輸入行為識別原理、面向海量信息呈現需求的視聽觸聯覺呈現的機制、基于可穿戴心理生理測量的自然交互認知狀態識別原理。三是一項新方法，面向復雜情境的用戶心理建模方法。四是一項新技術，基于無線射頻技術的云端融合情境感知技術。五是兩項新裝置，支持多模態輸入的光學透射式智能顯示穿戴設備和新型穿戴式多指力觸覺交互裝置。

我們分析了自然交互中人的認知特征，對人的感知和認知規律進行了研究。我們建立了超小目標的點擊能力模型，首次提出觸摸點擊速度和精度的雙極模型，統一解釋閉環和開環運動控制。首次建立盲觸摸條件下的相對運動控制機制，首次提出并驗證了僅憑借肌肉記憶觸摸時的相對運動控制機制，基于此原理實現的盲鍵盤輸入可以達到25單詞每分鐘。

宋愛國：

探索云端融合自然交互技術

自然人機交互有多種方式，包括語音的交互、生理通道的交互、數據頭套與手勢的交互、運動捕捉和體感交互。

我們主要的的創新性成果是有源無源器件結合的小型可穿戴力觸覺反饋裝置，具有觸覺反饋的多通道三維書空筆式交互技術與裝置和基于肌電生理信息的手勢識別算法與裝置。

有源無源器件結合的小型可穿戴力觸覺反饋裝置，突破了有源和無源器件結合的手指力覺反饋的小型化關鍵技術，研制了系列小型力反饋執行器;提出了多種觸感震動信號調制方式及控制算法，顯著提升了觸覺交互裝置的用戶體驗。

具有觸覺反饋的多通道三維書空筆式交互技術與裝置，突破了大空間超聲波三維高精度無線定位技術，以及筆式、觸覺、語音、手勢、姿態和觸控的多通道自然融合技術，研發了支持大空間非接觸三維書空模式的多通道筆式交互裝置。

基于肌電生理信息的手勢識別算法與裝置，在手勢識別方面，研制了基于肌電的無線穿戴式手勢獲取識別裝置，創新地把肌電信號轉化為肌電圖像，提出了基于深度學習的高準確率手勢識別算法。傳統的肌電識別轉化為肌電圖像識別，我們可以識別精確的手部動作，像53個啞語動作可以準確的識別，對啞語信號的識別率可以達到90%。

田豐：

實現智能時代人機交互

通過這幾年的共同努力，我們有幾個代表性的成果。一是穿戴式全身體感交互設備，全身動作捕捉模塊可以感知身體的行為，知道人手的精細動作，實時感知人的生理體征。我們可以支持百平米的激光定位，可以支持手指關節電阻模型的感知和理解。基于柔性傳感感知數據模塊，可以實時感知人的心電。整個課題是由電子科技大學牽頭。

二是大幅面高分辨觸控設備，怎么樣解決計算量上升的問題，怎么樣解決響應速度降低的問題。我們提出了間距為6毫米的高密度并行傳感器網絡的設計方案，精度可以達到0.1毫米。同時在上面有些實物交互的界面，可以在教育、辦公等領域有很好的應用。

三是多感知交互技術，目前可以支持表情、手勢、筆觸控、眼動、生理等幾個通道的輸入。比如表情技術可以感知人的人臉，情感交互技術目前可以做到對人幾種基本情緒，比如驚訝、大笑等做有效的理解。目前我們跟小愛機器人合作建立聯合實驗室，希望讓機器人對人的表情有基本理解。

吳楓：

以多通道感知發展綜合智能

我們的思路是希望像人一樣，人的大腦是分了幾百個區域，不同區域會接受不同的信息，然后做不同的處理，這些處理的信息又在其他的腦區進行綜合，所以是多通道的感知，多腦區的協同。這種情感的機器人，需要把感知處理、理解決策整合起來。

人腦分了很多功能區域，包括聽覺、視覺、感知、運動和嗅覺等等，區域之間相互如何作用，目前來講還是未知的。傳統辦法主要是掃描區域進行分析，我們是希望用大量的數據對規模腦區進行分析。同時我們研究腦區相互作用，更多是研究視聽覺下腦區的活動模式，這對我們視聽覺綜合處理在人工智能這塊提供了啟發。我們在關鍵技術理論取得了突破，包括語音的識別和合成。在自然環境下，周圍有噪音，可能有多個人講話，機器這時候就會弄不清楚究竟要關注哪個人。這時候就需要在多語音的場景下，用語音分辨方法獲得最好的性能。我們提出了新的模型，性能也有很大的提高。

李遠清：

以腦機交互實現設備控制設備

我們采集腦信號然后進行信號處理，然后用設備來控制設備，效果反饋給用戶，用戶根據反饋效果調整策略，然后來調整性能，這是腦機交互的簡單原理。大家可以打開思維去想象，可以控制的東西有很多，包括虛擬現實。控制虛擬現實里面的虛擬對象，這也是很好的方向。

我們采集信號是在頭皮，用對大腦沒有傷害的方式采集信號，整體技術在逐步提高，并且提高得很快。我們把多種智能技術結合起來，把虛擬現實和腦機技術結合起來，還有可穿戴和臨床應用等方向。我們主要關注兩個問題，一個是多自由度控制，另一個是檢測性能的提高，主要方法就是混合/多模態的腦機接口。

腦機交互的一種應用是意識檢測，意識檢測主要是針對意識障礙病人，通常講就是植物人。醫生原來只能根據觀察看有什么樣的表現，所以誤診率非常高。我們用設備來做意識檢測，如讓病人認照片，分辨能不能聽懂醫生的話，可以判斷他有沒有意識。

金小剛：

推動多源數據的高效場景建模

虛擬現實是把物理世界數字化，它可能是一項顛覆性技術，是未來互聯網的入口跟交互環境，發展非常迅速。

要創建虛擬現實環境，首先要建模。建模有很多軟件，繪制也有很多軟件，但是軟件存在幾個問題：數據源比較單一，建好的模型通常缺乏語音信息，建模跟繪制的云平臺也比較缺乏。我們圍繞這幾個關鍵挑戰研發建模軟件跟繪制平臺，我們解決建模效率低、質量差的問題。現實場景我們知道這是什么事情，如果充分利用語音系統，可以大幅度提升虛擬現實建模和繪制引擎的速度。此外要實現云端融合，很多場景非常大，同時也要適用于手機、PAD、臺式機等各種平臺。

在場景建模方面，我們提出了復雜場景多元數據融合和優化的方法，這種方法充分利用場景結果，有局部的結構信息，也有整體的結構信息，我們把局部和整體結構信息相結合，這樣可以提高數據質量。針對大尺度場景，比如城市場景或者搶險救災，我們提出了大規模分布式解決方案，這個解決方案是為了城市場景快速重建的問題。目前已經采集了天津大學城區近5平方公里的場景，構造了大規模數據集，這方面的工作已經獲得了《中國科學》的報道，還有相關媒體的轉播。

汪國平：

致力發展國產仿真引擎

仿真跟VR相關，VR跟感觀的感受相關，但是VR真正產業落地，必須跟仿真結合起來。而且仿真技術本身是一種重要的科學驗證手段，仿真軟件系統或者模塊一直以來就受到國內外的青睞，目前我們產業中使用的仿真軟件基本上是國外的，國產的仿真軟件幾乎沒有。尤其是當前形勢下，發展國產的仿真引擎尤為重要。

仿真的研究對象可以從氣體、流體、固體等各種維度做，仿真的介質很多種，彈性體、塑性體、流體等。對于超線性的關系，用工程計算可能就算不出來。例如醫療中，血管流體算出來就很費勁;在仿真鉆井平臺中，空氣環境、海洋對鉆井平臺會有影響，這是非常復雜的仿真過程。

我們的一個成果就是研發了仿真引擎，這個引擎是開源的，開發時間已經很長，從物理對象到仿真方法全維度進行了全面構建。對塑性體、彈性體、多像多態流固等等都有研究，目前針對這些介質提供了各種各樣的仿真方法，也在很多場合得到應用。

王黨校：

從基礎理論研究多模態交互

圍繞大數據增量交互的問題，我們重點研究大數據多模態增量式交互的推理和方法。圍繞多模態協同的問題從兩個方面研究，一個是計算機如何去感知用戶的交互意圖，實現魯棒多模態的協同感知;另一個是從計算機的信息呈現和反饋，研究視聽觸虛實配準，強真實感混合呈現的方法。針對個性化的用途理解，實現時空深度融合的用戶意圖理解。

項目包括5個課題，以研究基礎理論來支撐課題二、三、四，從感知、呈現和用戶意圖理解三個方面，最終構建人機交互虛擬現實示范應用系統。課題二是利用多傳感器技術手段對用戶的意圖進行協同感知，這塊取得了很多進展。我們希望構建幾個典型的應用，其中之一就是虛擬購物的系統，用戶可以在虛擬場景觸摸和看到、聽到虛擬商品的信息，實現多模態的交互。

王瓊華：

面向桌面真三維顯示展開研究

顯示技術是無處不在，現在每個人在顯示屏前的時間據統計至少是5個小時。顯示技術在快速發展中也存在一些問題，比如說常規顯示都是二維的，在虛擬現實應用中，因為VR用的設備是頭戴式的，很難與其他人分享。即便是做成了常規的三維顯示，也具有視疲勞問題。

基于這種問題，科技部在云計算大數據中立了一個題目：面向大數據應用的桌面實時真三維顯示技術，有11家單位參加，我是項目負責人。項目的主要目標是從少數人觀看的墻面顯示轉向眾多人觀看的桌面顯示，從容易產生視疲勞的顯示到真三維顯示，從純圖象的被動觀看到實時融合的交互顯示。

桌面真3D顯示的應用場景很多，特有環視效果可用在醫學、教育、軍民用電子沙盤、建筑模型展覽，以及3D游戲、會議和教育系統等方面。桌面真三維顯示技術由幾層結構構成，首先有顯示圖象的2D屏，我們再加透鏡陣列實現空間成像，有視覺導向層，以及保障圖象連續性的擴散光學層，通過這種方式可以把2D圖象作3D呈現。

潘志庚：

研發面向實驗多模態人機交互技術

VR和人機交互有很多年的發展歷史，我在國內做得比較早，從1992年就做這方面的研究，在教育方面也做了很多實驗，中學實驗中看不見、看不清或者有危險的，可以通過VR的方法來解決。為了增強具體實驗的體驗，實驗要使用多模態人機交互的方法讓學生有體驗，而不是簡單放在屏幕上去看看。

項目要解決的問題主要是幾個方面，包括研發面向實驗多模態人機交互技術，包括中學實驗行為評價。大家知道做實驗的時候，有些地方是通過專人觀察進行評估，主觀因素比較多。我們開發云端的智能實驗學習環境和開放平臺。

陶建華：

面向移動辦公研究智能交互關鍵技術

移動辦公市場在這幾年變化非常大，未來五年據很多人預測將上升270%。從未來發展的角度來說，我們希望構建虛實融合的方式，把信息傳遞多樣化融入進來，改善移動辦公的體驗。

在我們項目的支持下，我們構建了幾個重要的研究工作，這些研究工作包括多通道信息輸入和內容編輯的工作，主要是針對個人辦公的環境。還有多終端協同呈現和沉浸式顯示，這主要是面向辦公，辦公除了個人辦公環境以外還有很重要的場景就是利用移動辦公平臺構建會議系統，還有多模態融合的智能終端以及智能移動的辦公重建等。

陳為：

實現虛擬場景中虛實結合可迅速挖掘關聯要素

我講三個趨勢，一是虛擬現實的應用和產業大部分集中在現實世界的模擬和呈現，主要呈現的是真實物理世界。隨著智能制造、數據孿生的應用，在虛擬場景中虛實融合，尤其是和大數據融合，可以把場景中的要素和關聯關系迅速挖掘出來。二是在虛擬現實領域可以和社交化結合起來，由于頭盔和其他呈現設備沒有達到非常好用的地步，所以在VR的游戲社交方面做得很少;在課堂里面，如果有VR頭盔，在老師和學生在虛擬世界中進行互動，可以達到遠程教育的目的。三是暢想在頭盔成為很好的呈現設備的時候，可以讓辦公的人戴輕便或者無感知的VR設備，接上鼠標和鍵盤，實現辦公自動化。

李波：

感知是虛擬現實關注重點

感知方面是虛擬現實要重點關注的，無論是智能系統還是虛擬現實系統，如果信息感知沒有進來、沒有充足的信息，后面的事都不容易做。人類有多種感知，虛擬現實也是如此，希望把人類多種感知的手段做起來，我覺得這是很重要的，這是輸入端。在輸出上，包括以什么樣的方式展現都是要多下工夫的。智能分析、智能理解在虛擬現實里面肯定很重要，我認為其中的輸入和輸出是非常重要的。

沈一棟：

做到真正人機交互和協同還有很長的路

從基礎研究角度看，現在還沒有真正的人機交互。交互是雙方的，但現在主要是針對機器，很多產品、技術基本上是對計算機輸入的識別。但我們需要交互，甚至需要協同，真正做到這一步的路還很長。我在這里提個不成熟的想法，把VR和真正的人機交互協同起來做一件事情，比如能不能實現人機交互的繪畫，一邊是很知名的畫家在畫畫，另一邊是機器在畫畫，如果這個能夠通過評價，VR和人機交互的融合也就成了。

趙耀：

設備要向小型化無感知化方向發展

在人機交互中，和諧自然的交互方式是非常重要的研究方向。人和計算機之間的交互，也應該像人和人之間的交互一樣的和諧和自然，所以我覺得這塊應該是我們研究非常重要的點。作為感知的設備和展示的設備，要更多向小型化、無感知化方向發展。如果頭盔特別重、特別大，戴在頭上，我們會感覺不自然，所以我覺得從這些感知設備來講，應該沿著小型化、無感知化方向發展。