
















收稿日期:2022-05-10;修回日期:2022-07-07" 基金項目:國家自然科學基金資助項目(52065010);國家重點研發計劃資助項目(2019YFB1312704);貴州省科技廳支撐計劃資助項目([2022]008);貴陽市科技局成果轉化項目(筑科合同[2021]7-3)
作者簡介:孫佳(1997-),女,貴州貴陽人,碩士研究生,主要研究方向為信息與交互設計、虛擬現實;呂健(1983-),男(通信作者),河北承德人,副教授,博士,主要研究方向為工業設計、交互設計(jlv@gzu.edu.cn);潘偉杰(1983-),男,河南漯河人,副教授,博士,主要研究方向為人機融合、交互設計;徐兆(1996-),女,貴州貴陽人,碩士研究生,主要研究方向為工業設計、虛擬現實.
摘 要:針對虛擬現實交互(virtual reality interaction,VRI)中環境限制導致使用手的操作效率較低的問題,提出了虛擬現實中手重映射的固定偏移檢測閾值估計方法以提高使用手的操作效率,該方法從人的心理感知出發,引入心理測量函數計算出偏移檢測閾值從而提升交互體驗。首先,根據雙選擇強制選擇(two alternative forced choice,2AFC)理論設計實驗,記錄被試者使用不同偏移的虛擬手完成目標抓取任務過程中的感覺差異作為評價標準,同時記錄被試者完成任務的時間,根據心理測量函數(Quickpsy)對感覺差異進行計算,估計重映射交互的檢測閾值;通過協方差確定虛擬手偏移量超過閾值后的方向、幅度和軸向及其相互作用是影響觸碰任務性能的顯著因素,若在閾值范圍內,上述因素就不再影響任務性能;最后,以某虛擬現實(virtual reality,VR)醫院物資智能配送系統為例驗證所提方法的可行性。研究結果表明,適當的偏移縮短了用戶完成觸碰任務的時間,能夠在提升交互效率的同時降低傳統偏移量計算方法對VR的交互保真度的影響。
關鍵詞:檢測閾值;重映射;心理測量函數;人機交互;虛擬現實
中圖分類號:TP391.9"" 文獻標志碼:A
文章編號:1001-3695(2022)12-028-3706-07
doi:10.19734/j.issn.1001-3695.2022.05.0240
Research on offset detection thresholds of hand remapping in virtual reality
Sun Jia,Lyu Jian,Pan Weijie,Xu Zhao
(Key Laboratory of Advanced Manufacturing Technology of the Ministry of Education,Guizhou University,Guiyang 550025,China)
Abstract:In order to solve the problem of low operating efficiency caused by environmental constraints VRI,this paper proposed a fixed offset detection threshold estimation method based on hand remapping in virtual reality to improve the operating efficiency of using hands.This method started from people’s psychological perception and introduced a psychometric function to calculate the offset detection threshold to improve the interactive experience.Specifically,it first designed an experiment according to the two alternative forced choice(2AFC) theory,and recorded the differences of the subjects’ sensations in the process of completing the target grasping task using different offset virtual hands as the evaluation criteria,while recorded the time that the subjects completed the task.According to the psychometric function (Quickpsy) it calculated the sensory difference,and estimated the detection threshold of the remapping interaction.Then,it used the covariance to determine the significant factors affecting the performance of the touch task,and judged the thresholds of the direction,amplitude,axial direction and their interaction,if within the threshold range,these factors no longer affected the performance of the task.Finally,this paper demonstrated the feasibility of the proposed method through a VR hospital material intelligent distribution system.The research results show that the appropriate offset shortens the time that the user completes the touch task.It improves the interaction efficiency while reduces the impact of the traditional offset calculation method on the VR interaction fidelity.
Key words:detection threshold;remapping;psychometric function;human computer interaction;virtual reality
0 引言
在虛擬現實交互(VRI)系統中,通過跟蹤頭部、手甚至整個身體以實現對應功能,用戶能夠通過熟悉的動作和手勢與虛擬環境互動。使用手作為與虛擬世界交互的主要任務載體,通常用于完成指向、選擇、與場景中物體交互以及通過控制器提供輸入等任務。目前通過運動捕捉和手部跟蹤系統已經逐漸普及,但手柄控制器(如Oculus Rift,HTC VIVE,Valve Index)由于其輕巧易攜帶的特性,仍然是消費者首選的VR系統操作設備。為了提高VRI的沉浸感,通常虛擬運動與現實運動存在一比一映射關系,然而由于受環境的限制,在虛擬現實中所需的大幅度運動變得困難甚至不切實際。除此以外,在VR中的大幅度位移任務會讓行動不便的人感到不適甚至難以接受,在VR中使用手柄控制器時也會由于用戶固定的手臂長度帶來的物理限制影響使用手交互效率,所以一對一映射對于所有的虛擬現實(VR)來說并不總是優選或者可適用的。目前的研究已經探索了將虛擬手偏移至與現實世界不同位置從而提供更大范圍交互的手重映射技術,以實現進一步的伸展或擺臂運動,例如根據手臂伸展距離放大用戶的虛擬手移動距離使其比真實手移動距離遠[1]。重映射的手也可用于促進觸覺道具的使用,或者用于模擬抓握或觸碰虛擬對象的感覺的物理對象[2~5]。
雖然通過調整跟蹤的運動輸入和相應的虛擬運動之間的映射關系可以在VR系統中使用修改過映射關系的虛擬運動,但是由于映射關系的變化會導致交互保真度的降低,會對用戶造成干擾從而影響用戶感知真實性。因此,設計者在部分VR系統開發中引入手重映射理論對其進行改進,使得改進后的交互技術能夠保持用戶體驗真實感。盡管它們提升了用戶與虛擬場景的交互能力,但這些手重映射技術過大的偏移量會影響虛擬運動與現實運動的映射關系,造成用戶使用過程中的注意力降低。通過虛擬現實中手重映射的固定偏移檢測閾值估計方法能夠有效地重建虛擬運動與現實運動的映射關系,幫助用戶提升手交互體驗的沉浸感。目前能夠在用戶使用過程中降低重映射技術影響的手段,包括基于身體扭曲[6]、眨眼抑制手部重定向[7]以及縮放運動等[8]。
在VR系統中也可以通過在虛擬手上應用固定偏移方法來重映射手,在此類型的變換中,虛擬手的位置被定義為移動固定的恒量并剔除現實手的移動問題。目前研究方向主要是使用虛擬手的固定偏移來實現選擇和導航功能,其重點是實現用戶操作性能而忽略了用戶在使用過程中對偏移量的敏感度,從而導致交互效率降低。因此,通過虛擬現實中手重映射的固定偏移檢測閾值估計方法能夠有效地提升用戶在使用過程中的沉浸感,該閾值是指在用戶察覺到虛擬手偏移之前,虛擬手可以使用的偏移最大幅度。雖然先前的工作[6]已經使用觸覺重定向技術[2]估計了手重定向的檢測閾值,但是對于VR中不同類型的手運動的檢測閾值仍然片面;此外,在認知需求較高、控制力較弱的場景中,需要對涉及自由手運動的縮放手運動的檢測閾值進行更多的研究[9]。
綜上,針對虛擬現實交互VRI中環境限制導致使用手的操作效率較低的問題,本文設計并實施了一項心理生理學實驗,以手柄控制器作為操作載體,采用雙選擇強制選擇(2AFC)方法來測試用戶對恒定手偏移的感知,在實驗中記錄被試者使用不同偏移的虛擬手完成目標抓取任務過程中的感覺差異作為評價標準,同時記錄被試者完成任務的時間,并使用心理測量函數來估計檢測閾值。通過協方差,明確影響任務性能的顯著因素,最后以某VR醫院物資智能配送系統為例驗證所提方法的有效性。
1 相關理論
1.1 手重映射技術
VR中許多類型的交互都受到用戶物理能力或所用空間的限制。例如,VR在手重定向領域,Zenner等人[7]研究基于眨眼抑制的手部重定向的可行性和可檢測性,并推導出相應的保守檢測閾值;Bergstrom等人[10]提出了調整抓取的大小,旨在VR中重定向用戶的手指,從而使單個道具能夠表示不同大小的虛擬物體。在上述工作中,確定了從物理道具中調整虛擬對象大小的檢測閾值。Steinicke等人[11]利用了一系列雙選擇強制選擇(2AFC)實驗,在用戶感覺到本體感受差異之前確定行走距離可以放大26%或縮小14%,以及在22 m或更大的轉彎半徑中足以防止大多數用戶檢測到重定向。Bruder等人[12]通過分析不同重定向幅度的任務性能擴展了這項工作,并確定了增益幅度和任務性能之間的反比關系。Gonzalez等人[13]研究了旋轉增益對雙手重定向的影響,檢測了單手、雙手同方向和雙手對手的旋轉,確定了相反方向的偏移產生了較低的檢測閾值,而同一方向的偏移產生了較高的檢測閾值,表明偏手性和偏移方向對重定向可檢測性的影響。Azmandian等人[14]研究了虛擬現實中手重定向的幾種技術,主要區分了身體扭曲和世界扭曲兩種手重映射的主要技術。身體扭曲操縱用戶手的虛擬位置,以便通過在用戶接近目標時移動虛擬手的位置,使其虛擬位置與觸覺道具的物理位置對齊;世界扭曲旋轉場景以重新排列虛擬對象與觸覺道具,而保持用戶的身體不發生變化。
本文參考了將位置增益應用于用戶偏移手的手部重映射技術。之前大多的相關工作[6,7]是通過研究身體的簡單受控運動來檢測虛擬手的偏移,并且沒有將研究偏移區間以及偏移手的不同方向性納入考慮范圍。本文針對該問題,在位置增益的基礎上增加偏移區間以及偏移方向性的考慮,為具有單一獨立自由度的簡單運動和復合到達運動的偏移手運動提供了一組檢測閾值。
1.2 心理測量函數
目前的研究表明,視覺刺激在虛擬環境中主導本體感受,這意味著人類在虛擬環境中的感知由眼睛看到的一切來決定,而不是由身體和四肢方向或位置的感覺來主導。Burns等人[15]進行了一項用戶研究,調查用戶對虛擬環境中的視覺滲透或視覺和本體感受線索之間的不匹配哪一個更敏感,得到的結論是,用戶對視覺本體感覺沖突的敏感性遠低于對視覺相互滲透的敏感性;此外,調查了用戶視覺互滲透和感覺差異的檢測閾值,要求參與者在研究過程中報告虛擬環境中的任何異常情況。
本文將采用心理測量分析技術,該技術是一種用于確定本體感受差異是否可以被人類感知以及應用的極限值[16,17]。心理測量通常采用雙選擇強制選擇(2AFC)實驗進行研究,其中被試者在給定特定大小的刺激情況下,必須將其分類為兩種選擇之一(如“更強”或“更弱”),通過在多次實驗中改變刺激,可以確定檢測閾值的估計值。這些方法不僅被廣泛用于重新映射的手[18],還被廣泛用于其他重新映射技術。
在2AFC任務設計中,本文使用一個心理測量函數來顯示正確反應的比例和不同尺度值之間的關系,并測量檢測閾值的估計值[17]。本文遵循類似的2AFC心理生理學研究[19~21]使用的公認的分析方法,并使用R[22]中的Quickpsy包,該包通過使用心理測量函數中最大似然法[17,23]將數據擬合為曲線。
本文使用被試者完成觸碰任務后的心理感受回答進行數據分析。對于使用的每個偏移量,都會記錄被試者對其手部正常性的反應,這些反應被匯總為被試者對每個距離或方向給出正常反應的總概,進而擬合預測函數,同時還用于擬合函數計算閾值概率等于0的曲線。本文利用R中的Quickpsy 包為每個方向生成閾值和概率曲線,按方向對數據點進行分組,擬合每個聚合概率的曲線,并使用參數引導來估計每個生成的閾值的置信區間(CIs)。心理測量函數ψ是一個四參數函數,其數學形式如下所示:
ψ(x,θ)=ψ(x;a,b,γ,μ)=γ+(1-γ-μ)·F(x;a,b)(1)
其中:θ是定義模型的概率質量函數中參數的向量;F(x;a;b)是一個具有左漸近線為0和右漸近線為1的S型形狀的累積概率函數,如累積正態函數、邏輯函數和威布爾函數;γ是猜測率;μ是遞減率。在本文中,任何一個極端的概率都接近0或1,可以將γ和μ都設置為0[23],保留函數為
ψ(x;a;b)=F(x;a,b)(2)
本文將采用累積正態函數進行這類數據的擬合,如式(3)所示。
F(x;a,b)=b2π∫x-∞exp(-b2(x-a)22)(3)
其中:a表示主觀平等的點(如閾值);b表示相關標準差(如曲線對偏移量變化的敏感性)。在該函數中,計算閾值的概率設置為0.5,小于a的值對于大多數用戶來說感覺正常,而大于a的值很可能使得大多數用戶感到不正常。50%的概率通常用于尋找絕對閾值,即參與者能夠在50%的時間內檢測到不同水平刺激的存在[24]。CIs通過參數引導計算使用百分位方法使得95%置信度a存在于區間內。
2 實驗設計
本文設計了單一獨立自由度的簡單運動和復合到達運動的偏移手運動實驗,旨確定在空間關系上的固定偏移的檢測閾值,并確定它們如何影響用戶使用手的能力。首先,被試者通過每個方向上應用不同大小偏移量的虛擬手觸碰一系列目標;然后,被試者根據自身感覺對當前偏移量作出反應,判斷“正常”或“不正?!?,并記錄上述反應以及被試者完成每個實驗的時間。
2.1 實驗設備及參數
2.1.1 實驗設備
實驗利用Unreal Engine 4作為開發引擎,基于藍圖腳本語言,配合HTC VIVE人機交互設備完成實驗場景的搭建和實現人機交互功能。如圖1所示,HTC VIVE由頭戴式顯示器、定位器、無線操控手柄組成。VIVE頭戴式設備提供雙AMOLED 屏幕,對角直徑3.6寸,組合分辨率為2 160×1 200像素,刷新頻率為90 Hz,同時提供110°的視場角。
2.1.2 AFC
為了測量人類的感知,心理生理實驗是通過研究對一個主體沿著一個或多個物理維度系統地改變刺激屬性的經驗或行為的影響來分析知覺過程[25]。心理物理實驗有多種程序,如基于性能的程序、基于外觀的程序和適應性程序。在設計一個心理生理實驗時,根據研究問題來考慮每個程序的優缺點是很重要的,本文的設計利用2AFC和心理生理學方法作為估計檢測閾值的手段。出于以下原因,選擇使用“正?!焙汀安徽!弊鳛閷嶒灥捻憫x項:a)本文主要研究的是手的放置對用戶來說是否感覺自然,而不是用戶是否能檢測到虛擬手朝向一個方向或另一個方向的放置,因為非實驗環境中的應用程序通常不會直接向用戶傳達手偏移方向,所以使用自然放置作為本文的標準同時表明用戶對手放置的感受;b)實驗同時檢查了沿三個軸的六個方向的偏移,而不是僅沿一個軸的兩個方向,使用“正?!焙汀安徽!倍皇翘囟ǚ较蝽憫础白蟆焙汀坝摇保楸疚膶で笞R別的閾值類型提供了更準確的估計,因為在現實場景中用戶不會被直接告知自己的手沿著特定軸移動。為了解決尋找固定偏移檢測閾值的研究問題,本文選用雙選擇強制選擇(2AFC)方法,這是基于性能的程序[26]的方法之一,同樣,2AFC設計在以前的研究中也被用于檢測閾值[6,13~15,27]。在2AFC方法中,被試者反復被呈現于不同種類的刺激中,并根據自己對刺激的感知在兩種不同的反應(由研究人員提供)中作出選擇,通常正確答案的比例被用來衡量2AFC方法[19]中的人類表現?;诠潭ㄆ茩z測閾值估計這個研究問題,實驗過程中要求參與者使用不同方向、不同偏移量虛擬手在VR中觸碰固定位置的物體,選取完成后在旁邊的界面選擇“正?!焙汀安徽!?。
Wentzel 等人[28]研究了重新映射用戶手部動作時的非線性傳遞函數,當手靠近用戶的身體時,手的移動被縮放更大的量,并且增益隨著用戶伸展他們的手臂而減小。他們評估了十個不同的級別,從線性手映射到將用戶的手移動超過手臂長度45%的功能,更高的放大往往會導致類似或更好的性能和舒適性以及用戶更少的身體活動,同時研究了每個擴增水平的檢測,61%的參與者在第五個水平(超出用戶手臂長度的最大偏移為 25%)時檢測到。
因此,本文實驗將使用以下的偏移值:
偏移量(單位: cm):2,4,6,8,10,12,14。
偏移方向:上,下,左,右,前,后。
14 cm的最大偏移幅度是用手臂長×25%得到的[29](人體全臂長度約為56 cm),因為它被歸類為不正常的頻率很高;方向是相對于用戶的前進方向。
偏移手采用固定偏移量取代虛擬手,偏移量的公式定義為
Vα=Pα+S(4)
其中:Vα為虛擬現實中偏移手的位置;Pα為真實手在虛擬空間中的位置;S為應用的當前偏移向量;α為當前發生偏移的軸,α∈(X,Y,Z),現實手與虛擬手位置如圖2所示。
實驗中測試了七個固定偏移量、六個方向和五個固定位置的物體,每個被試者完成七個偏移量、六個方向、五個物體的觸碰任務并進行了兩次重復實驗,最終得到7×6×2×5×20=8 400個數據。根據人機工程學[30]可知,人右手工作區域如圖3所示,A為圓心,半徑為40 cm的半圓區域,因此被試者到交互物體的距離設為40 cm。偏移方向的順序與所有順序組合相平衡,每個方向偏移距離的排序對于每個被試者是隨機的。對于每個實驗記錄了被試者的回答(正常或不正常)和其反應時間(從目標小球出現到抓取目標小球的時間)。本文使用每個被試者的回答和反應時間作為數據分析的衡量標準。
2.2 實驗人員
實驗招募20名被試者參加實驗,其中11名男性、9名女性。所有被試者均為在校生,設計學相關專業學生有17名,機械相關專業學生有3名。被試者年齡范圍為18~30歲(M=23.95,SD=1.63),均為右利手。20名被試者均有虛擬現實交互經驗,其中15名被試者有使用頭戴式虛擬現實設備經驗,本實驗沒有涉及專業的操作,因此被試者自身能力也不作為自變量。
2.3 實驗流程
實驗過程是讓被試者在經歷不同偏移量時完成一個簡單接觸目標的任務,旨在確保被試者可以觸及所有目標,同時使用手被要求三維移動以模擬偏移用于觸覺重定向的實例。在這次任務中,通過初始校準步驟,將半徑為40 cm的球體放置在離被試者胸部的地方,以保持不同被試者之間的目標位置一致,如圖4所示;根據人機工程學中視角范圍[26]規定,將直徑6 cm的球形目標放在如圖4所示的位置。在試點研究中,通過上述操作確定了目標小球與用戶胸部的距離,以最大限度地提高被試者舒適度,并減少被試者觸碰每個目標時不必要的拉伸。本文選擇如圖4所示的目標小球位置是為了讓所有目標始終處于被試者的視野中,以最大限度地減少被試者搜索目標的時間,并鼓勵被試者在完成最后一項任務時,手沿著X、Y、Z三個軸移動。
所有被試者均使用右手完成觸碰目標物體的任務,虛擬手使用HTC VIVE模型展示。在任務的每個實例中,每個目標被點擊一次,其出現的順序是隨機的,一次只顯示一個目標。觸碰目標后,偏移手被隱藏起來,直到給出關于其正常性的回應。被試者首先扣下扳機顯示目標,用手柄去觸碰目標,在目標的前方有一個界面,如圖5所示,詢問當前手柄使用是否正常,該選項是通過操作手柄的左右握持鍵控制,左邊“是”,右邊“否”,將“是”記為1,“否”記為0。本文通過篩選記為1的類目進行虛擬手偏移閾值計算。同時本文還通過Unreal Engine 4 的計時模塊記錄了目標選擇時間,設定被試者進入任務后扣下扳機顯示小球為時間初始點,設定被試者用手柄去觸摸小球為時間終止點,將時間初始點到時間終止點的時間間隔設為目標選擇時間。本文通過SPSS軟件中相關性分析模塊分別對目標選擇時間和偏移大小、目標選擇時間和偏移方向、目標選擇時間和偏移軸向進行皮爾遜相關性分析,以明確偏移大小、方向、軸向與目標選擇時間的影響程度。
3 實驗結果
通過上述實驗,得到以下數據,部分原始數據如表1所示。
本文在第2章得到的相關數據基礎上,通過心理測量函數獲取虛擬手偏移檢測閾值估計,并通過協方差對目標選擇時間與偏移大小、方向及軸向之間的相關性進行分析。
3.1 檢測閾值估計
通過實驗確定了每個方向偏移量的檢測閾值和標準差,如表2所示。a值表示每個方向的檢測閾值,b值表示標準差。置信區間表示閾值在所給出的范圍內的95%的確定性。各個方向固定偏移量的檢測閾值和標準差如圖6所示。
圖7顯示了ψ(x;a;b)擬合各個方向的累積正態函數結果,下拉線表示基于50%的檢測概率的檢測閾值,誤差條顯示了一個95%的置信區間。由此可看出在深度(Y-axis軸)軸向差異較大。
圖8顯示了每個軸不同方向閾值的比較,從最小到最大排列。相對于用戶的位移軸位于每個桿的底部;誤差條表示表2中的95%置信區間。
本文使用Quickpsy 中的閾值比較函數檢測不同軸向及不同方向之間的閾值是否存在差異。閾值比較函數使用bootstrap對所有可能的閾值組對進行組間的成對比較[18],該函數通過計算所有樣本閾值的bootstrap之間的差異分布,并根據這些差異對給定的組之間進行比較。表3顯示了每個偏移方向的檢測閾值之間的顯著差異和閾值之間的凈差異,在plt;0.05處的顯著性用“*”標注,這些值由使用來自R包中Quickpsy的閾值比較函數生成,該R包對所有方向對之間執行引導比較,以確定兩者之間的差異是否在95% CIs之外。
通過圖8和表3可知,檢測閾值在不同方向之間會有顯著差異。當考慮運動偏移軸時,深度(Y-axis)軸上遠和近差異較大,遠的檢測閾值估計為11.6 cm,近的檢測閾值估計為7.56 cm,兩者相差4.07 cm,這表示人對深度相關的偏移更加敏感。上述閾值之間存在顯著差異,表明固定的偏移量對于一只手可能移動的所有方向都不是均勻的,用戶對手靠近的偏移的敏感度比移開的高出56.1%。
根據上述結論提出可應用于VR中虛擬手運動的尺度范圍,在該范圍中人們察覺不到現實手與虛擬手之間的差異。以下為估計的各個方向的檢測閾值:
a)水平(X-axis)軸。(9.32,10.0),該范圍表示從9.32 cm(左)到10.0 cm(右)。
b)深度(Y-axis)軸。(7.57,11.6),該范圍表示從7.57 cm(近)到11.6 cm(遠)。
c)垂直(Z-axis)軸。(12.2,13.4),該范圍表示從12.2 cm(上)到13.4 cm(下)。
上述閾值對于未來的虛擬現實應用的設計很有價值,使用偏移的手部運動作為一種改進的交互技術,旨在為虛擬現實用戶提供現實、自然、身臨其境的體驗,這些值是對檢測閾值的估計,可以應用于增加或減少虛擬手的速度。在VR交互準確性很重要的前提下,適當的手部偏移是有益的,例如行動不便的人使用VR進行手部抓取操作。因此,使用上述閾值可以提供虛擬現實中更受控制的手部運動。實驗結果得到的閾值可以用于預測虛擬現實和現實世界之間的差異不會分散用戶的注意力;另一方面,適當偏移距離的虛擬手可以在VR應用中提供更高范圍的手部接觸(如VR游戲應用)。使用適當偏移距離的虛擬手移動,VR用戶可以減少移動物理手,而虛擬手移動距離更遠,可以用來抓取遠距離物體的物體。
由于在水平(X-axis)軸和垂直(Z-axis)軸上的偏移量之間沒有發現顯著差異,下面探討了用戶在判斷自己的虛擬手狀態時考慮了哪些因素。在調查后發現許多用戶在調查評論中說,某些生理因素,如過度的手臂伸展或傾斜,在其判斷手正常的能力中發揮了作用,這可能就是為什么近距離偏移有最低的閾值,因為一只手放在更靠近身體的地方需要更多的手臂伸展,以達到用戶面前的目標。
3.2 目標選擇時間與偏移大小、方向及軸向之間的相關性研究
通過Unreal Engine 4時間采集模塊采集到被試者目標選擇時間,部分數據如表4所示。
首先通過單一獨立自由度的簡單運動和復合到達運動的偏移手運動實驗所得數據分析每個方向的偏移幅度和選擇時間之間的一般相關性。根據偏移方向對數據進行分離并對各組進行皮爾森相關分析,以確定每個目標分組的方向和幅度之間的關系。對于每個方向,偏移量和選擇時間之間的相關性如表5所示。
圖9包含了不同方向和偏移量的虛擬手抓取目標的平均時間。雖然發現了在左、近和下三個方向的正相關性以及在右、遠、上三個方向的負相關性,但觀察到的總體影響相當小。
為了確定影響選擇時間的因素,利用相關分析研究時間分別與方向、偏移量、軸向三項之間的相關關系,使用Pearson相關系數表示相關關系的強弱情況,具體結果如表6所示。從表6分析可知,時間和方向之間的相關系數值為0.328,并且呈現出0.05水平的顯著性,說明時間和方向之間有著顯著的正相關關系;時間和偏移量之間的相關系數值為-0.005,接近于0,并且p值為0.975gt;0.05,說明時間和偏移量之間并沒有相關關系;時間和軸向之間的相關系數值為-0.301,接近于0,并且p值為0.052gt;0.05,說明時間和軸向之間并沒有相關關系。
為了確定偏移方向、大小和軸向對選擇時間的影響,本文以方向作為分類自變量、偏移幅度和軸向作為協變量進行了事后多重比較,結果如表7所示,其顯示了每個因素對每個偏移組的選擇時間的顯著性。當觀察所有的偏移量時,大小、方向及軸向和兩兩之間的交互作用對選擇時間都是顯著的,有趣的是,當只考慮閾值內偏移時,沒有任何因素顯著影響選擇時間;當研究超過閾值的偏移量如何影響選擇時間時,這三個因素及其相互作用都是顯著的,表明使用閾值內偏移量時的性能是相似的,而超過閾值偏移量時的性能可以根據偏移量而變化。
通過實驗確定了所有偏移量、閾值內的和超過閾值的偏移量時手的選擇時間之間的顯著差異,并確定了當偏移量超過檢測閾值時,偏移量的方向、幅度和軸向及其相互作用通常是影響任務性能的顯著因素。在分析限制偏移對選擇時間的影響時,發現只要一只手的偏移量在本文提出的閾值范圍內,用戶的性能將與未映射的手相當,這對于目標位于用戶正常到達范圍內或附近的情況時特別有用。本文優化了文獻[31]研究結果,發現大偏移對觸覺重定向有顯著的負面影響,但小偏移對觸碰任務的影響很小。
4 實例驗證
本文利用Unreal Engine 4作為開發引擎,采用藍圖語言開發了VR醫院物資智能配送系統,以HTC VIVE作為交互設備,如圖10所示。在虛擬現實交互過程中涉及遠距離抓取物體、點擊界面等任務,導致部分用戶難以抓取目標物體,交互體驗較差。根據偏移方向和偏移閾值對VR系統中虛擬手進行固定偏移,同時采集其完成任務時間,與沒有發生偏移的虛擬手完成任務時間進行比較來驗證偏移檢測閾值估計方法的有效性。
4.1 驗證實驗
為了驗證偏移檢測閾值估計方法的有效性,本文以醫院智能配送系統倉儲搬運流程為例,對虛擬手進行固定偏移采集其完成任務時間,與正常手(沒有發生偏移)完成任務時間進行比較來驗證方法的有效性。實驗招募10名年齡在22~26歲的研究生,均為右利手。其中5人擁有豐富的VR交互使用經驗(用A、B、C、D、E表示),另外5人擁有一般的VR交互使用體驗(用F、G、H、I、J表示)。在測試前,針對搬運流程進行培訓,避免設備操作使用不當導致時間損耗。要求被試者從貨架1的第二層抓取藥箱放到AGV上,如圖11所示,實驗過程記錄被試者完成任務的時間。
4.2 實驗結果分析
對被試者操作檢測閾值內的虛擬手和無偏移虛擬手完成抓取任務的實驗數據進行整理和分析,操作VR熟練的被試者和操作VR水平一般的被試者完成任務時間如表8所示。
實驗過程中,被試者在虛擬手無偏移時抓取物體困難,導致完成任務時間較長。操作VR熟練的被試者使用偏移閾值范圍內虛擬手完成任務的平均時間為7.58 s,使用無偏移虛擬手完成任務平均時間為10.82 s;操作VR水平一般的被試者使用無偏移虛擬手完成任務平均時間為12.04 s,在偏移閾值范圍內虛擬手完成任務的平均時間大大縮短為8.4 s。對于所有被試者而言,相對于無偏移的虛擬手,在偏移閾值范圍內的虛擬手完成任務的時間從11.43 s縮短到7.99 s。由此可說明偏移閾值估計方法的有效性,并且通過估計的檢測閾值可獲得更好的交互體驗。
5 結束語
本文分析了被試者對不同方向、不同大小的偏移手感受,通過2AFC實驗和心理測量函數估計出虛擬手的檢測閾值,并找出軸向、方向及大小與偏移手完成任務的時間之間的關系。使用心理測量函數方法實現了可應用于手部運動的偏移檢測閾值的估計,為手重映射技術提供了新的思路。本文實驗的結果顯示,在水平(X-axis)軸:(9.32,10.0),深度(Y-axis)軸:(7.57,11.6),垂直(Z-axis)軸:(12.2,13.4)范圍內的偏移可以應用于虛擬的手部運動,而用戶沒有檢測到任何差異,還發現水平、垂直和深度方向之間的縮放值閾值存在顯著差異。同時確定了在閾值范圍內的虛擬手選擇時間與偏移量的幅度、方向和軸向無顯著的相關關系,但是當偏移量不在檢測閾值內時,偏移量的方向、幅度和軸向及其相互作用通常是影響任務性能的顯著因素。最后以VR醫院物資智能配送系統為例驗證了檢測閾值估計方法的可行性。
本文只在單一認知環境下進行實驗,未來將研究在復雜認知環境下的控制手段,根據應用環境估計不同的偏移檢測閾值,為未來虛擬現實系統的設計開發及優化提供理論支持,能夠在保持用戶自然真實的交互體驗的同時有效地解決環境限制導致使用手的操作效率較低的問題。
參考文獻:
[1]
Fernández U J,Elizondo S,Iriarte N,et al.A multi-object grasp technique for placement of objects in virtual reality[J].Applied Sciences,2022,12(9):4193.
[2]Wang Boxiang,Wang Yuwei,Chen Yenkai,et al.Miniature haptics:experiencing haptic feedback through hand-based and embodied avatars[C]//Proc of CHI Conference on Human Factors in Computing Systems.New York:ACM Press,2020:1-8.
[3]Feick M,Kleer N,Zenner A,et al.Visuo-haptic illusions for linear translation and stretching using physical proxies in virtual reality[C]//Proc of CHI Conference on Human Factors in Computing Systems.New York:ACM Press,2021:1-13.
[4]Zhou Yuqi,Popescu V.Tapping with a handheld stick in VR:redirection detection thresholds for passive haptic feedback[C]//Proc of IEEE Conference on Virtual Reality and 3D User Interfaces (VR).Piscataway,NJ:IEEE Press,2022:83-92.
[5]Zenner A,Ullmann K,Krüger A.Combining dynamic passive haptics and haptic retargeting for enhanced haptic feedback in virtual reality[J].IEEE Trans on Visualization and Computer Graphics,2021,27(5):2627-2637.
[6]Patras C,Cibulskis M,Nilsson N C.Body warping versus change blindness remapping:a comparison of two approaches to repurposing haptic proxies for virtual reality[C]//Proc of IEEE Conference on Virtual Reality and 3D User Interfaces (VR).Piscataway,NJ:IEEE Press,2022:205-212.
[7]Zenner A,Regitz K P,Krüger A.Blink-suppressed hand redirection[C]//Proc of IEEE Conference on Virtual Reality and 3D User Interfaces (VR).Piscataway,NJ:IEEE Press,2021:75-84.
[8]Esmaeili S,Benda B,Ragan E D.Detection of scaled hand interactions in virtual reality:the effects of motion direction and task complexity[C]//Proc of IEEE Conference on Virtual Reality and 3D User Interfaces(VR).Piscataway,NJ:IEEE Press,2020:453-462.
[9]Martin D,Malpica S,Gutierrez D,et al.Multimodality in VR:a survey[J].ACM Computing Surveys,2021,1(1):1-35.
[10]Bergstrom J,Mottelson A,Knibbe J.Resized grasping in VR:estimating thresholds for object discrimination[C]//Proc of the 32nd An-nual ACM Symposium on User Interface Software and Technology.New York:ACM Press,2019:1175-1183.
[11]Steinicke F,Bruder G,Jerald J,et al.Estimation of detection thre-sholds for redirected walking techniques[J].IEEE Trans on Visua-lization and Computer Graphics,2010,16(1):17-27.
[12]Bruder G,Lubos P,Steinicke F.Cognitive resource demands of redirected walking[J].IEEE Trans on Visualization and Computer Graphics.2015,21(4):539-544.
[13]Gonzalez E J,Follmer S.Investigating the detection of bimanual haptic retargeting in virtual reality[C]//Proc of the 25th ACM Symposium on Virtual Reality Software and Technology.New York:ACM Press,2019:article No.12.
[14]Azmandian M,Hancock M,Benko H,et al.Haptic retargeting:dyna-mic repurposing of passive haptics for enhanced virtual reality expe-riences[C]//Proc of CHI Conference on Human Factors in Computing Systems.New York:ACM Press,2016:1968-1979.
[15]Burns E,Razzaque S,Panter A T, et al.The hand is slower than the eye:a quantitative exploration of visual dominance over proprioception[C]//Proc of IEEE Virtual Reality.Washington DC:IEEE Computer Society,2005:3-10.
[16]Engen T.Psychophysics[M]//Sensory Systems ii:Readings from the Encyclopedia of Neuroscience.Boston:Birkh User Boston,1988:89-91.
[17]Kingdom F A A,Prins N.Psychophysics:a practical introduction[M].2nd ed.London:Academic Press,2016:150-188.
[18]Ogawa N,Narumi T,Hirose M.Effect of avatar appearance on detection thresholds for remapped hand movements[J].IEEE Trans on Visualization and Computer Graphics,2021,27(7):3182-3197.
[19]He Dexian,Workman C I,He Xianyou,et al.What is good is beautiful (and what isn’t,isn’t):How moral character affects perceived facial attractiveness[J/OL].Psychology of Aesthetics,Creativity,and the Arts.(2022).https://doi.org/10.1037/aca0000454.
[20]Chen Lihan,Zhou Xiaolin,Müller H J,et al.What you see depends on what you hear:temporal averaging and crossmodal integration[J].Journal of Experimental Psychology,2018,147(12):1851-1864.
[21]Kim W,Xiong Shuping.Pseudo-haptics and self-haptics for freehand mid-air text entry in VR[J].Applied Ergonomics,2022,104(10):103819
[22]Jrges B,Harris L R.Object speed perception during lateral visual self-motion[J].Attention,Perception,amp; Psychophysics,2022,84(1):25-46.
[23]Knoblauch K,Maloney L T.Modeling psychophysical data in R[M].New York:Springer,2012:195-228.
[24]Proctor R W,Proctor J D.Sensation and perception[M]//Salvendy G.Handbook of Human Factors and Ergonomics.Hoboken:Wiley,2021:55-94.
[25]Branaghan R J,O’Brian J S,Hildebrand E A,et al.Visual perception[M].New York:Academic Press,2021:97-134.
[26]Dong Jian,Kamavuako E N,Dosen S,et al.The short-term repeatability of subdermal electrical stimulation for sensory feedback[J].IEEE Access,2020,8:63983-63992.
[27]Blling L,Stein N,Steinicke F,et al.Shrinking circles:adaptation to increased curvature gain in redirected walking[J].IEEE Trans on Visualization and Computer Graphics,2019,25(5):2032-2039.
[28]Wentzel J,D’Eon G,Vogel D.Improving virtual reality ergonomics through reach-bounded non-linear input amplification[C]//Proc of CHI Conference on Human Factors in Computing Systems.New York:ACM Press,2020:1-12.
[29]張峻霞,王新亭.人機工程學與設計應用[M].北京:國防工業出版社,2010:27-35.(Zhang Junxia,Wang Xinting.Ergonomics and design application[M].Beijing:National Defense Industry Press,2010:27-35.)
[30]丁玉蘭.人機工程學[M].北京:北京理工大學出版社,2017:139-144.(Ding Yulan.Man Machine engineering[M].Beijing:Beijing Institute of Technology Press,2017:139-144.)
[31]Han D T,Suhail M,Ragan E D.Evaluating remapped physical reach for hand interactions with passive haptics in virtual reality[J].IEEE Trans on Visualization and Computer Graphics,2018,24(4):1467-1476.