基于菲茨定律的虛擬現(xiàn)實任意形狀選擇模型

王 毅，呂 健，尤 乾，趙澤宇，顏寶明，朱姝蔓

（現(xiàn)代制造技術教育部重點實驗室（貴州大學），貴陽 550025）

（?通信作者電子郵箱jlv@gzu.edu.cn）

0 引言

隨著人工智能的快速發(fā)展，虛擬現(xiàn)實（Virtual Reality，VR）技術不斷融入人們的生活，廣泛應用于教育、醫(yī)療、娛樂等領域。虛擬現(xiàn)實以其沉浸感給用戶帶來良好的交互體驗。在今天的虛擬現(xiàn)實人機交互中，指向菜單、按鈕和文本等目標是一項基本操作，這些目標的形狀也越來越多樣化，不再是原來的矩形或圓形等規(guī)則的幾何形狀，而呈現(xiàn)出越來越多的不規(guī)則形狀。文獻［1］明確提出在虛擬環(huán)境進行人機界面設計時，必須考慮目標形狀、寬度、高度的限制以及光標運動方向?qū)换r間的影響，為解決二維任意形狀目標指向行為建模問題，國內(nèi)外學者在該方面取得了一定的成果。Mackenzie 等進行了最早的二維目標研究，他們研究出了針對矩形目標難度指數(shù)的幾個公式，并發(fā)現(xiàn)了兩個與他們的實驗數(shù)據(jù)相關的公式。他們的W'模型是基于運動角度來考慮目標的有效寬度；最小模型則主要考慮了最小尺寸問題。文獻［2-3］為最小模型用于后續(xù)的研究。雖然Mackenzie 的模型很好地解釋了他們的實驗數(shù)據(jù)，但Accot 等［4］發(fā)現(xiàn)其公式中存在的各種問題：W'模型的問題在于它完全忽略了垂直于運動方向的目標尺寸的影響，也被稱為方向約束；最小模型的問題在于它預測目標高度一旦大于目標寬度就不會影響時間；同樣的，只要目標寬度大于目標高度，模型就不受目標寬度的影響，同時Accot等提出并驗證了加權歐幾里得模型，解決了上述模型的不足。雖然相對于之前的模型有了改進，但歐幾里得模型仍然不能完全考慮一般二維目標指向任務的所有相關因素。首先，沒有考慮到移動角度，這與Hancook 等［5］研究的任務完成時間將取決于移動方向的結論不符；其次，該模型只考慮矩形目標，對沒有明確定義寬度和高度的目標沒有明確的方法來應用歐幾里得模型。由Grossman 等［6］提出的概率菲茨模型解決了歐幾里得模型的這兩個局限性，該模型可以應用于任意形狀目標的指向建模，雖然還沒有通過實驗評估得到證實，在他們的研究中，發(fā)現(xiàn)概率模型可以精確預測針對不同尺寸、移動距離和移動角度的矩形目標指向任務的完成時間。

基于上述分析，本文提出了在虛擬現(xiàn)實中獲取任意形狀目標的用戶行為模型，能夠有效預測用戶的交互時間。基于概率菲茨定律及相關理論，通過實驗數(shù)據(jù)的統(tǒng)計分析，驗證了概率菲茨定律可以很好地預測在虛擬現(xiàn)實環(huán)境中任意形狀目標指向任務的完成時間。

1 研究框架

本文主要研究內(nèi)容是虛擬現(xiàn)實場景下用戶交互界面中任意形狀交互元素點擊任務的用戶行為建模，其理論框架如下：

1）引入傳統(tǒng)概率菲茨模型，結合虛擬現(xiàn)實場景需求對原模型進行適應性改造；

2）改進的模型部分系數(shù)需重新確定，設計實驗一和實驗二確定相關系數(shù)，完成模型構建；

3）設計實例驗證實驗論證模型的有效性。

本文研究框架如圖1所示。

圖1 本文的研究框架Fig.1 Framework of the proposed method

2 概率菲茨定律及相關研究

傳統(tǒng)菲茨定律通常用于模擬目標指向任務所需要的時間。根據(jù)式（1）預測光標從起始位置指向?qū)挾葹閃、移動幅度為A的目標所花費的時間MT1：

其中：a1和k1是經(jīng)驗確定的常數(shù)，對數(shù)項是任務的難度指數(shù)(ID)。Mackenzie等已經(jīng)驗證了該模型可用于一維目標指向任務的時間預測，同時也被用于界面設計的布局優(yōu)化。從界面設計師的角度來看，原始菲茨公式的局限性在于其研究的目標形式本質(zhì)上是一維的；相反，用戶界面中的大多數(shù)目標形式是二維的，因此，文獻［7-10］中將菲茨公式的目標形式擴展到了二維甚至是多維。不足的是，Grossman 等［11］發(fā)現(xiàn)這些擴展只針對矩形或圓形等規(guī)則的二維幾何形狀，但是在絕大多數(shù)場景中，設計師希望對指向任意形狀目標進行行為建模。

2.1 傳統(tǒng)概率菲茨定律

傳統(tǒng)概率菲茨定律具有解決任意形狀目標的潛力，概率菲茨定律的核心思想是將僅使用彈道運動擊中目標的概率映射給該目標的難度指數(shù)。彈道運動是用戶指向運動的一個階段，在虛擬現(xiàn)實人機交互中，用戶的指向性交互任務包括彈道階段和修正階段兩個階段：在彈道階段，用戶通過手腕的轉(zhuǎn)動控制光標移動到目標點；在修正階段，往往需要更高的精度去調(diào)整光標來捕捉目標，修正階段占完成這項任務的大部分時間。以擲飛鏢為例來幫助解釋，如果飛鏢被擲向鏢板的靶心，它可能落在靶心附近，也可能落在更遠的地方。如果擲出大量的飛鏢，則會導致命中位置的分散，從這種命中分布，可以預測出命中靶心的概率或者命中鏢靶上任何其他目標的概率。同樣的，如果只使用彈道運動而不使用修正運動可以得到一個由目標或者特定點擊區(qū)域R形成的命中分布S，則可以設定不使用修正運動而擊中目標的概率為P(Hit)。概率模型使用F函數(shù)將這個概率值直接映射給指向任務難度指數(shù)IDPr，如式（2）所示：

2.2 改進F函數(shù)

為了確定函數(shù)F 的確切性質(zhì)，Grossman 和Balakrishna 檢驗了一維目標的情況，發(fā)現(xiàn)命中分布符合正態(tài)分布，平均值為0，對應于目標的中心，難度指數(shù)公式可轉(zhuǎn)化為式（3）：

其中XN(0，δ)是正態(tài)分布的隨機變量，平均值為0、標準差為δ，如圖2所示。

圖2 目標與正態(tài)分布的關系Fig.2 Relationship between target and normal distribution

此外，命中分布S 隨著光標移動幅度A 線性增加，因為隨著目標距離的增加，命中范圍應該有所不同，回到擲飛鏢的類比，如果從越遠的地方擲向鏢靶，其擊中的點就會越分散，δ可表示為關于A 的函數(shù)，即δ=k2A。因此，難度指數(shù)IDPr為式（4）：

其中k2為經(jīng)驗確定的常數(shù)，Balakrishnan 等［12］發(fā)現(xiàn)k2取0.07。為了生成函數(shù)F，用傳統(tǒng)菲茨公式的難度指數(shù)替換式（4）的左側，用累積標準正態(tài)分布表示右側，得到式（5）：

其中Φ()表示標準正態(tài)分布的概率密度函數(shù)。

不足的是，累積正態(tài)分布函數(shù)沒有封閉的公式，所以函數(shù)F 的值是通過數(shù)值計算得到的，只需要替換不同的A/W 值即可。圖3是將A/W的不同值代入式（5）的兩邊得到的F函數(shù)。

使用F 函數(shù)，通過計算彈道運動擊中目標的概率來得到指向任務的難度指數(shù)。對于二維目標指向，命中點定義為點Q=(X'，Y')，其中X'是與運動方向平行的誤差，Y'是垂直于運動方向的誤差（如圖4 所示）。命中分布由雙變量正態(tài)分布N(μX'，μY'，δX'，δY'，ρX'Y')建模。均值(μX'，μY')為0，對應于目標中心。對于某些常數(shù)k3，使標準偏差δX'=k3A，表示從目標的中心測量，與光標運動方向共線的離散；對于某些常數(shù)k4，使標準偏差δY'=k4A，表示從目標的中心測量，垂直于光標運動方向的離散。為簡單起見，假設X'和Y'是獨立的，得到二元正態(tài)密度函數(shù)的方程，如式（6）所示：

圖3 k2=0.07的F函數(shù)Fig.3 F function when k2=0.07

圖4 二維目標指向行為的命中擴散Fig.4 Impact diffusion of two-dimensional target directed behavior

因此，二維目標指向任務難度的概率指數(shù)為式（7）：

其中R 是目標區(qū)域。括號內(nèi)是在區(qū)域R 上關于X'和Y'的積分。該模型的理想特征是它不需要目標具有明確定義的高度和寬度，其可以通過在不同區(qū)域R 上積分來為任意形狀目標提供任務難度指數(shù)IDPr。故需設計實驗進行參數(shù)k3和k4的確定。

最終的改進預測模型為式（8）：

2.3 改進目標中心點

將概率模型應用于任意形狀時存在一個問題：目標的中心如何確定？也就是雙變量正態(tài)分布居中的目標區(qū)域如何確定？

目標中心是本文期望用戶最初瞄準的目標點。待積分的分布函數(shù)的中心與目標中心對齊（圖5）。因此，確定目標中心的位置將對概率模型績效產(chǎn)生影響，首先，它確定命中分布如何與目標重疊；其次，它會影響命中分布的標準差，因為標準差是關于移動距離A的函數(shù)。

圖5 分布函數(shù)的中心與目標的中心C1對齊Fig.5 The center of distribution function aligned with center of the target C1

本文使用數(shù)學上的多邊形質(zhì)心來定義目標中心。通過取多邊形N 個頂點(xi，yi)，i=0，1，…，N -1 的平均值來計算多邊形質(zhì)心。

首先使用多邊形質(zhì)心的標準計算，如式（9）所示，得到多邊形目標的面積B：

3 獲取概率函數(shù)參數(shù)

設計實驗一研究由彈道指向運動引起的命中擴散，結果將用于確定式（6）中的常數(shù)k3和k4的值。

3.1 實驗設備與參與者

實驗使用Rhino 進行三維建模，基于Unreal Engine4 藍圖進行實驗場景搭建，采用HTC Vive 作為輸入設備。2016年上半年發(fā)布的《中國VR 用戶行為研究報告》（http：//www.199it.com/archives/458393）顯示，虛擬現(xiàn)實（VR）用戶以20～40 周歲用戶為主。因此，本文選取校內(nèi)10 名年齡在18～30 歲測試者（1名女性）進行實驗，測試者均是右利手。

3.2 實驗設計

在Kopper 的研究基礎上選取3 個寬度W 為（0.01 m，0.015 m，0.020 m）的矩形目標，3 個移動幅度A（0.275 8 m，1.379 m，2.048 22 m）、5 個移動角度θ（0°，22.5°，45°，67.5°，90°）。Stefels 等［13］認為用戶到交互界面的距離是影響任務性能的一個重要因素，通過實驗發(fā)現(xiàn)用戶到交互界面最佳距離為1.52 m，故測試者到虛擬交互界面間的距離設為1.52 m。完全交叉設計產(chǎn)生45 種組合。每個組合包含測試者從起點到目標物來回20 次點擊。在每次實驗之前，測試者都要進行練習以熟悉任務，該練習一般持續(xù)時間為2 min左右。每人的測試完成時間約為25 min。

3.3 實驗過程

實驗前要求測試者閱讀實驗說明并完成如下任務：參與者需要迅速點擊目標，實驗中只有兩個目標出現(xiàn)在屏幕上，初始目標為圓形，結束目標為不規(guī)則形狀，一旦選擇了圓形目標，圓形目標顏色變化提示用戶選擇不規(guī)則形狀目標，重復此過程，如圖6所示。

圖6 測試者重復點擊圓形和不規(guī)則形狀目標Fig.6 The tester repeatedly clicks on circle and irregular shape targets

3.4 實驗結果

基于任務完成時間和精度去除異常值，任何超過其條件平均值2個標準差的數(shù)據(jù)都被去除，總共有5%的數(shù)據(jù)是異常值并被刪除。

為了得到模型里的k3和k4，使得δX'=k3A，δY'=k4A。對每個移動角度θ 進行沒有截距的線性回歸，表1 顯示了結果。其中R2表示回歸分析的決定系數(shù)，R2越接近1，模型越精確，回歸效果越顯著，回歸擬合效果越好；Estim（regression coefficients Estimates）表示參數(shù)k3或k4的估計值；Std.Er（Standard of the estimate）表示估計值的標準誤差。

表1 每個移動角度θ線性回歸的結果Tab.1 Linear regression results of different moving angle θ

3.5 樣本計算

使用經(jīng)驗確定的k3和k4值來計算二維目標指向?qū)嶒灄l件的IDPr值。以A=1.372 9 m，W=0.015 m，θ=0°的直角三角形為例，如圖7所示。

圖7 計算一個直角三角形的目標Fig.7 Calculation of a right triangle shaped target

將數(shù)值代入式（7）中，積分區(qū)域由目標寬度W 確定，得到式（12）：

使用Matlab求解得：

IDPr=F(0.055 2)

表2 對于不同的值，使用式（5）對IDPr進行計算Tab.2 IDPr calculated by using equation 5 under various values of

表2 對于不同的值，使用式（5）對IDPr進行計算Tab.2 IDPr calculated by using equation 5 under various values of

圖8 計算F（0.054 69）示例Fig.8 Example of calculating F（0.054 69）

其他移動角度的難度指數(shù)計算類似。以A=1.372 9，W=0.015，θ=67.5°的矩形目標為例，光標點擊點分布也旋轉(zhuǎn)了，將命中的分布假設為二元正態(tài)分布，但旋轉(zhuǎn)了67.5°（圖9（a）所示）?？梢詫⑵漕惐葹閷挾葹锳=1.372 9，W=0.015，θ=0°但矩形目標旋轉(zhuǎn)了-67.5°所定義的區(qū)域R 上（圖9（b）所示），這樣就可以使用實驗1中的k3和k4值，只不過積分區(qū)域改變了。

因此，其難度指數(shù)計算如式（13）所示，求解得：

圖9 對有移動角度目標的任務難度指數(shù)計算類比Fig.9 Comparison of task difficulty indexes with moving angle target

4 獲取預測函數(shù)參數(shù)

在實驗一的基礎上設計實驗二，將目標形狀納入自變量，計算改進概率菲茨定律預測模型的常數(shù)項。

4.1 實驗設計

本實驗的目的不是比較6 個形狀的運動時間，而是確定模型是否適用于虛擬環(huán)境中的任意形狀，如果證明該模型確實適用于任意形狀，則模型可以反過來用于預測特定尺寸和形狀目標是否比另一種尺寸和形狀的目標更容易選擇。為了測試概率模型，使用不同形狀的目標，每種形狀都有其獨特的視覺特征。為此，參考計算機視覺文獻［14］，選擇了6 個對象類，這6 個對象類通常作為示例形狀。圖10 顯示了基于這些對象類挑選的6個實驗形狀。

選取3 個目標尺寸Wn（0.010 m，0.015 m，0.020 m）；3 個移動幅度An（0.275 8 m，1.379 m，2.482 2 m）；5 個移動角度θn（0°，22.5°，45°，67.5°，90°）；用戶始終站在距離虛擬交互界面中心1.52 m 的直角延長線上。自變量是移動幅度，移動角度、目標尺寸和目標形狀，因變量是任務完成時間。用戶點擊第一個目標時實驗開始，用戶點擊第二個目標實驗完成，計時軟件以秒為單位記錄時間（精確到小數(shù)點后三位）。實驗期間人為平衡了三個不同移動幅度的呈現(xiàn)順序，避免由于運動疲勞造成初始位置到目標位置的延遲。測試者對180 個實驗組合重復點擊20次，最終得到36 000個樣本數(shù)據(jù)。

圖10 實驗中使用的6個形狀Fig.10 Six shapes used in the experiment

4.2 實驗過程

在完成一次點選目標任務后需停留5 s進行下一次實驗，避免運動慣性導致的實驗誤差。為了熟悉實驗流程，實驗前進行5 min適應性練習，每人實驗時間在50 min左右。

4.3 實驗結果

實驗過程中由于計時器延遲等原因出現(xiàn)時間異常值，這些數(shù)據(jù)被認為是無效的，刪除了3.9%的數(shù)據(jù)。重復測量方差分析顯示，目標形狀(F9，81=214，p ＜0.000 1)、目標尺寸Wn(F2，18=6 092，p ＜0.000 1) 和 移 動 幅 度 An(F2，18=10 934，p ＜0.000 1)是主要影響因素。移動距離和目標尺寸可以從菲茨定律原始公式中預測到。目標形狀對測試者完成時間也有顯著影響，因此每個獨特的形狀都應該提供自己的難度指數(shù)，這進一步驗證了需要一個考慮目標形狀的預測模型，圖11顯示了6個形狀在不同尺寸和移動幅度的移動時間。

圖11 六個形狀在不同尺寸和移動幅度的任務完成時間Fig.11 Completion times for 6 shapes under different sizes and movement ranges

在評估獲得的數(shù)據(jù)之前，首先定義各個形狀的目標中心。圖12 顯示了在移動幅度A1=2.482 2 m，目標尺寸W1=20 cm 的每個形狀中心點。

圖12 每個目標的計算中心Fig.12 Calculation centers for different targets

使用概率模型來計算每個條件的難度指數(shù)IDPr如表3 所示。利用式（7）進行計算，其中積分區(qū)域R設置為目標形狀。

表3 不同形狀、移動幅度、目標尺寸下的難度指數(shù)IDPrTab.3 Difficulty index IDPr under different shapes，movement ranges and target sizes

對于式（8），調(diào)用Matlab Curve Fitting 工具進行線性回歸分析，結果如圖13所示。

圖13 不同難度指數(shù)IDPr與任務完成時間的散點圖Fig.13 Scatter chart of different difficulty index IDPr and task completion time

得到確定系數(shù)和方差（Sum of Squares due to Error，SSE）ISSE=0.062 7，R2=0.948 8，截距a2=0.278 8，斜率k5=0.014 72。最終預測模型為式（14）：

R2=0.948 8 說明模型對于不規(guī)則目標具有很好的適用性。在與Clark 等［15］對虛擬環(huán)境中用戶指向行為建模研究成果的比較中得到：概率菲茨模型可更好地預測虛擬現(xiàn)實情境下獲取指向目標的交互時間。比較結果如表4所示。

表4 模型擬合度比較Tab.4 Model fitting degree comparison

5 實例驗證

本文基于Unreal Engine4 引擎，采用藍圖開發(fā)了VR 煙草物流分揀系統(tǒng)，輸入設備為HTC Vive，該系統(tǒng)定位于虛擬現(xiàn)實體驗、個性化定制等領域，如圖14 所示。在虛擬情境人機交互過程中涉及輸入、目標選擇等指向行為任務。在搭建相關交互場景時，設計師很大程度上是按照自己的主觀感受來進行場景搭建的，因此搭建的場景用戶體驗差，同時場景缺乏科學性和說服力。根據(jù)目標形狀、目標大小、移動幅度進行任務完成時間預測，與實際任務完成時間進行比較，說明模型的有效性。

圖14 實驗界面Fig.14 Experimental interface

5.1 驗證實驗

為了驗證實驗結果，本文以煙草分揀系統(tǒng)中選擇設備信息設計實驗為例，通過實驗模型預測任務完成時間，與實際任務完成時間進行比較，驗證模型的有效性。實驗過程中選取8 名年齡在20～30 歲右利手的被試人員，其中4 人具有較好VR 使用經(jīng)驗（用A、B、C、D 表示），另外4 人具有一般的VR 使用經(jīng)驗（用E、F、G、H表示）。選取5張已有的虛擬現(xiàn)實人機交互界面，將其整合到實驗界面中（如圖14 所示），界面大小為1 200 mm*500 mm，測試者依次對界面元素1～6進行指向。一旦選中目標界面元素，目標顏色發(fā)生改變。實驗過程記錄完成任務所需時間MT。

5.2 實驗結果分析

對實驗數(shù)據(jù)整理分析，VR操作熟練的測試者完成任務的平均時間和VR操作水平一般的測試者平均任務完成時間MT如表5 所示。根據(jù)模型算出完成任務的預測時間MTEND，將MT 與MTEND用歐氏距離和普通Softmax 歸一化后的統(tǒng)計分布中KL 散度（Kullback-Leibler divergence）兩種分析方法進行比較，得到其平均精度分別為80.024 1%和84.875 1%。說明模型可以有效預測任務完成時間。

表5 八個測試者對五個界面元素進行指向任務的平均任務完成時間和預測時間 單位：sTab.5 Average task completion time and prediction time of eight testers performing directional tasks to five interface elements unit：s

6 結語

本文針對虛擬現(xiàn)實環(huán)境中任意形狀目標指向問題，基于概率菲茨定律，結合實驗數(shù)據(jù)分析，提出了能夠在虛擬現(xiàn)實場景中有效預測指向任意形狀目標任務完成時間的模型。該模型將影響指向任務績效的因素：移動距離、目標大小、目標形狀、運動角度都涵蓋在內(nèi)。最后通過VR 煙草分揀系統(tǒng)人機交互界面為例驗證了模型的可行性。結果表明，該模型預測精度為80.024 1%，為設計師設計個性化界面提供了有效指導，具有一定的設計參考價值。

本文研究的虛擬現(xiàn)實場景中的靜態(tài)目標指向問題，未來研究團隊會對模型在不同目標形狀之間的精度是否有差別進行研究，同時會對虛擬現(xiàn)實環(huán)境中的動態(tài)目標進行研究，對虛擬環(huán)境中動態(tài)目標選擇時用戶的意圖進行預測，為虛擬現(xiàn)實場景搭建提供更全面的理論支撐。