面向動態交互場景的計算模型

黃 進，張 浩，田 豐

面向動態交互場景的計算模型

黃 進1,3，張 浩1,2，田 豐1,3

(1. 中國科學院軟件研究所人機交互北京重點實驗室，北京 100190；2. 中國科學院大學計算機科學與技術學院，北京 101408；3. 中國科學院大學人工智能學院，北京 101408)

隨著人機交互技術不斷發展，包含動態內容的交互系統，如虛擬/增強/混合現實、視頻監控系統等，逐漸占據主要地位。面向動態交互場景的計算模型受到了越來越多的關注，大量的計算模型被提出，加強了人們對動態用戶界面的認識和理解。然而，現階段，面向動態交互場景的計算模型研究仍在問題復雜度、解釋性、交互底層機制描述上存在諸多問題，極大地限制了動態模型研究的發展和應用。本文通過對面向動態交互場景的計算模型的研究現狀進行分析，對當前存在且急需解決的問題進行了梳理，并給出了領域未來發展的看法，旨在拋磚引玉，為今后面向動態交互場景的計算模型研究提供參考。

人機交互；界面系統；動態場景；動態交互任務；計算模型

計算建模是一種利用計算機來模擬和研究復雜系統的方法。一個計算模型通常包含許多變量，這些變量是所研究系統的特征和屬性。一般來說，計算模型具有3方面的作用：首先，通過模型構建、參數估計和實驗驗證解釋系統內部的復雜結構；其次，基于系統當前的特征和屬性，對系統的輸出結果做出預測；最后，通過單獨或組合調整變量并觀察輸出結果來進行系統模擬，對系統行為做出仿真。

人機交互經過了多年發展，各方面技術已經非常成熟，然而人們對用戶行為規律的研究卻相對滯后，一定程度上制約了交互系統的發展。因此，近些年來，越來越多的學者開始利用計算建模的方法來研究人機交互問題，旨在理解用戶行為，預測用戶表現，并對交互過程進行仿真。2021年，國際計算機協會人機交互特別興趣小組ACM SIGCHI，在其最主要的學術會議CHI中設立了一個全新的計算交互分委會“Computational Interaction Subcommittee”，專注于利用計算方法研究人機交互技術和設計，顯示了人機交互學術界對于計算模型的重視程度。

隨著人機交互技術不斷發展，包含動態內容的交互系統，例如虛擬/增強/混合現實(Virtual/Augmented/ Mixed Reality，VR/AR/MR)、動畫系統、視頻監控系統、仿真系統、娛樂教育系統等，逐漸占據主要地位，面向動態交互場景的計算模型受到了越來越多的關注，學者們構建了大量的計算模型，對動態交互場景中用戶的時間表現、精確度和行為進行了建模，加強了對動態用戶界面的認識和理解。然而，現階段面向動態交互場景的計算模型研究仍存在諸多問題和挑戰，其中包括復雜動態交互問題建模的困難，黑盒模型存在的問題，機制性建模的不足和模型應用時存在的挑戰等，制約了動態模型研究的發展和應用。本文通過對面向動態交互場景的計算模型研究現狀進行分析，對當前存在且亟需解決的問題進行了梳理，并給出了該領域未來發展的看法，旨在拋磚引玉，為今后面向動態交互場景的計算模型研究提供參考。

1 研究現狀

1.1 靜態交互場景的計算模型

目標選擇和軌跡任務被認為是人機交互中最為基礎的交互任務，其計算模型主要包括時間模型和不確定性模型2類，前者預測完成觸控任務所需時間，而后者則可以用于計算成功率。對于時間模型，Fitts’ Law[1]被證實是最具魯棒性和廣泛應用的時間模型，完成了如圖1所示的1D目標獲取，并對運動時間進行了精準的預測，揭示了完成任務時間與目標大小和目標距離的關聯[2]，即

其中，MT為完成該任務所需的平均運動時間；A為光標起始點到目標中心的距離；W為目標的寬度；a和b為由指點設備、操作人員和環境因素決定的經驗常數；對數項，被稱之為難度系數(index of difficulty，ID)。Fitts’ Law最開始建立在一個1D的靜態觸控任務中，后來又被擴展到了2D[3-4]、3D[5]以及動態任務[6]中。

為了預測軌跡任務的時間表現，ACCOT等[7]對Fitts’ Law進行拓展，提出了Steering Law用于對軌跡任務的運動時間進行預測，在如圖2所示的一個筆直的軌道中，任務時間與軌道長度和軌道寬度的比值呈線性關系，即

其中，為通道長度；為通道寬度；a和b是經驗常數。

圖2 Steering Law中的筆直通道任務

利用微分的思想，Steering Law還可以進一步拓展到任意光滑軌道中，從而能夠更好地應對急轉彎[8]、邊界大小變化通道[9]、以及復雜管道[10]中。經過推導，Steering Law可以拓展到任意有理通道上，在一般情況下，完成任務時間可以表示為無數多個微小的筆直通道的積分。然而，Steering Law的后續研究發現，其僅適用于光滑的軌道，而對嚴重扭曲或快速變化的軌道預測性能不足。因此，許多Steering Law的后續研究都將主要精力放在處理通道突然發生變化的情況。例如，文獻[8]對Steering Law在包含直轉角的軌跡任務的中的表現進行了改進，文獻[9]討論了通道大小發生突然變化時的時間預測模型。

對于不確定性模型，國內外學者關注的焦點在于觸控目標選擇時的落點分布情況，以及由此推算的目標選擇成功率。研究者們首先提出了有效寬度和有效距離的概念，即目標選擇落點分布中2倍標準差的范圍和均值，進而對Fitts’ Law進行修正[11]，提高了特殊情況下Fitts’ Law的預測準確性[12]。WOBBROCK等[13]利用Fitts’ Law和有效寬度，對落點分布規律進行分析，推導出了一個1D目標獲取的成功率模型(圖3)，揭示了任務難度系數和目標選擇成功率之間的關系，即

其中，erf(x)為高斯誤差函數；MTe為由有效距離和有效寬度計算出來的目標獲取運動時間；a和b是經驗常數項。

BI等[14-15]使用雙高斯分布假設對小型觸屏設備交互中的落點分布規律進行建模，對小型觸控交互中運動時間做出更為精確的預測。該思想隨后在虛擬鍵盤和文本輸入上面得到了應用，有效地改善了鍵盤和文本輸入的精確度[16-17]。

上述模型均為面向靜態交互場景的計算模型，而隨著人機交互技術不斷發展，動態交互任務，例如VR/AR/MR、動畫系統中的交互任務，逐漸占據主要地位，面向靜態交互場景的模型的限制越來越明顯，無法有效支撐含有動態內容的人機交互界面設計與技術創新。因此，學者們開始著眼于構建動態交互場景中的模型，其主要包括動態交互場景中的時間預測模型、錯誤率預測模型和用戶行為模型。

1.2 時間預測模型

與靜態場景一致，動態場景中最基礎的交互任務是移動目標選擇任務。對于移動目標選擇而言，JAGACINSKI的移動目標選擇時間模型[6]是最著名的時間預測模型之一。該模型通過改進的難度系數解釋目標速度的影響，將Fitts’ Law擴展到運動目標捕獲中，即

其中，和的含義與Fitts’ Law一致；為目標移動速度；a，b和c為經驗常數。

與Fitts’ Law中的ID相類似，修改后的難度指數反映了目標寬度和速度相互作用與交互時間之間的關系。另一個廣為人知的移動目標選擇時間估計方法來自文獻[18]，該方法通過應用線性控制模型理論來推斷運動目標捕獲的困難指數，利用穩態位置誤差減小目標有效寬度，模擬人體獲取運動目標的響應，最終估計完成交互所需時間。通過考慮目標運動對人類時間準確度的影響，文獻[19-20]發現目標速度對不同參與者的目標捕獲策略(如追蹤和命中)有不同的影響。并建議用不同的目標速度函數來估計目標捕獲時間，而不是用固定的函數來處理目標速度的影響。HAJRI等[21]還通過應用人類處理器模型[22]來描述運動目標選擇，推導了一個2D移動目標選擇的時間預測模型。該模型在結合2個2D靜態目標選擇模型[23-24]的前提下，將橫向和縱向的目標移動速度引入ID，實現了2D移動目標選擇的時間預測。此外，CASALLAS[25]利用數據驅動的方式分析了多個任務因素與3D移動目標選擇時間的相關關系，通過一個線性函數對主要的因素進行加權，得到了一個預測3D移動目標選擇時間的模型。

1.3 錯誤率預測模型

其中，和的含義與式(4)中的含義一致；a，b，c，d，e，f和g為經驗常數。

在給定空間選擇落點分布的情況下，通過對目標選擇區域內概率分布函數的積分即可以得到錯誤率，如圖4所示。

圖4 基于落點分布計算選擇錯誤率[27]

與空間域中獲取目標錯誤率類似的，對時間域中錯誤率的建模，可通過估計時間落點分布實現。文獻[28]通過假設用戶在目標時間窗口內有一個隱含的時間目標點，推導出一個模型來預測時間指向任務中的錯誤率。基于該方法，提出了多個衍生模型來預測多線索移動目標捕獲[32]，包括運動延遲的移動目標捕獲[33]，2D移動目標選擇[34]的錯誤率。

1.4 用戶行為模型

盡管上述模型已經能夠成功地捕捉用戶交互過程中的某些瞬間特性(如完成時間或者整體錯誤率)，但是并不涉及用戶交互過程中的動力學或軌跡的變化[35]。因此，國內外學者提出了一系列用戶行為模型，用來描述用戶交互行為的演變過程。用戶行為模型通常基于觀測到的用戶表現數據，構建具有預測能力的過程模型。直線-曲線-拐角模型(curves，line-segments，and corners，CLC)[36]將用戶輸入的手勢分割成直線、曲線和拐角的組合。該模型對手勢中每個組成部分分別建模：直線由常量、線性或冪函數建模，曲線由曲率的冪律建模，拐角由基于角度的常數函數建模。該模型根據用戶預期繪制的形狀，嘗試將手勢演變過程進行分割，以分段預測的形式估計了用戶完成手勢所需時間。這也是對于手勢輸入系統性建模與理解最早的工作之一。QUINN和ZHAI[37]通過對用戶使用手勢鍵盤輸入過程中產生的用戶軌跡進行分析，發現手勢軌跡的形態和動態特性可以通過最小加加速度模型(minimum jerk model)進行模擬。通過該模型模擬的軌跡在圖形形狀和動力學特征上都與原始軌跡高度匹配。同時基于最小加加速度模型建立了一個手勢生成模型，該模型可以對用戶任意手勢輸入任務所作動作產生的手勢軌跡進行預測。

除了對用戶手勢進行建模外，國內外學者也對不同維度下用戶的基礎目標選擇任務進行了過程建模。OULASVIRTA等[38]使用神經力學模型來模擬用戶按下按鈕的1D運動過程，模型框架如圖5所示。該模型可以模擬4種不同按鈕類型下用戶的力作用并預測完成按鈕任務所需的時間。總體上較好地模擬了用戶輸入過程的運動學、動力學和用戶性能表現。HUANG等[39]基于最優反饋策略，構建了一種2D目標選擇的軌跡建模模型。該模型將目標狀態作為反饋信息影響對象的運動過程，實現了對2D下靜態和動態目標選擇任務的軌跡建模。BACHYNSKYI和MüLLER[40]針對3D空間下的用戶目標選擇運動軌跡進行研究，探討了三階滯后模型來模擬空中用戶運動軌跡的可能性。該模型能較好地模擬用戶交互過程中的軌跡、速度、加速度等動力學屬性。盡管在建模過程重剔除了部分對用戶軌跡結果影響較小的2個維度，將三維軌跡映射為一維運動，但這也是最早的對用戶3D空間下交互軌跡進行建模的嘗試之一。

圖5 文獻[38]中給出的基于神經力學的模型框架

2 問題與挑戰

2.1 復雜動態交互問題建模的困難

靜態交互任務是比較簡單的。以Fitts’ Law的1D選擇任務為例，其僅涉及目標大小()和目標距離()2個變量，而當問題放到2D空間中則變得復雜得多，因為這樣需要考慮目標的長和寬對用戶表現得影響，對于矩形目標，同樣的距離(起始位置到目標中心)的條件下目標處于不同空間方位，實際用戶表現也會受到影響[4]。

而對于動態交互任務，問題的復雜性則進一步增加。以2D移動目標選擇為例，首先，動態交互場景中，目標可能具有移動速度、形狀、朝向和初始位置，這些條件的改變均會導致用戶選擇策略和表現的巨大差異，因此必須考慮的因素顯著增加；其次，在動態交互場景中，目標地移動速度、形狀、朝向均有可能隨時發生動態變化，這種變化同樣會顯著影響用戶表現；最后，上述各類因素及其隨著時間推移而發生的變化將產生無數種無法枚舉的情況，且無法利用傳統的心理學實驗方法將其一一進行測試以尋找規律，這種方法在處理動態任務建模時可能束手無策。本文認為，這些挑戰是導致現階段動態場景下的計算模型魯棒性差、精準度低的主要原因。

因此，許多學者開始轉向數據驅動的方式，希望利用黑盒模型和機器學習手段實現動態交互場景下的用戶表現建模。然而，這種方式卻會帶來模型可解釋性差，無法對界面設計給出指導等問題。

2.2 黑盒模型存在的問題

隨著交互場景的復雜化，學者嘗試用深度學習或復雜的集成模型來解決用戶動態交互場景下的行為建模問題。這類黑盒模型通常具有很高的準確性，然而，其同樣存在著以下幾個主要問題：

首先，黑盒模型的高準確率依賴于大量的數據集合。學者通常需要依靠眾包等數據采集手段[41]，收集大量的用戶數據，以支撐黑盒模型的參數訓練，大規模的數據采集也導致建模成本大大提高。其次，難以挖掘黑盒模型中每個特征與用戶行為機制的內在聯系。黑盒模型的高準確率與特征個數以及特征參數無法分開，但是通常來講，黑盒模型的工作原理往往難以解釋。由于黑盒模型缺少對數據表現背后的行為機制的推理，這也使得這類模型難以對交互設計給出指導意見。最后，黑盒模型難以泛化和遷移。一個有著高準確率的黑盒模型往往針對特定的交互任務，即使在某個場景中能夠應用，該模型也很難在別的交互場景下有著同樣高效的建模效率。

因此，能夠直接反映變量之間關系的白盒模型雖然預測能力通常有限，但是，由于這類簡單模型具有更好的可解釋性以及更容易理解的內部工作原理，仍然是用戶表現建模的主流工具。

2.3 機制性建模的不足

機制性建模從用戶行為數據數呈現入手，采取回歸分析、控制理論等建模手段模擬用戶的運動機制。常見的機制性模型的目的是基于觀測到的用戶表現數據，構建具有強大預測能力的計算工具，并不試圖模擬內部的生物學原理運動特征。而在運動控制和神經學科領域文獻中，人類手部、胳膊的運動建模仿真已經得到了廣泛地研究，部分模型嘗試從肌肉關節作用[42-43]等更深層次的運動機制中理解和建模用戶的交互行為。雖然該領域與人機交互領域下的用戶行為有著較高的相似度，但是這種建模方法仍未廣泛地應用于人機交互領域用戶行為建模的研究中。

此外，目前機制性建模仍停留在單純的感知-運動控制層次，仍未拓展到認知層次。有大量的數據表明，人的小腦可以參與到高層次的人類認知、運動控制功能中[44-46]。但是目前機制性模型僅僅可以對用戶的行為機制進行解釋，仍未找到用戶行為與用戶認知功能間的內部聯系。

2.4 模型應用時存在的困難

人機交互計算模型對于交互技術的發展和研究具有重要作用。好的計算模型能夠預測用戶的行為，提供技術創新支持，對用戶界面設計做出指導。近年來，人機交互學者們針對動態交互場景提出的計算模型越來越多，加強了對基礎交互現象的理解，然而人們卻很少看到這些模型在交互系統中的直接應用，其主要原因有以下幾點：

首先，現存模型主要針對少數幾種任務如移動目標選擇進行建模，對實際交互場景中大量使用的一些任務，如手勢、身體姿態、眼動頭動、物體操縱、移動或導航等均未有成熟的模型，導致在實際應用場景中存在需求卻無模型可用的情況；其次，現存模型的泛化性較低，往往在實際交互條件，例如界面布局、設備尺寸和精度、用戶人群等發生改變后無法使用，必須要在特定場景下重新采集數據，對模型參數重新估計方可保證模型性能，而這種要求在實際工程應用中往往是不現實的；最后，現存模型在構建時往往不是以解決實際應用中存在的問題出發的，用其解決實際問題時一般需要對該問題進行小心翼翼地抽象化和形式化以適應模型的使用條件，而一旦這種抽象和形式化操作不當，有可能極大降低模型表現。這一點很大程度上降低了一般人機交互從業者們使用模型的意愿，甚至寧愿依靠自己的經驗做出界面設計判斷而不愿相信模型預測結果。

本文認為，人機交互計算模型未來是否能快速發展，關鍵在于其能否服務于實際，因此，解決以上3個問題是當前從事人機交互建模工作的學者們需要優先考慮的事。

3 總結與展望

隨著新型用戶界面中動態內容的不斷增多，面向動態交互場景的計算模型逐漸受到重視，在延續靜態任務交互模型的基礎上，面向動態交互場景的計算模型對基礎交互任務中用戶的完成時間、錯誤率和行為做出了建模，一定程度上解釋了動態交互場景中的用戶行為，有助于改進動態用戶界面的設計。

然而，面向動態交互場景的計算模型研究仍存在諸多問題和挑戰，其中包括復雜動態交互問題建模的困難，黑盒模型存在的問題，機制性建模的不足和模型應用時存在的挑戰等，極大地限制了動態模型研究的發展和應用。如何有效地解決這些問題可能是每一位計算模型領域的學者們必須深入思考的事。

在此，本文將拋磚引玉，給出動態交互場景中計算模型的3個發展方向和可能的途徑，供讀者參考。

(1) 模型可解釋性的提高鑒于動態交互場景的復雜性，黑盒模型是一種潛在的用戶建模有效手段。然而人機交互模型本質上需要研究用戶行為背后的行為機制，并最終給出用戶界面設計的指導意見。在建模方法選擇時，要對黑盒模型的建模準確性和可解釋性進行權衡。要解決黑盒模型的可解釋性需要從2個方向入手：一是從黑盒模型本身角度出發，研究不同特征參數對模型建模的行為表現的影響，進而分析黑盒模型是如何依賴于每個特征，這也是目前深度學習領域一個活躍的研究方向之一；二是可以從理解用戶意圖角度出發，在黑盒模型基礎上構建可解釋性更強的代理模型，用于輔助理解指導人類運動的認知過程，從而構建更為完整的計算模型工具，最終能夠為設計者提供更為完整和有用的建模結果。

(2) 用戶行為底層機制的建模。要保證用戶行為模型在動態交互場景下的準確度，需要進一步分析用戶行為下更深層次的用戶表現，構建更為底層的用戶行為機制模型。還需進一步模擬人類的生物學原理運動特征，甚至構建認知層面的用戶行為模型。從用戶認知層面出發，要求模型可以模擬用戶在動態交互場景下的認知變化，以及不同環境下用戶的行為策略，從而在認知層面指導用戶的關節、肌肉行為模型，并最終呈現在用戶的行為表現中。而這種基于更為底層機制的模型也會在一定程度上提升用戶行為模型的魯棒性，并且可能使得模型具有較強的泛化遷移能力。

(3) 模型在界面設計和交互技術中的應用。正如上文所述，人機交互計算模型未來是否能快速發展，關鍵在于其能否服務于實際。面向動態交互場景的計算模型在實際交互系統中有著廣泛的應用前景，在以下幾個方面將發揮重要作用：

首先，在動態用戶界面交互設計中，人機交互計算模型能夠對包含動態用戶界面中的用戶表現做出預測，進而對界面的動態因素包括物體的動態、軌跡變化、動畫快慢等進行優化；其次，人機交互計算模型允許用戶界面通過理解人類行為，將這類模型融入交互系統的研發之中，能使計算系統更好地適應用戶偏好，推測用戶意圖，從而提升交互效率和交互體驗；最后，人機交互計算模型能夠揭示人類行為規律，其靈活應用能為用戶界面、交互技術、交互系統和設備的研發提供啟示和支持，加快新型交互系統的產生。

[1] FITTS P M. The information capacity of the human motor system in controlling the amplitude of movement[J] Journal of Experimental Psychology: General, 1954, 47(6): 381-391.

[2] MACKENZIE I S. Fitts’ law as a research and design tool in human-computer interaction[J] Human-Computer Interaction, 1992, 7(1): 91-139.

[3] MACKENZIE I S, BUXTON W. Extending Fitts’ law to two-dimensional tasks[C]//CHI’92: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 1992: 219-226.

[4] ZHANG X Y, ZHA H B, FENG W X. Extending Fitts’ law to account for the effects of movement direction on 2d pointing[C]//CHI’12: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2012: 3185-3194.

[5] MYRATA A, IWASE H. Extending Fitts’ law to a three-dimensional pointing task[J]. Human Movement Science, 2001, 20(6): 791-805.

[6] JAGACINSKI R J, REPPERGER D W, WARD S L, et al. A test of Fitts’ law with moving targets[J]. Human Factors, 1980, 22(2), 225-233.

[7] ACCOT J, ZHAI S M, BELIN A E. Beyond Fitts’ law: models for trajectory-based HCI tasks[C]//CHI’97: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 1997: 295-302.

[8] PASTEL R. Measuring the difficulty of steering through corners[C]//CHI’06: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2006: 1087-1096.

[9] YAMANAKA S, STUERALINGER W, MIYASHITA H. Steering through sequential linear path segments[C]//CHI’17: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2017: 232-243.

[10] NANCEL M, LANK E. Modeling user performance on curved constrained paths[C]//CHI’17: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2017: 244-254.

[11] WELFORD A T. Fundamentals of skill[M] London: Methuen, 1968: 1-426.

[12] ZHAI S M, KONG J, REN X S. Speed–accuracy tradeoff in Fitts’ law tasks—on the equivalency of actual and nominal pointing precision[J]. International Journal of Human-Computer Studies, 2004, 61(6): 823-856.

[13] WOBBROCK J O, CUTRELL E, HARADA S, et al. An error model for pointing based on Fitts’ law[C]//CHI’08: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2008: 1613-1622.

[14] BI X J, ZHAI S. Bayesian touch: a statistical criterion of target selection with finger touch[C]//The 26th Annual ACM Symposium on User Interface Software and Technology. 2013: 51-60.

[15] BI X J, LI Y, ZHAI S M. FFitts law: modeling finger touch with fitts’ law[C]//CHI’13: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2013: 1363-1372.

[16] HENZE N, RUKZIO E, BOLL S. Observational and experimental investigation of typing behaviour using virtual keyboards for mobile devices[C]//CHI’12: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press,2012: 2659-2668.

[17] WEIR D, POHL H, ROGERS S, et al. Uncertain text entry on mobile devices[C]//CHI’14: Proceedings of the AVM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2014: 2307-2316.

[18] HOFFNMANN E R. Capture of moving targets: a modification of Fitts’ Law[J]. Ergonomics, 1991, 34(2): 211-220.

[19] TREASILIAN J R, LONERGAN A. Intercepting a moving target: effects of temporal precision constraints and movement amplitude[J]. Experimental Brain Research, 2002, 142(2): 193-207.

[20] TRESILIAN J R. Hitting a moving target: perception and action in the timing of rapid interceptions[J]. Perception & Psychophysics, 2005, 67(1): 129-149.

[21] HAJRI A, FELS S, MILLER G, et al. Moving target selection in 2D graphical user interfaces[C]//2011 IFIP Conference on Human-Computer Interaction. Heidelberg: Springer, 2011: 141-161.

[22] CARD S K, MORAN T P, NEWELL A. The keystroke-level model for user performance time with interactive systems[J]. Communications of the ACM, 1980, 23(7): 396-410.

[23] MACKENZIE I S. Fitts’ law as a research and design tool in human-computer interaction[J]. Human-Computer Interaction, 1992, 7(1): 91-139.

[24] GROSSMAN T, BALAKRISKNAN R. Pointing at trivariate targets in 3D environments[C]//CHI’04: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2004: 447-454.

[25] CASALLAS J S. Prediction of user action in moving-target selection tasks[D]. Ames: Iowa State University, 2015.

[26] WOBBROCK J O, CUTRELL E, HARADA S, et al. An error model for pointing based on Fitts’ law[C]//CHI’08: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2008: 1613-1622.

[27] HUANG J, TIAN F, FAN X M, et al. Understanding the uncertainty in 1D unidirectional moving target selection[C]//CHI’18: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2018: 1-12.

[28] LEE B, OULASVIRTA A. Modelling error rates in temporal pointing[C]//CHI’16: Proceedings of the ACM CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2016: 1857-1868.

[29] ROLIN R A, FOOKEN J, SPERING M, et al. Perception of looming motion in virtual reality egocentric interception tasks[J]. IEEE Transactions on Visualization and Computer Graphics, 2018, 25(10): 3042-3048.

[30] HUANG J, TIAN F, LI N L, et al. Modeling the uncertainty in 2D moving target selection[C]//The 32nd Annual ACM Symposium on User Interface Software and Technology. New York: ACM Press, 2019: 1031-1043.

[31] HUANG J, TIAN F, FAN X M, et al. Modeling the endpoint uncertainty in crossing-based moving target selection[C]//2020 CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2020: 1-12.

[32] LEE B, KIM S, OILASVIRTA A, et al. Moving target selection: a cue integration model[C]//2018 CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2018: 1-12.

[33] LEE I, KIM S, LEE B. Geometrically compensating effect of end-to-end latency in moving-target selection games[C]//2019 CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2019: 560: 1-560: 12.

[34] PARK E, LEE B. An intermittent click planning model[C]//2020 CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2020: 9: 1-9: 13.

[35] VIVIANI P, FLASH T. Minimum-jerk, two-thirds power law, and isochrony: converging approaches to movement planning[J]. Journal of Experimental Psychology: Human Perception and Performance, 1995, 21(1): 32.

[36] CAO X, ZHAI S. Modeling human performance of pen stroke gestures[C]//2007 SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2007: 1495-1504.

[37] QUINN P, ZHAI S. Modeling gesture-typing movements[J]. Human–Computer Interaction, 2018, 33(3): 234-280.

[38] OULASVIRTA A, KIM S, LEE B. Neuromechanics of a button press[C]//2018 CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2018: 4099-4112.

[39] HUANG J, PENG X L, TIAN F, et al. Modeling a target-selection motion by leveraging an optimal feedback control mechanism[J]. Science China Information Sciences, 2018, 61(4): 044101:1-044101:3.

[40] BACHYNSKYI M, MüLLER J. Dynamics of aimed mid-air movements[C]//2020 CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2020: 67: 1-67: 12.

[41] SWEARNGIN A, LI Y. Modeling mobile interface tappability using crowdsourcing and deep learning[C]//2019 CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2019: 75: 1-75: 11.

[42] CAMPOS F M M O, CALADO J M F. Approaches to human arm movement control—a review[J]. Annual Reviews in Control, 2009, 33(1): 69-77.

[43] SHADMEHR R, WISE S P. The computational neurobiology of reaching and pointing: a foundation for motor learning[M]. Cambridge: MIT Press, 2005: 1-573.

[44] MIDDLETON F A, STRICK P L. The cerebellum: an overview[J]. Trends in Neurosciences, 1998, 21(9): 367-369.

[45] TAMADA T, MIYAUCHI S, IMAMIZU H, et al. Cerebrocerebellar functional connectivity revealed by the laterality index in tool-use learning[J]. Neuroreport, 1999, 10(2): 325-331.

[46] KAWATO M. Internal models for motor control and trajectory planning[J]. Current Opinion in Neurobiology, 1999, 9(6): 718-727.

Computational model for dynamical interaction scenarios

HUANG Jin1,3, ZHANG Hao1,2, TIAN Feng1,3

(1. Beijing Key Lab of Human-Computer Interaction, Institute of Software Chinese Academy of Sciences, Beijing 100190, China;2. School of Computer Science and Technology, University of Chinese Academy of Sciences, Beijing 101408, China;3. School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing 101408, China)

With the development of human-computer interaction (HCI) technology, interactive systems including dynamic content, such as virtual/augmented/mixed reality, video surveillance system, etc., gradually becomes the mainstream. Computational models for dynamic interaction scenarios have attracted more and more attention. HCI researchers proposed numerous models that significantly improve our understanding of dynamical user interfaces. However, there are still many challenges in the research of computational model for dynamical interaction scenarios. The problems of complexity in dynamic interaction scenarios, lack of interpretability, weakness in descripting interaction mechanisms greatly limit the development and application of computational models for dynamical interaction scenarios. We review related work and recent advances in the computing model for dynamic interaction scenarios, summarize existing problems, and offer our predictions for the future development in this field. The purpose of this paper is to provide references for future research on computing models for dynamical interaction scenarios.

human computer interaction; interactive system; dynamic scenarios; dynamic interaction task; computational model

TP 391

10.11996/JG.j.2095-302X.2021030359

A

2095-302X(2021)03-0359-08

2021-04-21；

2021-05-19

21 April 2021；

19 May，2021

國家自然科學基金項目(61802379)；中國科學院前沿科學重點研究項目(QYZDY-SSW-JSC041)；中國科學院青年創新促進會項目(2020113)

National Natural Science Foundation of China (61802379); Key Research Program of Frontier Sciences CAS (QYZDY-SSW-JSC041); Youth Innovation Promotion Association CAS (2020113)

黃 進(1985-)，男，廣西玉林人，助理研究員，博士。主要研究方向為人機交互理論、模型和方法。E-mail：huangjin@iscas.ac.cn

HUANG Jin (1985-), male, assistant professor, Ph.D. His main research interests cover human-computer interaction theory, concepts and models. E-mail: huangjin@iscas.ac.cn

田 豐(1976-)，男，陜西延安人，研究員，博士。主要研究方向為人機交互、虛擬現實等。E-mail：tianfeng@iscas.ac.cn

TIAN Feng (1976-), male, professor, Ph.D. His main research interests cover human-computer interaction, virtual reality, etc. E-mail：tianfeng@iscas.ac.cn