面向可視化設計的虛擬實驗對象指稱模型與交互模型研究

黨李成

（河南省疾病預防控制中心，河南　鄭州　450000）

?

面向可視化設計的虛擬實驗對象指稱模型與交互模型研究

黨李成

（河南省疾病預防控制中心，河南鄭州450000）

摘要：本文主要研究面向可視化設計的虛擬實驗教學對象指稱模型與交互模型，并將其應用于虛擬實驗教學可視化集成環境中的各軟件工具中。

關鍵詞：虛擬實驗；指稱模型；交互模型

在虛擬實驗教學的可視化設計與應用示范過程中，用戶與虛擬實驗可視化環境的交互一般采用鍵盤、鼠標、麥克風和音響等輸入/輸出設備實現，虛擬實驗可視化環境通過人機交互界面來接受輸入設備的信號輸入，并向用戶輸出圖形/圖像及聲音等；多種方式的人機交互，以“以人為中心”的交互準則，增強了虛擬實驗的逼真性和沉浸感，使交互更加高效、靈活和自然。創建虛擬實驗教學的可視化，其實驗對象一定要明確。下面將從兩個方面介紹虛擬實驗對象的指稱模型和交互模型。

1　面向可視化設計的虛擬實驗對象指稱模型

指稱歸結是理解用戶意圖的關鍵，為界定不同指稱對所指對象的認知度，明尼蘇達大學的Gundel等提出已知性等級（the Givenness Hierarchy）模式，劃分了6個認知級別，由高到低等級順序如下：in focus（聚焦）＞activated（激活）＞familiar>uniquely identifiable＞referential＞type identifiable。認知級別之間的關系為單向蘊含關系，彼此并不相互排斥。也就是說，某一特定形式所表示的認知狀態蘊含了所有（在右的）低等級狀態，一旦達到這一認知狀態，就意味著其他更低等級的認知狀態也得以達到［1］。

根據Gundel的理論給出了交互對象的四種狀態：指點、聚焦、激活和沉寂，按照認知狀態等級分階段進行指稱的歸結。“指點”（point）狀態定義為在指點區域內，“聚焦”（in focus）狀態定義為已選中，“激活”（activated）狀態定義為可見但非選中，“沉寂”（extinct）狀態定義為不可見且非選中（虛擬實驗構件超出場景的顯示范圍）。其狀態等級順序為：指點＞聚焦＞激活＞沉寂。指稱歸結即為對各種指稱對象的選擇過程，按照狀態等級進行，指點對象＞聚焦對象＞激活對象＞沉寂對象［2］。

在虛擬實驗可視化設計的場景構建工具中，定義虛擬實驗構件的包圍盒為將該構件包圍的最小矩形區域。向虛擬實驗場景中添加新的實驗構件或加載已有場景時，通過分析實驗構件的可視化信息，取得每個實驗構件所在的位置及包圍盒，在后臺管理和維護這些位置和區域信息，當虛擬實驗構件發生位置移動或外觀變化（放大、縮小、旋轉等）及時更新相應的信息。

在虛擬實驗構件位置和區域信息的基礎上，可設計對象指稱算法。該算法首先通過用戶鼠標事件取得用戶所指點的位置，再逐一與虛擬實驗場景中的各實驗構件進行匹配，判斷所指點位置是否包含在虛擬實驗構件的包圍盒中，然后逐級進行聚焦對象、激活對象、沉浸對象的匹配，直至所有指稱都得到解析。具體算法流程如圖1所示。

圖1　對象指稱算法描述

2　面向可視化設計的虛擬實驗對象交互模型

在虛擬實驗教學的可視化設計與應用示范過程中，使用者經常需要根據虛擬實驗教學可視化設計的典型任務，利用工具軟件進行建模和可視化操作，如可選構件搜索、場景構件添加、連接關系編輯等。因此，虛擬實驗設計工具軟件必須具有友好的人機交互方式。

虛擬實驗場景設計工具考慮以構件設計者角色、實驗設計者角色為主要用戶群體，以快捷、易用的虛擬實驗設計的實際需求為出發點，力求做到用戶交互的友好、人性化。用戶交互模型主要可以分為交互方式與交互界面兩部分內容。交互界面以簡潔、美觀、清晰為準則，交互方式則以符合用戶使用習慣、簡單易用、友好為準則［3］。

根據虛擬實驗場景運行工具交互方式的需求，鑒于鼠標操作方便快捷的特點，交互方式主要以鼠標為主，輔以鍵盤控制。鼠標交互中，包括工具軟件中的各組件，如虛擬實驗臺設計區、按鈕、菜單和列表等的交互行為。為實現交互的人性化和友好性，設計了一些交互方式。

2.1根據虛擬實驗對象指稱模型交互

當鼠標左鍵點擊工具軟件時，根據指稱的對象，工具軟件動態的給予與對象相符的輔助操作響應。

指稱對象為虛擬實驗場景時，消息提示框中動態顯示當前鼠標指針位置，同時工具軟件在后臺動態刷新編輯列表，提供與實驗場景相關選項，如場景背景色彩選擇、場景視圖縮放、還原、輔助設計網格顯示/關閉等場景輔助設計功能。

指稱對象為構件對象時，工具軟件動態的顯示構件編輯框，突出顯示，提示給用戶當前構件的選定狀態，提供快速的構件縮放編輯功能與構件拖拽移動功能。工具在后臺動態刷新鼠標右鍵菜單與鍵盤事件響應方法：將右鍵菜單的響應內容與鍵盤事件更改為與構件可視化編輯相關選項，如構件刪除，構件縮放、還原、旋轉等構件編輯行為。同時，后臺將鼠標的雙擊響應設置為構件屬性編輯，刷新屬性列表，方便用戶進行構件屬性修改。

指稱對象為可選構件對象時，工具軟件動態的顯示可選構件可視化預覽，并將后臺狀態置為場景構件添加，自動生成唯一標識的新的場景構件名稱與場景構件索引，將場景構件數據加入索引表，并在虛擬實驗區域的鼠標位置處快速繪制所以加入的場景構件，然后將指稱對象指為該場景對象。

指稱對象為構件連接點時，該連接點可視化加粗以突出顯示，提示設計者已選擇該構件連接點；指稱對象為連接關系時，將改變連接的顏色，并對連接可視化加粗以突出顯示，提示給用戶當前連接的選定狀態。

工具軟件突出顯示連接關系中的所有中間連接點，以方便設計者對連接關系位置的識別。同時，工具在后臺動態刷新鼠標右鍵菜單與鍵盤事件響應方法，將右鍵菜單的響應內容與鍵盤事件更改為與連接關系編輯相關選項，如連接關系刪除，連接關系顏色修改等。通過設計不同的連接關系顏色，用戶可以在場景比較繁復的情況下更直觀地觀察構件間連接關系狀態；在信息欄中，實時地輸出鼠標拾取的指稱對象名稱。

支持可選構件列表面板與場景構件及屬性面板的交互式隱藏與顯示，實驗設計者選擇面積較大的虛擬實驗設計區域，或是直觀地觀察到所有構件詳細信息的實驗設計區域方式。

2.2標記圖像前/背景點的人機交互

用戶接口設計為用戶使用鼠標在圖像上滑動劃線來完成采樣過程。這樣的人機交互過程比較直觀、清晰，用戶只需要通過簡單移動鼠標操作就能完成前景和背景的標記。用戶通過菜單欄選擇需要劃分前景還是背景后，然后單擊右鍵滑動鼠標，鼠標經過的圖像中像素點即為采樣點，系統將采樣點進行標記存儲。同時，將前景對象和背景的標記賦以不同顏色：紅色線條表示前景的標記，藍色線條表示背景的標記。工具將劃線的軌跡即時顯示在圖像上，使得用戶能夠對下一次的畫線位置做出調整，或者對錯誤的標記進行刪除。

這一過程并不需要用戶進行非常精確地操作，用戶只需要在圖像上隨意分前景和背景即可，一般標記的地方都遠離對象的邊界不易出錯。即使用戶在劃線標記時出現錯誤，還可以選擇擦除標記錯誤的部分，當出現重大失誤時可以選擇清除所有標記，然后對圖像進行重新標記。

在進行對象提取以后，用戶可以在現有的對象提取結果基礎上，進一步輸入新的對象、背景的采樣點，為分割提取過程增加更多的約束條件，然后再次進行對象的分割提取，可以取得更好的對象提取結果。圖2顯示了用戶對圖像前/背景點的標記。

圖2　標記前景與背景

2.3對象邊界精確調整的人機交互

在完成了對象輪廓的快速提取后，已經得到了一個大致的對象提取結果。提取出的對象大致輪廓通過一個可編輯的多邊形展示給用戶，供用戶進行進一步的精確調整。用戶接口設計為用戶通過點擊拖動多邊形的頂點調整多邊形的形狀，調整的目的是讓多邊形的輪廓更趨近于需要提取的對象輪廓。

在調整的過程中，用戶可以通過在多邊形邊界上雙擊左鍵增加新的多邊形頂點，也可以對多邊形頂點進行刪除。這個過程同樣也比較直觀簡潔，用戶只需要簡單點擊拖動操作就能完成對象輪廓的調整。

這一過程相對于標記過程就需要用戶比較精確的操作了。雖然對象快速提取步驟已經提取出了比較準確的結果，但對于模糊區域及對比度較低的區域，仍然需要用戶較為細心的操作。圖3是用戶對對象輪廓的精確調整。

在調整完對象輪廓以后，用戶點擊對象提取按鈕以后，分割提取出精確的對象，同時將背景置為半透明，和提取出的對象構件區別出來。此后用戶還可以進一步對分割提取的邊界地方進行調整，再次進行對象提取，得到更好的對象提取結果。

用戶控制命令接口：在虛擬實驗構件的建模過程中，用戶會輸入各種控制命令，控制程序的運行過程。因此，用戶控制命令接口能夠對用戶輸入的控制命令做出相應的動作，用戶交互的具體流程如圖4所示。

圖3　對象邊緣精確調整

圖4　用戶交互模塊流程設計

3　結語

指稱模型是通過分析實驗構件的可視化信息，取得每個實驗構件所在的位置及包圍盒，再由對象指稱算法判斷所指點位置是否包含在虛擬實驗構件的所在區域，以便聚焦、激活和沉浸對象的匹配，將所有指稱進行解析。

建立交互模型則是確定交互行為的方式，本文闡述指稱模型交互、標記圖像前/背景點的人機交互及對象邊界精確調整等3種人機交互形式，使人機交互過程直觀、清晰操作簡易。

參考文獻：

［1］徐向東.模型、指稱和實在［J］.云南大學學報，2003（7）：21-22.

［2］許寧云.指稱突兀的情景模型解析［J］.外語學刊，2006 （5）：77-78.

［3］陸楓，陳傳波，盧正鼎.基于交互模型的可視化建構方法研究與實現［J］.計算機工程與科學，2003（12）：11-12.

中圖分類號：TP391

文獻標識碼：A

文章編號：1003-5168（2016）01-0070-03

收稿日期：2015-12-28

作者簡介：黨李成（1986-），男，碩士，助理工程師，研究方向：計算機應用技術。

Research on Virtual Experiment Object Reference Model and InteractionModel for Visual Design

Dang Licheng
（Center for Disease Control and Prevention of Henan Province，Zhengzhou Henan 450000）

Abstract:In this paper,we mainly study the reference model and interaction model of virtual experiment teaching ob?ject oriented to visual design,and apply it to the software tools in the visual integrated environment of virtual experi?ment teaching.

Keywords:Virtual experiment；Reference model；Interaction model