基于筆的兒童故事角色建模工具的設計與實現

(中國科學院 軟件研究所 人機交互技術與智能信息處理實驗室， 北京 100190)



摘要：分析了適合兒童的角色建模工具；設計了適合兒童的筆式交互方式和角色建模過程；最后結合已有的兒童講故事系統，實現了一個基于筆的兒童故事角色建模工具，并給出了一個使用實例。該工具支持兒童自然方便地創建故事角色，使兒童可以有一個更大的故事創作空間。

關鍵詞：兒童講故事；三維角色建模；筆式交互；草圖建模工具

中圖分類號：TP319文獻標志碼：A

文章編號：1001-3695(2008)11-3391-03



Design and implementation of pen-based role modeling tool

for children’s storytelling

LI Jie， WANG Dan-li， DAI Guo-zhong

(Intelligence Engineering Lab， Institute of Software， Chinese Academy of Sciences， Beijing 100190， China)

Abstract:This paper analyzed the role modeling tool for children，and designed the pen-based interaction and role modeling process. Both the interaction and process were suitable for children. The pen-based 3D role modeling tool was implemented according to an existed storytelling system. At last， the paper presented an example of use. This tool can support children to naturally and easily create roles for their stories. It provides a larger space for children’s creation.

Key words:storytelling for children; 3D role modeling; pen-based interaction; sketch-based modeling tool

講故事在兒童成長過程中占有極其重要的位置。家長通過講故事對兒童進行教學，讓他們實踐與人交流的方式，并懂得各種基本道理。兒童也都喜歡講故事和聽故事，他們可以在講故事中愉快地進行各種角色扮演。研究表明，講故事是一個很有力的教育手段，可以有效地提高兒童的語言能力、邏輯思考能力、想象力和創造力^[1]。

傳統的書本或者游戲的講故事手段內容往往固定，而且兒童的自主發揮空間有限。如果能夠更好地利用計算機來幫助兒童講故事，將大大提高兒童的自主性和參與性。隨著技術的發展，許多研究人員開始研究如何用電腦給孩子們提供講故事的環境和工具，目前已取得了許多研究成果，其中比較有代表性的工作有SAGE^[2]、KidPad^[3]、StoryRoom^[4]、Dolltalk^[5]等。本實驗室也針對中國兒童的特征，設計開發了一個三維的兒童講故事系統，得到了參加評估的7~12歲中國兒童的一致好評^[6]。然而，以上這些系統都存在一個共同的局限性，即兒童很難創作自己需要的角色。為了使兒童更長期地享受講故事的過程，并給他們提供一個更加自由的發揮空間，講故事系統中首先需要有足夠的故事角色。如果可以給兒童提供非常方便的工具來創建角色，就能夠解決故事角色有限的問題了。

1研究現狀

大型3D專業建模軟件，如3DMAX、Maya等，功能非常強大，可以支持用戶精準地構建模型。然而也正因為功能強大，同時需要精確的操作，使用起來非常復雜。許多研究人員提出了各種建模方法和模型，希望降低傳統建模的復雜性。GIDeS^[7]可以構造簡單的理想實體，但不適合創建自由模型。一些建模系統使用具有三維自由度的輸入方式來達到直觀有效的創建操作，讓用戶自由方便地創建各種模型，如Matsumiya等人^[8]提出了使用數據手套和媒體面具（mediamask）等三維的輸入/輸出設備，讓用戶體驗沉浸式建模；ArtNova^[9]通過3D-touch技術，使用力量反饋裝置（force-feedback device）讓用戶通過觸覺界面自然地創建模型。然而考慮到交互設備的成本，這些系統很難在普通家庭普及。

Zeleznik的SKETCH系統首次使用手勢來創建三維場景。Igarashi等人^[10]提出了基于自由形狀的草圖建模方法，并實現了Teddy系統。這讓三維建模有了突破性的進展。草圖系統有效地降低了建模的復雜度，讓用戶直接通過自由繪制草圖來創建模型。這樣，沒有專業知識的人也可以通過這種方式進行建模。從此，陸續有很多研究者針對基于草圖的建模系統進行了各種研究。Cherlin等人^[11]提出了基于筆跡的建模方法，使得用戶可以通過簡單的二維草圖來構造三維褶皺實體。SmoothSketch^[12]使得繪制模型的隱藏輪廓也能被很好地模擬出來，這樣可從任何角度觀察用戶設計的模型。以上系統極大地提高了非專業人員建模的便利性，但是有些需要用戶有一定的抽象能力，有些操作并不直觀，需要經過學習和訓練，難以引起兒童的使用興趣。

為了能夠讓兒童方便地進行角色建模以支持他們的講故事過程，本建模工具主要采用下面這些設計：首先，為了交互的自然性，采用筆式交互界面；其次，采用草圖建模的思想，讓兒童可以用簡單的筆跡手勢來自由創建他們的模型；最后，考慮到前期工作的一些測試結果，有些兒童創作角色時，一開始會無從入手，但是看到已有角色后，就會發表各種意見，因此工具還提供給兒童各種主要的角色模板，讓他們可以基于模板進行角色創建和修改。

2角色建模工具的設計

21筆式交互

自然的交互與人性化界面是人機交互的發展趨勢^[13]，與鼠標、鍵盤等傳統的交互方式相比，基于筆的交互方式既不需要記憶很多字母及其位置，也不需要經過訓練，具有自然的交互特性。對于兒童用戶，筆式交互更體現出了其和諧自然的優勢^[14]，兒童普遍喜歡用筆進行交互。此外，在具有空間信息的系統中，筆還是很有效的定位和指引工具。一方面，筆式交互可以很好地支持草圖自由建模；另一方面，捕捉筆的選擇與定位信息，可以進行各種調整模型的基本操作。因此，本建模工具采用筆式交互界面。

22基于草圖的建模

兒童并不能夠理解三維空間概念，他們對于立體圖形和平面圖形的區分并不清晰，他們往往會把二維的長方形和三維的長方體等同起來。所以，可以通過繪制二維圖像特征來直接創建相應的三維圖形。采用草圖建模的方式正是符合了兒童的這一特征。同時，考慮到單筆筆跡的識別率最高，創建最有效，采用圖1這樣的手勢來創建基本形狀實體（圖中的曲線是手勢的筆跡）。

23使用模板

在前期講故事系統的評估過程中^[6]，兒童提出希望能夠增加更多角色，然而他們大部分不知道該怎么繪制自己想要的角色，繪制出來又往往覺得不像他們開始設想的。因而，工具還給兒童提供了不同類型的角色模板，讓他們也可以基于模板進行角色創建。

3角色建模工具的實現

31角色建模工具的系統框架

建模工具的總體系統框架如圖2所示。最上層是筆式用戶界面，中間層是系統處理部分，最下層是模型庫、手勢庫和規則庫。

用戶選擇自由建?；蚰０褰：?，可以通過筆式用戶界面與系統進行交互。系統得到輸入的手勢后，進行手勢的分析與理解，分析出用戶意圖中操作的對象和操作語義，再根據分析結果創建模型或者調整模型。一旦進行了模型的創建或調整，渲染器就會重新渲染模型，最后系統將渲染結果顯示在筆式用戶界面上。

1）模板庫根據故事角色的特征，提供了不同類型故事角色的模板。講故事中涉及到的角色大部分都是動物和人物。根據動物和人物的主要行為特征和外形特征，可以把講故事系統中使用的角色劃分成以下幾種類型：兩條腿直立行走的角色、四條腿行走的角色以及用翅膀飛行的角色，如圖3所示。使用模板庫，一方面可以提供給兒童創作的便捷性，另一方面保證了兒童創作出來的角色可以正確有效地運用于兒童講故事系統。

2）手勢庫各種支持兒童對模型的創建和調整的手勢集合。系統應用手勢庫前，對手勢庫進行了一定的手勢訓練，加入了訓練得到的特征信息來更好地區分有效和無效手勢。

此外，考慮到故事中的每個角色都是由多個三維實體組合而成的，對于角色實體的組合不存在分離的情況，而是可以歸納為鄰接（圖4（a））和重疊（圖4（b））兩種基本情況。



兒童在使用手勢創建角色時，系統會根據草圖筆跡和已有實體的關系，自動判斷是執行鄰接創建手勢還是重疊創建手勢，并判斷新實體的深度位置。如果新實體的創建筆跡基本都在某一個已有實體上，則采用重疊方式；否則采用鄰接方式。不同的方式都會采用不同規則來定義新實體的深度位置。

3）規則庫提供一些規則約束，使得模型調整時，有關聯信息的部分會一起變化。相鄰部位是關聯的，不會因移動和放縮而產生脫離，如圖5（b）和（c）所示分別是在關聯狀態和非關聯狀態調整角色腦袋位置的結果。在關聯狀態，腦袋上的眼睛、鼻子、嘴巴等也都會跟著相應地調整位置而不會出現與腦袋脫離的現象；在不關聯狀態則會產生脫離。以上情況就是相鄰部位的關聯。此外，對稱部位也是關聯的，在調整其中一個時，另一個會自動進行對稱的變化。例如，在調整一個眼睛的大小、顏色、位置時，另一個眼睛也會跟著對稱地變化。這樣可以減少兒童調整模型時的工作量，使得建模過程變得更方便、快捷。

通過以上三個庫的支持，兒童可以非常方便地利用筆在角色創建系統中進行角色創建和調整。

32模型創建過程

角色的創建過程是指創建一個完整角色的過程，根據前面的設計，角色的創建過程如圖6所示。用戶可以選擇自由創建或者基于模板創建?；谀０鍎摻〞r，用戶首先需要確定角色的模板（如兩條腿模板或四條腿模板等），然后可以輸入編輯手勢調整模型的形狀、大小、位置、顏色等；自由創建模型時，用戶可以用簡單的草圖創建手勢來創建自己的角色形象，也可以隨時切換到調整模式來調整實體的形狀、大小、位置等。無論是采用哪一種方法創建角色模型，在創建時都可以調整觀察角度，創建完成后，最終的故事角色模型可以保存下來，用于已有的兒童講故事系統。

33系統功能描述

建模工具的界面主要分為三個部分，如圖7所示。

第一部分是左上角的角色創建區域。在這里，兒童可以用筆方便地進行角色建模。系統會采集用戶的手寫筆輸入信息，然后對信息進行判斷。如果輸入的不是手勢，則確認是否有需要觸發的響應，若存在，則觸發該響應；如果輸入的是手勢，則處理一系列離散的二維點。這些點經過預處理會產生手勢的特征信息。同時，系統將獲取該手勢與已有模型實體間的關系信息，以此來提取用戶意圖。系統通過手勢庫支持進行手勢識別。接著，系統會根據得到的關系信息和手勢識別結果，判斷區分各種創建手勢和調整手勢，并做出相應的創建和調整工作（見3.4節）。

第二部分是右側的關聯區域。在這里，兒童可以切換關聯狀態和不關聯狀態。在關聯狀態下，他們可以對角色的對稱部位或者相鄰部位進行關聯調整。如果兒童想創建不對稱的個性角色，可以切換到不關聯狀態，對各部位進行獨立操作。

第三部分是最下方的工具欄。在這里，兒童可以進行新建、保存、離開等操作。在選擇“新建”時，用戶可以選擇一種模板進行角色創建：可以選擇一個已有的模型，對其進行修改；也可以選擇自由建模來創建自己的角色。如圖8所示，工具欄上有“創建”按鈕，表明此刻處于創建狀態，如果點擊該按鈕，該按鈕會變成“調整”，表明切換到了調整狀態。在創建和調整模型時，兒童可以選擇工具欄上的各種顏色來創建或調整某部位的顏色。當創建完角色后，可以點擊保存，給自己的角色起一個名字并將其保存下來。如果點擊“離開”按鈕將退出角色建模工具。

34角色建模實例

下面給出一個使用該兒童故事角色建模工具自由創建一個小熊模型的過程（這部分的圖中所有的曲線為筆跡，帶箭頭虛線表示筆跡的方向）。

a)選擇自由建模狀態，然后在創建區用圓形創建手勢來繪制小熊的頭，系統會在相應位置生成一個三維球體，如圖9(a)和(b)所示。

b）重新選擇一個顏色，繼續畫小熊的身體，系統會鄰接于頭部生成相應的三維身體，如圖9(c)和(d)所示。

c）繼續選擇當前想用的顏色，然后在頭上畫一個圓形創建手勢來創建眼睛，系統會根據頭部的深度值和頭部該位置的尺寸大小來得到眼睛的深度值。然后把小熊的眼睛重疊在頭部上面，如圖9(e)和(f)所示。

d)重復步驟a)~c)，創建出整個小熊的基本形狀，如圖10(a)所示。

e）創建完畢以后，用戶可以選擇要關聯的部位，然后使用關聯功能。系統會得到這些部位的信息，自動確定它們之間的關聯關系（對稱和鄰接）。

f）從創建狀態切換到調整狀態，選中頭部，然后給它重新挑選一個顏色，如圖10(b)所示。

g）重復f），完成所有部位顏色的調整，如圖10(c)所示。

h)調整部位的大小，如選中小熊的身體，然后用筆向左下角拖動則身體會變瘦變短，如圖11(a)和(b)所示。

i）調整部位的角度，如圖11（b)所示，選中右邊的手，然后畫逆時針的筆跡，則小手逆時針轉動。結果如圖11(c)。

j）調整部位的位置，可以直接拖動需要調整的部位，如拖動左邊的耳朵，它會移動到相應的位置；同時另一只耳朵也相應地進行對稱變化。結果如圖12（a）(b)所示。

k）重復h）~j）的調整過程，最終可以得到小熊的創建結果(圖13)。

l）完成模型的創作后，可以保存該模型，并運用于已有的講故事系統。圖14是在講故事系統中使用小熊進行故事創作的界面。

4結束語

本文介紹了兒童故事角色建模工具。該工具采用自然的筆式交互方式，讓兒童可以基于草圖進行故事角色的建模，整個三維角色建模的過程簡單易學，不會給兒童帶來學習和認知的負擔，兒童可以自由創建自己需要的角色。此外，兒童也可以利用模板建模的方法進行角色建模，系統提供了一些常用的故事角色模板，兒童可以修改調整模板創建需要的故事角色。無論是自由建模還是模板建模的結果都可以保存下來在講故事系統中進行使用。然而，現有的工具功能還不夠完善。目前，正在對建模工具中添加一個新的模塊，該模塊用于設計角色的行動，這使得兒童不但能夠創建自己的故事角色，還能設計故事角色的個性動作。最終的工具實現后，將對角色建模工具進行可用性評估，獲取兒童用戶的反饋意見，以進一步改善工具。

參考文獻：

［1］

AYLETT R.And they both lived happily ever after?——digital stories and learning[M]//DETTORI G，GIANNETTI T，PAIVA A，et al.Technology-mediated narrative environments for learning.Amsterdam: Sense Publishers，2006:5-26.

[2]BERS M，CASSELL J.Interactive storytelling systems for children:using technology to explore language and identity[J].Journal of Interactive Learning Research，1999，9(2):603-609.

[3]HOURCADE J P，BEDERSON B B，DRUIN A，et al.KidPad:collaborative storytelling for children[C]//Proc of Human Factors in Computing Systems. New York:ACM Press，2002:500-501.

[4]ALBORZI H，DRUIN A，MONTEMAYOR J，et al.Designing Story-Rooms:interactive storytelling spaces for children[C]//Proc of the 9th ACM Conference on Designing Interactive Systems.New York:ACM Press，2002:95-100.

[5]VAUCELLE C，JEHAN T.Dolltalk:a computational toy to enhance children’s creativity[C]//Proc of ACM Conference on CHI.New York:ACM Press，2002:776-777.

[6]WANG Dan-li， ZHANG Jie，LI Jie，et al.A multimodal 3D storytelling system for Chinese children[M]//PAN Z，AYLETT R，DIENER H，et al.Technologies for e-learning and digital entertainment.Heidelberg:Springer-Verlag，2007:511-526.

[7]PEREIRA J P，BRANCO V A，JORGE J A，et al.Cascading recogni-zers for ambiguous calligraphic interaction[C]//Proc ofEurographics Workshop on Sketch-based Interfaces and Modeling.2004:64-72.

[8]MATSUMIYA M，TAKEMURA H， YOKOYA N.An immersive mode-ling system for 3D free-form design using implicit surfaces[C]//Proc of ACM Symposium on Virtual Reality Software and Technology.New York:ACM Press，2000:67-74.

[9]FOSKEY M，OTADUY M A，LIN M C.ArtNova:touch-enabled 3D model design[C]//Proc of IEEE Virtual Reality Conference.Orlando:[s.n.]，2002:119-126.

[10]IGARASHI T，MATSUOKA S，TANAKA H.Teddy:a sketching interface for 3D freeform design

[C]//Proc ofACM SIGGRAPH ’99.New York:ACM Press，1999:409-416.

[11]CHERLIN J J，SAMAVATI F，SOUSA M C，et al.Sketch-based modeling with few strokes[C]//Proc of the 21st Spring Conference on Computer Graphics.New York:ACM Press，2005:137-145.

[12]KARPENKO O A，HUGHES J F.SmoothSketch: 3D free-form shapes from complex sketches[C]//Proc ofACM SIGGRAPH ’06.New York:ACM Press，2006:589-598.

[13]董建明，傅利民，GAVRIEL S.人機交互:以用戶為中心的設計和評估[M].北京:清華大學出版社，2002.

[14]張婕.基于筆和語音的多通道兒童講故事系統[D].北京:中國科學院軟件研究所，2007.