基于筆的兒童故事角色建模工具的設(shè)計(jì)與實(shí)現(xiàn)

(中國科學(xué)院 軟件研究所 人機(jī)交互技術(shù)與智能信息處理實(shí)驗(yàn)室， 北京 100190)



摘要：分析了適合兒童的角色建模工具；設(shè)計(jì)了適合兒童的筆式交互方式和角色建模過程；最后結(jié)合已有的兒童講故事系統(tǒng)，實(shí)現(xiàn)了一個(gè)基于筆的兒童故事角色建模工具，并給出了一個(gè)使用實(shí)例。該工具支持兒童自然方便地創(chuàng)建故事角色，使兒童可以有一個(gè)更大的故事創(chuàng)作空間。

關(guān)鍵詞：兒童講故事；三維角色建模；筆式交互；草圖建模工具

中圖分類號(hào)：TP319文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1001-3695(2008)11-3391-03



Design and implementation of pen-based role modeling tool

for children’s storytelling

LI Jie， WANG Dan-li， DAI Guo-zhong

(Intelligence Engineering Lab， Institute of Software， Chinese Academy of Sciences， Beijing 100190， China)

Abstract:This paper analyzed the role modeling tool for children，and designed the pen-based interaction and role modeling process. Both the interaction and process were suitable for children. The pen-based 3D role modeling tool was implemented according to an existed storytelling system. At last， the paper presented an example of use. This tool can support children to naturally and easily create roles for their stories. It provides a larger space for children’s creation.

Key words:storytelling for children; 3D role modeling; pen-based interaction; sketch-based modeling tool

講故事在兒童成長過程中占有極其重要的位置。家長通過講故事對(duì)兒童進(jìn)行教學(xué)，讓他們實(shí)踐與人交流的方式，并懂得各種基本道理。兒童也都喜歡講故事和聽故事，他們可以在講故事中愉快地進(jìn)行各種角色扮演。研究表明，講故事是一個(gè)很有力的教育手段，可以有效地提高兒童的語言能力、邏輯思考能力、想象力和創(chuàng)造力^[1]。

傳統(tǒng)的書本或者游戲的講故事手段內(nèi)容往往固定，而且兒童的自主發(fā)揮空間有限。如果能夠更好地利用計(jì)算機(jī)來幫助兒童講故事，將大大提高兒童的自主性和參與性。隨著技術(shù)的發(fā)展，許多研究人員開始研究如何用電腦給孩子們提供講故事的環(huán)境和工具，目前已取得了許多研究成果，其中比較有代表性的工作有SAGE^[2]、KidPad^[3]、StoryRoom^[4]、Dolltalk^[5]等。本實(shí)驗(yàn)室也針對(duì)中國兒童的特征，設(shè)計(jì)開發(fā)了一個(gè)三維的兒童講故事系統(tǒng)，得到了參加評(píng)估的7~12歲中國兒童的一致好評(píng)^[6]。然而，以上這些系統(tǒng)都存在一個(gè)共同的局限性，即兒童很難創(chuàng)作自己需要的角色。為了使兒童更長期地享受講故事的過程，并給他們提供一個(gè)更加自由的發(fā)揮空間，講故事系統(tǒng)中首先需要有足夠的故事角色。如果可以給兒童提供非常方便的工具來創(chuàng)建角色，就能夠解決故事角色有限的問題了。

1研究現(xiàn)狀

大型3D專業(yè)建模軟件，如3DMAX、Maya等，功能非常強(qiáng)大，可以支持用戶精準(zhǔn)地構(gòu)建模型。然而也正因?yàn)楣δ軓?qiáng)大，同時(shí)需要精確的操作，使用起來非常復(fù)雜。許多研究人員提出了各種建模方法和模型，希望降低傳統(tǒng)建模的復(fù)雜性。GIDeS^[7]可以構(gòu)造簡單的理想實(shí)體，但不適合創(chuàng)建自由模型。一些建模系統(tǒng)使用具有三維自由度的輸入方式來達(dá)到直觀有效的創(chuàng)建操作，讓用戶自由方便地創(chuàng)建各種模型，如Matsumiya等人^[8]提出了使用數(shù)據(jù)手套和媒體面具（mediamask）等三維的輸入/輸出設(shè)備，讓用戶體驗(yàn)沉浸式建模；ArtNova^[9]通過3D-touch技術(shù)，使用力量反饋裝置（force-feedback device）讓用戶通過觸覺界面自然地創(chuàng)建模型。然而考慮到交互設(shè)備的成本，這些系統(tǒng)很難在普通家庭普及。

Zeleznik的SKETCH系統(tǒng)首次使用手勢(shì)來創(chuàng)建三維場(chǎng)景。Igarashi等人^[10]提出了基于自由形狀的草圖建模方法，并實(shí)現(xiàn)了Teddy系統(tǒng)。這讓三維建模有了突破性的進(jìn)展。草圖系統(tǒng)有效地降低了建模的復(fù)雜度，讓用戶直接通過自由繪制草圖來創(chuàng)建模型。這樣，沒有專業(yè)知識(shí)的人也可以通過這種方式進(jìn)行建模。從此，陸續(xù)有很多研究者針對(duì)基于草圖的建模系統(tǒng)進(jìn)行了各種研究。Cherlin等人^[11]提出了基于筆跡的建模方法，使得用戶可以通過簡單的二維草圖來構(gòu)造三維褶皺實(shí)體。SmoothSketch^[12]使得繪制模型的隱藏輪廓也能被很好地模擬出來，這樣可從任何角度觀察用戶設(shè)計(jì)的模型。以上系統(tǒng)極大地提高了非專業(yè)人員建模的便利性，但是有些需要用戶有一定的抽象能力，有些操作并不直觀，需要經(jīng)過學(xué)習(xí)和訓(xùn)練，難以引起兒童的使用興趣。

為了能夠讓兒童方便地進(jìn)行角色建模以支持他們的講故事過程，本建模工具主要采用下面這些設(shè)計(jì)：首先，為了交互的自然性，采用筆式交互界面；其次，采用草圖建模的思想，讓兒童可以用簡單的筆跡手勢(shì)來自由創(chuàng)建他們的模型；最后，考慮到前期工作的一些測(cè)試結(jié)果，有些兒童創(chuàng)作角色時(shí)，一開始會(huì)無從入手，但是看到已有角色后，就會(huì)發(fā)表各種意見，因此工具還提供給兒童各種主要的角色模板，讓他們可以基于模板進(jìn)行角色創(chuàng)建和修改。

2角色建模工具的設(shè)計(jì)

21筆式交互

自然的交互與人性化界面是人機(jī)交互的發(fā)展趨勢(shì)^[13]，與鼠標(biāo)、鍵盤等傳統(tǒng)的交互方式相比，基于筆的交互方式既不需要記憶很多字母及其位置，也不需要經(jīng)過訓(xùn)練，具有自然的交互特性。對(duì)于兒童用戶，筆式交互更體現(xiàn)出了其和諧自然的優(yōu)勢(shì)^[14]，兒童普遍喜歡用筆進(jìn)行交互。此外，在具有空間信息的系統(tǒng)中，筆還是很有效的定位和指引工具。一方面，筆式交互可以很好地支持草圖自由建模；另一方面，捕捉筆的選擇與定位信息，可以進(jìn)行各種調(diào)整模型的基本操作。因此，本建模工具采用筆式交互界面。

22基于草圖的建模

兒童并不能夠理解三維空間概念，他們對(duì)于立體圖形和平面圖形的區(qū)分并不清晰，他們往往會(huì)把二維的長方形和三維的長方體等同起來。所以，可以通過繪制二維圖像特征來直接創(chuàng)建相應(yīng)的三維圖形。采用草圖建模的方式正是符合了兒童的這一特征。同時(shí)，考慮到單筆筆跡的識(shí)別率最高，創(chuàng)建最有效，采用圖1這樣的手勢(shì)來創(chuàng)建基本形狀實(shí)體（圖中的曲線是手勢(shì)的筆跡）。

23使用模板

在前期講故事系統(tǒng)的評(píng)估過程中^[6]，兒童提出希望能夠增加更多角色，然而他們大部分不知道該怎么繪制自己想要的角色，繪制出來又往往覺得不像他們開始設(shè)想的。因而，工具還給兒童提供了不同類型的角色模板，讓他們也可以基于模板進(jìn)行角色創(chuàng)建。

3角色建模工具的實(shí)現(xiàn)

31角色建模工具的系統(tǒng)框架

建模工具的總體系統(tǒng)框架如圖2所示。最上層是筆式用戶界面，中間層是系統(tǒng)處理部分，最下層是模型庫、手勢(shì)庫和規(guī)則庫。

用戶選擇自由建?；蚰０褰：?，可以通過筆式用戶界面與系統(tǒng)進(jìn)行交互。系統(tǒng)得到輸入的手勢(shì)后，進(jìn)行手勢(shì)的分析與理解，分析出用戶意圖中操作的對(duì)象和操作語義，再根據(jù)分析結(jié)果創(chuàng)建模型或者調(diào)整模型。一旦進(jìn)行了模型的創(chuàng)建或調(diào)整，渲染器就會(huì)重新渲染模型，最后系統(tǒng)將渲染結(jié)果顯示在筆式用戶界面上。

1）模板庫根據(jù)故事角色的特征，提供了不同類型故事角色的模板。講故事中涉及到的角色大部分都是動(dòng)物和人物。根據(jù)動(dòng)物和人物的主要行為特征和外形特征，可以把講故事系統(tǒng)中使用的角色劃分成以下幾種類型：兩條腿直立行走的角色、四條腿行走的角色以及用翅膀飛行的角色，如圖3所示。使用模板庫，一方面可以提供給兒童創(chuàng)作的便捷性，另一方面保證了兒童創(chuàng)作出來的角色可以正確有效地運(yùn)用于兒童講故事系統(tǒng)。

2）手勢(shì)庫各種支持兒童對(duì)模型的創(chuàng)建和調(diào)整的手勢(shì)集合。系統(tǒng)應(yīng)用手勢(shì)庫前，對(duì)手勢(shì)庫進(jìn)行了一定的手勢(shì)訓(xùn)練，加入了訓(xùn)練得到的特征信息來更好地區(qū)分有效和無效手勢(shì)。

此外，考慮到故事中的每個(gè)角色都是由多個(gè)三維實(shí)體組合而成的，對(duì)于角色實(shí)體的組合不存在分離的情況，而是可以歸納為鄰接（圖4（a））和重疊（圖4（b））兩種基本情況。



兒童在使用手勢(shì)創(chuàng)建角色時(shí)，系統(tǒng)會(huì)根據(jù)草圖筆跡和已有實(shí)體的關(guān)系，自動(dòng)判斷是執(zhí)行鄰接創(chuàng)建手勢(shì)還是重疊創(chuàng)建手勢(shì)，并判斷新實(shí)體的深度位置。如果新實(shí)體的創(chuàng)建筆跡基本都在某一個(gè)已有實(shí)體上，則采用重疊方式；否則采用鄰接方式。不同的方式都會(huì)采用不同規(guī)則來定義新實(shí)體的深度位置。

3）規(guī)則庫提供一些規(guī)則約束，使得模型調(diào)整時(shí)，有關(guān)聯(lián)信息的部分會(huì)一起變化。相鄰部位是關(guān)聯(lián)的，不會(huì)因移動(dòng)和放縮而產(chǎn)生脫離，如圖5（b）和（c）所示分別是在關(guān)聯(lián)狀態(tài)和非關(guān)聯(lián)狀態(tài)調(diào)整角色腦袋位置的結(jié)果。在關(guān)聯(lián)狀態(tài)，腦袋上的眼睛、鼻子、嘴巴等也都會(huì)跟著相應(yīng)地調(diào)整位置而不會(huì)出現(xiàn)與腦袋脫離的現(xiàn)象；在不關(guān)聯(lián)狀態(tài)則會(huì)產(chǎn)生脫離。以上情況就是相鄰部位的關(guān)聯(lián)。此外，對(duì)稱部位也是關(guān)聯(lián)的，在調(diào)整其中一個(gè)時(shí)，另一個(gè)會(huì)自動(dòng)進(jìn)行對(duì)稱的變化。例如，在調(diào)整一個(gè)眼睛的大小、顏色、位置時(shí)，另一個(gè)眼睛也會(huì)跟著對(duì)稱地變化。這樣可以減少兒童調(diào)整模型時(shí)的工作量，使得建模過程變得更方便、快捷。

通過以上三個(gè)庫的支持，兒童可以非常方便地利用筆在角色創(chuàng)建系統(tǒng)中進(jìn)行角色創(chuàng)建和調(diào)整。

32模型創(chuàng)建過程

角色的創(chuàng)建過程是指創(chuàng)建一個(gè)完整角色的過程，根據(jù)前面的設(shè)計(jì)，角色的創(chuàng)建過程如圖6所示。用戶可以選擇自由創(chuàng)建或者基于模板創(chuàng)建?；谀０鍎?chuàng)建時(shí)，用戶首先需要確定角色的模板（如兩條腿模板或四條腿模板等），然后可以輸入編輯手勢(shì)調(diào)整模型的形狀、大小、位置、顏色等；自由創(chuàng)建模型時(shí)，用戶可以用簡單的草圖創(chuàng)建手勢(shì)來創(chuàng)建自己的角色形象，也可以隨時(shí)切換到調(diào)整模式來調(diào)整實(shí)體的形狀、大小、位置等。無論是采用哪一種方法創(chuàng)建角色模型，在創(chuàng)建時(shí)都可以調(diào)整觀察角度，創(chuàng)建完成后，最終的故事角色模型可以保存下來，用于已有的兒童講故事系統(tǒng)。

33系統(tǒng)功能描述

建模工具的界面主要分為三個(gè)部分，如圖7所示。

第一部分是左上角的角色創(chuàng)建區(qū)域。在這里，兒童可以用筆方便地進(jìn)行角色建模。系統(tǒng)會(huì)采集用戶的手寫筆輸入信息，然后對(duì)信息進(jìn)行判斷。如果輸入的不是手勢(shì)，則確認(rèn)是否有需要觸發(fā)的響應(yīng)，若存在，則觸發(fā)該響應(yīng)；如果輸入的是手勢(shì)，則處理一系列離散的二維點(diǎn)。這些點(diǎn)經(jīng)過預(yù)處理會(huì)產(chǎn)生手勢(shì)的特征信息。同時(shí)，系統(tǒng)將獲取該手勢(shì)與已有模型實(shí)體間的關(guān)系信息，以此來提取用戶意圖。系統(tǒng)通過手勢(shì)庫支持進(jìn)行手勢(shì)識(shí)別。接著，系統(tǒng)會(huì)根據(jù)得到的關(guān)系信息和手勢(shì)識(shí)別結(jié)果，判斷區(qū)分各種創(chuàng)建手勢(shì)和調(diào)整手勢(shì)，并做出相應(yīng)的創(chuàng)建和調(diào)整工作（見3.4節(jié)）。

第二部分是右側(cè)的關(guān)聯(lián)區(qū)域。在這里，兒童可以切換關(guān)聯(lián)狀態(tài)和不關(guān)聯(lián)狀態(tài)。在關(guān)聯(lián)狀態(tài)下，他們可以對(duì)角色的對(duì)稱部位或者相鄰部位進(jìn)行關(guān)聯(lián)調(diào)整。如果兒童想創(chuàng)建不對(duì)稱的個(gè)性角色，可以切換到不關(guān)聯(lián)狀態(tài)，對(duì)各部位進(jìn)行獨(dú)立操作。

第三部分是最下方的工具欄。在這里，兒童可以進(jìn)行新建、保存、離開等操作。在選擇“新建”時(shí)，用戶可以選擇一種模板進(jìn)行角色創(chuàng)建：可以選擇一個(gè)已有的模型，對(duì)其進(jìn)行修改；也可以選擇自由建模來創(chuàng)建自己的角色。如圖8所示，工具欄上有“創(chuàng)建”按鈕，表明此刻處于創(chuàng)建狀態(tài)，如果點(diǎn)擊該按鈕，該按鈕會(huì)變成“調(diào)整”，表明切換到了調(diào)整狀態(tài)。在創(chuàng)建和調(diào)整模型時(shí)，兒童可以選擇工具欄上的各種顏色來創(chuàng)建或調(diào)整某部位的顏色。當(dāng)創(chuàng)建完角色后，可以點(diǎn)擊保存，給自己的角色起一個(gè)名字并將其保存下來。如果點(diǎn)擊“離開”按鈕將退出角色建模工具。

34角色建模實(shí)例

下面給出一個(gè)使用該兒童故事角色建模工具自由創(chuàng)建一個(gè)小熊模型的過程（這部分的圖中所有的曲線為筆跡，帶箭頭虛線表示筆跡的方向）。

a)選擇自由建模狀態(tài)，然后在創(chuàng)建區(qū)用圓形創(chuàng)建手勢(shì)來繪制小熊的頭，系統(tǒng)會(huì)在相應(yīng)位置生成一個(gè)三維球體，如圖9(a)和(b)所示。

b）重新選擇一個(gè)顏色，繼續(xù)畫小熊的身體，系統(tǒng)會(huì)鄰接于頭部生成相應(yīng)的三維身體，如圖9(c)和(d)所示。

c）繼續(xù)選擇當(dāng)前想用的顏色，然后在頭上畫一個(gè)圓形創(chuàng)建手勢(shì)來創(chuàng)建眼睛，系統(tǒng)會(huì)根據(jù)頭部的深度值和頭部該位置的尺寸大小來得到眼睛的深度值。然后把小熊的眼睛重疊在頭部上面，如圖9(e)和(f)所示。

d)重復(fù)步驟a)~c)，創(chuàng)建出整個(gè)小熊的基本形狀，如圖10(a)所示。

e）創(chuàng)建完畢以后，用戶可以選擇要關(guān)聯(lián)的部位，然后使用關(guān)聯(lián)功能。系統(tǒng)會(huì)得到這些部位的信息，自動(dòng)確定它們之間的關(guān)聯(lián)關(guān)系（對(duì)稱和鄰接）。

f）從創(chuàng)建狀態(tài)切換到調(diào)整狀態(tài)，選中頭部，然后給它重新挑選一個(gè)顏色，如圖10(b)所示。

g）重復(fù)f），完成所有部位顏色的調(diào)整，如圖10(c)所示。

h)調(diào)整部位的大小，如選中小熊的身體，然后用筆向左下角拖動(dòng)則身體會(huì)變瘦變短，如圖11(a)和(b)所示。

i）調(diào)整部位的角度，如圖11（b)所示，選中右邊的手，然后畫逆時(shí)針的筆跡，則小手逆時(shí)針轉(zhuǎn)動(dòng)。結(jié)果如圖11(c)。

j）調(diào)整部位的位置，可以直接拖動(dòng)需要調(diào)整的部位，如拖動(dòng)左邊的耳朵，它會(huì)移動(dòng)到相應(yīng)的位置；同時(shí)另一只耳朵也相應(yīng)地進(jìn)行對(duì)稱變化。結(jié)果如圖12（a）(b)所示。

k）重復(fù)h）~j）的調(diào)整過程，最終可以得到小熊的創(chuàng)建結(jié)果(圖13)。

l）完成模型的創(chuàng)作后，可以保存該模型，并運(yùn)用于已有的講故事系統(tǒng)。圖14是在講故事系統(tǒng)中使用小熊進(jìn)行故事創(chuàng)作的界面。

4結(jié)束語

本文介紹了兒童故事角色建模工具。該工具采用自然的筆式交互方式，讓兒童可以基于草圖進(jìn)行故事角色的建模，整個(gè)三維角色建模的過程簡單易學(xué)，不會(huì)給兒童帶來學(xué)習(xí)和認(rèn)知的負(fù)擔(dān)，兒童可以自由創(chuàng)建自己需要的角色。此外，兒童也可以利用模板建模的方法進(jìn)行角色建模，系統(tǒng)提供了一些常用的故事角色模板，兒童可以修改調(diào)整模板創(chuàng)建需要的故事角色。無論是自由建模還是模板建模的結(jié)果都可以保存下來在講故事系統(tǒng)中進(jìn)行使用。然而，現(xiàn)有的工具功能還不夠完善。目前，正在對(duì)建模工具中添加一個(gè)新的模塊，該模塊用于設(shè)計(jì)角色的行動(dòng)，這使得兒童不但能夠創(chuàng)建自己的故事角色，還能設(shè)計(jì)故事角色的個(gè)性動(dòng)作。最終的工具實(shí)現(xiàn)后，將對(duì)角色建模工具進(jìn)行可用性評(píng)估，獲取兒童用戶的反饋意見，以進(jìn)一步改善工具。

參考文獻(xiàn)：

［1］

AYLETT R.And they both lived happily ever after?——digital stories and learning[M]//DETTORI G，GIANNETTI T，PAIVA A，et al.Technology-mediated narrative environments for learning.Amsterdam: Sense Publishers，2006:5-26.

[2]BERS M，CASSELL J.Interactive storytelling systems for children:using technology to explore language and identity[J].Journal of Interactive Learning Research，1999，9(2):603-609.

[3]HOURCADE J P，BEDERSON B B，DRUIN A，et al.KidPad:collaborative storytelling for children[C]//Proc of Human Factors in Computing Systems. New York:ACM Press，2002:500-501.

[4]ALBORZI H，DRUIN A，MONTEMAYOR J，et al.Designing Story-Rooms:interactive storytelling spaces for children[C]//Proc of the 9th ACM Conference on Designing Interactive Systems.New York:ACM Press，2002:95-100.

[5]VAUCELLE C，JEHAN T.Dolltalk:a computational toy to enhance children’s creativity[C]//Proc of ACM Conference on CHI.New York:ACM Press，2002:776-777.

[6]WANG Dan-li， ZHANG Jie，LI Jie，et al.A multimodal 3D storytelling system for Chinese children[M]//PAN Z，AYLETT R，DIENER H，et al.Technologies for e-learning and digital entertainment.Heidelberg:Springer-Verlag，2007:511-526.

[7]PEREIRA J P，BRANCO V A，JORGE J A，et al.Cascading recogni-zers for ambiguous calligraphic interaction[C]//Proc ofEurographics Workshop on Sketch-based Interfaces and Modeling.2004:64-72.

[8]MATSUMIYA M，TAKEMURA H， YOKOYA N.An immersive mode-ling system for 3D free-form design using implicit surfaces[C]//Proc of ACM Symposium on Virtual Reality Software and Technology.New York:ACM Press，2000:67-74.

[9]FOSKEY M，OTADUY M A，LIN M C.ArtNova:touch-enabled 3D model design[C]//Proc of IEEE Virtual Reality Conference.Orlando:[s.n.]，2002:119-126.

[10]IGARASHI T，MATSUOKA S，TANAKA H.Teddy:a sketching interface for 3D freeform design

[C]//Proc ofACM SIGGRAPH ’99.New York:ACM Press，1999:409-416.

[11]CHERLIN J J，SAMAVATI F，SOUSA M C，et al.Sketch-based modeling with few strokes[C]//Proc of the 21st Spring Conference on Computer Graphics.New York:ACM Press，2005:137-145.

[12]KARPENKO O A，HUGHES J F.SmoothSketch: 3D free-form shapes from complex sketches[C]//Proc ofACM SIGGRAPH ’06.New York:ACM Press，2006:589-598.

[13]董建明，傅利民，GAVRIEL S.人機(jī)交互:以用戶為中心的設(shè)計(jì)和評(píng)估[M].北京:清華大學(xué)出版社，2002.

[14]張婕.基于筆和語音的多通道兒童講故事系統(tǒng)[D].北京:中國科學(xué)院軟件研究所，2007.