基于DBpedia的動畫情節規劃

杜艮魁

摘 要：手機動畫自動生成系統將中文短信作為輸入，經過信息抽取、情節規劃、定量計算和實時渲染之后，生成一段可以表現短信內容的動畫。其中情節規劃決定了動畫對短信內容的表現方式，是動畫系統的重要組成部分。當前動畫系統情節規劃模塊僅僅基于動畫課題組建立的動畫本體庫，實體及實體關系較少，能夠進行的情節規劃十分有限。為豐富情節規劃可使用的語義信息，構建了DBpedia數據集與動畫本體庫之間的實體鏈接，并在情節規劃過程中以DBpedia數據集作為背景知識，實現基于DBpedia的動畫情節規劃。實驗表明，平均每條短信獲取備選場景的數量提升了33%，獲取短信相關模型的數量提升了37%，基于DBpedia的情節規劃能夠顯著提高情節規劃的多樣性。

關鍵詞：動畫自動生成;情節規劃;實體鏈接;DBpedia;背景知識

0 引言

20世紀90年代，中科院數學所陸汝鈐院士[1]首次提出了全過程計算機輔助動畫自動生成技術。該技術以受限語言作為輸入，將人工智能技術、圖形學和電影藝術相結合，全自動進行動畫生成。整個過程不需要人工干預，由計算機自動完成，因此可提高動畫成片效率。中科院張松懋研究員[2]提出將動畫自動生成技術應用在手機短信上，并完成了手機動畫自動生成系統的初始版本。該系統通過對發送方的短信進行信息抽取、情節規劃、定量計算和實時渲染處理后，最終生成表現短信內容的動畫并發送給短信接收方。

動畫系統的情節規劃模塊銜接了信息抽取和定量計算，實現對短信內容的設計，包括場景模型規劃、音樂規劃、動作規劃、特效規劃、色彩燈光規劃、空間布局規劃、攝像機規劃等。情節規劃以動畫本體庫為知識基礎[3]，本體庫中實體和關系的數量將對情節規劃效果產生直接影響。

Linked Open Data（LOD）是一個開放、互聯的數據集集合，包含音樂、電影、醫學和跨領域等各種類型的數據集[4]，部分數據集如圖1所示。其中DBpedia是最大且應用最廣泛的跨領域數據集之一[5]，內容為Wikipedia中抽取的結構化數據，包含豐富的語義信息，因此在很多應用中被用作背景知識來源[6]。

本文旨在通過構建動畫本體庫與DBpedia之間的實體鏈接，在情節規劃過程中使用DBpedia作為背景知識提高情節規劃效果。

1 相關研究

Tim Berners-Lee[7-8]將語義網定義為“被機器理解的數據網絡”，該技術可增強計算機對數據的處理能力。自2012年谷歌發布知識圖譜（Knowledge Graph）以來[9]，推動了語義網技術在搜索和推薦等領域的研究和商業化應用[10-12]。

動畫系統情節規劃基于語義網技術[13]，并使用本體編輯器protégé構建了動畫本體庫。目前，動畫本體庫包括場景庫、模型庫、音樂庫、動作庫、空間布局庫和攝像機庫等，主要為描述動畫生成手段的類、實體、屬性和關系三元組，數據統計如表1所示。由于動畫本體庫實體和關系較少，因此能夠進行的情節規劃十分有限。

DBpedia是從 Wikipedia中抽取的結構化數據，可通過SPARQL終端查詢或直接下載。Wikipedia文章之間的相互引用為DBpedia抽取海量關系提供了數據基礎。目前DBpedia包含760個類、62 025個屬性、400多萬個實體和9.5億多個關系三元組，其主要類型的實體數量統計如表2所示。

DBpedia包含了大量的語義信息，因此各種應用常使用DBpedia對業務數據進行實體鏈接以獲取該數據的語義信息。DBpedia lookup提供了基于關鍵字的實體搜索服務，該服務使用類型作為搜索限制，并基于相關度對結果進行排序。DBpedia Spotlight是一種將非結構化信息鏈接到 DBpedia實體上的解決方案[14]，該工具可自動使用DBpedia URI對文本中實體進行注釋。通過分析數據特點，構造SPARQL語句查詢對應的實體，是一種常用的針對DBpedia數據集實體鏈接方案[15]。此外，DBpedia本身也和很多開源數據集之間存在著豐富的鏈接，例如與yago[16]之間的關系三元組有18 100 000多個，這些數據可作為被鏈接實體的語義信息來源。

在進行實體鏈接之前常常需要對數據進行預處理，以減小不同數據集的格式、命名規范和同義詞等因素對實體鏈接造成的影響[17]。Natural Language Toolkit（NLTK）是一個開源的自然語言處理框架[18]，可以對文本數據進行分詞、詞干提取、詞性標記等處理。

本文使用開源框架Apache Jean對本體庫進行操作。Apache Jena是用來構建語義網應用的常用解決方案，可以對RDF（Resource Description Framework）數據進行存儲、查詢和修改等操作，主要功能組件如下：

（1）Ontology API：可使用模型對象對RDF數據進行查詢或修改，例如添加額外的語義信息到RDF數據。

（2）ARQ：可使用基于SPARQL1.1協議的查詢語言對本地本體庫或網絡上的SPARQL 終端進行查詢。

（3）TDB：高性能的RDF數據存儲組件，可對數據進行持久化。

（4）RDF API：讀取和修改RDF數據，將RDF數據轉換成XML、JSON等格式。

2 DBpedia與動畫知識庫的實體鏈接構建

構建動畫本體庫和DBpedia的實體鏈接后，可借助這些鏈接進一步對動畫知識庫增強，使得在情節規劃過程中將DBpedia作為背景知識，充分利用其語義信息進行情節規劃。構建實體鏈接主要步驟如下：

（1）數據預處理：將用于輔助實體鏈接的實體名稱格式進行歸一化處理和同義擴充。

（2）建立關系：將動畫本體庫中的實體鏈接到DBpedia實體，構造兩個本體庫之間的關系，并使用這些關系對動畫本體庫進行增強。

2.1 數據預處理

為避免兩個數據集不同命名規范和詞形對后續建立關系時造成影響，有必要先對數據進行預處理，數據預處理流程如圖2所示。

在經過分詞和詞干提取處理后，實體名稱已經轉換為相對統一的形式，對于實體名稱為單個詞語的數據項，不同的數據集可能采用同義詞命名，因此本文使用WordNet[19]和thesaurus獲取名稱的同義詞集作為對實體的等價描述，以此消除同義詞帶來的影響。實體名稱在進行預處理后轉換為統一的形式。例如“Human”在經過預處理后可得到同義詞集的詞干“human，person”，“histor build”為“HistoricBuilding”經過預處理之后所包含單詞的詞干。

2.2 DBpedia與動畫知識庫實體鏈接建立

此階段構造DBpedia和動畫本體庫之間的關系三元組，步驟如下：①構造兩個數據集之間的具有等價關系的實體鏈接;②借助實體鏈接的等價關系，獲取DBpedia和動畫本體庫實體之間的其它關聯關系，如子類關系、屬性定義域和值域等，并使用這些關系增強動畫本體庫。

動畫本體庫中資源的URI后綴是被描述的資源英文名稱，例如“人類”對應URI的后綴是 “Human”。DBpedia實體的rdfs：label屬性提供了人類易于理解的資源名稱，如“人類”在DBpedia中對應類的rdfs：label屬性值是“person”。因此動畫本體庫資源的URI后綴和DBpedia資源的rdfs：label屬性可以作為構建兩個數據集之間具有等價關系的實體鏈接輔助信息。通過以下兩種策略進行匹配：①標簽匹配：查找DBpedia的rdfs：label屬性與動畫實體名稱相匹配的實體，匹配借助正則表達式;②前綴匹配：構建自定義的URI鏈接。例如將動畫本體庫中類名稱拼接到“http：//dbpedia.org/ontology/”后，查看DBpedia中是否存在與其等價的類。

DBpedia包含400多萬實體，rdfs：label關聯的關系三元組有22 430 850個。考慮到數據規模，本文使用開源框架Apache Jena 的TDB組件對數據進行存儲。

使用Human實體名稱和DBpedia實體的 rdfs：labe屬性值經過預處理后的同義詞集作為正則匹配參數，并將 ‘cou作為相關性權值，選取權值最大的DBpedia實體作為結果進行鏈接。

實體鏈接之后，每對鏈接關聯的實體具有等價關系，以這些等價關系為基礎，使用Apache Jena框架補全兩個本體庫之間其它的關系，結果如表3所示。

鏈接完成后，動畫本體庫中仍有部分數據未能鏈接到DBpedia上，分析原因為：動畫本體庫中很多描述動畫生成手段的專業知識在 DBpedia中沒有實體與其準確匹配，比如可用空間、交互動作、攝像機等，對于這部分數據不再進行匹配。

動畫本體庫和DBpedia使用了不同的模式層，因此兩者對于相同的知識可能使用不同形式的描述。例如DBpedia中存在定義域為dbo：Person的屬性foaf：gender描述人物性別，動畫本體庫中區分實體年齡的屬性為人物模型類型。對于此類情況，將DBpedia中的屬性及屬性值補充到動畫本體庫中以增強動畫本體庫。由于不同類下的實體需要進行整合的屬性和屬性值不同，因此這部分工作無法采用全自動方式處理，而是需要不斷總結規律，采用半自動化方式進行。

通過構建DBpedia與動畫知識庫之間的實體鏈接，豐富了情節規劃可使用的知識，為更加多樣性的情節規劃提供了知識基礎。

3 基于DBpedia的情節規劃

情節規劃是指對動畫的內容進行設計，主要基于選定的場景和模型。本版情節規劃使用信息抽取模塊結果作為輸入，結合動畫本體庫，使用DBpedia作為背景知識進行情節規劃。

如圖3所示，基于DBpedia的情節規劃主要步驟為：①實體查找：查找短信內容對應的DBpedia實體;②相關實體搜索：獲取短信內容對應的DBpedia實體之后，搜索與其相關的動畫本體庫實體;③實體選擇：對搜索到的動畫實體和短信對應的實體進行相似度計算，選取最能表現短信內容的動畫實體。

本文以“海明威鐘意墨西哥卷餅”為例，詳細介紹DBpedia為背景知識的情節規劃。

3.1 實體查找

DBpedia包含豐富的語義信息，比如定義域為dbo：Person的屬性有5 754個，通過識別出短信內容中對應的人物實體，可以獲取關于該短信內容豐富的語義信息，比如性別、年齡、職業等。

圖4為短信在信息抽取模塊進行詞性分析、命名實體識別和否定詞分析[20-21]等處理后的結果，主要包括短信主題、模板原子和帶有詞性標注分詞3類信息。其中主題為“購物”，模板為“墨西哥”，短信分詞結果為“海明威#np 鐘意#vb 墨西哥#ng 卷餅#nn”。以短信信息抽取結果為輸入，采用以下兩種策略查找與短信相關的DBpedia實體。

（1）標簽匹配：查找DBpedia的rdfs：label屬性與短信分詞相匹配的實體，如果分詞已經被識別為模板，則將模板中的類別信息作為查詢的限制條件。例如查詢“墨西哥”對應的實體時，在類型為“地點”的實體范圍內，查找是否存在實體的rd-fs：label屬性與“墨西哥”或“Mexico”相匹配的實體。

（2）前綴匹配：構造特定模式的DBpedia URI。例如“http：//dbpedia.org/resource/墨西哥”或“http：//dbpedia.org/resource/Mexico”存在則表示對應的DBpedia實體存在。

DBpedia數據以英文為主，因此在進行匹配時，將輸入的中文分詞翻譯成英文，將結果作為以中文為輸入實體查找失敗時的備選輸入，例如若使用“墨西哥”查不到對應實體，則使用“Mexico”再次進行查找。根據以上兩個策略可以搜索到短信內容相關的DBpedia實體URI：http：//dbpedia.org/resource/Ernest_Hemingway、http：//dbpedia.org/resource/Burrito、http：//dbpedia.org/resource/Mexico。

3.2 相關實體搜索

情節規劃的后續步驟以動畫本體庫中描述動畫表現手段的數據為基礎，因此需要找到與DBpedia實體對應的動畫本體庫實體。通過DBpedia和動畫本體庫之間的關系三元組，搜索獲取的DBpedia實體關聯的動畫實體。相關實體搜索以SPARQL查詢技術為基礎，以短信對應的DBpedia實體S為起始節點，動畫本體庫中的動畫實體E為結束節點，構建如下模式的路徑搜索：

（1）搜索與DBpedia實體等價的動畫實體。

（2）搜索與DBpedia實體類型接近的動畫實體，類型包括等價類、父子類和兄弟類等情況。

（3）此種搜索模式由前兩種模式組合而成，表示通過各種關系與DBpedia實體關聯的動畫本體庫實體，關系不局限于等價。這種搜索模式可以選取多個與此DBpedia實體間接對應的動畫實體。

例如“卷餅”對應的DBpedia實體Burrito其類型為dbo：Food，由于dbo：Food和動畫本體庫的? Food類具有等價關系，因此可選出動畫本體庫Food類下的模型M_carrot.ma、M_icecream.ma、M_grape.ma M_hamburger.ma 、M_fullwatermelon.ma等作為表現短信內容“卷餅”的備選模型。通過與之關聯的實體Qdoba餐飲類型產業，可以找到動畫庫中與“卷餅”間接關聯的EatingScene類下的場景，如Kitchen.ma、restaurantTable.ma等。同理可搜索到與“海明威”關聯的Human類模型和Book類模型，其搜索路徑如圖5所示，出發節點為Ernest_Hemingway。

通過搜索可以找到與短信內容相關的Human類模型、Book類模型、Food類模型和EatingScene類場景。在經過實體查找和相關實體搜索之后，就能盡可能多地識別出短信中的實體及其相關的動畫實體，從而在情節規劃的后續步驟中進行更加多樣性的規劃。

3.3 實體相似度計算

圖6所示規則表示動畫以“restaurantTable.ma”為場景，并添加了模型“M_casualman.ma”、“M_openbook.ma”和“M_hamburger.ma”。以上場景和模型的選擇都是通過該系統獲取，更多可選擇的場景和模型提升了情節規劃的多樣性。最終效果如圖7所示。

4 基于DBpedia的情節規劃實驗

情節規劃是動畫系統的重要組成部分，決定了動畫表現內容與方式，其結果直接影響動畫質量。本文從測試過的短信中隨機選取100條短信進行評測，以驗證系統對動畫多樣性的提升效果。

實驗表明，51%的短信通過該系統獲取了更多與短信相關的模型，數據統計如表4所示;43%的短信通過該系統獲取了更多的備選場景，數據統計如表5所示。

由表4和表5可知，通過該系統，平均每條短信獲取11個模型，數量提升了37%，平均每條短信獲取12個備選場景，數量提升了33%。由此可知，相比于僅僅通過動畫知識庫，該系統可以獲取更多與短信相關的模型和場景，進而豐富短信內容表現手段，提高動畫系統的多樣性。

通過分析測評的100條短信，發現基于DBpedia的情節規劃存在以下影響最終規劃結果的因素：①情節規劃依賴信息抽取模塊的輸出，因此信息抽取模塊輸出結果的好壞制約該系統;②DBpedia與動畫本體庫之間鏈接的準確度不夠將影響部分短信內容的情節規劃。

5 結語

手機動畫自動生成系統面向開放的中文短信，內容千變萬化，因此要求情節規劃具備多樣性特點。本文通過構建DBpedia與動畫本體庫的實體鏈接，使用DBpedia增強動畫本體庫，并在情節規劃過程中使用DBpedia作為背景知識規劃情節，獲取了更多與短信相關的模型與場景，使短信情節規劃獲取更多可選的表現手段，從而提升動畫系統的多樣性。

通過將動畫本體庫與LOD其它數據集進行鏈接，可以進一步豐富情節規劃可使用的語義信息，進一步提升情節規劃效果。然而，由于場景和模型等數量有限，不能完全覆蓋本文系統抽取到的所有實體，因此需要不斷豐富動畫庫中的場景和模型，今后研究重點是針對以上問題進行改善。

參考文獻：

[1] 陸汝鈐，張松懋. 從故事到動畫片——全過程計算機輔助動畫自動生成[J]. 自動化學報，2002，28（3）：321-348.

[2] 吳中彪. 全過程計算機輔助手機3D動畫自動生成系統的設計與實現[D]. 北京：北京工業大學，2011.

[3] 聶君蓮. 基于語義網的手機短信3D動畫情節規劃[D]. 北京：北京工業大學，2012.

[4] BIZER C，HEATH T， BERNERS-LEE T. Linked data - the story so far. Int [J]. Semantic Web Information System，2009，5（3）：1-22.

[5] AUER S. DBpedia：a nucleus for a web of open data[C]. Busan： International Semantic Web Conference，2007.

[6] PAULHEIM H. Exploiting linked open data as background knowledge in data mining[C]. International Conference on Data Mining on Linked Data.org， 2014：1-10.

[7] BERNERS-LEE T. Linked data[EB/OL]. http：//www.w3.org/DesignIssues/LinkedData.html.

[8] BERNERS-LEE T. Information management：a proposal[EB/OL]. https：//www.w3.org/History/1989/proposal.html

[9] 阮彤. 中醫藥知識圖譜構建與應用[EB/OL]. https：//googleblog.blogspot.com/2012/05/introducing-knowledge-graph-things-not.html

[10] NOIA T D， MIRIZZI R， OSTUNI V C， et al. Linked open data to support content-based recommender systems[C].International Conference on Semantic Systems，2012.

[11] 武金剛. 知識圖譜——搜索引擎的進化[J]. 百科知識，2013（22）：28-29.

[12] 賴朝安，錢嬌. 基于知識圖譜的專利挖掘方法及其應用[J]. 科研管理，2017（S1）：341-349.

[13] 王金鵑. 基于本體的手機3D動畫情節自動生成系統[D]. 北京：北京工業大學，2015.

[14] MENDES P N，JAKOB M，BIZER C. DBpedia spotlight：shedding light on the web of documents[C]. International Conference on Semantic Systems. 2011.

[15] HEIM P，HELLMANN S，LEHMANN J，et al. Relfinder： revealing relationships in RDF knowledge bases[C].International Conference on Semantic Multimedia，2009.

[16] SUCHANEK F M，KASNECI G，WEIKUM G. Yago： a core of semantic knowledge[C]. International Conference on World Wide Web. OAI， 2007.

[17] 陸偉，武川. 實體鏈接研究綜述[J]. 情報學報，2015（1）：105-112.

[18] LOPER E，BIRD S. NLTK： the natural language toolkit[J].arXiv， 2002（5）：592-563.

[19] MILLER，GEORGE A. Wordnet： a lexical database? for English[J]. Communications of the Association for Computing Machinery， 1995， 38（11）：39-41.

[20] 吳中彪. 全過程計算機輔助手機3D動畫自動生成系統的設計與實現[D]. 北京：北京工業大學，2011.

[21] 裴艷霞，劉椿年. 面向手機3D動畫自動生成的中文命名實體識別[J]. 計算機工程與應用，2012，48（13）：190-195.

（責任編輯：杜能鋼）