3D動畫自動生成的學習系統①

蔣夢馨,宗玉英

(北京工業大學 信息學部,北京 100124)

1 引言

20世紀90年代,中科院陸汝鈐院士首次提出全過程計算機輔助動畫自動生成技術,這種基于人工智能的動畫生成技術實現了從文本到動畫的自動生成[1].2008年,中科院張松懋研究員提出將3D動畫自動生成技術應用在手機短信上并從技術上實現了該設想——手機3D動畫自動生成系統(以下簡稱“生成系統”),該系統以短信文本為輸入,對動畫內容給以定性分析和定量計算,最終輸出手機3D動畫[2],系統自2008年運作至今已有動畫成品八千六百余條.

2015年,18位頂級科技領袖利用共享情報評選出十大最有前途、最有希望和最有趣的科技發明,由卡內基梅隆大學設計的Never-Ending Language Learning(NELL)系統位列榜單[3].NELL系統能夠不斷地閱讀數億頁的網頁,并在閱讀中擴充系統的Knowledge bases以不斷提高系統的理解力[4].機器學習是當下最熱門的人工智能科學,它通過學習已知數據集(訓練樣本)的特征和結果建立一個預測模型(訓練模型),利用模型可以預測并度量未知數據的特征和結果[5],經典的機器學習算法有決策樹、神經網絡、支持向量機等.在NELL系統啟發下,本文依托機器學習算法為生成系統搭建一個學習系統,實現生成系統“不斷學習”的學習能力.

生成系統采用傳統的基于知識的方法,目前面臨兩個問題:(1)缺乏學習能力,大量的歷史數據的被浪費;(2)動畫成品質量只能依賴于系統設計者的水平,而系統的使用者——用戶無法參與動畫的生成.為了解決這兩個問題,學習系統把用戶對動畫成品的評價和生成系統的歷史數據作為訓練樣本,使用機器學習算法生成一個以用戶評價為分類結果的模型去指導生成系統生成讓用戶更滿意的動畫.但是用戶對動畫的評價是一種主觀判斷,用戶對文本的理解、用戶的心理狀態以及動畫本身的色彩、音樂、動作等因素都會影響評價結果,為了讓學習目的更明確、指導更有針對性需要選擇一個更為具體的評價對象.場景是動畫的發生背景,對用戶來說,場景是動畫最直觀的內容;對生成系統來說,場景的空間屬性、布局屬性直接影響后續模型的添加,色彩、光照等一系列的規劃,本文選取動畫場景作為用戶的評價對象.此外,機器學習算法的選擇是學習系統實現的一個關鍵問題,在機器學習方法中基于決策樹的方法被廣泛應用,一是由于決策樹模型易于理解,通過決策樹的工作過程可以直觀理解問題的求解過程;二是由于決策樹能夠對廣泛的問題給出準確的解[6].隨機森林是以決策樹為基學習器構建的集成學習器,因其簡單、容易實現,計算開銷小,在很多現實任務中展現出強大性能而被譽為“代表集成學習技術水平的方法”[7].

生成系統目前處于運轉狀態,可利用的動畫成品會不斷增加.NELL系統利用Knowledge Bases的不斷擴充實現學習能力的提高,本文受此啟發為學習系統搭建了一個樣本數據庫,樣本數據的增加會刺激學習模型不斷更新,提高學習系統的指導能力,最終實現系統“不斷學習”的能力.

學習系統一方面解決了生成系統的兩個固有問題,另一方面通過搭建一個循環式的學習系統,讓生成系統擁有了“不斷學習”的能力.本文第2節介紹生成系統和學習系統,第3節介紹隨機森林模型的搭建,第4節利用實驗證明學習系統的有效性.

2 系統介紹

2.1 生成系統

生成系統劃分為信息抽取、情節定性規劃(ADL)、動畫定量計算(CAL)、網絡渲染四個核心模塊[8],流程圖如圖1所示.其他輔助模塊為:短信接收和預處理模塊、動畫相關文件的局域網傳輸模塊、3D動畫網址生成與發送模塊.

圖1 生成系統流程圖

生成系統的動畫成品依托于動畫素材庫,動畫素材庫主要包括場景庫、模型庫、背景音樂庫等.場景庫和模型庫都是maya文件庫,場景是動畫發生的背景場景,模型是指實物模型,如一個人、一朵花等.

首先,信息抽取模塊從短信文本抽取出若干主題和模板,主題是指從短信里提取可動畫化的動畫主題系列,例如生日、打籃球、新年等;模板是具體化的事物對象,如人物模板、地點模板等.如圖2所示,從短信“我想在家待著,不想去踢球”抽取出主題“踢足球”,以及模板“動作”、“人物”,這些信息被存儲在IE文件中,并成為情節定性規劃的依據.生成系統利用軟件protégé構建本體庫(動畫場景庫類、主題庫類、模板庫類、背景圖片庫類、場景空間類、動畫3維模型類等),使用SWRL語言編寫規則(包括模板原子推主題類規則、模板原子推動畫場景類規則、用于對動畫產生多變性效果的增加類規則、刪減類規則、更改類規則等),實現不同知識特定的表達方式和不同數據之間復雜的推理關系[7].情節定性規劃模塊依據信息框架調用對應的本體庫和規則庫,推理完成場景的選擇,模型增減,動作、色彩、變形、光照等方面的規劃,并將規劃結果寫入情節規劃文檔(ADL),定性規劃的結果又將作為定量規劃模塊的依據.定量模塊進行定量計算,對動畫文件進行操作,進而生成可以渲染的動畫場景文件.最后進入網絡渲染模塊進行渲染,生成可播放的動畫文件返回給用戶[8].

圖2 信息抽取模塊輸出結果示例

生成系統的素材選擇堅持合理性、隨機性、多樣性的原則,即素材符合短信文本傳遞內容,素材選擇在合理范圍內的選擇不受人的干預,同一短信文本多次輸入得到會得到不同的動畫.其中場景選擇的具體策略是:首先根據信息抽取的主題、模板原子、模板原子對應的模型或特效得到若干候選場景;然后按照設定好的評分項(時間、人物、動作等項)為每個候選場景打分,并計算出最終的總得分;最后隨機選擇一個候選場景作為最終場景,總分越高的候選場景被選中的幾率越大[8].

2.2 學習系統

學習系統的學習目標是堅持合理性、隨機性、多樣性三原則的前提下幫助生成系統選擇用戶更滿意的場景,最終實現用戶對動畫滿意度的提高.學習系統有三大模塊:交互模塊、數據管理分析模塊和訓練模塊.系統流程圖如圖3.

交互模塊負責與生成系統和用戶交互.通過與生成系統交互獲得歷史數據:存有信息框架的IE文件、存有定性數據的ADL文檔(存有選取的場景)、動畫成品,再加上與用戶交互獲得的用戶對場景選擇的評價共同作為訓練樣本數據.同時交互模塊要不斷傳輸學習結果(模型數據)給生成系統,幫助生成系統做出更優選擇.交互模塊是實現學習目標的重要保證.

圖3 學習系統流程圖

數據管理分析模塊實現對樣本數據統一的存儲、管理以及分析決斷.首先接收交互模塊傳遞的完整樣本數據,進行信息提取和處理后得到標準樣本數據存入數據庫,然后該模塊對樣本數據庫中數據進行分析決斷.數據庫的屬性列表是:ID編號,短信編號,標準樣本數據,IsUsed(該樣本是否被用作過訓練樣本),Difference[9,10](樣本距離最近的簇的距離值),IsJudge(是否被用戶評分).Difference屬性用于選出需要交互的短信動畫,Difference和IsUsed共同決定是否需要重新訓練,策略如下:

(1)當數據庫中未被使用的樣本數目超過限度值時,建議系統管理者重新訓練數據;

(2)當數據庫中Difference值超標的樣本數目超過限度值時,建議系統管理者重新訓練數據;

(3)當上面兩者情況同時出現的時候,要求系統管理者重新訓練數據;

訓練模塊使用訓練樣本進行訓練,得到的學習模型返回給交互模塊.該模塊接受數據管理分析模塊的判斷意見決定是否訓練,保證學習模型能夠隨著生成系統的運轉而不斷更新.

3 隨機森林模型

3.1 訓練樣本

用戶對動畫最直接的評判來源于短信文本傳遞的信息,信息抽取模塊得到的信息框架是對文本傳遞內容的精煉,短信主題、短信模板、短信最終選用的場景決定了用戶對動畫成品場景選擇的滿意度.目前生成系統內有103個主題,135組模板,95個場景,為了避免決策樹的分支過于龐大,將主題、場景各分成10組,模板依照本身的類別分成14組.標準樣本數據為(屬性,分類),屬性=(主題組號,主題實例,第N組模板實例,場景組號,場景實例)(N=1,2,…,14,共有18個屬性),分類=(用戶對動畫成品的場景評分)(評分=1,2,3,4,5).

訓練樣本的處理流程是:首先從生成系統得到初始樣本數據(IE文件、ADL文檔、動畫成品);然后與用戶交互后得到部分樣本數據的標記;最后由數據管理分析模塊處理得到完整的標準樣本數據作為隨機森林的訓練樣本.在數據管理分析模塊,由于只有部分樣本有標記,需要采用半監督學習方法[9,10]實現對所有樣本的標記,本文采用Constrained Seed K-means算法完成對所有樣本的標記.

3.2 隨機森林模型

隨機森林的生成首先從數據庫中采樣出T個(T=基學習器數量)含有m個(m=數據庫中可用的標準樣本數據的數量)訓練樣本的采樣集,抽取方式是有放回的抽取;然后基于每個采樣集訓練出一個基學習器,基學習器基于ID3算法搭建(學習系統目前建立5個基學習器用于實驗),但與傳統的ID3算法不同的是對基決策樹的每個結點的選取是先從該結點的屬性集合中選擇一個包含著k(k=log2d,d=當前結點的屬性數目)個屬性的子集,然后再從這個子集中選擇一個最優屬性用于劃分[7].

為完成隨機森林模型對生成系統的指導作用,在學習系統的交互模塊對學習模型的使用需要完成四個步:(1)接收隨機森林模型數據;(2)接收信息框架、候選場景;(3)得到單棵決策樹對每個候選場景的用戶滿意度,使用投票法得到預測的用戶滿意度,再計算出用戶推薦分值(用戶推薦分值=用戶滿意度/所有候選場景的用戶滿意度的和);(4)用戶推薦分值被列入評分項,與合適的權重相乘后被算入總分.其中權重的選擇依據候選場景個數,候選場景越多權重越大.

4 實驗

學習系統目前已經實現了基本的功能,從2017年6月份到2017年11月已參與414條動畫的生成.

實驗一驗證學習系統的隨機森林模型是否能有效學習到用戶的喜好.記特定短信文本內容下用戶評分1分的動畫場景為厭惡場景,用戶評分5分的動畫場景記為喜愛場景,從用戶對動畫的反饋中找出16條評分為1分的短信動畫和15條評分為5分的短信動畫,提取出對應的短信文本內容和選擇的場景,對這31條短信進行對比試驗.具體操作為:(1)將短信文本輸入沒有學習系統的生成系統,得到系統選擇的場景,相同內容短信反復測試100次;(2)將短信文本輸入有學習系統指導的生成系統,得到系統選擇的場景,相同內容短信反復測試100次;(3)對比兩組實驗厭惡場景/喜愛場景出現的概率.結果如表1,在使用學習系統后,生成系統能夠增加特定短信文本對應的喜愛場景的選中概率,減少厭惡場景的選中概率.實驗一以代表場景(特定短信文本內容對應的喜愛場景和厭惡場景)為實驗對象,證明了學習系統能夠學習到用戶對場景的喜好,從而幫助生成系統作出讓用戶更滿意的選擇.

表1 特定短信文本對用戶喜愛/厭惡場景選中概率的對比實驗

學習系統最主要的功能是通過幫助生成系統選擇用戶更喜歡的場景,實現用戶對動畫滿意度的提高.在實驗二中有20名實驗用戶,男女各10名,實驗用戶背景信息如表2.從原生成系統選擇400條動畫,在實驗用戶明確了解了生成系統場景的定義后為這400條動畫的場景選擇評分,平均分是3.08.在學習系統投入使用后,隨機選擇50條動畫與實驗用戶交互得到評分反饋,平均分是3.6,增長16.883%.結果表明,學習系統能夠幫助生成系統提高用戶滿意度,增長幅度沒有大幅度提高主要是由于用戶對生成系統素材庫中的場景制作滿意度不高導致用戶評價的最高分不能有突破.

表2 實驗用戶(男/女)背景信息

本小節用兩個實驗驗證學習系統的有效性,即學習系統能夠學習到用戶對場景的喜好,幫助生成系統提高用戶對動畫成品滿意度,但是受生成系統其它因素的客觀限制,并為了保證動畫的隨機性、多樣性,這種提高是在一定范圍內的提高.

5 結語

本文主要介紹了手機3D動畫自動生成系統的學習系統的設計與實現,學習系統幫助生成系統不斷從歷史數據中學習經驗生成更讓用戶滿意的動畫,同時學習系統的實現讓生成系統擁有“不斷學習”的能力.目前學習系統主要幫助生成系統進行場景選擇,這種學習模式也可以應用于模型、人物動作、背景音樂的選擇,讓用戶的意見作用于動畫成品的各個方面.學習系統仍處于改進階段,需大量實驗尋找更優的系統參數如基學習器的數目,從而更好的為生成系統服務.