基于實體聯想的表演創意畫面合成

代洪霞,張龍飛*,丁剛毅

（1.北京理工大學計算機科學與技術學院，北京 100081；2.北京理工大學數字表演與仿真國家重點實驗室，北京 100081）

1 引言

表演的最早起源被看作與宗教儀式相關聯，是人們在標記生活重大事件進行情感寄托的儀式活動，是人們對生活的表達、歌頌和升華。表演活動是社會生活中不可或缺的一部分[1]。近年文藝演出在我國得到蓬勃有力的發展，演出的形式更加豐富，演出的規模也日益盛大，其中以國際奧林匹克運動賽事開閉幕式的文藝演出為首（如圖1所示），不僅振奮精神、凝聚人心，文化也借其得以傳承和提煉。隨著表演規模增大，表演元素和表演設計的復雜度也不斷提升，技術力量越來越參與到表演中，一方面表現為數字媒體技術在傳統表演藝術手段之上對表演形式進行創新,比如虛擬現實和機器人表演工作[2]等，一方面則表現為算法計算對表演創作的賦能驅動，比如表演建模與仿真，智能創意等[3]，通過算法進行或者輔助創意成為可能。

圖1 北京夏季奧運會開幕式、平昌八分鐘、北京冬奧會開閉幕式文藝演出

創造力是人類智能的重要特征之一[4],創造力的表現更是表演一類藝術創作活動能否取得成功的關鍵，創意圍繞表演要素貫穿于表演創意的始終，包括主題設計、舞美布景、表演者行為動作[5]。表演創意可以分為主題創意、形式創意、視覺創意，對于不同的創意方向，算法所參與的形式也各不相同，本文主要討論算法在表演創意中視覺創意的應用。雖然表演活動是基于三維空間的立體事物的變化和表現，但對于作為觀眾的欣賞者而言依然為投射在視覺成像平面的二維畫面，導演在創意設計時也會以主觀眾臺視角為基準進行布局考量和舞臺設計，因此在研究面向表演的視覺創意時同樣以二維畫面為基準進行設計。算法對創意的干預最初表現在計算和認知兩個角度，Gero[6]提出應用模型和算法輔助設計人員進行更好的創意，Boden[7]則聚焦研究創造力儀式的工作機制，通過模擬人類智能來賦予機器創造力，Tang[8]則對設計智能重新進行定義：解決設計和創意過程中的問題并生成創意解決方案的人工智能技術。

算法對視覺創意的支持和改進可以從設計過程的四個階段進行分析：需求分析、激發創意、原型設計和評價分析[9]。本文所關注和所要解決的問題正是利用算法進行創意的有效激發。創意激發是通過增大有效信息的數量，擴大創意搜索空間，從而降低設計起點，更好地觸發設計想法或概念[10]。創意激發所面臨的問題包括設計原理固化、設計功能固化、對象類比關系盲區等[11],而為設計師提供更加豐富和有力的設計刺激是解決設計思維固化的關鍵。智能技術參與的方向可以分為設計線索的檢索[12]和生成[13]。前者主要是利用不同的檢索方法從而依據不同的標準對已有的設計素材進行分類、篩選、組合和類比，更有針對性地為設計創意人員提供素材。后者則是利用生成技術，在已有知識的基礎上，生成全新的不同的設計刺激。本文的工作正是將這兩者的方法結合起來，有針對性地對現有材料進行分類整合，并利用其生成全新的設計刺激，以更好地輔助設計人員進行創意構想。

本文聚焦于使用算法激發創意，提出基于實體聯想的表演創意畫面生成算法，通過圍繞創意主題，合成豐富的具備真實、美觀特性的視覺畫面啟發創意。本文工作包括表演元素知識庫的構建和表演創意畫面的合成。首先圍繞表演創意主題通過實體聯想算法，確定相關創意實體，并用語義分割模型提取出前景對象，構建得到具有中國文化特色的表演創意對象素材庫，再從素材庫里選取恰當的前景對象和背景，編寫算法進行基于美學原則的合理構圖，并進行邊界的融合，對光照紋理進行和諧處理，得到真實美觀的視覺畫面。

2 基于實體聯想的表演元素知識庫

2.1 基于知識圖譜的實體聯想網絡

創意看似來源于天馬行空的想象，卻絕非一剎那的靈光乍現，實際上其有著規律可循，是一個復雜而曲折的過程。創作人員利用類比、想象、聯想等思維方式對已有的信息打破重組再創造，當創意者積累足夠的素材后，不成熟、不完整的創意涌現，經過不斷地思考和思維運動，混亂的思緒醞釀成一個完整的創意。而在這過程中，聯想是建立信息連接、實現創新的重點。

聯想是由一個事物觸發大腦想到另外一個事物，包接近聯想、相似聯想、對比聯想和關系聯想。圍繞一個主題進行聯想，從而獲得更多與其相關的事物，是建立新的聯系和意象的關鍵。聯想并不是憑空產生，而是客觀事物和現象之間的相互聯系在頭腦中的反映，受限于人腦對于相關知識的儲備，只有儲備足夠多的素材，才能進行足夠深而廣的聯想。本文方法正是模仿人類大腦思維活動中的關系聯想，利用計算機強大的存儲和檢索能力，從而建立超乎于人腦之上的對海量資料的分析和關系聯想能力。

知識圖譜在最初階段是由谷歌提出用來優化搜索引擎的技術，在不斷發展中其外延也一度進行擴大，它將互聯網中的語義信息表達成更接近于人類認知世界的思維形式，并且建立了一種更高效的組織、管理、儲存和利用海量信息的方式[14]。知識圖譜是一種基于圖的數據結構表達，其基本組成單位為節點和邊。在知識圖譜里，每個圖的節點表示在現實世界中存在的“實體”對象，每條邊為相應的實體與實體之間的“關系”，每個實體和關系又同時具有獨屬于其自身的“屬性”，實體、關系和屬性共同構成了知識圖譜的核心三個要素[15]。知識圖譜的信息連接方式與關系聯想相似，都是通過關系或者屬性將不同概念進行連結。關系聯想是指依據事物之間的關系在大腦內進行概念的連結，比如從屬關系、因果關系、依存關系等，是最為廣泛和有效的聯想方式。基于知識圖譜技術建立清晰的知識關系網絡，從而模仿大腦的關系聯想思維，圍繞創作主題關鍵詞聯想到更多可以用于視覺創作的實體是算法的核心。

本文建立實體篩選算法，因中文層級關系復雜，無法從關系上準確判斷是否可以構成畫面，因此進行實體的篩選。此處實體并非數據庫中概念“實體”，而是指真實世界客觀存在具備視覺形象的實體，比如：森林，太陽等。進一步對實體數量進行限制，若僅提取出一個實體，則認為無法通過畫面合成得到豐富的視覺畫面，故而舍棄該分支。

在確定得到相應的實體后，進一步形成層級清晰的語義網絡。與傳統呈中心發散的網狀結構不同，考慮到應用存在一個強有力的中心本體延展，不存在三者及以上的互聯關系，即假設每一個節點有且只有一個父節點（為了確保同一個物體不會在不同的圖片里出現，以避免創意的重復性），因此自頂向下構建樹形網絡，以主題關鍵詞為頭節點向下進行概念的延展和實體的拓展。網絡中存在兩種基本三元組“實體-關系-實體”和“實體-屬性-屬性值”，其中后者出現在最后的葉子節點及其父節點的關系上，主題關鍵詞下的每一個分支對應一張圖片，每個分支下的最后一個實體即為圖片中的對象素材，包括前景和背景。整個過程的算法操作流程如圖2所示。

圖2 實體聯想算法框圖

2.2 基于語義分割的表演元素知識庫構建

對視覺形象進行假設是創意設計驗證的重要一步。創意不能止步于文本描述，尤其對于表演創意而言，更需要進行完整的視覺驗證。在本文工作中，在確定了畫面所包含的實體對象后，需要進一步確定具體的視覺形象。在傳統創意中，視覺形象多取決于設計人員的素材準備，本文希望借助網絡數據的海量性和快速檢索的高效性，拓寬視覺素材的豐富性。因為得到視覺完整畫面的關鍵在于利用圖像合成技術將位于不同圖片的前景和背景合成到一張圖像里，因此將對象從原圖中清晰完整地分離出來是關鍵的一步，本文利用語義分割技術進行分離，為得到充足的數據訓練相應的語義模型，需要預先采用一個在線學習的增量模型構建數據集。整個網絡結構如圖3所示。

圖3 表演元素知識庫構建算法整體結構

語義分割是計算機視覺領域的重要研究問題，指按照語義類別將圖像中各像素進行分類。傳統方法包括基于統計和基于幾何的方法，隨著深度學習的發展，基于卷積神經網絡的語義分割方法可以自動學習圖像特征，進行端到端的分類學習，大幅度提升語義分割的精確度。采用神經網絡方法，需要大量高質量的數據訓練網絡，學習各類語義類別。目前語義分割工作會按照不同的目標選取不同的訓練數據集，在語義分割領域研究重點更放在了提高模型的精準度上，在語義類別上局限于目前已有的數據集所包含的類型，比如MS COCO[16]數據集包含80個類別，包含了人們大部分生活中常見的物體，但是與本文的應用領域稍有偏差，因此需要另外構建包含中國特色傳統文化元素的數據集。

本文采用郭提出的LNSNet[17]算法結構，其是一種在線的持續學習方法，既較好地使用深度學習進行了有效地特征提取，也兼顧了傳統超像素分割方法靈活高效和遷移性強的特點。該模型可以很好地支持無監督在線訓練模式，采用了輕量級的特征提取模塊，通過自動選取種子節點，避免了聚類中心的迭代更新，降低了超像素分割的空間復雜度和時間復雜度。在該網絡結構中，首先將輸入的圖像顏色信息RGB/LAB及空間信息轉化為5維的張量X，使用三個空洞率不同的空洞卷積進行多尺度的特征提取，并采用兩個卷積模塊進行多尺度特征融合，進而得到用以進行聚類的輸出特征圖Z：

其中*為卷積算子，X為輸入的特征，Xm為多尺度特征，Hd則為帶有擴張范圍d的卷積，σ為由ReLU實現的非線性函數。

在使用超像素方法進行分割前的預處理，對收集的數據集進行處理后，需要訓練一個語義分割模型以實現能夠對不同語義類別的對象進行自動分割，這樣就可以向知識庫中不斷更新新的視覺素材。本文采用編碼器-解碼器網絡[19]，對于編碼器網絡，使用空洞卷積來提取對于某一預先設定分辨率下的深度卷積神經網絡輸出的特征，使用空洞卷積可通過控制膨脹系數靈活地調整卷積的感受野進而捕獲多尺度信息，假設輸入x，i為對應輸入輸出上的位置，卷積核為w，則輸出y可以表示為：

對于解碼器模塊，首先對編碼器的特征進行雙線性插值采樣，將其與來自網絡主干的具有相同空間分辨率的低級特征連接，再應用卷積來細化特征，進行簡單的雙線性上采樣，整體網絡如圖4所示。

圖4 語義分割算法結構

使用該網絡模型，編碼器可以充分獲取上下文的豐富信息，解碼器則可以簡單有效地恢復對象邊界，并且對分辨率的設置保有一定的靈活度，相比其他語義分割方法具備較明顯的性能優勢。

3 基于圖像合成的創意畫面可視化

3.1 前景物體放置

在確定了一個創意畫面所包含的實體對象以及相應的視覺形象后，需要通過前景對象和背景物體合成到一張畫面中，形成整體的視覺效果，從而進行更好的創意可視化和創意驗證。在進行圖像合成時，前景物體在背景中的放置是非常核心的環節，決定了合成后的結果是否真實。在進行位置設計時，主要從兩個方面進行考量，一是基于現實的合理性，二是基于美學構圖的美觀性。而在布局構圖時所遵循的某一特定規則被稱之為構圖法則。常見的構圖法則包括：三分構圖法、對角線構圖法、上下對稱構圖法、左右對稱構圖法、黃金三角型構圖、線性透視構圖、黃金比構圖法、平衡構圖法、S形構圖法、三角形構圖法等等，如圖5所示。

圖5 圖中構圖分別為三分構圖法、中心構圖法、水平線構圖法、垂直構圖法、對稱構圖法、對角線構圖法、引導線構圖法、框架構圖法、重復構圖法

在舞臺構圖中，通常不會采用較復雜的構圖法則，尤其是大型文藝演出中，多采用保守的構圖方式。本文工作為文藝演出的創作人員提供創意啟發，因此需要遵循舞臺構圖的原則，通過對大量文藝演出的觀察總結，為盡量覆蓋更多的可能性，本文遵循和諧均衡的構圖原則，采用中心構圖法和三分法進行實驗。三分法是非常經典傳統的構圖原則，通過將畫面在橫向和縱向上進行三等分得到一個井字格，在圖像主體區域形成四個交點和四條邊線，已有的研究證明，人們對于每幅圖像的視覺焦點并不是在圖像中心，而是在這四個交點上，類似黃金分割的位置，因此三分構圖法的原則就是盡量將圖像主體放在四個交點及“口”上，符合人類的通常視覺習慣，如圖7所示。中心構圖法原則是最簡單基礎的構圖法則，即將主體置于畫面的中央，這種適用于演出規模較大的宏大場面，對象主體占據舞臺的較大空間，留白較少，無論鏡頭是切近景還是遠景，對象主體幾乎都占據在畫面中央。

圖6 根據三分構圖法、中心構圖法確定物體可能的最佳位置

圖7 原圖像梯度泊松融合結果

在不確定前景和背景的相對語義信息時，需要充分利用前景對象在原圖中的先驗信息，具體包括：在原圖中像素所占的比例、高比寬比例、中心在原圖中的位置。通過先驗信息提取出原圖的構圖特征能夠更好地確定前景對象在背景中的位置和大小，從而讓圖像看上去更真實。在確定對象的位置后，對象的大小由對象在原圖中的大小和在背景中的位置所決定，即在背景中的深度決定了呈現在投影平面的大小。如果采用中心構圖，則設置其在畫面比例不變的情況下，最大邊長為背景邊長的三分之二，以更好地呈現在畫面中心。如果確定采用三分構圖法，則限定高為背景高的三分之一，若在三分構圖的點上，則讓畫面的中心和點重合，限定寬長為背景寬長的三分之一。

因為在利用語義分割時無法完全地將前景物體分離，在將前景物體合成到背景時，如果按照掩膜直接進行圖像與運算，則在合成的邊界處會出現一定的截斷，影響圖像的真實性，因此在進行圖像融合時，本文采用泊松融合[20]，對邊界進行處理，從而讓合成更加真實自然。

泊松方程是在數學中經常用于靜電學、理論物理及機械工程的一個偏微分方程，是由法國數學家、物理學家及幾何學家泊松得到并命名。有界區域上的標量函數由邊界上的值和內部的拉普拉斯算子唯一定義，因此泊松方程有唯一解，這就得到了一個合理的算法，給定在某一定義域上構造未知函數拉普拉斯算子的方法，以及它的邊界條件，泊松方程可以通過數值求解來實現對定義域的無縫填充。本文利用具有狄利克雷邊界條件的泊松偏微分方程，通過指定在感興趣的特定區域上的拉普拉斯算子，以及定義邊界上未知函數的值。利用引導向量場進行圖像的插值:S為R2的閉子集，表示圖像的定義域部分，Ω為S的閉子集，其邊界為?Ω；f*為定義在Ω域邊界及外部上（S-Ω+?Ω）已知的標量函數，f則為定義在Ω域域內部（Ω-?Ω）上的未知的標量函數，v則為定義在Ω域上的矢量場,為了讓融合后的圖像邊界沒有明顯的截斷性和不同，需要讓Ω域內的梯度值?f盡可能趨于最小值，定義最小化問題為：

該方程的解是唯一的，等同于帶有狄利克雷邊界條件的泊松方程的解，在區域Ω上可以表示為：

因為前景和背景是在不同的拍攝條件（比如時刻、季節、天氣等因素）拍攝得到的，因此在圖像特征比如亮度和色溫等方面會存在較大的差異性，從而存在看起來不匹配和不和諧問題，圖像和諧化的工作希望通過對前景或背景進行相應的調整，使整張合成圖片看起來真實統一。傳統圖像處理任務中，常用直方圖均衡、圖像濾波去噪等算法進行單張視覺質量的增強，大多數方法主要將圖像作為整體統一進行處理。

基于深度學習的方法在表現上具有超出傳統方法的優勢，比如特征可學習方法、端到端的訓練與測試等。在比較典型的深度學習方法中，模型的性能和訓練結果越來越好，具備共同的特點是并沒有顯式地建立前景與背景之間的關聯或者只是單純以背景為目標，通過對前景對象進行處理以適應背景的視覺特征，對于目標背景圖而言，這些背景圖像中的色彩、光照等特征都各不相同，需要以特定的不同的個性化方式對圖像特征進行調整，因此本文嘗試利用圖像風格遷移方法，對圖像進行操作。

本文采用區域自適應的實例歸一化模塊，該工作是在AdaIN[17]的方法上實現區域感知。模塊的輸入為背景圖像和前景圖像，設背景圖像為Ib，前景圖像為If，對于前景圖像目標的掩碼為M,則組合圖像可以記為：

上式表示為將部分圖片M?If貼到另外一張背景圖像Ib上，其中?為哈達瑪乘積。設Fi為第i層特征在縮放后的前景掩碼圖，先分別乘以前景掩碼和背景掩碼1-Mi，得到來自前景和背景的特征，然后分別在前景和背景特征上計算各自通道的特征，具體包括均值和標準差：

據此，可以推出經過模塊化后的特征表達式為：

圖8 兩種圖像和諧化方法結果對比

4 實驗結果與分析

4.1 實驗結果分析

本文以2022年北京冬季奧運會開幕式創意主題“立春”為實驗主題，進行完整的算法實現，通過實體聯想得到七個視覺子主題，在每個子主題下各合成九百張圖像，一共得到六千三百張創意畫面，過程結果及分析如下。

在中華優秀傳統文化百科知識庫和通用類百科知識庫中以“立春”為關鍵詞進行檢索，對選自中國權威辭典及文獻總計約八萬字的數據資料進行實體識別、關系提取一共得到68對三元組，本文遵循實體聯想算法的判斷原則，設定展開層級為兩級，即不再對三層及以上的數據實體進行再展開，以第一級展開為畫面主題，第二級進行視覺實體篩選，最終得到七個視覺分支分別是踏春、咬春、打春牛、春暖花開、魚陟負冰、詠春與嘆春七個視覺主題，一共提取得到四十六個實體，分別是棉衣、梨花、雪、鳥、草、芽、柳枝、欄、淚、新月、美人、春幡、風雨、燕子、西園、酒、東風、梅、青韭、河水、春牛、春雞、紅布、棉絮、黑線、東郊、鼓樂、彩旗、金箔、簪釵、春餅、蘿卜、鞭炮、春貼、小鑼、竹板等，對于一個視覺主題下可能同時包含多個實體，本文將畫面的實體限制在三個以內，以隨機組合的方式進行，選取語義網絡的部分如圖9所示。

圖9 以“立春”為關鍵詞進行實體聯想得到的語義網絡

確定畫面所包含的實體后，需要進行相應的素材搜索為后面的創意畫面合成建立知識庫，素材庫包含前景對象和背景。雖然在真實演出場景中，受舞臺演出場地限制，對于參演的對象不會提供豐富的背景，比如在2012年索契冬奧會上鯨魚造型便做了抽象化處理，并未給出其背景，但是在創意可視化時，創意實體無法脫離環境而單獨存在，需要將其放在一定的環境背景中，以保證創意的完整性。因此對于確定的實體對象，需要進行判斷，比如郊外、冰川這類實體可以被判定為背景，則不需要進行對象提取即語義分割。同時，進行語義分割的目的是希望可以訓練得到某一類對象的語義模型，能夠持續對素材進行更新，因此對象應該在視覺上具有豐富的表現性，比如涉及的蘿卜、春卷一類視覺形象較固定的實體，很難在視覺上得到更豐富的表現，因此并不需要得到其語義模型，只需要確定一定數量的儲備素材即可。

數據的來源包括各大數據集以及專業圖片網站，在實驗中本文一共為九類實體包括人、魚、燕子、黃鸝、桃花、梅花、新月、彩旗、竹建立了相應的語義模型，在收集數據集時盡量選取視覺特征最豐富，差異性較大的圖像，其中對于花類對象，比如桃花和梅花，在實驗中發現因為對象輪廓較復雜，在分割中很難準確對細節進行分割，經過評估后，本文將其定為背景圖像。在數量上，對于每類對象分別選取3000張做為數據集進行訓練，最終為每類對象建立一個包含五百張圖片的知識庫。在知識庫數量上，雖然可以得到更多的圖像，但是考慮到為創意服務，數量并不是最重要的標準，并且在實驗中發現，有部分圖像存在一定的相似性，因此遵循最大豐富和美觀的原則，選取一百張作為創意素材儲備。

圖像合成實驗可以分為兩個階段，第一階段物體位置確定，第二階段圖像融合及和諧化，本文首先遵循中心構圖和三分構圖法確定前景對象位置，如圖10所示。

圖10 以自建視覺知識庫內素材為實驗對象得到的位置結果

圖像融合及和諧化階段，主要針對邊界融合差異明顯及前后背景在光照紋理特征上相差較大的圖像，本文僅對得到的最佳位置構圖執行該操作，在圖像和諧化操作中，雖然該方法以風格遷移為算法核心可以以前景為標準，調整背景以適應前景，也可以以背景為標準，調整前景以適應背景，但是通過實驗觀察分析，對于前者，如果以前景為標準，調整背景以適應前景，則無法兼具背景原有的圖像特征，會因為過于向前景圖像特征靠近，而導致背景圖像失衡，因此主體實驗中，一律以背景為標準，調整前景以適應背景，得到的結果如圖11所示。

圖11 算法最佳構圖和主觀構圖結果比較，圖像融合及和諧化結果

為了更好地進行結果對比，本文從結果中挑選評分較高的結果與應用于2022北京冬奧會開幕式儀式上的“立春”畫面進行了對比，如圖12，可以看到在美觀性上并不輸于真實畫面，并且在主題上進行了更豐富的拓展。

圖12 真實北京冬奧“立春”演出創意畫面(第一張)和合成創意畫面的結果(后四張)對比

4.2 實驗結果評估

本文從三個角度：合理性、美觀性、創意性，對結果進行評估。對標準的定義為：合理性：圖片符合語義上的合理性，看起來真實可靠；美觀性：視覺意象豐富，不同結果之間差異性較大；創意性：與常規圖像不同，具備超出常規的巧妙構思。

其中美觀性采用NIMA[19]評分框架進行定量評價，使用一種深度CNN[20]，從直接觀感（技術角度）與吸引程度（美學角度）對圖像的美學質量進行評估，對于每張照片平均從175個不同的標準給出從1到10的分數評級分布，平均分為最后綜合得分，除圖像本身內容外，色調、對比度、分辨率等也會影響最后總得分，很好地從多角度對一張圖片的美學質量進行評估，表1為本文與另外兩種方法得到的結果進行的美學打分，可以看到本文算法在美學表現上最優。

表1 美學定量評估分數

圖像生成方法多采用IS和FID作為判斷真實圖像和合成圖像的評分框架，但其無法對單張圖片的展示效果進行打分，并且本文方法與圖像生成方法有本質的不同，因此用數學模型進行真實性打分對圖片的真實性并不能夠進行有效衡量。同時對創意的評價因人主觀而異，沒有辦法用數據定量對創意程度進行評分，也沒有一個對圖像創意的評價框架適用于本文的模型。因為本文采用用戶調查的方法對真實性和創意性進行評判。對一百名在性別年齡專業分布平均的對象，對三種方法各隨機選取50張圖片，對于創意性和合理性的評分標準如表2和表3所示，分為三個等級，對于圖片的創新性和真實性進行評估，對落于三個等級的數據分布進行分析。

表2 創意性評判標準

表3 合理性評判標準

本文方法在創意性和合理性的用戶打分如圖13所示，可以看到本文方法在創意性上有超過一半的用戶評價給出高等評分，在合理性上表現較弱，樣本的大部分評分在中級，說明合理性表現不佳。

圖13 創意性和合理性的用戶打分

4.3 實驗結果對比

將本文算法和語義搜索方法、圖像生成算法進行對比，結果對比如圖14。在進行定量對比上，我們為三種方法在三個維度上分別計算平均分進行綜合分析，如圖15。通過對比結果，可以看到，用搜索引擎直接對主題進行檢索得到的結果雖然在合理性上評分較高，美學性上表現也較佳，但是創新性較差，結果間相似性較大，維度單一，內容常規，能夠進行輔助創意的作用較弱。

圖14 本文方法和直接搜索方法、圖像生成方法得到的結果比較

圖15 本文方法和直接搜索方法、圖像生成方法得到的評分比較

對于圖像生成算法，在三個維度上表現都欠佳，主要表現在真實性上，結果存在較嚴重的失真，存在與現實矛盾的情況。在創意性上略優于語義搜索方法，因隨機生成帶來失真的同時也得到了實現創新的可能性，可以看出圖像生成算法更適用于具備清晰準確的文字描述下生成圖片，如果只提供實體對象的名字，則該方法無法提供有效的畫面生成，因此不適用于表演創意畫面生成。

相比其他兩種方法，本文方法在創意性上表現突出，通過更換前景和背景，實現了更多場景的組合和實現，從而在豐富性維度上大大提高了創意價值。在美學維度上語義搜索得到的圖像不相上下，在真實性上表現略差，還存在一定的圖像合成痕跡，在構圖上需要進一步的研究。在三個維度上均優于圖像生成算法，因此也為傳統由文字到圖片的轉換提供了新的借鑒方法。

4 結論

本文針對智能創意在表演領域中的應用，提出了一種實現表演創意的有序激發和可視化驗證的路徑算法。首先基于實體聯想和語義分割算法構建表演創意元素知識庫。圍繞創意中心主題詞匯，基于知識圖譜技術建立實體語義網絡，通過實體聯想算法，確定相關視覺實體對象，通過語義搜索獲得創意主體的視覺素材，提取前景對象構建數據集，訓練語義類別分割模型，構建具有中國文化特色的表演創意對象素材庫。然后基于圖像合成算法進行表演創意畫面可視化，選取恰當的前景對象和背景，編寫算法進行基于美學原則的合理構圖，基于泊松融合進行邊界的無縫融合，并對光照紋理進行和諧處理，使畫面更真實美觀。

實驗驗證部分本文以北京2022年冬季奧運會開幕式創意主題“立春”為關鍵詞進行實驗，對選自中國權威辭典及文獻總計約八萬字的數據資料進行實體識別、關系提取，建立了一共包含11700張創意素材的知識庫，并按照奧運會開幕式的畫面設計添加字體等素材形成最終的創意畫面。最后從美觀性、合理性和創意性三個維度與其他實驗方法包括語義搜索方法，圖像生成方法，從定量和定性的角度進行對比評估，實驗數據證明本文方法在美觀性、創意性和合理性上表現優異。