【摘要】藝術創作是藝術工作者展示藝術技能和技巧、抒發情懷、表達感情、實現創意的主要途徑。傳統的藝術創作方式和手段由于其諸多的局限性,不能夠充分實現藝術家的創意和構想,而人工智能技術的發展和應用為藝術創作提供了新的方法和思路。生成式人工智能(AIGC)藝術是信息科技與藝術深度融合的產物,已成為當下流行的一種藝術創作的新模式。本文首先闡述了AIGC的邏輯內涵,指出AIGC邏輯內涵是人工智能藝術機器深度學習的理論框架,可以幫助藝術家更深入地理解和掌握AI藝術創作的內在規律。接著闡述了prompt語義要素的指標特征,闡述了prompt語義分析能夠幫助藝術家解析和理解AI藝術創意和創作引導,完成AI藝術的創作過程。然后本文通過AIGC在繪畫、音樂、動漫、影音等藝術創作中的分析研究,揭示了prompt語義要素與AIGC藝術創作中的促進作用和互動關系。本研究對于推動人工智能與藝術的深度融合,促進藝術領域的創新和發展具有重要意義。最后,展望了AIGC賦能下藝術創作與實踐的發展方向。
【關鍵詞】生成式人工智能;AIGC邏輯內涵;prompt語義要素;互動關系;藝術創作
【中圖分類號】TP18;J0 ? ? ?【文獻標識碼】A 【文章編號】2097-2261(2023)26-0054-04
一、引言
藝術創作是人類精神文化的重要活動,是人類欣賞美、創造美、表現美的重要形式,也是人類情感表達和交流的重要方式。近年來,人工智能(Artificial Intelligence, AI)的快速發展使其在藝術創作領域表現出了巨大的潛力和影響力。人工智能生成內容(Artificial Intelligence Generated Content, AIGC)作為AI在藝術創作中的重要應用之一,通過機器學習和大數據分析等技術手段,使機器(計算機)能夠像人類一樣創作出繪畫、音樂等藝術作品。AIGC的創作過程涉及兩個重要的要素:AIGC的邏輯內涵和prompt的語義要素。本文通過分析AI藝術創作的過程、prompt對AIGC創作的影響以及兩者之間的互動關系,可以深入理解AIGC的特有價值和獨特作用,同時也能充分認識到其局限性,也揭示出AIGC在藝術創作領域所面臨的挑戰與未來的前景。
二、AIGC及其邏輯內涵
(一)生成式人工智能是藝術創作的新型式
AIGC是利用人工智能技術來生成內容[1],被認為是繼專業生產內容(Professional Generated Content,PGC)、用戶生產內容(User Generated Content,UGC)之后的新型內容創作方式。在藝術創作領域,AIGC能夠自主生成繪畫、音樂、動漫、影視等各種形式的藝術作品,AIGC的核心特征是其創作過程的自動化和智能化,通過機器學習、深度學習和生成模型等技術,AIGC能夠從大量的數據中學習并生成各種形式的藝術作品,如繪畫、音樂、動漫視頻等。
(二)AIGC的邏輯內涵
AI藝術創作中的AIGC邏輯內涵是指AIGC創作中的邏輯規則、算法模型和自我學習能力。它不僅能夠基于大數據進行分析和模式識別,還通過深度學習和生成模型等技術實現了創作的自動化和智能化。理解AIGC的邏輯內涵對于揭示其藝術創作過程和生成作品的特點具有重要意義。
1.AIGC是數據驅動下的創作過程。
AIGC的訓練過程主要依賴于海量數據的“投喂”,通過對大規模數據集的學習,AIGC能夠捕捉到“投喂”藝術作品中的模式、風格和特征,并在生成過程中進行模仿和創新。數據驅動的創作使AIGC能夠從“投喂”的藝術作品中獲取靈感,并將其融合、轉化為新的創作內容。
2.AIGC的核心是機器深度學習的規則和算法。
AIGC的創作過程包括生成對抗網絡(GAN)、變分自動編碼器(VAE)、遞歸神經網絡(RNN)和深度卷積神經網絡(DCNN)等一系列的規則和算法[1]。這些深度學習模型在藝術創作中被廣泛應用于生成圖像、音樂、動漫視頻等類型的內容。深度學習算法在AIGC創作中發揮著重要作用,通過多層次的神經元網絡模擬人類的認知和創造過程,實現對藝術創作元素的理解和創建。
3.AIGC能夠自我學習和迭代進化。
AIGC通過引入反饋機制和迭代訓練,可以根據創作結果滿意度進行自我調整和優化。它能夠累積成功和失敗的經驗并從中進行學習,逐步改進生成的作品。這種自我學習和進化的過程使得AIGC具備了適應性和創新性,能夠不斷改進和提高創作水平,從而不斷探索新的藝術形式和創作風格。
4. AIGC具有解釋和闡述藝術作品的能力。
人工智能通過結合AIGC和自然語言處理( Natural Language Processing, NLP),可以對作品進行文字描述、背景釋義和情感表達。這在很大程度上增強人們對作品的理解,使AIGC生成的作品更具有藝術性和情感共鳴。
三、Prompt語義要素
(一)AIGC中的prompt語義含義
在AIGC藝術創作中,創作工具就是在網絡計算機上運行的人工智能機器人(AI Robot),是一種自動化的軟件代理[2]。通過創作者與機器人的交互對話來實現創作過程。這種交互對話的語言就是提示語(Prompt)。生成高質量藝術作品的關鍵是創建prompt對話的精準性,通過對prompt的精準語義分析和把握,合理設計和編寫prompt來引導深度學習模型生成高質量的藝術內容。
Prompt作為AIGC創作的輸入“提示語”,通過“指令”形式表達了藝術創作者的創作目標和創意思維。通過對prompt的設計和編寫,藝術創作者可以傳達作品的主題、情感和風格等信息,引導AIGC生成符合作者意圖的藝術作品。
(二)Prompt語義的要素構成
1.明確作品的主題和情感的傳達
Prompt語義可以確定作品的主題或情感色彩,從而引導AIGC生成與其創意相符的藝術作品。例如,在“Microsoft 必應”的“圖像創建器”工具中,通過DALL·E的AIGC工具,輸入prompt提示語“請使用水彩畫風格為我創造一幅寧靜的沙漠日落,讓色彩蒙眬而美麗”。通過這個prompt,AIGC生成一幅主題為“沙漠日落”的水彩畫,“寧靜”“色彩蒙眬”傳遞出了情感信息。
2.設定作品的風格和表達方式
通過prompt語義特定的詞匯、語言描述,能夠設定作品的創作風格和表達方式。例如,在“Google MusicLM”音樂生成軟件中,輸入提示詞“An ethereal and slightly sorrowful neoclassical music to express the transience of life and the passing of time”。軟件會生成一首描述“空靈而略帶哀傷”的“新古典主義音樂”,表達了生命的短暫和時間的流逝。
3.規定作品的創作方式和條件限制
藝術創作者可以通過prompt語義中的提示和要求來限定AIGC的創作范圍和方式。例如,在百度“文心一言”中,分別輸入提示詞“幫我畫一個玩電腦的李白,扁平插畫,可愛Q版”和“幫我畫一個玩電腦的唐朝詩人李白,扁平插畫,可愛Q版”,生成的畫面區別是前者是一個“現代人”形象,后者因為限定了“唐朝詩人”,是一個“古代人”形象。
四、AIGC在不同藝術領域中Prompt語義要素的特點
在AIGC藝術創作中,不同的創作領域都有其對應的prompt語義設計和描述要求,這些prompt語義要素的特點和作用也各有不同。
(一)圖像創作中prompt語義的特點
在圖像創作領域中,prompt語義通常是用于描述圖像生成條件和要求的文本。圖像生成模型會基于這些prompt語義要素生成相應的圖像。Prompt語義要素通常包括圖像類型、圖像特征、圖像風格、圖像細節等方面的描述。
1.關鍵詞選擇是重中之重。Prompt中的關鍵詞對于圖像生成的結果有著至關重要的作用,不同的關鍵詞選擇會導致完全不同的圖像生成結果。
2.圖像語義需要準確表述。Prompt中的語義信息應該準確地描述所需生成圖像的內容,否則會導致生成的圖像與預期的內容不符。
3.把握圖像視覺效果的可控參數。Prompt中可以加入對于生成圖像視覺效果的參數設置,如對顏色、對比度、紋理等的要求,從而增強生成圖像的可控性。
4.增加視覺場景的靈活可變。Prompt中可以添加對于生成圖像視覺場景的特定描述,如場景的時間、地點、環境等信息,從而使生成圖像的視覺場景更加多樣化。
例如,在Midjourney的AI圖像創作軟件中創作一幅圖像作品,輸入“From the first perspective,a little boy runs towards you in surprise,opens his mouth,full-body picture,behind him is a dreamy animation world,high-definition characters,blurred background,Pixar style,--ar 16:9”提示語,生成一幅皮克斯風格的16:9畫面圖像,以第一視角,一個全身畫面的小男孩驚喜地向你跑來,張開嘴巴,身后是一個夢幻般的動畫世界,模糊的背景。提示語中,對于畫面風格、分辨率、鏡頭關系、角色表情、背景內容都進行了描述。
(二)音樂生成中prompt語義的特點
在音樂生成應用領域中,大多數AIGC軟件都是通過調整控制參數來實現,prompt語義是通過這些參數來定義和引導音樂的生成。參數化的prompt語義通常包括音樂類型、音樂風格、音樂節奏、音樂主題等方面的控制。與圖像不同,音樂的生成更加依賴于音樂理論和感性體驗,因此prompt語義需要更加注重音樂素材(旋律、節奏、和弦等)的語義相關性,以保證生成的音樂作品符合音樂理論和審美標準。
具體來說,音樂生成的prompt語義要素涵蓋以下方面的內容:
1.旋律。旋律是音樂中最基本的元素之一,prompt語義需要引導AIGC生成符合旋律特點的作品。
2.節奏。節奏是音樂中表現節奏感和節奏美感的元素,prompt語義需要指導AIGC生成符合節奏感和節奏美感的作品。
3.和弦。和弦是音樂中表現和聲美感和和聲關系的元素,prompt語義需要指導AIGC生成符合和弦特點和和聲美感的作品。
4.風格。音樂的不同風格有著不同的音樂特點和審美標準,prompt語義需要指導AIGC生成符合不同音樂風格的作品。
5.情感。音樂是一種表達情感和情感體驗的藝術形式,prompt語義需要指導AIGC生成符合情感特點和情感體驗的作品。
通過合理的prompt語義設計,可以實現高質量、多樣化的音樂生成。例如,在Mubert Inc(https://mubert.com/render)中,創作一首音樂作品,輸入一個描述“情緒、持續時間和節奏”的提示語 “Upbeat electronic music, with a fast tempo, creates youthful energy and a vision of the future”,軟件會生成一首描述“歡愉的,富有青春活力”的快節奏“電子音樂”,表達了對未來的美好憧憬。
(三)動漫視頻生成中prompt語義的特點
在動漫視頻生成應用領域中,prompt語義通常需要描述動漫視頻生成條件和要求。一般包括視頻類型、視頻風格、視頻劇情、視頻特效等方面的描述。與圖像生成、音樂生成等應用領域相比,動漫視頻生成對prompt語義的要求更為復雜和嚴格。
1.動漫視頻生成需要涉及包括視覺、配音、劇情等多個層面的prompt語義,因此,語義的設計需要綜合考慮這些不同層面的信息。
2.動漫視頻生成需要在時間維度上進行控制,prompt語義設計需要考慮到時間序列的因素,包括場景切換、鏡頭切換、音效等。
3.動漫視頻生成需要保持一定的連貫性和邏輯性,prompt語義設計需要注重前后銜接,保證動漫視頻的整體流暢性和故事性。
例如,在Pika Labs(https://www.Pika.art)中通過文字生成視頻功能,輸入提示語“Prompt:A stallion running on the prairie. -ar 16:9 -motion 4 -gs 20 ”,就生成一段“一匹駿馬在草原上奔馳”的動畫視頻,在prompt中,“-ar 16:9”參數表示畫面長寬比是16:9,“-motion 4”參數表示產生更大的運動程度,“-gs 20”參數的含義是生成的動畫與文本的相關性,值越高相關性越高。
五、存在的挑戰和尚待解決的問題
AIGC邏輯內涵與prompt語義的融合互動在AI藝術創作中具有重要意義,但也面臨一些挑戰。理解和處理語義要素的復雜性以及與AIGC的有效互動需要進一步的研究和優化。
(一)語義表達的復雜性
Prompt語義要素是AI藝術創作中重要的指導因素,但如何將其準確地傳達給AIGC軟件是一項挑戰。不同的語言具有不同的特點,自然語言的語義多樣性、主觀性和隱含性使得對prompt的設計和解讀變得復雜和不確定。進一步研究如何有效地設計和表達語義要素,以及如何將其精準地傳遞到AIGC系統的邏輯中,是藝術創作者需要不斷研究和學習的問題[2]。網絡上出現的“prompt engineering”,就是讓AIGC工具使用者更準確地掌握prompt,并把其應用到與AI進行有效溝通所總結出來的系統化知識。
(二)潛在的生成偏差和創造性局限
AIGC系統在生成過程中普遍存在一定的偏差和局限性,導致生成結果與藝術創作者的預期不完全一致。這可能是由于模型的局限性、訓練數據的偏差以及對prompt語義理解的不完善所導致的。解決這些問題需要AI程序開發者進一步改進AIGC模型的設計和訓練方法,以及提升對prompt語義的深入理解。這也需要藝術創作者與程序工程師能夠達到深度的融合和默契,共同研究解決問題。
(三)創作者與AIGC的磨合與適應
在藝術創作中,藝術創作者與AIGC軟件之間的磨合至關重要。然而,如何很好地實現藝術創作者與AIGC的有效互動、引導和調試生成過程,仍然具有一定的挑戰。需要開發更智能、靈活和界面友好的AIGC工具,以促進創作者與AIGC系統之間的創造性合作,使藝術創作者能夠更好地表達其創作意圖和審美觀點。
六、結語
AIGC邏輯內涵作為AI藝術創作系統的核心,通過學習和模仿人類創作規律和風格,可以生成具有獨特性的作品。而prompt語義作為指導性因素,引導AIGC系統在生成過程中理解和表達藝術創作者的意圖和審美要求。兩者的互動共同推動了AI藝術創作的創新性和多樣性。
然而,AIGC邏輯與prompt語義的互動面臨著一些挑戰,如語義表達的復雜性、生成偏差和創造性限制,以及人類與AIGC系統的協作融合。同時,我們也看到了AIGC邏輯與prompt語義的互動給AI藝術創作帶來巨大的潛力和廣闊的前景。讓AI技術成為藝術工作者的得力助手,需要進一步研究和探索AIGC邏輯與prompt語義的互動,改進和完善深度學習算法和內容生成式模型,通過充分理解和合理應用,從而進一步提高藝術作品的質量和創造性。推動AI技術與藝術的深度融合,將為藝術創作領域帶來新的突破和創新。
參考文獻:
[1]翟尤,李娟.AIGC發展路徑思考:大模型工具化普及迎來新機遇[J].互聯網天地,2022(11):22-27.
[2]胡越,羅東陽,花奎,等.關于深度學習的綜述與討論[J].智能系統學報,2019,14(01):1-19.
[3]趙京勝,宋夢雪,高祥.自然語言處理發展及應用綜述[J].信息技術與信息化,2019(07):142-145.
[4]牟怡.智能傳播場景中的“真實”再定義[J].人民論壇·學術前沿,2020(18):112-119.
[5]您的人工智能通信指南[EB/OL].https://learnprompting.org/zh-Hans/docs/intro.
作者簡介:
姚建東(1969.2-),男,漢族,山西臨猗人,碩士,內蒙古藝術學院網絡信息中心,副教授,研究方向:現代教育技術、數字媒體技術、計算機網絡。