GAN：AI時代藝術創作的新媒介

王昊海 劉遠志

摘? 要：人工智能的時代背景下，在技術創新的驅動下誕生了新的藝術媒介，藝術媒介的革新帶來了更多元的藝術創作空間。GAN作為深度學習模型將傳統藝術創作的方式進行了自動化，利用GAN進行藝術創作的流程與攝影具有高度的相似性，是對藝術生產力的再度解放。藝術家一旦參與進GAN的構建與創作中，其與藝術作品間的關系也會發生轉變。GAN應用所帶來的藝術倫理的改變將會在討論聲中逐漸創立藝術的新秩序。

關鍵詞：GAN;人工智能;藝術創作;生成式對抗網絡;攝影;創意媒介

一、藝術與GAN

生成式對抗網絡（Generative adversarial networks， GAN）是由Goodfellow等人在2014年提出的深度學習模型[1]。基于模型的數學特性，GAN對于圖像信息進行訓練無需額外的監督，因此其目前主要的研究對象是視覺影像。GAN模型可以用于各個領域，初衷也并非應用于藝術創作，但是其對視覺影像的廣泛研究得以在影像藝術領域率先應用。一些藝術家已經嘗試使用GAN進行人工智能的藝術創作并取得了良好的社會反響，GAN還迅速以信息化優勢得以大眾化，紅極一時的視頻實時“換臉”應用程序也利用了GAN進行實現。GAN與其衍生的模型對藝術創作手法和傳統藝術觀念產生了越來越深刻的影響，GAN輸出視覺影像的模式已經如同攝影術的出現那樣對當代藝術的倫理提出了巨大的挑戰。

二、藝術媒介的演變

在攝影誕生之前，西方主流的觀點認為，藝術的目的就是忠實地模仿自然[2]，由于生產力尚未爆發式增長，藝術媒介在很長一段時間里并沒有出現質的改變，藝術家們也幾乎一直忠于這樣的終極目的進行實踐。而攝影的誕生以其無可比擬的優勢打破了這一思維定勢，科學技術的突破帶來的藝術媒介的進階，將傳統藝術從準確描繪模仿自然的歷史使命中解放出來。

藝術媒介的演進為藝術突破奠定了物質基礎。藝術創作的突破性進展往往也伴隨著新技術或者新手段的出現。達·芬奇的作品為什么這么成功？因為在當時他運用了新的顏料、新的繪畫技法、新的工具[3]，由此又會誕生新的藝術觀念進而再次推動藝術媒介的演進。伴隨著近現代生產力的解放，藝術媒介的更迭更加迅速與多元化。于傳統藝術形式而言，通過對不同維度信息的捕捉輸入至計算機完成了初步的信息化，承接傳統藝術創作的介質在變化，但是藝術創作的過程依舊沒有突破傳統維度，而GAN模型的應用會改變這一現狀。

三、GAN：將藝術創作流程攝影化

攝影在按動快門的一瞬間即完成了創作的大部分，藝術家對于鏡頭捕捉光線在底片上留下影像這一過程是難以干預的，而這樣的一種顛覆性的創作過程使得攝影創作的藝術性直到今天依舊存有爭議。即便如此，當今大部分的藝術創作中都可以看到攝影思維的影子，攝影也以其便捷性成為一種強有力的工具來輔助其他類型的藝術創作，為其他藝術形式的傳播提供了可靠的延展。傳統藝術創作對技藝精良的需求是極高的，未經歷常年累月的技術訓練和相對長時間的創作過程就幾乎無法創作出優秀的作品，而攝影尤其是進入數碼時代后的攝影幾乎沒有技術訓練的需求，藝術觀念的表達不再依賴于漫長的創作過程。

（一）GAN模型與攝影模型

圖1反映了藝術家利用GAN模型進行創作的過程。GAN模型會依據輸入圖像與輸入需求進行圖像輸出，藝術家需要對傳入人工智能模型的圖像進行篩選并設置、優化參數，然后再對人工智能所創造的圖像進行篩選。在整個創作過程中，藝術家或者模型使用者只需要對參數和輸入輸出圖像進行負責，對GAN內部具體實現方式無需深入的了解。

圖2反映了藝術家利用攝影模型進行創作的過程。藝術家需要對拍攝場景進行前期選材，以及對照相機獲取的影像做后期必要的篩選與調整，并由此優化照相機設定的參數。藝術家同樣不需要對相機內部的成像原理有完全充分的了解。

將GAN模型與攝影模型的流程進行對比，GAN模型與攝影模型在藝術創作的流程上的一致性顯而易見，傳統藝術中最耗時費力的創作過程在這兩個模型中都得到了大幅的縮減且不再向用戶開放。

（二）攝影的再現與GAN的再現

攝影模型與GAN模型內部的具體細節不對用戶開放。攝影模型的工作主要對通過透鏡后的光線進行轉譯，已經經歷了從手工描摹到化學感應再到電子信號的多次迭代，對輸入的再現目前主要由相機的制造者完成。而在攝影模型完全構建前與誕生早期，藝術家們對模型的出現功不可沒。早在15世紀，畫家就開始利用暗箱進行光學描摹以獲得精確的影像[4]，而暗箱可以視作是攝影模型的光學部分，直到化學感應光線的底片出現后才組成了完整的攝影模型。藝術家們飽含的對還原自然的終極理想的人文主義精神實質性地推動了科學技術的進步，而如今攝影模型的記錄流程已經實現了全自動化，無需藝術家的介入。

GAN的藝術模型的遠景理想是由人工智能無監督地學習并自我創造，用戶對創作過程也無需再進行了解與介入，而GAN模型目前還處于早期的構建中，需要藝術家與大量的藝術作品參與構建，藝術家也必須要充分了解GAN內部的運作流程。

四、GAN的藝術創作流程

GAN的核心思想來源于博弈論中的二人零和博弈，圖3即展現了藝術家利用GAN進行藝術創作的過程。GAN 模型的基本結構由一個生成器 （Generator） 和一個判別器 （Discriminator） 組成[5]。生成器可以被看作是一個圖片生成模型，它的目標是生成一張真實的圖片，與此同時還要具備一個判別器，它的目標是能夠判斷輸出的圖像是生成出來的還是真實存在的。由生成器生成的圖片會由判別器學習區分生成的圖片和真實的圖片進而反饋給生成器進行改進生成新的圖片以供再次判別，直至判別器無法判斷出輸出的圖像究竟是生成出來的還是真實的。

經過大量圖片的輸入訓練學習，利用GAN可以最終得到與原作相仿的作品，而相似度和風格的差異化可以通過參數調整來優化，隨機噪聲的引入則可以讓生成結果更具備多樣性。利用這樣的模型，藝術家可以對藝術作品進行攝影化的藝術化量產，每一個由GAN生成的圖像都可以體現作者本身的意圖而在表達上又是完全不同的。

五、GAN在藝術領域的應用

GAN的原始模型是一個原理性模型，應用于藝術創作則需要對模型進行改造。而在GAN模型提出后的短短幾年內，與藝術創作的高契合度，已經涌現出了一大批有意識或無意識的藝術衍生模型。

（一）GAN藝術衍生模型介紹

1.創意對抗網絡（Creative adversarial networks， CAN）

CAN是GAN模型在藝術領域的具體實踐，由具備藝術史研究背景的Mazzone和計算機科學研究背景的Elgammal在2017年提出。作者指出了GAN模型的重心還是在于生成而非創造，藝術風格的創作性、突破性這一藝術發展的重要特征并沒有體現出來[6]26。為了解決這一問題，作者對GAN的原始模型進行了改造，讓其可以從感性和認知的角度進行發展和演變，讓人工智能的藝術創作能擁有自我創造的能力。

在訓練CAN模型過程中加入了對藝術家練習早期藝術作品直到某一刻他們取得突破進展的模擬，以輸出更新奇的作品。藝術家們通過增加藝術作品與主流審美的偏理性來制造新奇，這種增加必須是適度的，過多的新奇則會造成負面效應。在馬丁代爾的理論中，這被稱為“最小努力”原則，這在藝術創作中是至關重要的，因為過多的新奇會導致觀看者對藝術內容的無法理解[7]。

于是，在CAN模型中，作者加入兩種相互對抗的力量，一種是促使機器遵循輸入圖像所展示的藝術的美學，盡可能地減少風格的偏離，而另一種力量則在模仿已經確立的風格時最大限度地進行藝術風格的模糊與偏離。利用這兩種對立力量的對抗確保了藝術作品的新穎性的同時也保證了不會偏離可接受的審美標準。

藝術家在參與CAN模型進行創作時，不但需要對參數進行優化，還要對藝術風格進行分類和對藝術風格的模糊的程度進行把控，以協助人工智能完成藝術風格上的突破（如圖4）。圖5是由Elgammal利用CAN生成并展出的影像。在美國洛杉磯、邁阿密等地成功地舉辦了藝術展覽，在展覽中人們并沒有察覺到這樣的藝術作品是由人工智能模型所生成的。這說明由藝術家參與定義篩選、CAN模型自主學習生成的影像至少在形式上已經可以做到與人類藝術家以傳統方式制作的影像相仿。

2.循環對抗網絡（Cycle generative adversarial networks， CycleGAN）

CycleGAN從原理上對GAN進行了改造，由Phillip Isola等五人在2017年提出。傳統的GAN是單向的，CycleGAN則利用了兩個GAN也就是在具備兩個生成器及判別器的情況下進行鏡像對稱構成一個環形的網絡以進行非匹配成對的圖像到圖像的翻譯，在沒有成對匹配的圖像的情況下，通過算法進行相互數據集特征的收集，將一個數據集的特征應用至另外一個數據集上。圖6展現了CycleGAN對藝術品進行轉譯的效果，在第一組實驗中，一組數據集是風景照片，另一組則是莫奈的畫作。通過CycleGAN對兩組數據集訓練，不僅可以將莫奈的作品轉化為照片，同時也可以將照片轉化為莫奈的風格，由于鏡像結構的存在這兩者是同時進行的。通過CycleGAN不僅可以實現畫作與照片這種實體存在的相互轉換，還可以實現一些在模型中不存在的相互轉化與生成，第二組中對斑馬和馬紋理的特征替換在自然界中是不存在的，是CycleGAN在經過訓練后無中生有的。

另外，CycleGAN并不僅僅局限于圖片的風格遷移，還可以進行更廣泛形式的圖片互譯，以往依靠人工與少量數據難以提取出的對應關系特征，在CycleGAN的對抗性學習中得以進行總結。圖7反映了利用CycleGAN進行互譯的案例，從黑白照片與彩色照片相互轉換、語義標簽與圖像的相互轉換、圖像的線稿與圖像的相互轉換，為傳統藝術創作中一些耗時費力的過程提供了更好的解決方案。然而，這一模型的出發點也并非針對藝術領域，藝術家的真實需求還不能完善地反映在模型中，模型的完善與優化仍需要藝術家的更多介入。

（二）GAN的具體實踐

我們在實驗室中利用CycleGAN的開源代碼，以風景照片、日本浮世繪作為數據集進行了具體的GAN模型藝術化實踐。在實驗中，我們先后準備了大量的素材樣本，機器學習對素材的量的需求是超乎想象的，深度學習模型需要有大量的參數，若數據樣本少，則很容易出現“過擬合”的現象，由于樣本數量少而進行過度訓練，當預測訓練示例結果的表現增加時，應用在未知數據的表現則變更差[10]。只有在大量的素材的提供下才能將藝術風格穩定在一定的區間內。素材量的要求數以百計起，因此，對藝術家在素材整體的風格類型的宏觀把控上提出了要求。

去訓練一個GAN模型目前需要耗費大量的時間與精力，我們在實驗室中則花費了數周時間來訓練一個GAN模型。在訓練過程中并不是所有生成圖像都符合我們的期待，有時甚至會出現一些意想不到的情況，這時需要藝術家以其專業目光進行篩選并對參數進行優化。

圖8中展示了實驗中輸出的案例，照片向畫作的模擬在素材合適的情況下在較短的訓練周期內便可比較好地完成，再有意識地進行一些“無中生有”，整體風格的遷移就可以很直觀地觀察出來。

整體風格的遷移在兩個方向的訓練上都有顯著的展示，輸入的風景圖片多帶有藍天，整體色調偏藍，畫作紙張本身色調則是偏黃的，依據案例可以發現輸出的圖像的色溫得到了準確的交換。

而畫作向照片的轉譯時則出現了細節方面的問題，畫作中的印章、題字等在現實的環境中并不存在，雖然GAN已經有意識地將印章、題字等抹去，但處理的還不夠完善。由于輸入的照片幾乎都是風景照片，而畫作中則有人物出現，在畫作從人物向照片轉譯時就會明顯感受到映射關系的缺失，也印證了藝術家對樣本的選擇是至關重要的。

在收集的樣本中，風景照片有一千余張，而畫作只收集到了五百余張，畫作樣本數量的缺少是本實驗先天上的不足，也是傳統藝術形式人工智能化的困難所在。同一作者同一風格的優秀作品的數量往往不能夠達到成熟訓練一個GAN模型的需求，這就需要一方面改進GAN的學習模型，另一方面要對傳統藝術先進行傳統手法的模仿以制作更多可供機器學習的樣本。

六、人工智能藝術創作的倫理

正如百年前攝影作為新媒介的誕生，攝影術一度被視為畫家偷懶的工具，攝影作品曾長期被拒絕于藝術大門之外，得不到畫家的承認[11]。GAN的出現在推進人工智能在藝術領域發展的同時，一系列的問題也隨之而來。人工智能創作的歸屬權該如何劃分？人工智能是否能夠真正的獨立創作作品？人工智能是否會取代人類藝術家？這都是我們今天需要討論的話題。

機器是否能夠獨立思考這一命題在計算機誕生之初便存在了，人工智能這一概念最早由計算機科學之父艾倫·圖靈提出，并提出了關于判斷機器能否思考的著名實驗——圖靈測試，通過圖靈測試即可宣告具備人工智能。圖靈測試最終的判斷標準，是人工智能有沒有騙過人類，或者更準確地說，就是人工智能是否已經掌握與人相似的表述方式[12]。目前的一些文藝美學人工智能研究成果已經十分趨近于這一目標。在重大事件的報道上，當新聞記者還沒敲下鍵盤時，人工智能已經將完成的新聞報道在不同平臺發布了，而用戶卻難以察覺到。當人類創作的詩詞和人工智能創作的詩詞同時讓人類專家進行鑒別時，專家也無法完全甄別出真偽。人工智能的研究目前處于深度學習的階段，需要大量的數據進行支持，而受益于大數據時代的到來，文學作品固有的創作模式和豐富的保有量讓“騙過人類”成為了可能。

然而，與此同時，科學家們則認為真正的人工智能智慧大爆發的“奇點”尚未到來[13]，人工智能目前還處于一個比較初級的階段，有關人工智能的理念并沒有取得質的突破，人工智能具備自我意識還是一個很遙遠的目標，在很長的一段時期內不必有人工智能完全取代人類藝術家的擔憂。

人工智能藝術的歸屬權問題則要看人工智能模型演化的程度。在早期，藝術家主要對模型構建負責，藝術家的傳統藝術作品是人工智能模型的藝術來源，歸屬權自然由藝術家取得。而待模型成熟，用戶利用人工智能進行創作后則由藝術家與用戶共享歸屬權。當人工智能有一天演化為創作過程的主導者并不斷在人類的訓練中形成自己的藝術風格并能獨立思考創作時，那么可能就需要我們同人工智能去對話探討歸屬權問題了。

七、GAN與藝術的現在與未來

GAN是人工智能時代下的新興產物，尚存有巨大的完善空間，目前的GAN模型還處于構建狀態，但努力并非僅僅需要算法編寫者的努力，更亟待的是藝術方法論的指導，需要藝術家與藝術作品廣泛地參與其中。誠然，目前參與GAN的改進還是有一定的學習成本的，但藝術的先鋒實驗是在未來藝術探索道路上的必經之路。這是一個不斷數字化的時代，也是一個不斷制定新標準的時代，在我國信息化應用在其他領域領先世界的同時，藝術家們也有必要參與對未來藝術世界標準的制定。

當GAN模型構建訓練完成后，藝術家的身份就會轉變為用戶與模型維護者，而藝術創作的主導權則交由了用戶與GAN模型本身。這種角色的轉換會讓一些藝術家感到不適應，且對攝影式的藝術大眾化、產業化的行為保持警惕。但這是一個巨大的歷史機遇，沒有攝影術的誕生，也就難有20世紀藝術家們在藝術觀念上的突破，作為藝術與科技的研究者需要更有信心去面對未來的機遇和挑戰。基于GAN模型的全新創作方式以其科學性、更優良的秩序感很有可能超越攝影成為一種更大眾的藝術，而GAN模型的普遍接受與使用還需要不斷地優化迭代，將能夠被大眾廣泛接受的藝術創意工具直接呈現給大眾，這樣的GAN模型本質上已經成為了藝術家智慧的結晶，在藝術價值與觀念傳播上的影響力將是前人無法企及的。

在藝術家的觀念指導及算法的不斷演進下，更加完善的GAN衍生模型或者足以讓GAN改頭換面的人工智能新模型一定會在未來出現。我們有理由憧憬人工智能給藝術帶來的無限可能性。藝術家需要懷抱遠大的理想去參與并引領這樣的變革，共筑人類和藝術更加美好的未來。

參考文獻：

[1]Goodfellow I， Pouget-Abadie J， Mirza M， et al. Generative adversarial nets[C]//Advances in neural information processing systems. 2014： 2672-2680.

[2]Thomas E. Wartenberg.什么是藝術[M].重慶：重慶大學出版社，2018：4.

[3]胡曉琛.數智藝術——人工智能與數字媒體藝術設計教育[J].藝術教育，2018（16）：100-101.

[4]霍克尼.隱秘的知識：重新發現西方繪畫大師的失傳技藝[M].杭州：浙江人民美術出版社，2018：200.

[5]王坤峰，左旺孟，譚營，等. 生成式對抗網絡： 從生成數據到創造智能[J].自動化學報，2018（5）： 769-774.

[6] Mazzone M， Elgammal A. Art， creativity， and the potential of Artificial Intelligence[C]//Arts. Multidisciplinary Digital Publishing Institute， 2019， 8（1）： 26.

[7] Martindale C. The clockwork muse： The predictability of artistic change[J]. 1992.

[8]Zhu J Y， Park T， Isola P， et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]//Proceedings of the IEEE international conference on computer vision. 2017： 2223-2232.

[9] Isola P， Zhu J Y， Zhou T， et al. Image-to-image translation with conditional adversarial networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017： 1125-1134.

[10]周志華.機器學習[M].北京：清華大學出版社，2018：23-24.

[11]林路.攝影思想史[M].杭州：浙江攝影出版社，2015：17.

[12]畢丞.人類為什么不會被人工智能取代？——人工智能的技術本質研究[J].北京科技大學學報（社會科學版），2019（2）：102-108.

[13]陳彥青.“AI”的邊界， 藝術與設計的可能[J].新美術，2018（7）：88-93.

作者簡介：王昊海，上海師范大學影視傳媒學院碩士研究生。研究方向：藝術與科技。

劉遠志，華東理工大學信息科學與工程學院碩士研究生。研究方向：人工智能與物聯網。