


摘要:人工智能藝術是一個新的藝術場域,它遵守的藝術創作原則與傳統藝術原則不同。以人工智能算法為代表,展現出多元創作能力的復雜性。本文對人工智能藝術進行梳理和辨析,嘗試從以下三個方面展開:一、人工智能藝術在媒介實踐中的出場;二、人工智能藝術對技術與藝術的雙重拓展;三、人工智能如何生成藝術創作力。以此為基礎,人工智能藝術直接將算法轉化為創作功能,開啟了人類新型的審美判斷,這不僅標志著人工智能藝術獨特的美學運作方式的轉向,更重要的是,它意味著媒介實踐為算法技術賦予了藝術形態、文化品格。
關鍵詞:算法,人工智能藝術,藝術創作力,生成圖譜
Abstract: Artificial intelligence art is a new art field, it complies with the principles of artistic creation and traditional principles of art. Represented by artificial intelligence algorithm, it shows the complexity of multiple creative abilities. This paper combs and distinguishes the art of artificial intelligence, and tries to expand it from the following three aspects: first, the appearance of artificial intelligence art in media practice; sceond, the double expansion of artificial intelligence art to technology and art; third, how artificial intelligence generates artistic creativity. Based on this, artificial intelligence art directly transforms algorithms into creative functions, which opens a new type of aesthetic judgment of human beings. This not only marks the turn of the unique aesthetic operation mode of artificial intelligence art, but more importantly, it means that media practice gives artistic form and cultural character to algorithm technology.
Keywords: algorithm, the art of artificial intelligence, artistic creativity, generation map
自現代派藝術興起,關于藝術的定義就不斷游移。在各種對藝術進行鑒別、界定和理論爭斗的過程中可以發現,技術與藝術之間存在著難以分割的關系。圖靈(Turing, A. M.)早在《計算機器與智能》的開篇就提出過“機器能否思考?”的問題,也宣布了人工智能(AI)時代的到來。大數據、芯片和算法成為人工智能應用的三大背景。應用智能學習算法,人工智能通過大數據剖析和機器學習來改善系統自身的性能,企圖理解智能的本質,并創造出一種新的能夠對人類智能做出類似反應的智能機器,處理包括言語辨認、圖像識別和專家處置等智慧“容器”信息。人工智能算法的不斷進化,呈現出更深入的認識論層面的思考——人工智能是否能夠進行藝術創作?成為人類場景下的質詢,并日漸顯露出藝術的實踐本性。人工智能算法首先必須是“做”——文化技術實踐,而非“是”——藝術界定。與傳統的認識論相比,人工智能算法典型地呈現了認識論上的“存在論化”。智能算法的技術實踐是信息作為藝術和審美感受性關系的進一步融合和深化。它正以“本體化”的典型方式,更新人類的認識視域和創造認識活動。它以創造出的各種“先鋒”藝術觀念,證明并讓我們相信:人工智能能夠進行藝術創造,具有創造性,并挑戰了人類藝術的創造性。無疑,在藝術的范圍內,人工智能藝術創造的藩籬,顛覆了傳統的藝術創作方式,使藝術創作不再只是藝術家的專利。這不僅強烈地沖擊了傳統藝術,也引發了人類對藝術定義的震蕩。而現在,人工智能算法在不斷的試錯與發展中正展現出其獨特的藝術創作能力。面對這種新的藝術形式,需要我們從認識論的維度重新審視技術對藝術的作用。
一、人工智能藝術在媒介實踐中的出場
媒介實踐是技術實踐的領域。媒介依賴于一定的物質基礎,決定物質特性的具體特點,也決定媒介特性的客觀性。但是怎樣去把握和發揮這些特性,屬于人類實踐活動的創造性領域。藝術實踐推動技術成為藝術媒介的過程是怎樣發生的?技術提供的可能性是如何產生的?藝術的影響如何經由一些經典的里程碑式的作品帶來了文化的沖擊?這個過程顯然不是一個自發發生的過程,而是一個由藝術活動、藝術實踐來推動的過程。麥克盧漢曾經提到“兩種媒介雜交或者交匯的時刻,是發現真理和給人啟示的時刻,也是新的媒介形式誕生的時刻”[1]。人類追求技術的不斷進步,期望通過制造和使用工具代替繁重的體力勞動和腦力勞動,最終實現人的解放,而人工智能則是人類歷史上第一個對人類大腦進行模仿的技術。眾所周知,藝術是融合人類經驗、思想與情感的創造性產物。作為人類大腦外化物的“智能大腦”——人工智能成為自動的藝術“創造者”。它借助龐大的數據庫,通過對人類思維的學習,并借助計算機算法不斷優化系統,創造出更多符合大眾審美的藝術作品。
人工智能藝術的發展可以分為三個階段。“初創期”可以追溯到1805年,雅克德羅(Jaquet Droz)公司的機械師美拉德特制作出一部利用發條驅動,使用英語、法語自動寫作的機器。20世紀70年代,倫敦大學斯萊德美術學院成立首個人工智能藝術開發機構。隨后,1973年科恩(Harold Cohen)開發自動繪畫程序AARON ,利用由算法定義的想象及審美標準進行繪圖。人工智能藝術早期的發展較為緩慢,大眾對機器人自動進行藝術創作的方式抱有懷疑的態度。
2001年,林鴻程成功開發古典詩歌創作軟件。2003年,曼扎諾·莫拉于設計并制造名為 Artsbot 的群體繪畫機器人以及之后的機械動作畫家RAP。這些機器人可以與其他機器人協作完成繪畫。2006年,科幻小說家劉欣慈開發出每秒200行的寫作軟件。2009年,美國職業棒球大賽聯盟季后,“StatsMonkey”完成了世界上第一篇新聞稿。這是人工智能藝術的“上升期”,也是人工智能作為藝術生產工具運用到藝術創作中的較為成熟階段。
2010年以降,人工智能進入“繁榮期”。2015年騰訊財經的機器人寫手“Dream writer”撰寫了一篇名為《8月CPI漲2%創12月新高》的文章,這篇文章開啟了人工智能機器人寫作的熱潮。2016年人工智能創造的小說《電腦寫小說的那一天》,參加日本“新星一獎”的比賽;俄羅斯開發者開發的軟件Prisma,利用人工神經網絡技術,學習大師的繪畫風格,對照片進行處理,使其看起來極具名畫風格。在美國,《華盛頓郵報》上發表了 850 篇出自機器人Heliograf之手的報道。同時,在影視創作領域,IBM旗下的人工智能系統Watson,完成了一部電影預告片《摩根》的剪輯。2017年,微軟小冰創作的詩集《陽光失了玻璃窗》發布。這一年還出現了根據觀眾反映決定劇情的互動影院,打破了觀眾與銀幕的界限,實現了電影空間互動。2018年,人工智能繪畫作品《貝拉米家族的埃德蒙德·貝拉米》(根據GAN損失函數制作)在紐約佳士得拍賣會首次拍賣。
同年,央視紀錄片《創新中國》使用人工智能模擬去世配音員李易的聲音。2019年,經過紐約藝術家本·斯內爾訓練的人工智能Dio,學習了上千件雕塑作品,并最終設計出人形雕塑。與此同時,“非人類設計師”——深蘭科技 DeepVogue服飾輔助設計系統在中國國際服裝設計創新大賽中,殺出重圍,奪得了亞軍,并獲得最受大眾歡迎獎。
計算機技術最初產生的目的是立足數據研究、經濟活動數據管理,而在使用過程中逐漸被改造成個人通訊的媒介。用戶使用推動了計算機技術發展的方向,不僅改變了媒介的用途,也改變了媒介的實踐過程。
二、人工智能藝術對技術與藝術的雙重拓展
人工智能藝術推動技術本身的擴展,也擴大了藝術本身的范圍。數字技術的文化生態,由人類社會對技術的態度和具體運用構成,而不是通過背后的科學原理。人類通過感受這種技術帶來的文化變革,主動參與實現人的創造性,展現人的創造能力,產生新的文化成果。這一過程恰恰是人的屬性的展現,使得技術本身具有了藝術的力量、倫理的維度、思想的含量。傳統藝術分類標準大多從藝術語言、藝術作品的內容等進行分類,這樣分類的出發點是藝術品本身的存在形態。人工智能藝術最大的突破就是消除藝術與受眾的界限,實現藝術創作本體與接受客體的雙向互動。從人工智能藝術的創作主體與接受客體的關系出發,可以大致分為三種類型:技術生成態的藝術、主體間交互的藝術、全感知藝術。
(一)技術生成態的藝術
圖靈認為“人不過就是腦袋上頂了個計算機的肉機器而已”[2],而人工智能機器人的發展正是對人類思維的復刻與學習。這一類科技行為生成態的藝術,最初產生是作為衡量技術進步的指標。其創作的產品有藝術性,但卻不是藝術行為,而是科技行為。各種算法平臺,把人類的作品輸入進去,通過學習,很快就能夠推出很多藝術作品。雖然從人類的作品看,人工智能藝術作品與其相差無幾,但其同樣不是一種藝術創作行為,而是由商業行為推動的藝術創作。依照目前的技術水平,人工智能在藝術創作中還有很大的局限性,但不可否認的是,人工智能技術對藝術的參與,徹底打破了人類創造藝術的專利。智能機器人利用計算機強大的信息運算能力,通過人工輸入的程序對大量數據進行篩選、運算,最后輸出藝術品。其創造的初衷是模仿人類的思維,幫助人類完成大量繁瑣的工作。
作為技術生成態的藝術,技術對藝術的介入是全方位的。
在繪畫、音樂、文學和影視制作等藝術領域,智能機器人都可以充當藝術“創作者”。譬如,智能機器人技術在文學領域的發展可謂碩果累累,寫新聞的“Dream writer”、創作小說《電腦寫小說的那一天》的“星新先生”以及寫詩的“小冰”,成為文學領域的佼佼者。2017年微軟推出人工智能“小冰”,實驗的過程是輸入一張圖片,通過復雜的算法,便可以輸出一首與圖片適配的詩歌。在繪畫領域,機械手臂機器人學習某一畫家的繪畫風格,通過不斷的學習和修正,人工智能機器人可以無限接近該藝術家的創作風格。2019年,人工智能機器人小冰學習了236位畫家的繪畫作品,在中央美院展出了大量與名家風格神似的繪畫作品。這些作品無論從繪畫風格還是色彩,都讓人難以相信是人工智能技術的產物。2020年,藝術家鐘愫君(Sougwen chuang)創造了自己的AI機器人道格(Doug),這款機器人可以與藝術家的腦電波數據鏈接起來,當藝術家和機器人繪畫時,它們通過共享的知識庫,以及實時的視覺和運動提示聯系在一起,并與鐘愫君完成團隊合作的繪畫創作。[3]美國工程師品達范阿曼設計的人工智能繪畫機器手臂“云畫家”,其通過抽象繪畫方式的學習,不斷提高繪畫水平。在紐約還有一個“夢境”藝術體驗館,工程師將紐約幾千萬張圖片導入數據庫,讓機器學習這些風景和建筑,讓人工智能機器創作出自己幻想的紐約市。這些毫無邏輯的圖片展示,給觀眾造成一種仿佛在夢幻中的錯覺。音樂領域,莫扎特、巴赫等藝術家的作品一直都是人工智能學習模仿的經典之作。柯普公司曾進行過一個名為“音樂智能”(experiments in musical intelligence)的實驗,在這個實驗中誕生了人工智能作曲家“艾米”,它是學習巴赫作曲風格最成功的“創作者”,甚至聽眾很難區分出這是人工智能機器的“巴赫”音樂。人工智能將音符轉化為數學符號,通過對龐大數據的分析與學習,發現隱藏在藝術作品背后的規律。帕切特的“續作者”實驗就很好地證明了這一點。“續作者”通過對藝術家帶有強烈個人特色的作品的學習,把握藝術家的創作世界。除此之外,蝦米音樂、網易云音樂,通過收集用于個人偏好,向用戶推薦適合的音樂內容,還有通過照片的上傳,人工智能會根據照片的環境,定制適合該環境的歌曲。伊朗作曲家艾什·庫薩(Ash Koosha)成功創作了AI創作型歌手Yona,這個AI機器人可以創造歌詞、旋律、聲音,并將其組合成一首原創歌曲。它的聲音和歌曲具有自身獨特的風格,受到廣大網友的關注。它還曾在虛擬現實中開過演唱會,可以說這是藝術家利用科技創造藝術的一次成功實驗。影視領域,人工智能為電影的宣傳和營銷提供了強大的支撐。《星際穿越》預告片投入市場之時,通過對雎書(Facebook)和照片墻(Instagram)等用戶對預告片觀看信息的反饋和興趣點的收集,片方利用人工智能的數據分析定制個性化營銷方案,為第二部預告片的制作提供了數據分析。IBM利用人工智能系統沃森(Watson)完成了《摩根》電影預告片的剪輯。這是人工智能技術在影視領域的初次嘗試,也可以說是未來影視藝術制作工業化、大眾化的初探。
對比傳統的藝術創作需要藝術家結合自身經驗和情感進行創作,同時藝術家的創作需要大量的精力和時間,技術生成態的人工智能藝術以科技行為進行藝術生產,對人類的審美認知發起挑戰。
(二)主體間交互的藝術
主體間交互的藝術,并不是藝術的自發選擇,而是可以根據人的動作和姿態做出一種反應,是重塑人機交互的過程。這類藝術形式與上文所述的“始終處于技術生成態的藝術”,在藝術創作方式上有本質的不同。它是作品和觀眾之間的交互,更注重藝術的互動協作。雖然在傳統的藝術中,觀眾也可以實現心靈和經驗的互動,但這種互動僅僅發生在意識層面,而人工智能藝術是直接性的、具身性的。
早在1920年,杜尚《旋轉的飾版》中就應用了藝術“互動”這一想法,即觀眾需要站在特定的位置才能看到特定的圖像。這一嘗試是藝術品與觀眾互動的開始,之后隨著媒介技術的不斷演進,藝術作品的創作致力于與觀眾的互聯、協作。以超文本藝術來看,交互與協作是其藝術生產的重要方式。“超文本就是非序列性( non-sequential) 的寫作——文本相互交叉并允許讀者自由選擇,最好是在交互性的屏幕上進行閱讀。根據一般的構想,這是一系列通過鏈接而聯系在一起的文本塊,這些鏈接為讀者提供了不同的路徑。”[4]它的合作模式主要有:續寫,修改,碎片集成,以上三者的集合。[5]相較于傳統寫作方式,超文本寫作讓讀者獲得了更大的選擇權和主動權。以目前最具代表性的超文本寫作生產平臺“scp維基平臺”為例,這一平臺創造了一種集體協作和超文本敘事的獨特文學生產平臺,提供了一個虛擬的藝術創作空間,為用戶在寫作和閱讀上提供了極大的自由度。在寫作方面,超文本寫作又簡稱“超寫作”(hyperwriting),用戶從不同視角以及超鏈接的方式講述故事,可以在其中自由地添加想要表達的內容。“SCP維基平臺”,讓世界各地的用戶在同一主題下接力寫作,在用戶的不斷創作中形成自身獨特的藝術風格。大眾的“角色”從被動的接收者轉為藝術創作的主體,并將自身情感放置到藝術實踐當中。這里的藝術實踐需要技術人員 、平臺、用戶等共同協作,傳統藝術家的主體地位被顛覆。在閱讀方面,超文本閱讀又簡稱“超閱讀”(hyperreading),超文本閱讀使用超鏈接將文字、圖片、聲音、影像、代碼等與文本相連,最終通過作者的創作編織成一個龐大復雜的網絡,讀者在進入這個網絡之后,可以從任意節點進入,自由選擇不同的故事走向。譬如一部實驗性的超文本小說《下午:一個故事》,不同界面的鏈接隨意放置,這些沒有邏輯的材料讓讀者利用自己的主觀思維將其融合建構,而這部作品并沒有提供一個明確的結局走向,而是將這一權力交給讀者。超文本閱讀將讀者推向了藝術創作的主體地位,帶給讀者沉浸式的藝術體驗。在人工智能這一技術背景下,超文本藝術構建了全新的藝術創作方式:利用超文本系統,增強觀眾與藝術創作的關系,將碎片化文本,交由讀者創造組合,進而形成一種個人化的文本藝術。由此,主體間交互的藝術將真實和虛擬的邊界完全打開,使創作者和接受者完全融為一體。人工智能藝術作品與環境也是交融的,呈現一種藝術的新的走向——藝術不是環境的裝飾品、陳列品,而就是人生活的環境本身。
(三)全感知藝術
全感知藝術,即以具身性沉浸的方式將被傳統藝術媒介分割的感性復歸,并最大限度地釋放感性。欣賞這一類藝術,各種感官是綜合調動的,完全沉浸在影像提供的作品當中,同時要使用視覺、聽覺、觸覺等。這和傳統的藝術門類比較起來可以看出不同:傳統藝術是對應于某一單一感官,比如繪畫對應視覺、音樂對應聽覺,對感性起到一種分割;以交互沉浸式的全感知藝術,重新調動我們的綜合體驗,使得原來被分割的感性得以復歸。
電影作為一種時空綜合藝術,以藝術空間不斷拓展真實物理空間。海利希曾對未來電影發展有過這樣的期望“如果將電影擴展到不只是涉及味、觸與聞等感覺通道,便可以消除電影與戲劇的第四堵墻,使觀眾遷移到一個可居的虛擬世界。”[6]“數字演員”的誕生,使很多已故演員再次出現在銀幕上,為電影提供完整敘事,同時“數字演員”還可以實現大量現實演員難以完成的動作。2019年百度AI與上海電影制片產業合作,舉辦了童年英雄AI幻象展。這場展覽的超越性在于與影片角色實時互動,體驗者可以化身哪吒與龍王進行一場酣暢淋漓的對決,還可以成為各式各樣的經典卡通人物,與影片中的角色互動。這個展覽讓觀眾進入虛擬世界,實現了與虛擬空間的實時互動。對比傳統電影與觀眾之間單向傳播的藝術形式,AI電影將觀眾置身其中,為觀眾提供了沉浸式的觀影體驗。在藝術設計領域,人工智能技術在現代展館中有大量的運用。2011年日本東京大學広瀬谷川研究小組發明了一款展示盒,用于對文物的虛擬化展示。通過這款盒子,觀眾可以實現縮小、放大、旋轉、全方位地觀看展品。2018年,Asian Art Works 與交互藝術實驗室 AMLAB 共同推出了智能體感交互藝術設計作品《水妖》。這個作品突破傳統藝術設計單一的藝術感知模式,運用“視覺”“聽覺”和“觸覺”的聯動,將觀眾帶入充滿污染的海洋深處,每一次的點擊觸摸,都會改變藝術自身的形態,甚至隨著眼神的意動呈現出不同的狀況,讓觀眾全方位地體驗海底污染的嚴重性。在某種程度上,“全感知藝術”最大限度地解放了感性。這種藝術始終處于流動的、不斷生成的過程,永遠不是固定的。它致力于觀眾的參與、互動,所以其作品是持續的涌現、不斷的變化,每一剎那都是藝術的瞬間,但不是全部。顯然,這是此前的藝術所不具有的。
從上述三種類型看,人工智能藝術的技術底層是一樣的,但是人類的行為決定了藝術不同的走向,也決定了最終產生出來的作品,以及作品所帶來的文化影響和沖擊。人類行為構成了藝術發展的方向,也構成了在其中生存演化的生態環境。前兩種類型符合基于技術原理的定義,第三種類型則是藝術對技術的賦能。這種全新的藝術門類,其基本的形態是一種沉浸式的、交互的藝術作品。這樣產生出來的作品不僅在藝術上有創造性,也擴大了藝術所能產生的文化影響的范圍。
三、人工智能生成藝術創作力
對人工智能藝術的研究當中,我們需要去吸收和辨析來自技術批判的理論資源,首先就是涉及對人工智能藝術的基本定義。瑪格麗特·博登對人工智能有這樣的界定——即“人工智能就是讓人類計算機完成人類心智(mind)能做的任何事情。”[7]換言之,人工智能藝術是基于數字技術而發展出來的一種藝術形式。受到人工智能藝術獨特媒介特性的影響,面對這樣一個研究對象,我們需要探討技術在其中扮演的角色,人在其中扮演的角色。尤其是技術提供的可能性,人提供的創造性,它們形成了怎樣的關系?這些問題都是研究人工智能藝術必須要考慮的核心問題。技術、媒介、社會文化三者之間的關系鏈條不是單向的,而是一種共生關系。
以虛擬數字人的藝術創作為例,“其本質是在線社交媒體中的計算機算法,通過整合代碼的方式來模擬真實人思維并生產內容。”[8]
(一)模擬人像圖像數據庫構建
在非結構化環境中,虛擬數字人需要完成的任務通常依靠視覺和觸覺反饋。但是,人工設計融合各個不同模態的機器人控制器并非易事。盡管深度強化學習已經成功地應用于針對高維輸入的控制策略學習,但由于樣本復雜性,這些算法通常難以部署在實際的虛擬數字人上。米歇爾提出使用自監督來學習感官輸入的緊湊和多模態表示,以用來提高策略學習的樣本效率。[9]在藝術生成過程中,機器人將操作任務建模為一個有限時間的離散馬爾科夫決策過程M,狀態空間S,動作空間A,狀態轉移動力學T: S×A → S,初始狀態分布ρ0,回報函數r:S×A→ R,時間T,折扣系數γ∈(0,1],為了確定最優隨機策略π:S → P(A),自監督多模態表示學習的神經網絡結構如圖4所示:
該網絡將來自三個不同傳感器的數據作為輸入:RGB 圖像、32ms 窗口上的 F/T 讀數以及末端執行器的位置和速度。它將這些數據編碼并融合到一個多模態表示中,基于此,可以學習包含接觸操作的控制器。這種表示學習網絡是通過自監督形式進行端到訓練端的。一旦經過訓練,當用作用于強化學習的淺層神經網絡策略的輸入時,該表示就保持固定。通過自我監督來訓練表示模型,從而無需手動標注。實驗表明,接觸的任務需要視覺和觸覺的多模式反饋,此外,還進一步證明了多模態可以很好地遷移到其他新任務中。
2018年,在《英雄聯盟》職業聯賽(LPL)總決賽上,現場直播由虛擬數字人組成的K/DA虛擬偶像女團完成。這些數字偶像以面部動作編碼系統(FACS)模擬人臉近似的表情。“如果新的后人類仍然存于象征界,那么肯定會有‘一種新的邏輯僵局,一種新的真實界”。[11]
人類的面部表情是人的情感表達媒介,因此人臉圖像識別也是虛擬數字人情感識別的重要構成部分。鑒于此,可以實現“有意義的人類控制”[12]。通常情況下,人臉表情識別主要有4個基本步驟:圖像獲取、圖像預處理、特征提取、表情分類。
首先,傳感器獲取人臉圖像信息,并滿足虛擬數字人藝術產品的人臉“跟蹤”[13]條件。藝術創作者根據人類的道德、情感因素及特定的運行環境下的相關事實,提出具體的設計方式;其次,根據人臉圖像的頭部姿態進行矯正和圖像分割的圖像預處理,然后進行人臉面部特征提取。主要方法有:提取幾何特征、統計特征、頻率域特征以及運動特征等;最后,根據表情特征進行分類。主要的方法包括隱馬爾可夫模型(HMM模型)、人工神經網絡、支持向量機分類算法等。深度學習可以打破先特征提取再表情分類的傳統方法,實現特征提取與表情分類的同時進行。
《CryptoPunks》(Larva Labs創建,2017)是一個加密朋克NFT收藏品系列的實驗項目。該項目開發的靈感來源于二十世紀七十年代的倫敦朋克文化、威廉·吉布森的小說神經漫游者、刀鋒戰士、捍衛機密、以及電子音樂藝術家Daft Punk。他們試圖將代碼轉化為形象塑造中的反建制精神符號,并用以太坊區塊鏈的所有權證明建立一種帶有專屬性的存儲介質,這在一定程度上激發了現代加密藝術的興起。
這一項目是10000個像素化頭像的集合,包括由24x24像素的類似人類、僵尸、朋克、猿和外星人等的藝術圖像組成。每一個圖像都有專有的個人資料頁面,并由算法賦予發型、膚色、胡子、口紅、眼鏡、帽子等不同圖像的組合。圖像資料也會顯示其屬性以及所有權或出售狀態。正因為這樣的獨一無二模擬人像圖像數據庫,“加密朋克”成為全球最早的NFT——可收藏的數字貨幣藝術品之一。不依常規、特立獨行的審美觀,得益于算法數據庫賦予的假定個性和隨機生成的特征。
(二)藝術人像的情感特征提取
為實現高效并且可靠的人機交互,一個高智能化的虛擬數字人必須具備對外界環境的感知能力,從而對后續的情感分析建模提供基礎。在進行交互過程中,人的姿態一般會伴隨著過程的變化而發生變化,在傳達情感方面,身體的表達像面部表情一樣強大。因此讓機器人“讀懂”人類姿態所表達的內涵對機器人準確地判斷人類的情感狀態也有一定的輔助作用。盡管“模仿藝術與真理相隔極遠”[14],以AI技術驅動的虛擬男性和女性,在人類情感層面仍然被賦予了和人類對話的能力,獲得人類的“伴侶”主體地位。人工智能框架——“小冰”,即通過手機個性化設置為其定制性格、喜好甚至三觀,從而在云計算空間里與用戶建立親密情感關系。其中,滿足用戶需求的姿態表情識別通過對人臉面部表情以外的動作進行識別,進而來輔助判斷人類的情感信息,實現互動生成。從人工智能驅動型虛擬數字人的技術研究來看,除了集成自然圖像模擬以外,大多關注于語義表情和表情細節動作的生成[15]。
目前的常見方法主要是識別人們日常行為動作情感信息和姿態動作幅度、力度、節奏等時空特性的情感信息。
人工情感研究的基礎是情感建模。當情感被識別之后,計算機算法對識別的信號進行分析與處理,構建情感模型并將情感進行量化,將人類的情緒模型化。目前人工情感模型的分類大致分為兩類:基于設計的模型;基于任務的模型。基于設計的模型主要是模擬情感的自然發生過程,注重導致情感發生變化的內部原因。基于任務的模型主要是為了實現具體的任務,注重對自然情緒所產生的行為、表現進行模型。
人工情感模型還可細分為以下幾種模型:
OCC模型:這種模型是第一個以計算機實現為目的,應用最為廣泛的情感模型。它以認知評價為基礎,將評價變量分為事件、主體、對象三組,再將每組變量評價為滿意的和不滿意的,然后將評價結果與情感生成規則進行匹配,確定當前的情感狀態。
HMM模型:這種模型中有三種情緒狀態(快樂、興趣和悲傷),但可以擴充為多個。HMM模型將情緒狀態認為是不可直接通過觀察得到,但可以通過觀察當時狀態的特征來推測可能的情感狀態。因此HMM模型適合觀察有不同情感組合起來的混合情感。
PEACTIDM情感模型:該模型的情感產生過程基于8個抽象的功能算子(接受、編碼、關注、理解、規劃、意圖、譯碼、行動)。每一次的情感生成,依次完成8個功能的循環,再通過算法結果生成相應的情感。PEACTIDM情感模型的特點即利用算法進行復雜的邏輯推理生成情感。
(三)藝術風格的圖像、聲音拼接算法
虛擬數字人與人進行人機交互的時候,除了要識別和理解人的情感之外,同時還需要及時進行情感的反饋,在特定的操作環境中,這樣一種目標驅動,實際上以算法構建了“合作式交互”[16]。虛擬數字人通過一系列的算法技術,使用一堆冷冰冰的零部件將看不見摸不著的情感表達出來,使得人們獲得類似于與人進行交互的體驗。交互體驗的好壞,會對人的感知造成很大的影響。如果交互體驗更接近真人,且情感表達豐富,那么人們的交互意愿自然也會更強,人們會覺得這不是一個冷冰冰的機器,會有意愿與這類智能體進一步交互。虛擬數字人的情感表達方式與人類的方式相似,可以分為面部表情合成、情感語音合成以及姿態表情合成。
在虛擬數字人的開發過程中,計算機算法需要根據人面部的微幾何形狀、人眼模型、嘴唇及肌肉運動進行高精度的三維捕捉,同時對皮膚、頭發、牙齒等人類外觀進行圖像建模。這些三維圖像的運動對面部表情合成有重要的影響,為了避免數字人類面部表情的虛假感,還需要添加聲音。“人類細微的情感包括眼神傳達、凝視方向和注意焦點必須與角色的言語完全一致,人體的一切結構才呈現連貫。”[17]語音識別就好似人類的聽覺系統,通過計算機語音信號的轉換,虛擬數字人能夠識別和理解其所提供的文本內容或者命令。一般情況下,語音識別系統由三部分組成,即語音特征提取、聲學模型與模型匹配、語音模型與語言處理。
以美國爆火的虛擬偶像歌手選秀節目《ALTER EGO》為例,自2021年9月22日在福克斯電視臺首播,有近285萬觀眾觀看。
與傳統選秀比賽不同,選手均為算法設定的虛擬形象。在節目中,動作捕捉技術展示虛擬歌手獨特的表演風格。這種表演風格對于游戲玩家來說并不陌生,KDA的英雄聯盟開場秀、Travis Scot和Ariana Grande堡壘之夜的演唱表演,都是虛擬偶像的表演。節目中的虛擬人物在身體和外部空間的感知之間建立了一個拼接融合的身體圖式系統。節目中人類與生俱來的肉身感知系統被重構。人類的身體、骨骼被數字虛擬等因素重新定義和改造。在這一實踐過程中,計算機圖形技術基于對身體的設計進行了更高層次的思考,即算法能夠能動地調節和控制身體不同的姿態和運動,實現感知反射層、骨骼控制層和蒙皮驅動層的拼接協調。節目中的虛擬人通過感知環境信息來驅動身體運動和對外界的反饋,建立數字化的表演鏡像。
當然,上文中提到虛擬數字人其實并沒有人的主觀意識和情感的參與,只是進行藝術勞動的機器人。如果用發展的眼光看人工智能藝術的發展,假設人工智能發展到強人工智能階段,人工智能開始擁有像人類一樣的意識和情感時,虛擬數字人就有能力成為藝術的創作者,藝術家的定義也將會被再一次擴展。
結語
馬克思曾在《共產黨宣言》中寫道:“一切堅固的東西都煙消云散了”[18]這句話表達的含義,即我們生活在一個嶄新的、日異月殊、不斷變革的現代社會。人工智能為藝術領域帶來的改變,讓我們不僅看到“機器”創作者,還看到藝術的“參與者”。人類基于人工智能藝術所提供的媒介,正在進行一種全新的藝術范式的創作。具身性的沉浸和人與人之間的交互體驗,亦正在引發我們對藝術、媒介、人與世界、人與萬物的關系的全新思考。正如美國科普作家斷言“如果能夠從人腦中取得足夠的信息并把它在別處精心復制,你就能創造出人們的記憶以及他們內心深處的想法和感情,等等。你將能夠除血肉之軀重新塑造一個人,甚至把人的整個大腦變成計算機,這樣做意味著什么現在尚難以下定論,但至少有一點是肯定的,即我們關于人類為何物的概念將永遠地改變”[19]因此,基于技術媒介的人工智能藝術創作力的生成是技術實踐的重要內容,是構建新的藝術形態和審美經驗的重要力量,正是算法賦能實現、發展了技術中人的屬性,使技術具有了藝術的高光時刻。
本文系國家社科基金一般項目“數字時代公共藝術生產研究”(21BZW074);成都理工大學“雙一流”建設哲學社會科學重點建設項目“川劇臉譜藝術的數字化傳播研究”(ZDJS202215);“李冰文化的影像化及世界性表達研究”(LBYJ2022-002);成都市哲學社會科學規劃項目“四川網絡文學中的古蜀神話重述現象研究”(2021CZ003);成都市哲學社會科學重點研究基地成都歷史與成都文獻研究中心一般項目“四川網絡文學中古蜀神話書寫的ip化研究”(CLWX21012); 成都理工大學年度哲學社會科學研究基金項目一般項目“數字時代新媒介文藝理論話語建構研究”(YJ2022-YB013)階段性成果。
作者簡介:孫婧,文學博士、博士后,成都理工大學傳播科學與藝術學院副教授、碩士生導師,研究方向:數字公共藝術、文藝傳媒。
注釋:
[1] 馬歇爾·麥克盧漢:《理解媒介—論人的延伸》,何道寬譯,商務印書館,2000年。
[2] 轉引自尼克:《人工智能簡史》,人民郵電出版社,2017年,第195頁。
[3] https://www.xianjichina.com/special/detail_461479.html.
[4] 萊恩·考斯基馬:《數字文學: 從文本到超文本及其超越》.單小曦、陳后亮,等譯,廣西師范大學出版社,2011年,第13頁。
[5] Landow ,George P. and paul Delany,“Hypertext ,Hypermedia ,and Literary Studies : The State of the Art”, Hypermedia and literary studies,eds. Paul Delany and George P.Landow, Combridge ,Masschustts and London ,England:The MIT Press ,1991, Fourth printing ,1994.
[6] 黃鳴奮:《新媒體與西方藝術學理論》,學林出版社,2009年。
[7] 瑪格麗特·博登:《AI:人工智能的本質與未來》,孫詩惠譯,北京:中國人民大學出版社,2017年。
[8] 孫婧:《人工智能藝術的歷史生成與“參與”美學》,《當代文壇》, 2022年第6期,第183-189頁。
[9] Michelle A. Lee, Making Sense of Vision and Touch: Self-Supervised Learning of Multimodal Representations for Contact-Rich Tasks, IEEE International Conference on Robotics and Automation,2019.
[10] 此部分解釋參見清華大學、中國人工智能學會《2019人工智能發展報告》。
[11] Slavoj I ek,Disparity,London,NewYork: Bloomsbury Publishing,2016, p.362.
[12] Santoni de Sio F, Van den Hoven J., Meaningful Human Control Over Autonomous Systems: A Philosophical Account, Frontiers in Robotics and AI, No.5, 2018,p.15.
[13] Crootof R., A Meaningful Floor for Meaningful Human Control,Temp. Int'l & Comp. LJ, No.30, 2016, p.53.
[14] Plato, The RepublicⅡ, Cambridge: Harvard University Press, 1942, p.431.
[15] 張申、賈珈、王曉慧等:《基于語義維度的人臉表情生成》,清華大學學報(自然科學版),2011年第1期,第80—84頁。
[16] 許為、葛列眾、高在峰:《人-AI交互: 實現“以人為中心AI”理念的跨學科新領域》,《智能系統學報》,2021年第1期,第1—18頁。
[17] 孫婧:《人工智能藝術的歷史生成與“參與”美學》,《當代文壇》, 2022年第6期,第183—189頁。
[18]中共中央馬克思恩格斯列寧斯大林著作編譯局譯:《馬克思恩格斯全集》(第四卷),北京人民出版社,1958年。
[19] 里吉斯:《科學也瘋狂》,張明德、劉青青譯,北京:中國對外翻譯出版社,1994年。