Imagen AI，從自然文本中生成逼真的圖像

曹欣

說(shuō)起DALL-E2的大名，很多關(guān)注人工智能科技行業(yè)的讀者都了解。可以說(shuō)，文本生成圖像這個(gè)堪比考驗(yàn)人工智能想象力的技術(shù)制高點(diǎn)，被DALL-E2發(fā)揮得淋漓盡致。在OpenAI宣布DALL-E2（其最新的從文本創(chuàng)建圖像的 AI 系統(tǒng)）大約一個(gè)月后，Google 的“文本到圖像擴(kuò)散模型Imagen”加入到了這場(chǎng)AI競(jìng)賽中。

使用標(biāo)準(zhǔn)度量FID（Frechet Inception Distance score，計(jì)算真實(shí)圖像和生成圖像的特征向量之間距離的一種度量），Google Imagen 在COCO（Common Objects in Context，是微軟團(tuán)隊(duì)提供的一個(gè)可以用來(lái)進(jìn)行圖像識(shí)別的數(shù)據(jù)集）數(shù)據(jù)集上以 7.27 的得分超過(guò)了Open AI 的 DALL-E2。盡管沒(méi)有使用COCO進(jìn)行“培訓(xùn)”，但I(xiàn)magen的表現(xiàn)仍然很好。Imagen 在人工評(píng)分者中也優(yōu)于 DALL-E2 和其他競(jìng)爭(zhēng)的文本到圖像方法。

Imagen的工作原理是采用自然語(yǔ)言文本輸入，例如“一只戴著藍(lán)色格子貝雷帽和紅色圓點(diǎn)高領(lǐng)毛衣的金毛獵犬”，然后使用T5-XXL 編碼器將該輸入文本轉(zhuǎn)換為嵌入。接下來(lái)“條件擴(kuò)散模型”將文本嵌入映射到一個(gè)小的64×64 圖像中，Imagen使用文本條件超分辨率擴(kuò)散模型將64×64圖像采樣為256×256和1024×1024。

與去年秋天NVIDIA的GauGAN2方法相比，Imagen 在靈活性和結(jié)果方面都有了顯著的提升，意味著影像基礎(chǔ)的人工智能正在迅速發(fā)展。比如右面這張“一只柯基犬住在用壽司做的房子里”的圖片，看起來(lái)真實(shí)度很高，就像有人真的用壽司建造了一個(gè)狗屋，而且柯基犬很喜歡它，其實(shí)這一切都是虛構(gòu)的。

一些用戶在訪問(wèn)Imagen后會(huì)立即開(kāi)始輸入各種短語(yǔ)，比如：“一對(duì)機(jī)器人夫婦在埃菲爾鐵塔的背景下享用美食。”如果沒(méi)有特定的關(guān)鍵詞，有可能生成的人種、膚色會(huì)不同。我們不知道Imagen如何處理這些文本字符串，文本到圖像的研究還存在倫理挑戰(zhàn)。

多倫多的天際線，上面寫(xiě)著用煙花寫(xiě)的大腦標(biāo)志

一只可愛(ài)的柯基犬住在用壽司做的房子里，想想要真正拍攝會(huì)多不容易

如果文字中沒(méi)有“機(jī)器人”這個(gè)詞，這對(duì)夫婦的照片會(huì)是什么樣子？

從技術(shù)上說(shuō)，此次谷歌的Imagen拋棄了從文本特征映射到圖像特征再用GAN或擴(kuò)散模型生成圖像的常規(guī)思路，而是使用純語(yǔ)言模型只負(fù)責(zé)編碼文本特征，把文本到圖像轉(zhuǎn)換的工作丟給了圖像生成模型。

當(dāng)然，這里的圖像生成模型，依然是擴(kuò)散模型。這就意味著其純文本數(shù)據(jù)獲取方面比獲取圖文數(shù)據(jù)容易，其文本理解能力比圖文對(duì)數(shù)據(jù)的理解能力強(qiáng)。我們想象一下，一個(gè)模型可以從文本中創(chuàng)建幾乎任何圖像，像Imagen這樣的AI模型主要是使用從網(wǎng)絡(luò)上抓取的數(shù)據(jù)集進(jìn)行訓(xùn)練的，互聯(lián)網(wǎng)上的內(nèi)容可能存在偏差和偏見(jiàn)，有些還具有負(fù)面的社會(huì)影響，人工智能如何能鑒別？

所以，Google為Imagen使用了 LAION-400M 數(shù)據(jù)集，眾所周知，該數(shù)據(jù)集“包含大量不當(dāng)內(nèi)容，包括色情圖像、種族主義誹謗和有害的社會(huì)刻板印象”，訓(xùn)練組的子集可以用來(lái)過(guò)濾這些“不受歡迎的”訊息。

而且Google Imagen此次優(yōu)秀的表現(xiàn)還是在并不大（相對(duì)而言）的訓(xùn)練數(shù)據(jù)規(guī)模上，實(shí)驗(yàn)中發(fā)現(xiàn)，擴(kuò)大語(yǔ)言模型的規(guī)模對(duì)最后效果影響更大。盡管Imagen表現(xiàn)卓越，在理解方面很多情況下表現(xiàn)都強(qiáng)于DALL-E2，不過(guò)它還是有缺點(diǎn)，正常情況下，如果文字比較“繞口”，AI也能畫(huà)出來(lái)，但如果劍走偏鋒，提一個(gè)反常識(shí)的畫(huà)，比如正常情況下是人騎馬，而我們偏偏讓AI畫(huà)馬騎人，這樣這兩個(gè)AI就熄火，無(wú)法運(yùn)行了。

由此看來(lái)，目前的人工智能再?gòu)?qiáng)，它們還是不理解實(shí)質(zhì)的含義。即便如此，這款新出的AI也已經(jīng)夠驚世駭俗的了。不用說(shuō)，大家剛從OpenAI的DALL-E2的震驚中走出來(lái)，又遭遇更震撼“暴擊”。看得一眾讀者目瞪口呆，一時(shí)間驚呼不斷，感嘆科技進(jìn)步之快，難怪有人表示，以后的圖庫(kù)是不是就會(huì)被人工智能取代了？先取代設(shè)計(jì)師的圖庫(kù)素材庫(kù)，再取代設(shè)計(jì)師，如果AI按這個(gè)步驟來(lái)，那么我們豈不是更不敢放心用AI的圖庫(kù)素材？