人工智能時代，仍然是眼見為實嗎？

編譯 陳軼翔

隨著合成媒體的傳播，即使是真實的圖像也會招致質疑

2 011年，照片取證專家哈尼·法里德（Hany Farid）收到一位失去兒子的父親發來的電子郵件。三年前，這個男人的兒子站在路邊——自己的汽車發動不起來了。當一些陌生人讓他搭車時，他接受了。幾分鐘后，不知什么原因，他們開槍打死了他。當他走向他們的汽車時，監控攝像頭拍下了他的身影，但這段視頻的清晰度太差，以至于無法辨認關鍵細節，比如臉部，而且行兇者所駕駛的汽車車牌模糊難辨。這位父親明明已經看到指證殺害他兒子的兇手的證據，但卻無法辨別。

20世紀90年代末，法里德開創了對數碼照片進行法醫分析的先河，并贏得了“奇跡工作者”的美譽。作為無數民事和刑事審判的專家證人，他解釋了為什么有爭議的數字圖像或視頻必須要鑒定真假。現在，法里德——一位計算機科學教授，在自己的實驗室里（位于達特茅斯），一遍又一遍地播放那位父親發來的視頻，很想知道自己能做些什么。在電視上，偵探們經常增強照片的效果，把嫌疑犯像素化的臉銳化成詳細的肖像。但在現實生活中，這是不可能的。由于視頻通過監控攝像頭的“成像管道”——鏡頭、傳感器、壓縮算法——其數據被“下采樣”，最終留下的信息非常少。法里德告訴發來視頻的那位父親，圖像無法逆轉，這個案子只好被擱置。

然而幾個月后，法里德有了一個想法。如果他可以用同樣的監控攝像頭拍攝很多車牌，會怎樣呢？在這種情況下，模式可能會出現——混雜的像素和車牌之間的對應關系。兩者之間的對應關系非常微妙：任何退化圖像的特定模糊不僅取決于車牌號碼，還取決于光照條件、車牌的設計以及很多其他變量。不過，如果他能獲得足夠多的圖像——幾十萬，也許幾百萬——模式可能會出現。

法里德首先派他的研究生去達特茅斯校園拍攝了幾百個車牌。然后，基于這些照片，他和他的團隊建立了一個能夠合成更多圖像的“生成模型”。在幾周的時間里，他們制作了數千萬張逼真的車牌圖片，每一張都是獨一無二的。然后，通過模擬監控攝像頭輸入他們的合成車牌，讓它們變得難以辨認。目的是創造一個“羅塞塔石碑”——將像素和車牌號碼聯接起來。

接下來，他們開始“訓練”神經網絡來解析這些退化的圖像。現代神經網絡是多層次的，每一層都有數百萬個變量。研究人員由于不確定它們是如何運作的，因此必須通過反復試驗來“訓練”它們。法里德的團隊經過多次努力嘗試來完

善它們。最后，他們終于從那位父親發來的視頻中提取出一張圖片。法里德說：“視頻里的那張車牌圖片就好像只有10像素。但仍然有線索可循。神經網絡對最后三位字符給出明確的答案。”

2018年夏天，法里德將這些字符通過電子郵件發送給負責此案的偵探。調查人員已經將搜索范圍縮小到藍色雪佛蘭黑斑羚的一個型號。與那輛汽車有關的人后來被證明參與了另一起犯罪，一個被擱置了近10年的案子現在又開始審理了。與此同時，法里德和他的團隊在一份計算機視覺雜志上發表了他們的研究成果。他們在論文中指出，該系統是對已經在使用的數百萬低質量監控攝像頭的免費升級。

圖像合成，正在成為人們關注的焦點

這樣的工作似乎不切實際，曾經它確實是不切實際的。但是，一個新的領域——圖像合成，正在成為人們關注的焦點，這個領域將計算機繪圖和人工智能結合在一起，正在不斷取得進展。

研究人員正在尋找利用神經網絡新的方法——大體上是基于大腦結構的軟件系統——來分析、創建圖像和視頻。在新興的合成媒體世界里，數字圖像創作的工作——曾經是高度熟練的程序員和好萊塢特效藝術家的專長領域——現在能夠大規模產生，實現自動化。

凱麗·費雪在《星球大戰》里的銀幕形象

在充斥著虛假新聞的媒體環境中，這種技術有著令人不安的影響。2017年秋天，名為Deepfakes的Redditor匿名用戶發布了一款軟件工具包，使得任何人都可以制作合成視頻——神經網絡用一個人的臉代替另一個人的臉，同時保持他們的表情一致。

與此同時，華盛頓大學一個研究團隊發表的《合成奧巴馬》一文表示，神經網絡可以創建可信的視頻。在視頻中，這位前總統似乎是在說著別人說過的話。在一段由喬丹·皮爾（Jordan Peele）配音的視頻中，奧巴馬似乎在說：“特朗普總統是個徹頭徹尾的笨蛋，”并警告說，“我們在信息時代的前進方式”將決定“我們是否會進入某種該死的反烏托邦。”

并非所有的合成媒體都是反烏托邦的。最近最賣座的電影（《黑豹》《侏羅紀世界》）就充斥著各種合成的圖像，而在不久之前，這些合成圖像的制作難度要大得多；《星球大戰：最后的絕地武士》中凱麗·費雪（Carrie Fisher）的合成影像和《銀翼殺手2049》中肖恩·楊（Sean Young）的合成影像都深受觀眾喜愛。如今，智能手機甚至用數字技術處理普通的快照，通常使用神經網絡。比如，iPhone的“肖像模式”模擬了更昂貴的相機拍攝出來的照片模式。同時，對于計算機視覺的研究人員來說，人工智能、機器人技術和其他領域，圖像合成使得研究的路徑變得相當容易。

長期以來，人們一直在用不同的工具進行合成。法里德列舉了圖像處理史上的各種里程碑事件：在19世紀60年代的一張著名照片中，亞伯拉罕·林肯的頭部被換位到了奴隸制倡導者約翰·C·卡爾霍恩（John C. Calhoun）的身體上；在斯大林時代的蘇聯，為了將他的敵人從歷史書中清除，斯大林命人大規模修改照片；1982年，在《國家地理》雜志的封面上金字塔被重新排列；

2004年，約翰·克里（John Kerry）

和簡·方達（Jane Fonda）站在一起參加反越戰示威活動的合成照片被《泰晤士報》轉載了出來，刊登在克里反戰活動的報道之后，激怒了很多選民。

法里德說：“在過去，任何人都可以買Photoshop。但要想真正有效地使用它，你必須有很好的技能。現在這項技術正在普及化。”現在令人信服的合成圖像和視頻越來越容易制作了。

法里德講話時帶著技術專家的熱情和律師的謹慎：“為什么斯大林要把那些人從那些照片中抹去呢？何必這么麻煩呢？這是因為圖像有一種非常強大的力量。如果你改變了圖像，你就改變了歷史。我們習慣眼見為實，照片和視頻仍然有這種不可思議的共鳴。但照片和視頻的真實性還能維持多久呢？”

從“圖像合成實驗室”了解技術進展

世界上最好的圖像合成實驗室之一距離伯克利分校北側法里德的家只有7分鐘的車程（因妻子工作需要，法里德正從達特茅斯搬往加州大學伯克利分校）。這個實驗室由43歲的計算機科學家阿列克謝·A·葉夫羅斯（Alexei A.Efros）管理。葉夫羅斯出生于圣彼得堡，隨父親（蘇聯理論物理學家最高獎獲得者）于1989年（14歲時）搬遷到了美國。

十幾歲時，葉夫羅斯在蘇聯的一臺電腦（Elektronika BK-0010）上學會了編程。他對人工智能越來越感興趣，最終被計算機視覺所吸引，這一領域使他能夠觀察機器的思維。1998年，當葉夫羅斯來到伯克利讀研究生時，他開始研究一個叫作“文本合成”（texture synthesis）的問題。葉夫羅斯研發了一種方法，可以智能地對圖像的位元進行采樣，并對其進行概率重組，從而使展示內容可以無限且有機地擴展。幾年之后，該技術的一個版本在Adobe Photoshop中成為一個名為“內容自動填補”的工具：使你可以涂抹相片中某個區域（例如，不想要的物體），遺留的空白區塊由Photoshop自動幫你填補，即使是復雜的背景也沒問題。

在來到伯克利之前，我曾寫信給葉夫羅斯實驗室的一名研究生謝莉·吉諾薩（Shiry Ginosar）。吉諾薩在回信告訴我一些自我拍攝的建議。在收到我的視頻后，她寫道：“你看起來棒極了。”她表示，一個神經網絡要花大約兩周的時間才能學會對“我”進行合成。

家庭計算的加速與另一種趨勢相融合：大量的照片和視頻上傳到網絡。當我坐在葉夫羅斯的辦公室時，他解釋說，即使在2000年早期，計算機繪圖也一直缺乏數據：盡管3-D建模者能夠創造出逼真的場景，但他們的城市、室內和山景卻讓人感覺空洞而沒有生機。葉夫羅斯表示，真正的現實主義需要數據——關于“黏糊糊的、骯臟的、復雜的世界”的數據，最好是通過日常生活記錄進行收集。

如今，研究人員可以使用ImageNet之類的系統，匯集普通場所和物體的照片。2012年，多倫多大學的研究人員成功地建立了能夠自動對ImageNet圖像分類的神經網絡，他們的巨大成功促成了今天神經網絡的繁榮。

一幅畫勝過千言萬語。眼見為實是對我們成長的社會環境的一種信任。

未來，我們可能會陷入零信任模式。

圖像合成的一個經驗是，有了足夠的數據，一切都變成了可使用的材料。每條河流、每處風景都有它的翻版，隨時可能被采樣；面孔那么多，你的二重身（和你面貌極其相似的人）可能已經上傳了你的面孔。產品一遍又一遍地被制造出來，新建筑與舊建筑相互呼應。

在葉夫羅斯的實驗室里面，幾十個智能終端工作站排列成行，每個工作站都有自己的筆記本電腦、鍵盤、顯示器、鼠標和咖啡杯——工作狂的特質在這里體現得淋漓盡致。剛獲得博士學位的張理查（Richard Zhang）向我解釋合成圖像生成方面的最新進展。

他說：“假設你有一張在晴天拍攝的風景圖片。你可能想知道這處風景在雨中會是什么樣子。不過，這個問題的答案并非只有一個。”一個真正有創造力的神經網絡所做的不僅僅是創造一張令人信服的圖片，它將能夠合成很多可能性——來制作各種景觀，甚至像法里德構建的那個車牌系統一樣。

法里德和我看了一段被瘋傳的視頻，名叫《金雕驚魂記》——似乎是在蒙特利爾公園里，一只猛禽朝一個蹣跚學步的孩子猛撲過去。法里德解釋說：“專門的軟件可以揭示出鷹和孩子的影子微妙的錯位。”法里德想起了一只灰熊的圖片，他指出，在高倍放大后，灰熊口鼻的邊緣處是紅色和藍色的。他解釋說：“當光線照射到透鏡表面時，它會按波長的比例彎曲，這就是為什么你會看到邊緣處的顏色。這些色像差在圖像的中心處最小，從中心向邊緣處色像差越來越大。當不符合這種模式時，就表明照片是被部分組合了。”

很多專注于合成的研究者也在研究取證。葉夫羅斯實驗室的一名研究生許雅各（Jacob Huh）訓練了一個神經網絡來識別色像差和其他操縱信號。該網絡會生成熱點圖，突出顯示圖像中的可疑區域。法里德認為，獨特的“操縱指示器”的絕對數量使取證專家在技術上勝過偽造者。偽造者必須煞費苦心地在一張百元大鈔上處理每一個安全問題——全息圖、凸版印刷、變色油墨等等；同樣地，媒體操縱者也必須解決無數的技術問題，其中一些問題是統計性質的，肉眼是看不見的，這樣才能制造出無法察覺的贗品。訓練神經網絡來做到這一點是一項艱巨的任務，甚至也許是不可能完成的任務。然而，法里德認為，偽造者在傳播方面是有優勢的。雖然《金雕驚魂記》被鑒定是合成的，但它仍然被觀看了1 300多萬次。馬特·塔瑞克（Matt Turek）預測，當涉及圖像和視頻時，我們的信任點將創歷史新低。

他說：“一幅畫勝過千言萬語。眼見為實是對我們成長的社會環境的一種信任。我曾聽人說過，我們可能會陷入零信任模式——默認情況下，你什么都不相信。這可能是一件很難恢復的事情。”

和現在基于文本的假新聞一樣，這個問題是一把雙刃劍。在被一個虛假視頻欺騙之后，人們開始懷疑是否很多真實的視頻也是假的。最終，懷疑主義本身成為一種策略。2016年，當《走進好萊塢》的錄像帶浮出水面時，唐納德·特朗普承認了它的真實性，但將自己的言論視為“更衣室談話”而不予理會。而現在特朗普對他的同仁們表示：“那不是我的聲音。”

法里德告訴我：“更大的危險是似是而非的否認。”真品與仿冒品的比較被打破了。沒有哪個出納員打開收銀臺希望找到假鈔。然而，在政治中，不相信我們所看到的，往往符合我們的判斷。

一天晚上，我和葉夫羅斯步行去吃晚餐的路上，我們討論了圖像合成的很多正義的應用。例如，一個機器人，通過想象推測它可能在拐角處看到的東西，并核實它的猜測是否正確，就可以學會在一個建筑物周圍應走的路線。“位姿檢測”可以讓它通過觀察來學習運動。葉夫羅斯說：“預測真的是智能的標志，我們一直在預測和幻想那些不可見的東西。”從某種意義上說，合成就是一種想象。法里德對車牌研究的明顯矛盾之處在于，虛擬的圖像可以幫助我們弄清楚真實的圖像，這恰恰反映了人工智能的工作方式。因只顧著說話，我們迷路了。

當我們找到那家餐館時，法里德正坐在他的摩托車上等著我們。這兩位認識已經十年的朋友，分別發明了生成器和鑒別器。

吃飯時，法里德說道：“這些技術的真正有趣之處在于，它們的快速轉變——從令人炫酷的感覺到對民主的顛覆。特朗普在營造一種氛圍——你不應該相信你所看到的東西。”

葉夫羅斯說：“我認為引起關注的是視頻，若是圖像，沒有人在意的。奧利弗·斯通（Oliver Stone）在為普京制作了紀錄片的過程中，普京曾給斯通看了一段俄羅斯軍隊在敘利亞攻擊恐怖組織伊斯蘭國ISIS的視頻。后來，它被證明是一段美國人在伊拉克的視頻片段。很多視頻都不是假數據，而是‘張冠李戴’。”

法里德說：“解決辦法主要是應對社交媒體上的‘激勵倒錯’（編者注：意指心理學上對負面舉動或行為給予獎勵的現象）。那些價值萬億美元公司的整個商業模式就是如何吸引大眾眼球。好像毒藥一樣。”

期間，法里德講了一個故事，內容是關于李·哈維·奧斯瓦爾德（Lee Harvey Oswald）的一張著名照片。照片顯示奧斯瓦爾德站在他的后院，拿著他后來用來殺死肯尼迪總統的步槍。陰謀論者一直聲稱這張照片是假的。法里德說：“它看起來確實有點假。”來復槍顯得過長，奧斯瓦爾德的身體似乎正以一種不切實際的角度向后傾斜；在這張照片中，他的下巴出奇地窄，但在其他照片中不是這樣。法里德說：“我們制作了這個場景的3D模型，結果證明我們可以解釋一切人們懷疑的景象——只是因為光線太奇怪，導致那些景象看起來是假的。”

葉夫羅斯笑說：“說到陰謀，有一些事實印證了我們的想法，也有一些被證明確實是陰謀。而我居然也被認為成了陰謀的一部分。我父親曾給我發了一封電子郵件。他說：‘有人給我發了一篇文章的鏈接，聲稱你和我參與了一起陰謀。’我的父親是一位化學家，曾就職于伊士曼柯達公司。他在該公司工作的時候曾研究澤普魯德錄像（一位達拉斯市民用家用8 mm攝像機拍攝到肯尼迪遇刺事件的全過程）。”

法里德認為：“我們需要技術上的解決辦法，但我認為技術解決不了問題。我認為這是一個社會問題，一個人類問題。”

合成圖像引起政府注意

2016年，美國國防高級研究計劃局啟動了“媒體取證”項目，重點關注合成媒體對國家安全構成的威脅。

項目經理馬特·塔瑞克（Matt Turek）指出了可能存在的操縱行為：“未來幾年，我們會看到，未發生事件的合成。從不同角度拍攝的多個圖像和視頻將被合成——看起來像是來自不同的攝像機。它可能是一個民族或國家驅使的，試圖影響政治或軍事行動；它也可能來自一個資源較少的小群體；或者它可能來自某個人。”

“媒體取證”項目召集了來自大學、科技公司和政府機構的數十名研究人員。他們共同協作，在50多個“操作指示器”的基礎上創建自動化系統。他們的目標不只是識別贗品，還要對其進行追蹤。塔瑞克說：“我們想要追蹤到操縱行為的幕后操刀者，從而弄清楚他們為什么要這樣做。”

理想情況下，這樣的系統將被整合到社交媒體平臺，在那里他們可以標記合成內容。不過，存在速度問題。僅YouTube，每天有長達57.6萬小時的視頻在上傳。塔瑞克說：“‘媒體取證’項目系統的運行時間有一定的范圍，從不到一秒到幾十秒甚至更長。即使在加快速度之后，實際問題仍然存在：如何區分無惡意的操作和惡意的操作？廣告會被標記嗎？有多少內容被證明在某種程度上是合成的？”

新型公司瞄準“可能出現的信任危機”

盡管合成媒體可能令人擔憂，但更值得警惕的是，我們現在面臨的錯誤信息的危機——俄羅斯黑客干擾選舉；緬甸的種族滅絕宣傳；即時消息驅動的印度暴民暴動。社交媒體足以勝任這樣的工作——通過把普通人變成媒體操縱者，讓他們發表（或分享）任何言論來贏得關注。

在攝影術發展早期，它的實踐者不得不為它的客觀性辯護。在法庭上，專家們爭論照片是現實的反映還是藝術產品；法律學者想知道照片是否需要證人的證實。人們花了幾十年的時間才達成共識，認為照片值得信賴。一些技術專家懷疑這種共識能否在不同的條件下重新建立起來。

圣地亞哥的一家初創公司Truepic的目標是制作一種新型的數碼照片——可驗證的數碼原版。用其智能手機應用程序拍攝的照片被上傳到服務器上，服務器進入一種加密鎖盒。該公司首席執行官杰弗里·麥格雷戈（Jeffrey McGregor）解釋說：“我們要確認圖片在傳播過程中沒有被篡改。我們查看地理定位數據，附近的基站發射塔，手機上的氣壓傳感器，并驗證一切是否匹配。我們對照片進行一系列計算機視覺測試。如果這張圖片通過了審查，它就可以在一個特殊的網頁上被共享，以驗證其真實性。”

如今，Truepic的最大客戶是保險公司。該軟件也被非政府組織用來記錄侵犯人權的行為。麥格雷戈說：“我們的目標是把這種軟件拓展到信任缺失的行業，比如租房子、網上交友約會。最終，我希望將我的軟件集成到相機組件中，這樣驗證就能從光子進入鏡頭的那一刻開始。”

利用人工智能，研究人員可以把一個身體的運動投射到另一個人身上

2018年早些時候，馬里蘭大學的法學教授丹尼爾·西特倫（Danielle Citron）和得克薩斯大學的法學教授羅伯特·切斯尼（Robert Chesney）合作發表了一篇名為《深度贗品：對隱私、民主和國家安全迫在眉睫的挑戰》（Deep Fakes: A Looming Challenge for Privacy，Democracy，and National Security）的文章，探討某些合成媒體的非法性（西特倫告訴我，一條可行的途徑是取締旨在煽動暴力的合成媒體；另一種辦法是修改法律，禁止冒充政府官員，禁止合成關于政府官員的視頻）文章的最后，西特倫和切斯尼進行了科幻小說般的猜測。

他們設想了最壞的情況：深度贗品是不可根除的，因為競選、敲詐和其他邪惡的目的總會存在。在這樣一個世界里，我們可能會不斷地記錄自己，從而在合成媒體出現的時候揭穿它。他們寫道：“提供這種服務并維護數據真實結果的供應商將具有非凡的權力，它的數據庫對執法機構來說是一個相當有價值的資源。”

人類的矛盾感可能會加劇

在一個輕松愉快的周五早上，我走進葉夫羅斯實驗室去看我自己的合成視頻。伯克利校園基本上空曠無人，我不禁注意到它與其他校園是極度相似的。這次訪談，讓我對世界的看法發生了變化。那天早晨，在我的手機上，我看到了一段令人難以置信的視頻：一只貓爬到了一棟公寓樓的外面，爬到了十樓，然后跳到地上匆匆跑掉。第一反應，我猜視頻是假的。但我用谷歌搜索了一下，視頻竟然是真的。

我開始認為，一個充斥著合成的世界，會激起很強烈矛盾的感覺。在伯克利的那段時間里，我看到的圖像和視頻似乎變得遙遠而疏離，就像看玻璃后面的東西一樣。它們清晰而完美，難辨真假。但我也開始比平常更強烈地感受到自己內心的涌動。我想到了一項著名的研究：人們看到了自己被篡改過的照片——孩童時期的他們似乎是站在一個熱氣球的籃子里。后來，當被問到這個問題時，一些人認為他們還記得自己乘坐過熱氣球。

在一張小圓桌旁，謝莉·吉諾薩以及另一名研究生周廷輝（Tinghui Zhou）興奮地向我展示了他們過去一年半開發的“生成對抗性網絡”所取得的成就。

吉諾薩在她的筆記本電腦上，打開了一個視頻。在屏幕左上角的一個框中，歌手布魯諾·馬爾斯（Bruno Mars）穿著白色耐克鞋、運動褲和一件精美的條紋襯衫。在他的下面，一個小小的線框人影模仿著他的動作姿勢。吉諾薩說：“這就是我們的‘位姿檢測（pose detection）’。”屏幕的右側有一張我的大圖，也是同樣的姿勢：身體微微向一側傾斜，臀部翹起，左臂高舉在空中。吉諾薩敲了一下空格鍵。馬爾斯的熱門歌曲《哥就愛這樣》（That’s What I Like）開始播放。他開始跳舞，我的合成也是如此。我們的肩膀從左到右搖晃。然后我們表演了炫酷的太空步。

周廷輝說：“看那影子！”視頻中，那個影子在我的合成身體下面真實地起伏著。“我們沒有告訴它要這么做，它自己學會的。”仔細一看，我注意到有一些瑕疵。我的襯衫偶爾會多出一顆扣子。我的手表出現又消失了。葉夫羅斯說：“音樂有所幫助。它讓你不會注意到太多的細節瑕疵。”

周廷輝帶著疑惑的語氣問道：“在Photoshop出現之前，每個人都相信照片就是真實的嗎？”

吉諾薩回答說：“是的，這就是極權主義政權和宣傳的運作方式。”

周廷輝說：“我認為視頻也是一樣。人們的態度也是從相信到懷疑。”

葉夫羅斯說：“實際上，從一開始攝影就不是客觀的，你給誰拍照片，你怎么構圖——都是有選擇的。所以我們一直在欺騙自己。從歷史上看，有一個奇怪的時期，人們認為攝影和攝像都是真實的。而現在，這個非常短的時期正在消失。”

當我邁出房門，走下樓梯，沐浴著陽光時，我仔細地思考著這個問題。我看著學生們走過，他們的背包一模一樣，發型相似，臉上的表情似乎是可以合成的。我拿出手機，找到了我的合成視頻的鏈接，給一些朋友發了一封電子郵件。我在郵件中寫道：“看看我的舞步動作，真的很棒哦！”然后點擊了“發送”。

資料來源 The New Yorker