索尼人工智能擊潰頂級真人賽車手以一點五秒優勢打敗人類

“這是什么情況？”艾米麗·瓊斯不敢相信自己竟然落后了。

艾米麗·瓊斯是一名多次奪冠的頂級GT游戲賽車手，她拍打著她的電子競技專用方向盤，眼睛盯著面前的屏幕：“我盡力了，但還是追不上它，它是怎么做到的？”

在游戲《GT賽車》中，瓊斯以每小時120英里的速度駕駛著她的賽車。為了追上世界上最快的“玩家”，她幾度把車速飆到了每小時140英里、150英里。

這位“玩家”實際上是名為“GT Sophy”的人工智能。它是由索尼人工智能研究實驗室在2020年發布的，利用人工智能技術在GT游戲中學習如何操控賽車。在2021年舉行的一系列閉門活動中，索尼安排了該人工智能與頂尖GT賽車手同臺競技。

2021年7月，瓊斯作為電競戰隊Trans Tasman Racing的一員，參與了索尼組織的活動，但當時的她并不知道會發生什么。

“沒人給我提供任何信息。只是跟我說不需要做任何練習，也不要在意圈速。”她回憶道。“我的態度也很單純，保密就保密吧，這肯定不是什么壞事。”

最后，GT Sophy以1.5秒的優勢擊敗了瓊斯的最佳成績——人類賽車手刷新GT記錄基本都是以毫秒為單位的，1.5秒意味著巨大的差距。

但索尼很快了解到，僅憑速度并不足以讓GT Sophy成為贏家。它在單人賽道上超越了人類車手，以不可思議的成績打破了三個不同賽道的記錄。

然而當索尼將其與多個人類車手放在一起比賽時，它卻輸掉了——多人競賽不僅需要速度，還需要一定的智慧。GT Sophy有時因過于激進和魯莽而招來罰分，有時則過于怯懦，在不需要的時候讓步。

索尼重新訓練了人工智能，并在2021年10月進行了第二輪比賽。這一次，GT Sophy輕松地贏下了人類玩家。它做出了什么改變？

首先是索尼打造了一個更大的神經網絡，程序的性能更加強大，但本質上的不同之處在于GT Sophy學會了“賽道禮儀”。

索尼人工智能美國負責人彼得·沃曼表示，這種禮儀被人類車手廣泛遵守，其實質是平衡攻擊性和讓步的能力，在時刻變化的賽場中動態選擇最合適的行為。

這也是使GT Sophy超越賽車游戲人工智能的原因。他說，車手在賽道上的互動和禮節是一個特殊例子，其中展示的動態的、情境感知的行為，正是機器人在和人互動時應該具備的。

認識到何時冒險、何時安全行事，對于人工智能來說十分有用，無論是在制造車間、家庭機器人，還是無人駕駛汽車上。

沃曼說：“我認為我們還沒有學會關于如何處理必須遵循的人類規范的一般原則。但這是一個好的開始，希望它能讓我們深入了解這個問題。”

GT Sophy只是許多擊敗過人類的人工智能系統中的其中一個，從國際象棋到星際爭霸和DOTA2，人工智能都擊敗了世界上最好的人類選手。不過《GT賽車》這個游戲給索尼提供了一種新的挑戰。

與其他的、特別是那些回合制的游戲不同，GT要求頂尖玩家在逼近物理極限（超高車速）的情況下實時控制車輛。在競賽中，所有其他玩家都在做相同的事情。

虛擬賽車以每小時100英里的速度疾馳而過，車身與彎道邊緣的距離只有幾英寸。在這樣的速度下，微小的誤差都會導致碰撞。

據悉，《GT賽車》游戲以詳盡地捕捉、并復刻真實世界的物理學而聞名，它模擬了賽車的空氣動力學和輪胎在賽道上的摩擦。這一游戲有時甚至被用來訓練和招募真實世界的賽車手。

瑞士蘇黎世大學機器人和感知小組的負責人達維德·斯卡拉穆扎說：“它在真實程度方面做得很好。”他并沒有參與GT Sophy項目，但他的團隊曾使用GT游戲來訓練人工智能駕駛員，目前尚未進行過針對人類的測試。

GT Sophy參與游戲的方法與人類玩家不同。它不讀取屏幕上的像素，而是獲取有關自身在賽道上的位置和周圍汽車的位置的數據。它還會收到關于影響其車輛的虛擬物理力量的信息。

作為回應，GT Sophy控制汽車轉彎或剎車。這種GT Sophy與游戲之間的交互每一秒進行10次，沃曼及其同事聲稱，這與人類玩家的反應時間相似。

索尼使用了強化學習，通過試錯的方法從零訓練GT Sophy。起初，人工智能只能努力讓汽車保持在路上行駛。

但經過在10臺PS4上的訓練后（每臺運行20個程序實例），GT Sophy在大約8小時內提升到了GT的內置人工智能水平，相當于業余玩家。在24小時內，它就接近了包含17700名人類玩家最佳成績排行榜的最頂端。

GT Sophy花了9天時間不斷縮短圈速。最后，它比任何人類玩家都要快。

可以說，索尼的人工智能學會了如何在游戲允許的極限下駕駛，完成了人類玩家力所不能及的動作。令瓊斯最為印象深刻的是GT Sophy的轉彎方式，將剎車提前、以實現用更緊的走線加速出彎。

她說：“GT Sophy以一種奇怪的方式對待走線，做了一些我甚至從未想過的事情。”例如GT Sophy經常把一個輪胎開到賽道邊緣的草地上，然后滑進彎道。一般人不會那樣做，因為太容易犯錯了。這就像是你在控制一起碰撞事故。給我一百次機會，我也許只能成功一次。”

GT Sophy很快就掌握了這個游戲的物理學，不過更大的問題是裁判。在職業賽場上，GT比賽由人類裁判監督，他們有權對危險駕駛扣分。

累積懲罰是GT Sophy在2021年7月的第一輪比賽中失利的一個關鍵原因，盡管它比任何一個人類車手都要快。在幾個月后的第二輪比賽中，它學會了如何規避懲罰失分，結果就大不相同了。

沃曼在GT Sophy上投入了數年的精力。他桌子后面的墻上掛著一幅兩輛車爭搶位置的畫。“這是GT Sophy正在超越Yamanaka，”他說。

他指的是頂尖GT日本車手Tomoaki Yamanaka，他是2021年與GT Sophy比賽的四名日本職業模擬賽車手之一。

他不記得這幅畫是哪局比賽。如果是2021年10月的比賽，Yamanaka很可能會樂在其中，因為他面對的是一個強大但公平的對手。如果這是2022年7月份的活動，他很可能會咒罵電腦莫名其妙。

Yamanaka的隊友Takuma Miyazono通過翻譯軟件向我們簡單描述了2022年7月份的比賽。他說：“有幾次我們被（GT Sophy）撞出賽道，因為它的過彎方式太過激進。這讓我們很生氣，因為人類玩家會在轉彎時減速，以避免開出賽道。”

沃曼說，訓練人工智能公平競技且不失去競爭優勢是十分困難的。人類裁判會做出取決于環境的主觀判罰，這讓人們很難將它們轉化為人工智能可以學到的東西，比如哪些行為可以做，哪些不可以。

索尼的研究人員嘗試給人工智能提供許多不同的線索，供其調用和調整，希望能找到一種有效的組合。如果它偏離賽道或撞到圍欄上，造成了車輛碰撞或可能被裁判判罰，那么它就會受到懲罰。

他們對每種懲罰的力度進行了實驗、觀察和調試，并且檢查了GT Sophy的駕駛方式會如何發生變化。

索尼還增加了GT Sophy在訓練中面臨的競爭。在此之前，它主要針對自身的老版本進行訓練。

在2021年10月份的重賽之前，索尼每隔一兩周就會邀請頂級GT車手幫助測試人工智能，再綜合結果不斷調整。

“這給了我們所需的反饋，以便在攻擊性和讓步之間找到合適的平衡，”沃曼說。

這起到了效果。3個月后，當Miyazono與GT Sophy比賽時，后者的激進表現消失了，但它并不是簡單地退縮。“當兩輛車并排進入一個彎道時，GT Sophy會給人類車手留下足夠通過的空間，”他表示，“這讓你感覺是在和另一個真人比賽。”

他補充說：“面對這種反應，車手會得到一種不同的激情和樂趣。這真的給我留下了深刻的印象。”

斯卡拉穆扎對索尼的工作印象深刻。他說：“我們用人類的能力來衡量機器人技術的進步。”但是，他的同事埃莉亞·考夫曼指出，仍然是人類研究人員主導了GT Sophy學習行為的訓練。

“良好的賽道禮儀是由人類教給人工智能的，”他說，“如果這能以自動化的方式實現，那將真的很有趣。”這樣的機器不僅會有良好的賽場風范，更主要的是可以理解什么是賽場風范，并且能夠改變它的行為來適應新的設置。

斯卡拉穆扎的團隊現在正在將其GT賽車研究，應用到現實世界的無人機比賽中，使用原始視頻輸入而不是模擬數據來訓練人工智能飛行。2022年6月，他們邀請了兩名世界冠軍級別的無人機飛手對抗電腦。

他說：“在看到我們的人工智能比賽后，他們的表情說明了一切。他們被震撼到了。”

他認為，對機器人技術的真正進步必須要拓展到現實世界。“在模擬和現實世界之間，總是會有一種不匹配的情況，”他說，“當人們談論人工智能取得了令人難以置信的進步時，這一點就被遺忘了。在戰略方面，是的。但就部署到現實世界而言，我們還差得很遠。”

目前，索尼仍堅持將技術僅用在游戲中。它計劃將GT Sophy用于未來版本的GT游戲中。“我們希望這能成為產品的一部分，”索尼人工智能美國的執行總監彼得·斯通說。“索尼是一家娛樂公司，我們希望這能讓游戲更加有趣。”

瓊斯認為，一旦人們有機會觀摩GT Sophy的駕駛過程，那么整個模擬賽車社區都可以從中學到很多東西。“在許多賽道上，我們會發現很多沿襲了多年的駕駛技巧都是有缺陷的，實際上存在更快的方法。”

Miyazono已經在嘗試復制人工智能在彎道的走線方式，因為它已經展示了這是可以實現的。瓊斯說：“如果基準水平發生變化，那么每個人的技術都會提升。”