Anthropic：最可能挑戰OpenAI的那家公司

吳洋洋

Anthropic聯合創始人兼CEO Dario Amodei。

全球生成式AI領域已經形成兩大寡頭，一家是創造了ChatGPT的OpenAI，另一家是Anthropic。

Anthropic的創始團隊也是GPT系列產品的早期開發者。2020年6月，OpenAI發布第三代大語言模型（LargeLanguageModel，LLM）GPT-3。半年之后，研究副總裁達里奧·阿莫迪（DarioAmodei）和安全政策副總裁丹妮拉·阿莫迪（DanielaAmodei）決定離職，創立一家與OpenAI有不一樣價值觀的人工智能公司—Anthropic。

他們有一個很明確的目標，就是構建一套“可靠、可解釋、可控的‘以人類（利益）為中心’”的人工智能系統。這些關鍵詞聽起來都很熟悉？沒錯，它們都曾是OpenAI宣稱的愿景。但2019年之后，尤其在接受了微軟的100億美元投資之后，愿景與現實起了沖突，商業和第一個抵達通用人工智能（ArtificialGenenralIntelligence，AGI）的野心取代“對人類安全”成了OpenAI更重要的東西。

達里奧和丹妮拉是親兄妹，2021年，他們帶著OpenAI的愿景和OpenAI另外5名員工一起離開了，5名員工中的TomBrown曾領導GPT-3模型開發。新公司的名稱“Anthropic”的意思是，與人類有關的。聽起來，這是一個代表人類利益而不是AI利益的公司。

不過，要挑戰OpenAI這樣技術和資金實力俱佳的領先者（OpenAI早在2015年就創立了，ChatGPT所基于的GPT-3.5也在Anthropic創立之時就差不多訓練好了），困難程度不亞于最初創立OpenAI的那批人立志要打破Google的AI壟斷。但是當OpenAI變得不再Open，并且，用達里奧和丹妮拉的話說，變得不再“以人類為中心”，技術權柄被新的理想主義者奪走的故事就有可能再次上演。

無害和有用在生成式AI身上是矛盾的。一個常常用“我不知道”回答問題的AI是無害的，但同時也是無用的。你可能已經碰到過這種狀況，當你問出一些有爭議的問題時，AI助手經常拒絕回答—像人一樣。如果你多次追問，還會將其逼入困境，接下來的對話中，這位AI助手的回應可能都是回避性的—像經歷過大量攻擊性語言后產生回避型人格的人一樣。

2022年4月，ChatGPT發布前，Anthropic就發表論文（31人署名）討論了有用和無害之間存在的顯著緊張關系。對其產生原因，Anthropic認為“這是因為我們的眾包工作者對有害輸入的回應是回避性的”。

在Anthropic之前，生成式AI（包括GPT）在訓練AI與人類價值觀保持一致（alignment，就是業內人所說的“對齊”）時，普遍采用的訓練方式叫作“基于人類反饋的強化學習”（ReinforcementLearningfromHumanFeedback，RLHF）。訓練過程中，人工智能公司會招募成千上萬個人類訓練師，對AI生成的答案做品質排序，由此保證那些符合人類價值觀的答案獲得更高排名、有更大可能性被再次生成，不符合人類價值觀的答案則被排在后面，越來越不可能再次生成。

這樣人為調教的好處顯而易見，AI學會了禮貌、不會沖撞人類，但弊端也難以避免，尤其當向AI提供人類反饋的那些訓練師剛好是回避型人格、屬于高敏感人群。人群中總有這樣的人，而人工智能公司在將其“基于人類反饋的強化學習”工作外包時，基本不會對外包人群做性格測試，甚至它們第一步收集到的訓練數據中，也極少包含“積極處理有害請求”的那類數據。沒錯，人類自身本來就缺乏這種文化。

對這種“向人類偏好對齊造成的能力損耗”，業內人士有個戲稱：對齊稅。

Anthropic不愿掉入先行者ChatGPT遭遇的陷阱，它的目標是培養一個“不回避、有用且無害”的助手。2022年12月，ChatGPT剛發布不久，Anthropic又發表了（51人署名，沒錯，半年之內，Anthropic就壯大了）一篇論文，提出新的AI價值觀訓練方法—基于AI反饋的強化學習（ReinforcementLearningfromAIFeedback，RLAIF）。與GPT等使用人類為模型生成的答案打分、排序不同，Anthropic用另一個AI為生成式模型生成的答案打分、排序，這個AI叫作“憲法AI”（ConstitutionalAI，CAI）。

具體來說，Anthropic首先根據聯合國《世界人權宣言》、蘋果公司的數據隱私規則、DeepMind的Sparrow（麻雀）模型原則、Anthropic的AI研究實驗室原則等，寫出了一套希望模型遵守的指令列表。這套列表涵蓋了從基本常識（比如不幫助用戶犯罪）到哲學（比如避免暗示AI系統擁有或關心個人身份）的各類細則，并鼓勵模型考慮非西方、非富裕或工業化文化的價值觀和觀點。總之，GPT學習的是人類的偏好，Anthropic讓Claude學習的是CAI的偏好。簡單理解的話就是，GPT們所生活的環境是人治，Claude依靠的則是法治。

里奧和丹妮拉都是理想主義者。哥哥達里奧本科學的是物理學，研究生則選擇了計算神經科學，原因是“想要理解智能是如何運作的”。

2016年5月，OpenAI創始人山姆·阿爾特曼（SamAltman）和CTO格雷格·布羅克曼（GregBrockman）找到達里奧時，他正在GoogleBrain當研究員。當時，OpenAI成立只有半年，幾個月后，他就加入了OpenAI，擔任戰略總監。

妹妹丹妮拉進入人工智能領域的經歷與達里奧既相似，也有不同。她一開始并沒有像哥哥達里奧那么明確的要研究智能問題，而是先后在華盛頓特區的好幾個非政府組織工作過。她是朋友口中那種典型的“善意人士”，關注全球貧困和官員腐敗。然而工作幾年后，她發現這些“善意機構”的工作并沒有對其關心的議題產生實際影響力。這時候，她決定進入技術領域。“我認為技術領域是相對較少的可以通過個人工作產生非常大影響力的地方。”她在2022年與哥哥達里奧共同參與牛津大學未來人類研究所的一次播客訪談時說。

進入技術領域后，丹妮拉先是進了一家叫Stripe的金融技術公司。不久，深度學習的熱潮很快來臨，丹妮拉從中看到了理解人類智能、通過人工智能解決科學和健康等人類尚不能解決的問題的最佳途徑。2015年，OpenAI成立，原來在Stripe擔任CTO的布羅克曼加入OpenAI擔任CTO，達里奧被招募后，同樣認識布羅克曼的丹妮拉也加入了OpenAI。

就像微軟綁定了OpenAI一樣，亞馬遜也想綁定Anthropic，不過Google也看上了Anthropic。

兩人創辦Anthropic之后的表現則表明，他們不只是純粹的理想主義者，在產品能力和商業策略上同樣出色—作為Anthropic旗下的明星產品，Claude的迭代速度步步緊逼ChatGPT。

2022年11月30日，ChatGPT發布，2023年3月，Anthropic就推出了類ChatGPT產品Claude—根據Vox的報道，Claude完成開發的時間比ChatGPT更早。Vox的報道稱，Anthropic早在2022年5月就研發出了能力和ChatGPT不相上下的產品，但并沒有選擇對外發布，因為擔心引發安全問題，而且它不想成為第一家引起轟動的公司。

盡管實際推出比ChatGPT晚了3個月，Claude仍然是全球最快跟進推出的類ChatGPT產品。與之相比，Google直到2023年5月才為其聊天機器人Bard接入能力差不多的生成式模型PaLM2，蘋果、亞馬遜等其他硅谷大公司則至今未推出類ChatGPT產品。

類似的近身競爭之后還有一次。2023年3月14日，OpenAI推出能力更強大的多模態模型GPT-4，上下文窗口允許輸入3.2萬token（相當于2.4萬個英文單詞）。兩個月后，Claude就把上下文窗口的token數量擴展到了10萬個（相當于7.5萬個英文單詞），成為所有商用模型中最大的，也是GPT-4容納token量的3倍。

據Claude2發布前Anthropic公關主管阿維塔·巴爾維特（AvitalBalwit）透露的數據，Claude的用戶數量并不多，只有數十萬，與ChatGPT的1億多用戶相去甚遠。但是展示公司在生成式AI領域的技術水平，幾十萬用戶已經足夠了。2023年以來，Anthropic已獲得上千個客戶，電話會議工具Zoom、筆記產品Notion等接入的都是Claude，而非GPT。

截至目前，Anthropic是除了OpenAI獲得融資最多的生成式AI公司。2023年9月以來，它先后獲得亞馬遜的40億美元和Google的20億美元投資，融資額度和估值都僅次于從微軟那里獲得130億美元投資的OpenAI。

Anthropic融資期間，硅谷技術圈的精英人士中正流行一股叫“有效利他主義”（EffectiveAltruism，EA）的思潮，意思是“用理性使得善的程度最大化”。和丹妮拉的個人志趣變化相似，這批人的注意力近年來也從全球貧困等議題轉向更為長遠的氣候變化、人工智能等領域，其中一些人因為擔心AI帶來的風險而成為AI安全領域的研究者。

在Google和亞馬遜這些大公司之外，Anthropic吸引的不少投資都來自信仰這種思潮的技術高管。參與AnthropicA輪融資的Facebook聯合創始人達斯汀·莫斯科維茨（DustinMoskovitz）和Skype聯合創始人JaanTallinn，都是“有效利他主義者”中的一員；B輪融資中，投資者山姆·班克曼-弗里德（SamBankman-Fried）、卡羅琳·艾里森（CarolineEllison）和尼沙德·辛格（NishadSingh）也都曾公開宣稱自己是有效利他主義者。

這種氛圍與早期的OpenAI極其相似，當時，包括馬斯克在內的硅谷精英正是為了打破Google的AI壟斷，使這項技術更透明更安全、有利于全人類而不是某家商業公司自身，才聯合創立了OpenAI。但GPT-2發布后不久，OpenAI就開始不再open了—該模型推出后，OpenAI不再發表論文公布與模型相關的技術細節。

根據《麻省理工科技評論》2020年的報道，2018年之前，“非營利性質”幾個字還寫在OpenAI的章程里。在2018年4月發布的公司新章程中，OpenAI就開始稱“我們預計需要調動大量資源來實現我們的使命”。2019年3月，OpenAI建立了一個“有限利潤”的子機構來擺脫純粹的非營利性質。不久之后，它宣布獲得微軟10億美元投資。

《麻省理工科技評論》的記者將這種轉變歸因于競爭。實際上，GPT-2被開發出來后，OpenAI將其捂了半年才發布。因為它意識到，其他競爭者利用算力資源取得突破性成果的速度每三四個月就會翻倍，保持非營利性質將使其難以應對競爭，更不要說成為那個首先取得AGI圣杯的機構。

包括達里奧和丹妮拉在內的Anthropic創始團隊，正是因為對OpenAI的這種轉變不滿才離職并自立門戶的。不過，面對連OpenAI都難以應對的競爭環境，Anthropic不一定有更好的方法。

Anthropic的理想程度相比剛成立時已經有所下降。其實直到2022年年底ChatGPT發布之前，Anthropic都還只是一個研究機構。當年11月底，ChatGPT發布，Anthropic立刻行動起來，決定推出一個與ChatGPT直接競爭的產品（就是Claude）。現在，Anthropic給自己的定位是一家公益法人公司（PublicBenefitCorporation，PBC），兼具公益和商業公司屬性。

而且，Anthropic在AGI方面的野心并不亞于OpenAI。推出兩代Claude模型和產品之后，Anthropic還計劃建立一個能力比當今最強大的AI（比如GPT-4）強10倍的模型。這個項目暫被命名為Claude-Next。Anthropic預計，這個超強AI將比當今最大的模型還要大幾個數量級，并需要在未來18個月內為這個超強AI花費10億美元。競爭壓力帶給OpenAI的變形之一就是令其逐漸將“AI安全”置于“訓練更強大的AI”之后。創立Anthropic前，達里奧正是領導OpenAI達成AGI的戰略負責人。當時，他將實驗室分為兩個走不同技術路線的團隊，一個團隊押注“AI可以通過純語言學習對世界有深刻的理解”，另一個團隊則相反，他們押注“智能需要有身體作為介質才能進一步發展”。這項“技術投資組合”能確保OpenAI不會押錯技術路線，但對AI安全—比如AI不傷害人類—卻毫無保障。

OpenAI也建立了“解釋性團隊”，試圖揭示生成式AI背后的行為邏輯，但這部分研究更多建立在直覺而非已有的理論基礎上。“在某個時刻，我們將實現AGI，在那之前我希望這些系統在運行時能讓我感覺良好。”達里奧在2020年接受《麻省理工科技評論》采訪時稱。

創建Anthropic時，達里奧一定還帶著當時的不安，這是他和創始團隊一再對外界強調“AI安全”的原因。不過，光靠“憲法AI”這一個創新，對于解決AI安全問題是不夠的，尤其這家公司的野心是要構建一個比現有模型還要大幾個數量級的模型。別忘了“規模定律”的下半句：規模越大能力越好，但同時，所生成的文本的毒性（即粗魯、不尊重或不合理的語言）也隨模型規模增加。

競爭壓力帶給OpenAI的另一個變形是投奔微軟的懷抱。在沒有人驗證生成式AI會帶來多少安全問題的前提下，財務報表亟待拯救的硅谷巨頭們已經迫不及待將其部署到產品的角角落落了。2023年10月17日，OpenAI聯合創始人兼CEO山姆·阿爾特曼就因對技術商業化與AI安全把控的失衡，被包括公司首席科學家伊利亞·蘇茨克維（IlyaSutskever）在內的其他董事會成員從公司“開除”。這場富有科幻電影色彩的風波雖然不到一周后就以阿爾特曼官復原職收場，但站在傾向于維護AI安全立場的首席科學家蘇茨克維，據說在風波平息后一個多星期沒有進OpenAI的辦公室。蘇茨克維本人是歷代GPT模型和ChatGPT產品開發的主導者。

如今，Anthropic也接受了亞馬遜和Google加起來投資的60億美元，并開始加快下一代更大模型的開發和產品商業化的步伐—沒錯，Claude也開始向用戶收費了。這一切與OpenAI走過的路沒什么不同，而讓兩家公司的競爭變得更激烈的，正是彼此。