a16z揭秘：我們正進入計算的第三個時代

AI的影響蔓延至各個領域的速度之快，超出了大部分人的預期。

9月下旬，Sequoia（紅杉美國）最新判斷：AI已經開啟了第二篇章，并從應用場景的角度繪制了新的AI圖譜和LLM（大型語言模型）開發者棧（stack）圖譜。

目前，我們所使用的基礎模型不僅能夠在某些智力問答游戲中擊敗人類，或在圍棋等領域達到超自然水平，或提供更強大的推薦引擎，它們還在藝術、設計、游戲、醫學、編程甚至人際關系等領域中改變并創造新的用戶行為。

然而，我們現在仍然處于AI領域初期階段，想象這些初期突破將引領我們走向何方，以及它們將如何改變我們的世界可能會有一定難度。于是，a16z（Andreessen Horowitz，私人風險投資公司）召集了多位頂級AI創始人和領導者，與他們進行了一系列關于我們現在所處的位置、我們將要前進的方向，以及領域中的一些重大未解問題的對話。

以下是從AI的當下、未來以及開放性角度探討的16個的話題（本文對內容進行了篩選、簡譯和結構調整）。

1. 我們正處于計算第三紀元的開始

Martin Casado（馬丁·卡薩多，a16z合伙人）：

我認為我們正在進入第三個計算時代。在第三個計算時代中，微芯片將計算的邊際成本降到了0；互聯網將分發的邊際成本降到了0；大型模型將創作的邊際成本降到了0。

當時代更替時，你不知道會有什么新公司被創建出來，就像沒有人能預測到亞馬遜或者雅虎的出現。所以，我們應該做好準備去迎接新的標志性公司的出現。

Noam Shazeer（諾姆·沙澤爾，Character.AI創始人兼首席執行官）：

我們確實正處于“萊特兄弟第一架飛機”的時刻，我們已經擁有了一些可以用于大量用例的有效工具。目前，AI的擴展性看起來非常好，將來會變得更好，同時會有更多的突破，因為現在世界上所有的AI科學家都在努力讓這些東西變得更好。

Kevin Scott（凱文·斯科特，微軟首席技術官兼人工智能執行副總裁）：

在過去的幾年里，特別是在過去的12個月里，隨著ChatGPT和GPT-4的推出，你可以真正地看到AI與計算機或智能手機有一樣的潛力。一系列技術將使許多新事物成為可能，許多人將在其基礎上構建各種新應用。

2. 生成式AI浪潮，具有推動市場轉型的經濟學原理

要使技術創新引發市場轉型，經濟效益必須具有強大的吸引力。

雖然以往的AI在周期中有許多技術進步，但缺乏變革性的經濟效益。而在當前的AI浪潮中，一些應用案例的經濟效益有提升到10 000倍（甚至更高）的跡象，同時AI的采用和發展似乎比以往的任何轉變都要快得多。

馬丁·卡薩多，a16z：

市場轉型并不是通過10倍的經濟改善來實現的，而是當比原來好一萬倍時，它們就會被創造出來。打個比方，曾經我想創造一個皮克斯角色（華特迪士尼公司旗下電腦動畫工作室）形象，需要雇一位畫師，耗費100美元/h，時間不計。現在用AI模型來做，可能只需1/10美分，1秒鐘。

對比金錢時間成本，你會發現前后存在4～5個數量級的巨大差異，而這就是經濟學家尋找的經濟拐點。這也意味著：當下，一個發生在AI時代的創新技術—經濟效益—資源投入的良性循環正在形成。

3. 對于一些早期應用場景，創造力>正確性

“幻覺”是當今大模型LLMs依舊面臨的問題，但對于某些用例來說，編造事情的能力是一個功能，而不是一個錯誤。例如，自動駕駛汽車需要絕對正確，但你的虛擬伙伴就沒必要永遠準確了，而LLMs的許多早期用例都具有這一特點：專注于創造力比正確性更重要的領域。

諾姆·沙澤爾，Character.AI：

娛樂產業每年能斬獲2萬億美元，因為娛樂就像是你的虛擬朋友，這對通用AI來說是一個很酷的首要應用案例。例如，當你想推出一款AI醫生，你需要萬分小心地避免提供錯誤信息，這會影響產品推出的速度。但當你想推出一個AI伙伴，你可以火速推出。畢竟它只是娛樂而已，編造事物也成了一種特色。

Dylan Field（狄蘭·費爾德，Figma創始人）：

我們正處于一個讓AI完成初稿的時期，但要從初稿發展到最終產品還是有些困難，并且通常需要一個團隊來完成。但如果你能讓AI向人們提供一些關于界面元素的建議，并且用一種合理的方式操作，我認為這將開啟一個全新的設計時代：創造出根據用戶意圖響應性的上下文設計。我相信這將是所有設計師與AI系統合作共事的一個迷人時代。

4. 編程“副駕駛”會隨著人類的使用而提高正確性

AI能在許多領域增強人類工作，其中的編程“副駕駛”已成為首批被廣泛采用的AI助手，原因有幾個：

首先，開發人員通常是新技術的早期采用者—對2023年5月/6月的ChatGPT提示進行分析發現，30%的ChatGPT提示與編程相關；其次，最大的LLMs接受過包含大量代碼的數據集（例如互聯網）訓練，這使得他們特別擅長響應與編程相關的查詢；最后，循環中的人是用戶。

因此，AI助手的準確性很重要，擁有AI副駕駛的人類開發人員可以比單獨的人類開發人員更快地迭代到正確性。

馬丁·卡薩多，a16z：

如果做一件事，你必須保持正確且有很多復雜的使用情況，要么你自己完成所有技術工作，要么雇傭人員。通常我們會雇傭人員，這是一個可變成本。另外，由于解決方案的尾部往往非常長，比如自動駕駛中可能發生的許多異常情況都需要解決，為了保持領先地位所需的投資會增加，價值卻會降低。這就產生了一種反向規模經濟效應。

如今，在公司的循環人員是用戶，因此它不再是企業的可變成本，也不再是這項工作的經濟成本。因為它是迭代的，你只需要不斷地得到來自用戶的反饋和修正，那么累積的錯誤量會逐漸減少。

Mira Murati（米拉·穆拉蒂，OpenAI首席技術官）：

當開發人員可以通過AI聊天機器人來幫助他們編寫代碼，并對其進行故障排除時，它會以兩種顯著的方式來改變開發的方式：1. 使更多的人更容易在開發中進行協作；2. 開發人員能夠產出更多內容，并保持更長時間的流動狀態。

凱文·斯科特，微軟：

GitHub（一個面向開源及私有軟件項目的托管平臺）是我們正在嘗試構建的這種副駕駛模式的第一個例證，即如何利用AI幫助某人進行知識工作，使他們在執行特定類型的認知工作時更加高效。

根據我們對開發人員的觀察，AI可以幫助他們更長時間地保持心流狀態（在心理學中指一種人們專注進行某行為時所表現的心理狀態，通常在此狀態時，不愿被打擾，也稱抗拒中斷）。比如，當你在編寫代碼遇到障礙時，可以在你脫離心流狀態之前，能夠讓自己擺脫束縛是非常有價值的。

5. AI+生物學，帶來新體驗

生物學極其復雜，甚至可能超出人類思維的完全理解能力。然而，AI與生物學的交叉可以加速我們對生物學的理解，并帶來令人興奮和具有變革性的技術進步。

AI驅動的生物學平臺有可能解鎖以前未知的生物學見解，從而帶來新的醫學突破、新的診斷方法以及更早發現和治療疾病的能力，甚至有可能在疾病發生前阻止它。

Daphne Koller（達芙妮·科勒，insitro創始人）：

在歷史上的某些時期，某些特定的科學學科在相對較短的時間內取得了令人難以置信的巨大進步。20世紀50年代，計算機科學就是這樣一門學科，我們可以使用這些機器來執行計算；20世紀90年代，數據科學和統計學為我們帶來了現代機器學習、人工智能和定量生物學；2020年，迎來人工智能和生物學真正融合的時代，即數字生物學時代，我們可以使用機器學習和數據科學工具解釋海量數據、不同的生物尺度和不同的系統，同時可以使用CRISPR基因組編輯等工具將這種理解帶回到工程生物學中。

現在，我們終于可以在細胞水平（或亞細胞水平）和生物體水平上大規模測量生物學。我們建立了生物學中的“ChatGPT”，甚至擁有細胞語言和細胞形態。你可以開始問：“疾病是如何將致病基因從一個地方移動到另一個的？怎么治療能恢復健康？”與其他語言模型一樣，提供的數據越多，它就會變得越好。

6. 將模型交到用戶手中，發現新的應用場景

此前AI模型迭代的很大一部分是為了在某些任務上超越人類，例如AlphaGo（阿爾法狗）比絕大多數人類都更會下圍棋。但必須明確的是，一個厲害的通用模型不代表就能破解模型和特定用例的匹配難題。

凱文·斯科特，微軟：

我們必須記住：模型不是產品。作為一個創業者，你要理解的是：你的用戶是誰？用戶的問題是什么？你能做什么來幫助用戶？然后確定AI能否解決用戶問題—這是不變的。AI就像一個新的、有趣的基礎設施，可以讓你以更好的方式解決新類別的問題或解決舊類別的問題。

7. AI朋友的記憶力即將大大提高

雖然數據、計算和模型參數支持LLMs的一般推理，但上下文窗口（指語言模型在試圖生成文本時可以回顧和參考的文本量）只支持它們的短期記憶。上下文窗口通常是通過它們能夠處理的標記數量來衡量的。目前，大多數上下文窗口約為32K，但更大的上下文窗口即將到來，即通過LLMs運行具有更多上下文的更大文檔的能力。

諾姆·沙澤爾，Character.AI：

目前，我們正在提供的模型使用了數千個標記的上下文窗口，這意味著它會記住過去半小時發生的事情。如果你轉儲大量信息，它還能夠了解關于你的上百萬件事。

Dario Amodei（達里奧·阿莫迪，Anthropic首席執行官兼總裁）：

我認為人們腦海中會有這樣的畫面：有一個聊天機器人，我問它問題，它可以準確給出答案。同時你還可以上傳一份法律合同，并問它，“這個法律合同中最不尋常的5個條款是什么？”或者上傳一份財務報表并問道：“總結這家公司的具體情況。”這兩個舉例，涉及到的知識操縱和大量數據處理，都需要人們花數小時才能閱讀并得出結論。而我認為，將來的AI能比人們正在做的事情更多并且速度更快。

8. 重點關注語音聊天機器人、機器人和AI互動等

今天，大多數人以聊天機器人的形式與AI互動，這是因為聊天機器人通常很容易構建，而不是因為它們是每個用例的最佳界面。許多構建者專注于開發新的方式，使用戶可通過多模態AI與AI模型交互，比如通過圖像、文本、語音和其他媒體。更進一步，可以通過實體AI與物理世界互動，如自動駕駛汽車等。多模態AI可以處理和生成多個音頻或視覺格式的內容，實體AI可以在物理世界中采取行動。

達芙妮·科勒，insitro：

AI可以產生影響的下一個前沿是當AI開始觸及物理世界。當然，這是很難的，就像我們在構建聊天機器人方面取得了很大進展，但自動駕駛汽車仍在舊金山阻擋消防車（8月17日晚10點，Cruise自動駕駛汽車與一輛消防車在舊金山發生碰撞）。對于這種復雜性以及對影響程度的估計，都是很重要的。

9. AI創業公司是做通用模型、專用模型，還是兩者兼之？

哪些用例最適合更大的、“更高智商”的基礎模型或較小的專用模型和數據集？就像十年前的云和邊緣架構的辯論一樣，答案取決于你愿意支付多少費用、你需要輸出的準確性以及你可以容忍的延遲程度。

隨著研究人員開發出計算更加高效的方法，來針對特定用例對大型基礎模型進行微調，上述問題的答案可能會隨著時間的推移而發生變化，因為我們仍處于建立支持未來AI應用浪潮的基礎設施和架構的早期階段。

Ali Ghodsi（阿里·戈德西，Databricks首席執行官）：

過去2000年的互聯網能主宰一切，最重要的是誰能建造出最好的路由器。而現在是，誰擁有最大的LLM并對其進行充分訓練的公司將擁有所有AI和未來人類的掌控權。

米拉·穆拉蒂，OpenAI：

選擇何種模型取決于你到底想做什么。用戶并不是總需要最強大的模型，有時候他們只需要適合其特定用例且更經濟實惠的模型。比如OpenAI通過API（應用程序接口）提供了許多模型，從非常小的模型到前沿模型都包含在內。我們希望給予用戶越來越多的訪問和控制權限，以便用戶攜帶自己的數據并自定義這些模型。

10. AI企業何時會獲得市場份額？

生成式AI對企業的影響仍處于起步階段，一方面因為企業通常行動較慢，另一方面是他們已經意識到了專有數據集的價值，并且不想將數據移交給另一家公司。大多數企業用例需要高度的準確性，而企業在選擇LLM時有3種選擇：構建自己的LLM、使用LLM服務提供商（如Mosaic）為他們構建、微調基礎模型。

阿里·戈德西，Databricks：

一些CEO和董事會成員的想法發生了變化，他們認為，必須自己建立LLM，必須擁有知識產權，因為這也許是可以擊敗競爭對手的秘密武器。但從零開始建立自己的LLM并不是一件輕松的事情，仍然需要大量的GPU、大量資金，并且還需要大量的數據集和使用案例。

11. 縮放規律是否會將我們帶向AGI（通用人工智能）？

目前，LLM遵循Scaling（縮放規律）：隨著添加更多數據和計算資源，即使架構和算法保持不變，模型性能也會提高。但是，這個法則能持續多久？它會無限期地持續下去，還是在我們開發AGI之前達到自然極限？

米拉·穆拉蒂，OpenAI：

沒有任何證據表明，隨著我們繼續在數據和計算軸上擴展模型，我們不會得到更好、更強大的模型。而要想真正從這些更大的模型中獲得很多好處，縮放定律還有很長的路要走。

諾姆·沙澤爾，Character.AI：

我們的目標是成為一個AGI公司和一個以產品為先的公司，而實現這一目標的方法是選擇正確的產品，從而迫使我們致力于一些具有普遍性的事情，讓模型更智能，更能滿足人們的需求，并以大規模的方式提供廉價的服務。縮放規律將帶我們走很長的路。

12. 什么是新興能力（emergent capabilities）？

雖然有些人質疑生成式AI的能力，但AI已經在執行某些任務方面遠遠超過人類，并且將繼續改進。最好的構建者已經能夠識別AI最有前途的新興功能，并建立模型和公司，將這些功能擴展成可靠的功能。他們認識到，規模往往會提高新興能力的可靠性。

米拉·穆拉蒂，OpenAI：

我認為關注這些新興能力很重要，即使它們目前有些不可靠。尤其是對于正在組建公司的人來說，他們需要思考：“今天有什么可能？你今天看到了什么？”反復思考和觀察會使這些模型很快變得可靠。

達里奧·阿莫迪，Anthropic：

在我們發布GPT-2時，被認為最令人印象深刻的是，“將5個英文翻譯到法文的例子直接輸入到語言模型中，然后再輸入第6句英文句子時，它會直接翻譯成法文—它竟然理解了這種模式。”盡管翻譯得很差勁，但我們認為這只是一段驚人之旅的開始，因為沒有限制，并且可以繼續擴大規模。

13. 服務模型的成本會下降嗎？

計算成本高昂是限制模型發展的一個重大因素，尤其是當前的芯片短缺，更是將使用成本推向了高點。雖然從現實來看，如果NVIDIA（英偉達）明年生產了更多的H100芯片，那么計算成本也會下降。但是，難道我們就指望這一種可能性嗎？

達里奧·阿莫迪，Anthropic：

縮放定律的基本邏輯是，如果將計算增加n個因子，則需要將數據增加n的平方根因子，將模型的大小增加n的平方根因子。這個平方根基本上意味著模型本身不會變大，但在你這樣做時硬件會變得更快。我認為這些東西將在未來三四年內繼續發揮作用。如果沒有架構創新，它們會變得更貴；如果有架構創新，它們會變得更便宜。

但是，即使計算成本保持不變，模型級別的效率提升似乎也是不可避免的，尤其是在眾多人才擁入該領域的情況下，AI本身可能是我們改進AI工作方式的最強大工具。另外，我認為最有前途的研究領域之一是針對特定用例微調大模型，而無需運行整個模型。

阿里·戈德西，Databricks：

如果你制作了一千個在一千種不同事物上都擅長的LLM版本，并且你必須將每一個加載到GPU并提供服務，那成本將變高。所以，現在大家都在尋找一項只對模型進行小幅度修改，就能達到非常好的結果的技術。目前，確實也出現了很多技術，例如前綴調優、LoRA、CUBE LoRA等，但還沒有一個真正完美無缺的解決方案被證實有效。不過，總會有人找到的。

14. 如何衡量通用AI的進展？

當我們擴展這些模型時，我們如何判斷AI何時成為AGI（通用人工智能）？AGI其實是一個很難定義的東西，部分原因是它難以測量。

諸如GLUE和SuperGLUE（評估自然語言理解模型性能的基準測試集）之類的定量基準，長期以來一直被用作評估AI模型性能的標準化度量。但與我們給人類進行的標準化測試一樣，AI基準測試也會引發一個問題：在多大程度上衡量一個LLM的推理能力，以及在多大程度上衡量它的測試能力？

阿里·戈德西，Databricks：

AGI最初的定性測試是圖靈測試（對機器展示人類級別智能的定性測試，最初的測試是評估計算機是否能夠讓人類相信它是人類），但讓人類相信AI是人類并不是難題，讓AI去做人類在現實世界中所做的事情是一個難題。那么，我們可以使用哪些測試來了解這些系統的功能呢？

狄蘭·費爾德，Figma：

我們現在從這些系統中看到，讓人相信你是人類很容易，但要真正創造出好的東西卻很困難。我可以讓GPT-4制定一個商業計劃并向你推銷，但這并不意味著你會投資。當你真正面對兩個競爭的企業，其中一個由AI運營，另一個由人類運營—而你選擇投資AI企業時，那就令我擔憂了。

15. 未來是否還需要人類參與？

新技術通常會取代一些人的工作和職位，但它們也會開辟出全新的領域，提高生產力，使更多類型的工作對更多人來說變得可行。雖然很容易想象AI會自動化現有的工作，但想象AI帶來的下一個問題和可能性要困難得多。

馬丁·卡薩多，a16z：

杰文斯悖論指出：如果需求是彈性的，那么當價格下降，需求將會遠遠超過下降的幅度。但我個人認為，在任何創造性資產或工作自動化方面，需求都是彈性的，即我們制造得越多，人們消費得就越多。我們非常期待生產力的大規模擴展、大量新崗位以及許多新事物的出現，就像我們在微芯片和互聯網時代所見到的一樣。

凱文·斯科特，Microsoft：

我在弗吉尼亞州中部的農村長大，那里曾經以煙草種植、家具制造和紡織業為經濟支撐。但在我高中畢業時，這三個行業都已崩潰。隨后，當當地人們能夠使用其他的工具時，他們創造出了能為自己、家人和社區創造經濟機會的卓越成就。要知道，他們解決了你我無法解決的問題，因為他們看到了世界的整個問題格局。

AI同理，AI工具現在變得比以前更加容易使用，你可以使用這些工具做有趣的事情，并且可以在弗吉尼亞州小鎮成為一名企業家。關鍵是，你無需擁有計算機科學博士學位或AI專業知識，你只需要保持好奇心和創業精神。

狄蘭·費爾德，Figma：

迄今為止的每一次技術轉變或平臺轉變，都會導致更多需要設計的東西。比如移動互聯網時代，你可能會認為“手機中的拍照像素少了，設計師也就少了。”但事實并非如此，那時我們看到了設計師數量最大的爆炸式增長。

16. 建議所有創業者傾力投身

現在是創建AI初創公司的最激動人心的時刻：基礎模型正在迅速擴展，經濟最終向有利于初創公司的方向傾斜。另外，AI行業面臨的很多問題需要解決，而這些問題需要極大的耐心和毅力。所以，作為一個發展迅速的年輕領域，現在是構建AI的最佳時機。

達里奧·阿莫迪，Anthropic：

在任何特定時刻，都有兩種類型的領域：一種是經驗和積累知識非常豐富的領域，需要多年時間才能成為專家，比如生物學—如果你只從事生物學6個月，很難做出突破性或者諾貝爾獎級別的工作；另一種是非常年輕或發展速度非常快的領域，比如AI，其過去和現在都仍然是一個年輕且發展迅速的領域。

而真正的通才往往可以超越那些在該領域已經待了很長時間的人，因為事情變化得太快了。并且，在年輕或發展迅速的領域擁有大量先前知識可能會成為一個劣勢。

米拉·穆拉蒂，OpenAI：

從數學的理論空間中可以得出一個要點，那就是你需要花很長時間來思考問題。有時你睡了一覺，醒來后就有了新的想法，或者在幾天或幾周的過程中，你會得到最終的解決方案。這幾乎是一種不同的思考方式，你需要建立“直覺”和“堅持”去面對問題，并相信自己能夠解決它。

達芙妮·科勒，insitro：

隨著時間的推移，我們所依賴的工具也隨著時間的推移變得越來越好。比如生物工具，從過去的siRNA技術到CRISPR基因編輯技術，再到現在的可以替換整個基因組區域的CRISPR prime技術。這些生物工具可以為我們解決更多疾病提供可能性，為我們所生活的世界帶來重大的改變。

凱文·斯科特，Microsoft：

如果你思考過去發生的一些重大平臺轉變，那么就會發現在平臺上創造的最有價值的東西并不是在平臺變化的頭一兩年中部署的東西。以智能手機為例，讓你在智能手機上花費大部分時間的并不是短信應用程序、網頁瀏覽器或郵件客戶端，而是在平臺推出后幾年中創建的新功能、新App。

所以，人們應該思考過去不可能實現但現在變得可能的困難事物，并且不要追求瑣碎的事物。