算力崛起背后的陰影：AI膨脹期的能源挑戰(zhàn)

OpenAI的首席執(zhí)行官薩姆·奧爾特曼表示，人工智能行業(yè)正面臨能源危機，新一代生成式AI的能源需求顯然超出預期，現(xiàn)有的能源供應將疲于應對。

大模型引領的人工智能熱潮在2024年持續(xù)發(fā)酵，整個AI領域的技術革新在算力、算法、token數(shù)、參數(shù)量這幾個詞的牽引下不停迭代、推陳出新，業(yè)界在不到半年里仿佛進入了“子彈時間”，既短暫，又漫長。人工智能正經(jīng)歷膨脹時期，但與此同時，有一件事卻令整個業(yè)界為之焦慮，那就是能源短缺。

一篇發(fā)表在《Joule》雜志上的論文預測，到2027年，全球人工智能產(chǎn)業(yè)的年電力消耗將達到85.4至134太瓦時（TWH），這個數(shù)字大約等于荷蘭、瑞典或阿根廷等國家一年的總用電量，也約占全球總電力消耗的0.5%。研究還發(fā)現(xiàn)，當下流行的生成式人工智能ChatGPT每天需處理約2億次請求，這一過程的電力消耗超過50萬千瓦時，相當于1.7萬戶美國家庭的日用電量。在2024年博世互聯(lián)世界大會上，埃隆·馬斯克警告說，人工智能和電動汽車的快速增長可能會導致全球電力和變壓器供應短缺。同時，OpenAI的首席執(zhí)行官薩姆·奧爾特曼在達沃斯世界經(jīng)濟論壇上表示，人工智能行業(yè)正面臨能源危機，新一代生成式AI的能源需求顯然超出預期，現(xiàn)有的能源供應將疲于應對。一時間，漫天飛來的AI能源危機論遍布全球。

AI膨脹引發(fā)的能源危機

從何而來？

當前，大型AI模型的發(fā)展勢頭迅猛，它們能夠處理和學習龐大的數(shù)據(jù)集。這一能力背后需要巨大的計算資源支持，而這些資源通常由高性能處理器提供，包括GPU、TPU和ASIC芯片等。這些處理器需要大量的電力來驅動數(shù)據(jù)中心的服務器、存儲設備和冷卻系統(tǒng)。而以GPT為代表的生成式預訓練大型語言模型，其計算需求正向依賴參數(shù)量和token數(shù)兩個變量，極大影響著模型的潛在規(guī)模和復雜程度。參數(shù)量從十億級到萬億級的指數(shù)變化，僅僅用了3年時間。

自2012年以來，AI訓練應用的電力需求每3到4個月就會翻一倍。訓練大模型需要大量的能源，AI服務器相較于傳統(tǒng)服務器通常需要更高功率密度的硬件，例如AI服務器可能需要4顆1800W的高功率電源，而通用型服務器可能只需要2顆800W的電源。

另外硬件方面，如同谷歌人工智能專有部署TPU張量處理器，英偉達的H100和A100是當下業(yè)內(nèi)主流人工智能算力卡，因其強大的FP16/32計算能力而廣泛用于AI模型的訓練和推理，但這些芯片的峰值功耗很高，例如H100的峰值功耗可達700瓦，遠超過普通家庭的平均功耗。而GPT-4級別根據(jù)估算需要在1萬—2.5萬張H100上訓練，保守估計也要8000張H100有效算力，接近萬卡集群。隨著大量H100被部署，其總功耗相當于一座大城市的能耗，甚至超過一些歐洲小國。

由于算力擴張帶來的AI基礎設施增長仍在持續(xù)放大，有消息稱，根據(jù)去年市場H100卡總需求43萬張，預計英偉達2024年將H100出貨量至少增加兩倍。而全球GPU產(chǎn)能大概約400萬片，至2025年將提高到600多萬片，每年復合增速不低于30%，再往后算，預計能源短缺很快將至，從而引發(fā)產(chǎn)能瓶頸，整個AI領域和相關市場亦將回歸“冷靜”。

算力能耗的解藥又在何處？

解決問題的首要方案是優(yōu)化大模型，這不僅是行業(yè)各方的可行選擇，也是力所能及的實施策略。一種是通過模型的縮減來避免浪費，譬如并非所有公司都需要GPT-4大模型，而從頭訓練一個GPT-3.5應該用不到太多H100算力卡；再比如，用達成Sora不到十分之一的算力資源來訓練一個能夠契合60%相關場景的更有效模型。這要求簡化模型復雜度，減少不必要的層和結構，或者通過參數(shù)共享減少模型的總參數(shù)量。同時，可以選擇使用更高效的神經(jīng)網(wǎng)絡架構，如卷積神經(jīng)網(wǎng)絡（CNN）代替全連接神經(jīng)網(wǎng)絡（FCN），以降低訓練時的計算量。

另一方面，由于算力瓶頸的存在，在傳統(tǒng)摩爾定律難以為繼的背景下找到全新范式。學習率是優(yōu)化算法中的關鍵超參數(shù)，調(diào)整學習率可以加速模型的收斂過程。同時使用正則化方法可以防止模型過擬合，提高泛化能力，也有助于減少計算量。在大模型中，由于參數(shù)量級龐大，梯度下降法的計算可能變得復雜。因此，需要適當選擇諸如隨機梯度下降和批量梯度下降等，根據(jù)具體情況進行調(diào)整。此外，模型壓縮、數(shù)據(jù)預處理和增強、高效數(shù)據(jù)加載和預處理等都是通過算法優(yōu)化來降低功耗的有效手段。

硬件方面的努力反映了另一種觀點，那就是相信摩爾定律還在以新的方式繼續(xù)。比如英偉達的黃仁勛在提數(shù)據(jù)中心的摩爾定律，把整個數(shù)據(jù)中心變成一個超級芯片，這使得現(xiàn)代人工智能超級計算機成為可能。最后效率是不是更高，芯片的能耗是不是更優(yōu)，都還有待驗證。針對特定的人工智能場景任務，也可使用硬件加速器，如FPGA或ASIC來替代傳統(tǒng)GPU執(zhí)行計算。這些加速器專為特定任務設計，通常具有更高的能效比。

此外，優(yōu)化電源管理方案、改進電路設計都是很好的節(jié)能思路。新型電源管理技術，如功耗管理單元（PMU）和智能電源管理芯片，能夠根據(jù)實際需求動態(tài)調(diào)整電源供電策略。這種動態(tài)調(diào)整可以確保設備在不同負載情況下都能實現(xiàn)最佳的能耗效率。電路設計上，減少功耗消耗點、降低開關頻率、優(yōu)化排布等方式也能顯著減少設備在運行時的電路能耗。

人工智能帶來的能源問題不僅限于電力消耗，還涉及大量的水資源消耗和碳排放。國際能源署的數(shù)據(jù)顯示，全球數(shù)據(jù)中心的電力消耗大約占全球總用電量的1%至1.5%，除此之外還伴隨著巨大的碳排放和數(shù)百萬加侖淡水的消耗。

盡管我們不愿接受，但人工智能正逐漸成為能源密集型行業(yè)，這一事實引起了人們的廣泛關注。為了避免能源危機和環(huán)境問題成為AI發(fā)展的必然結果，業(yè)界必須采取積極的措施，未雨綢繆才能贏得未來的雙贏局面。