
受到谷歌支持的DeepMind公司教會一個強化學習算法控制托卡馬克
核聚變反應堆內部熾烈的電漿。
托卡馬克(tokamak)是一種甜甜圈形狀的容器,設計用來容納核聚變反應。托卡馬克的內部呈現了一幕特別的混沌景象。在極高溫下,氫原子互相撞擊在一起,產生渦動翻騰的電漿(又稱作等離子體),這些電漿的溫度比太陽表面更加炙熱。解鎖核聚變潛力的關鍵就在于找到聰明的辦法來控制和約束電漿。
過去數十年來,核聚變一直被認為是未來清潔能源的來源。目前,支撐核聚變的科學理論看起來顛撲不破,所以剩下的就是工程挑戰。“我們需要能夠將這個物質加熱到極高溫,讓它結合得足夠久,讓我們從中取得能量。”洛桑聯邦理工學院的瑞士電漿中心主管安布羅焦·法索利(Ambrogio Fasoli)說道。
這就是DeepMind公司插一腳的地方。這家人工智能公司的背后是谷歌母公司Alphabet,先前已經插手到電子游戲和蛋白質折疊領域,也一直在與瑞士電漿中心進行一個聯合科研項目——開發用于控制核聚變反應的人工智能。
恒星也是由核聚變供能的。在恒星內部,單憑重力質量就足以將氫原子拉攏到一起,克服它們相反的電荷。在地球上,科學家改用強大的電磁線圈來約束核聚變反應,將電漿助推到想要的位置,讓它成形,就像一名陶工擺弄轉輪上的黏土。必須小心謹慎地控制線圈,防止電漿觸碰到容器的表面,因為那樣會損傷容器壁,拖慢核聚變反應。(缺少磁力的約束后,核聚變反應無法存在,所以幾乎沒有爆炸的風險。)
但每次科研人員想要改變電漿的構型,試驗不同形狀(可能產生更多能量或更潔凈電漿)時,需用大量的工程學和設計工作。傳統的系統由計算機控制,基于模型和細致的仿真,但根據法索利的說法,那些系統“繁瑣復雜,不一定總是最優化的”。
DeepMind公司已經開發出一個能自主控制電漿的人工智能。《自然》上發表的一篇論文描述了來自兩個團隊的科研人員如何教會一個深度強化學習系統控制TCV內部的19個電磁線圈。TCV的全稱是可變構型托卡馬克,位于瑞士電漿中心,用它進行科研取得的成果會給未來更大型核聚變反應堆的設計提供情報。“人工智能以及專門的強化學習特別適合復雜的問題,尤其以控制托卡馬克中的電漿為代表。”DeepMind公司的控制團隊帶頭人馬丁·里德米勒(Martin Riedmiller)說道。
神經網絡(一類旨在模擬人類大腦架構的人工智能)最初在仿真中接受訓練。它最開始觀察19個線圈中的每個線圈的設置變化如何影響容器內電漿的形狀。接著它被給予不同的電漿形狀,嘗試重新生成那樣形狀的電漿。其中包括D形截面的形狀,接近國際熱核聚變實驗反應堆(ITER)內部將用到的電漿形狀。ITER是大型實驗用托卡馬克核聚變反應堆,目前正在法國建造中。另有一種雪花外形的構型,有助于將核聚變反應的極高熱度更加均勻地消散到容器四周。
DeepMind公司的人工智能可以自主琢磨出如何以正確的方式操縱電磁線圈,創造出這些形狀的電漿。這些操作在仿真中行得通的話,當科學家在TCV內部實際進行相同的實驗來驗證仿真結果時,大概同樣行得通。法索利說,這代表了“重要的一大步”,能影響未來托卡馬克的設計,甚至加快實現可行核聚變反應堆。
“這是個非常正面的結果,”未參與這項研究的倫敦帝國學院核聚變專家亞絲明·安德魯(Yasmin Andrew)說道, “一個很有意思的地方是,看下他們能否將技術遷移到更大型的托卡馬克上。”
核聚變為DeepMind公司的科學家提供特別的挑戰,因為整個過程既復雜又呈現連續性。和圍棋那樣基于回合的博弈不同,電漿的狀態持續變化。雪上加霜的是,我們無法連續地測量電漿。人工智能研究者稱之為“觀測下系統”。
“有時候,擅長解決這些離散問題的算法處理連續性問題時十分費勁。”DeepMind公司的一位研究員若納斯·比什利(Jonas Buchli)說道,“這對我們的算法來說,是真正的一大步,因為我們能表明,我們的算法能解決連續性問題。我們認為,這當然是個非常非常復雜的難題,和棋局中遇到的復雜性相比,它是一種完全不同的復雜性。”
這并非人類首次嘗試用人工智能來控制核聚變。從2014年起,谷歌已經和以加州為大本營的核聚變公司TAE進行科技合作,試圖將機器學習算法應用到另一類核聚變反應堆上,加快實驗數據的分析。位于英國的歐洲聯合環狀反應堆(JET)核聚變項目的研究已經使用人工智能來嘗試預測電漿的行為。這個構思甚至出現在虛構故事中。2004年上映的電影《蜘蛛俠2》中,反派八爪博士創造出由人工智能驅動、大腦控制的外骨骼來控制他的實驗性核聚變反應堆。這個反應堆運作良好,直到人工智能接管了他的心智,開始殺戮人類。
簡而言之,隨著核聚變反應堆變得越來越大,與DeepMind公司的合作能被事實證明是極其關鍵的。盡管物理學家通過傳統方法,很好地應付了控制小規模托卡馬克內電漿的任務, 但隨著科學家嘗試讓發電廠規模的托卡馬克變得可行,挑戰只會越來越大。目前的進展雖慢但很穩固。近期,JET項目取得了突破,立下核聚變研究項目取得的能量值的新紀錄,而位于法國的ITER的建造工作正在進行中,等到它在2025年點火啟動后,這項國際合作會變成全球最大規模的實驗性核聚變反應堆。
加州大學圣迭戈分校(UCSD)能源研究中心副研究員德米特里·奧爾洛夫(Dmitri Orlov)說:“托卡馬克越是復雜,性能越高,以更高的可靠性和準確性來控制更多量的需要也就越大。”人工智能控制下的托卡馬克可以實現最優化,控制核聚變反應產生的熱傳遞到容器壁,避免破壞“電漿不穩定性”。而反應堆本身就能得到重新設計,利用上強化學習算法提供的更嚴密的控制手段。
法索利說,與DeepMind公司的合作最終能允許研究者推進界限,加快通往核聚變能的漫長之旅。“人工智能使得我們能夠探索一些用其他方式無法探究的東西,因為我們對于這種人工智能模擬的控制系統能夠冒風險,而對于其他方式,我們不敢冒風險。”他說,“假如我們確信,我們擁有一種控制系統,它能帶我們更靠近界限,但不會越過界限,那么我們實際上就能探索一些用其他方法無法進行探究的可能性。”
資料來源 Nature