如何處理FAST天文大數據

今天演講的內容包括三方面：FAST早期科學數據中心、網絡傳輸的問題、我們自主知識產權FAST分布式計算軟件架構和具體處理的問題。最后還有一些天文普及。

2014年9月中國科學院國家天文臺與貴州師范大學共同簽署了FAST早期科學數據中心，耗費1年半的時間建立，我們早期科學數據中心是在FAST運行階段探索FAST數據的創術、存儲、計算、安全和管理的最高效、最穩定、最經濟的方法。

數據的網絡傳輸

數據的網絡傳輸非常重要，FAST建好以后，就有大量的數據要來，首先要解決的就是傳輸的問題。FAST數據傳輸的通訊結構并不簡單，從貴陽到FAST現場一共是300公里，這300公里，要跨省，要跨州、跨縣，一共有21個周轉節點，當時是2個G的專線直接拉到我們實驗室。傳輸結構主要包括兩條線，一旦出現問題，數據保證不會中斷，這是我們通訊的結構。

FAST脈沖性搜索分布式超算硬件機構，我們走的路還是有借鑒意義的。在FAST計算里面，我們有四種計算節點，A計算節點在每一臺服務器里面加8塊GPU卡，其中2個CPU，一共有10臺，這個計算節點我們的理論峰值可以到664T浮點預算。

第二種計算節點B，每一臺PC級加2塊GPU卡，一個CPU，一共有60臺，峰值我們可以達到1.02的浮點計算。

第三種計算節點，我們是每一臺服務器我們兩塊GPU再加一個CPU，一共是14臺，總的計算結果是235P浮點預算。

第四種可以看得更簡單，很一般的PC機，每一臺PC機只有一塊GPU加一個CPU，最高峰值是378的浮點預算。所有144個節點的理論峰值2.16P浮點預算，就是每秒2000萬億次浮點預算。

CPU+GPU的計算節點是有自主知識產權設置定制的，從這個角度來說，我們這個還是非常經濟和低成本的運轉，我們覺得非常非常合適貴州的實際情況。

FAST分布式計算軟件架構

我們數量級的提高了脈沖星的搜索速度，原來一臺計算機單線程要用6004秒，但是我們用自主設定的設備計算只需36秒，計算速度提高了200倍。在搜索速度方面，FAST要求我們的計算要求壓力越來越大，但是我們只要再增加設備把架構一擴充，還可以上百倍增加這個速度。

數據計算出來以后，得到一些侯選題，從這些候選題里就可以找到我們需要的東西。以前用人的眼睛來找，現在利用計算機能不能找出來，這關系到人工智能深度學習的問題。

FAST脈沖星搜索

計算處理是怎樣一個過程呢？從FAST下線以后到現在，我們一共收到的數據是1.436PB，也就是10的15次方。現在大概收到2個PB不到，數據量很大，而且這些數據越往后面會越多。

拿到數據，我們第一件事兒就是要消除觀測數據中的干擾信號。搜索脈沖星形，必須消除觀測數據中的干擾信號。第二就是消色散，脈沖星發出的射電信號在星際介質中會產生色散，就像陽光通過棱鏡會散開成彩色光帶，這是因為不同的頻率的信號在介質中傳播速度不同而導致的。從脈沖星發出脈沖信號，經過漫長的時間，再通過復雜而遙遠的星際介質，頻率高的先到達FAST的接收天線，頻率低的后到，整個信號波長就會被拉開了，我要消色散就是要解決這一問題。

消色散以后，我們在通過快速傅里葉變換計算消色散信號中包含的周期信號，從而得到一個正確投射。

最后就是折疊的問題，為了增加信號，我們需要將消色散后的信號按周期疊加，在這些周期信號里面信號很弱，但是疊加能讓它們增強。這其中有很大的工作量，人工去做要花很長的時間，所以現在人工智能很火，深度機器學習很火，我們用深度機器學習來找，效果很不錯。目前我們中心的19個波束接收機已經全部投入使用，產生的觀測數據量每天至少19TB，搜索計算任務艱巨。

FAST找到脈沖星開啟了中國重大的科學基礎設備系統研創性的脈沖星，這是中國天眼首先發現兩顆脈沖星，第一顆脈沖星距我們地球是1.6萬光年，我記得周期是1.83秒，第二顆距我們地球是4.1萬光年，周期是590毫秒。最近我們協助國家天文臺發現90多顆新脈沖星候選體，證實了65個新脈沖星，其中包含了FAST發現的首個毫秒脈沖星，是至今發現的射電流量最弱的高能毫秒脈沖星之一。如果我們能夠找到毫秒級以上的脈沖星，那就是諾貝爾成就。

FAST的科學普及

剛才在休息的時候，我問了歐陽院士，我說你怎么看流浪地球，歐陽院士說那是胡扯。為啥呢？太陽是恒星，它是有壽命的。當太陽已經走到主星系的這個地方，再過50億年，我們太陽要變成紅際星，最后消亡。時間應該是50億年的嘛，怎么就是70年了呢？太陽最后變成超紅際星，有可能變成中繼星，還有另一種可能變成黑洞。

我們做了脈沖星及候選體數據庫平臺，我們為關心脈沖星的天文學家和天文愛好者提供脈沖星的候選體等等有關方面的信息。我們建設天文網絡社區，非常歡迎天文學家或者同學們來訪問，這個社區里面有很多新的東西。

天文大數據的挑戰及應用

根據我們最近的了解，我們使用19個波束接收機接收數據，已是原來單波束的4倍，隨著調試順利進行，觀測時間在逐步增多，數據量至少是單波束數據量的19乘4倍，也就是19個波束接收的數據每秒是38G，一年要接收19個PB，經過處理至少要存儲10到15個PB，就我們現在的計算處理能力，要滿足這么大的數據量，我們理論上的2.16PF的峰值預算還不夠，所以我們還在擴大。但是未來發射的數據量可以到多少，如果是1ZB，那么數據量就非常非常驚人了。所以既然這么大的數據量，將來從FAST現場到貴陽，就不是100G光纖解決問題，而是400G光纖。

我們要大力支持FAST的科學研究，所以我們早期科學數據中心大力支持天文臺做這個工作，我覺得有以下幾條意義。

第一，它符合全省大數據戰略及大數據產業發展規劃。

第二，天文科學將是展示貴州文化旅游形象的珍貴名片。

第三，這有助于幫助我省科研大數據方面取得突破和樹立典型。

第四，它有助于幫助我國、世界科學家通過數據中心的計算資源和數據資源獲得諾貝爾獎級發現。

第五，這助于貴州培養、吸引和積聚大數據處理和分析方面的科研型和應用型的人才。（編輯/侯幫虎）