面向FAST科學(xué)數(shù)據(jù)管理系統(tǒng)平臺的設(shè)計與實現(xiàn)

姜家濤　謝曉堯

摘要：為了對大規(guī)模脈沖星及暫現(xiàn)源數(shù)據(jù)處理技術(shù)運用研究的突破，為國家大科學(xué)工程 FAST實現(xiàn)提供有效的技術(shù)支持，加速在脈沖星和暫現(xiàn)源科學(xué)研究方面科研成果的產(chǎn)出。盡可能詳細記錄脈沖星科研數(shù)據(jù)處理結(jié)果，解決數(shù)據(jù)分析處理過程、科研結(jié)果不便于管理、共享等問題。FAST早期科學(xué)數(shù)據(jù)中心設(shè)計開發(fā)了面向FAST的脈沖星科學(xué)數(shù)據(jù)管理平臺。討論了系統(tǒng)平臺的架構(gòu)設(shè)計、功能設(shè)計和數(shù)據(jù)設(shè)計，解釋了關(guān)鍵技術(shù)手段，展示了相關(guān)重要功能的實現(xiàn)。基本建成面向FAST科學(xué)數(shù)據(jù)管理平臺（http：//psrcat.net/），實現(xiàn)了FAST天文望遠鏡數(shù)據(jù)資源及相關(guān)基礎(chǔ)數(shù)據(jù)資源的科學(xué)存儲管理，實現(xiàn)了候選體數(shù)據(jù)與已知脈沖星比對分析和數(shù)據(jù)可視化展示，收錄了來自FAST的優(yōu)質(zhì)候選體記錄141條，已知脈沖星數(shù)據(jù)記錄2700條，望遠鏡設(shè)備數(shù)據(jù)20條，相關(guān)數(shù)據(jù)有望為FAST開展新脈沖星搜尋項目制定巡天計劃、認證提供數(shù)據(jù)支撐。

關(guān)鍵詞：FAST科學(xué)數(shù)據(jù);數(shù)據(jù)管理;脈沖星;數(shù)據(jù)比對;可視化

中圖分類號：P315.69;P1? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）04-0001-04

Abstract：In order to make breakthroughs in the application of large-scale pulsars and transient source data processing technology， it provides effective technical support for the FAST implementation of national Science Project， and speeds up the output of scientific research achievements in the scientific research of pulsars and transient source.Record the processing results of pulsar scientific research data in detail as much as possible， so as to solve the problems of data analysis and processing process， and the inconvenient management and sharing of scientific research results.FAST Early Science Data Center Design develops a pulsar science data management platform for FAST.Built for FAST basic scientific data management platform （http：//psrcat.net/）， which has realized FAST telescope data resources and related basic data resources， scientific storage management， implement the candidate data comparison analysis and data visualization display and the known pulsars， and features high quality candidates from the FAST record 141， the known pulsars data record 2700 article， article 20 telescope equipment data， the relevant data is expected to provide FAST to start a new pulsar search project survey plan， certification to provide data support.

Key words： FAST scientific data;Pulsar; data manage; data comparison; visualization

500米口徑球面射電望遠鏡FAST（Five-hundred-meter Aperture Spherical radio Telescope）已于2016年9月落成啟用[1]，在脈沖星搜索科學(xué)任務(wù)上取得豐碩成果。其中，脈沖星科學(xué)數(shù)據(jù)管理、處理分析及結(jié)果數(shù)據(jù)共享是脈沖星天文及整個射電天文中一個重要的基礎(chǔ)科研前沿領(lǐng)域。為對大規(guī)模脈沖星及暫現(xiàn)源數(shù)據(jù)處理技術(shù)運用研究的突破，為國家大科學(xué)工程 FAST 的順利運行、科學(xué)目標的實現(xiàn)提供有效的技術(shù)支持，加速國家科學(xué)裝置 FAST 、SKA在脈沖星和暫現(xiàn)源科學(xué)研究方面國際性和前沿性科研成果的產(chǎn)出。盡可能詳細記錄脈沖星科研數(shù)據(jù)處理結(jié)果，便于回溯科研歷程，解決數(shù)據(jù)分析處理過程、科研結(jié)果不便于管理、共享等問題。FAST早期科學(xué)數(shù)據(jù)中心決定研發(fā)面向FAST的脈沖星科學(xué)數(shù)據(jù)管理平臺。

依賴當前高度發(fā)達的信息化科學(xué)技術(shù)和智能化數(shù)據(jù)分析手段，面向FAST的脈沖星科學(xué)數(shù)據(jù)管理平臺完成以下研究目標：對FAST早期漂移掃描數(shù)據(jù)，Parkes 1997年至今PMPS數(shù)據(jù)管理;對科研基礎(chǔ)數(shù)據(jù)入庫，根據(jù)脈沖星屬性和科研、科普需要，建立脈沖星基礎(chǔ)數(shù)據(jù)庫;我們已經(jīng)收集到截至目前的所有2700余顆的脈沖星數(shù)據(jù)（包括著名的兩次獲得諾貝爾獎的脈沖星），根據(jù)脈沖星屬性和科研、科普需要，建立脈沖星基礎(chǔ)數(shù)據(jù)庫;建立分析比對功能，基于基礎(chǔ)數(shù)據(jù)庫的分析統(tǒng)計和比對分析主題;基于基礎(chǔ)數(shù)據(jù)庫開展數(shù)據(jù)聚合、鉆取等統(tǒng)計比對分析，實現(xiàn)多維分析;對科研文獻資料管理，接收來自全球的脈沖星科學(xué)家及學(xué)者的新數(shù)據(jù)及文獻資料;對設(shè)備資料，記錄所有相關(guān)設(shè)備基礎(chǔ)數(shù)據(jù);對巡天項目記錄管理，記錄所有脈沖星開展巡天項目。系統(tǒng)平臺將有利于數(shù)據(jù)留在本地，服務(wù)本土學(xué)者研究，加速FAST科研產(chǎn)出，提升本省天文科學(xué)、科普形象。論文闡述面向FAST的脈沖星科學(xué)數(shù)據(jù)管理平臺系統(tǒng)架構(gòu)設(shè)計、功能設(shè)計和數(shù)據(jù)設(shè)計，討論了相關(guān)的關(guān)鍵技術(shù)，展示了部分重要功能的實現(xiàn)。平臺基本實現(xiàn)FAST天文望遠鏡數(shù)據(jù)資源及相關(guān)基礎(chǔ)數(shù)據(jù)資源的科學(xué)存儲管理，實現(xiàn)候選體數(shù)據(jù)與已知脈沖星比對分析和數(shù)據(jù)可視化，收錄了來自FAST的優(yōu)質(zhì)候選體記錄141條，已知脈沖星數(shù)據(jù)記錄2700條，望遠鏡設(shè)備數(shù)據(jù)20條，將為FAST開展新脈沖星搜尋項目制定巡天計劃、認證提供數(shù)據(jù)支撐。

1系統(tǒng)設(shè)計

1.1架構(gòu)設(shè)計

如圖1，基礎(chǔ)資源層匯聚各類基礎(chǔ)數(shù)據(jù)資源，包括FAST早期漂移掃描數(shù)據(jù)、已知脈沖星數(shù)據(jù)、脈沖星候選體數(shù)據(jù)、巡天項目記錄、天文望遠鏡設(shè)備資料和科研文獻資料等其他基礎(chǔ)資料;數(shù)據(jù)匯總到數(shù)據(jù)中心，中心數(shù)據(jù)庫以MySql數(shù)據(jù)庫系統(tǒng)為基礎(chǔ)，構(gòu)建標準元數(shù)據(jù)，清洗、過濾、再加工，建立各類主題，數(shù)據(jù)庫分OLTP和OLDP;后端服務(wù)器技術(shù)采用JAVA語言編程，Mybatis對數(shù)據(jù)庫訪問，軟件服務(wù)框架采用Spring MVC，軟件服務(wù)發(fā)布依賴Tomcat容器與Nginx代理系統(tǒng);前端技術(shù)分為Web、App、H5和小程序，Web展示采用bootstrap，數(shù)據(jù)可視化展示使用Echarts，App依托Android平臺;平臺可部署多種應(yīng)用如天文臺至早期數(shù)據(jù)中心數(shù)據(jù)傳輸管道、共享數(shù)據(jù)抓取、科學(xué)家候選體數(shù)據(jù)提交、日常使用業(yè)務(wù)工作流，主動收錄科研資源，天文科普、脈沖星候選體識別打標簽和脈沖星比對分析數(shù)據(jù)可視化等。為保證平臺數(shù)據(jù)安全性，系統(tǒng)啟用統(tǒng)一身份認證[4]和基于角色控制[3]機制，為保障系統(tǒng)高性能高可靠運行，系統(tǒng)部署在云平臺，系統(tǒng)服務(wù)器與數(shù)據(jù)庫物理分離，服務(wù)器集群部署，可實現(xiàn)負載均衡和熱備。

1.2功能設(shè)計

FAST科學(xué)數(shù)據(jù)管理平臺功能如圖2，主要分成3大塊和14個小塊。數(shù)據(jù)管理：脈沖星數(shù)據(jù)管理、候選體數(shù)據(jù)管理，F(xiàn)ITS原始數(shù)據(jù)文件管理、巡天項目信息管理、文獻資料管理、觀測設(shè)施信息管理、FAST管道運行狀態(tài)記錄、巡天故事，Timing數(shù)據(jù)管理和巡天日志管理。數(shù)據(jù)分析：數(shù)據(jù)統(tǒng)計可視化，候選體與脈沖星比對;系統(tǒng)管理：用戶管理、系統(tǒng)權(quán)限管理、數(shù)據(jù)庫備份恢復(fù)。

1.3數(shù)據(jù)庫設(shè)計

FAST科學(xué)數(shù)據(jù)管理平臺的數(shù)據(jù)庫負責對來自FAST脈沖星漂移巡天候選體數(shù)據(jù)，ATNF已知脈沖星數(shù)據(jù)，Arecib望遠鏡脈沖星數(shù)據(jù)，LOFAR脈沖星數(shù)據(jù)，PALFA脈沖星數(shù)據(jù)、GBNCC脈沖星數(shù)據(jù)等，文檔文獻數(shù)據(jù)，天文設(shè)施運行記錄數(shù)據(jù)等的存儲功能。通過對需求分析，根據(jù)需要持續(xù)化存儲的數(shù)據(jù)提取實體結(jié)構(gòu)，部分實體設(shè)計E-R如圖3。平臺數(shù)據(jù)庫的實體包括項目實體（Project），脈沖星實體（Pulsar），候選體實體（Candidate），發(fā)現(xiàn)故事（Discovery Story），Timing實體，F(xiàn)ollowup 實體，運行管道狀態(tài)實體（Pipline Status），文獻論文實體，用戶實體等。

2關(guān)鍵技術(shù)與算法

2.1 B/S架構(gòu)

B/S架構(gòu)是基于瀏覽器和服務(wù)器結(jié)構(gòu)的Web信息系統(tǒng)架構(gòu)，系統(tǒng)業(yè)務(wù)在服務(wù)器上發(fā)布，用戶直接通過瀏覽器就能夠訪問服務(wù)器中提供的資源，無須下載安裝軟件，用戶信息保存，直接提交到服務(wù)器，有服務(wù)器進行計算存儲。同時，B/S系統(tǒng)可以采用AJAX技術(shù)，異步無刷新式局部響應(yīng)業(yè)務(wù)，給用戶帶來較好的體驗感。

對于技術(shù)選型，采用B/S架構(gòu)技術(shù)有如下優(yōu)勢：

軟件系統(tǒng)使用簡單。B/S架構(gòu)系統(tǒng)業(yè)務(wù)主要存在服務(wù)器端，無須用戶安裝軟件，隨時隨地，只要擁有任意款式瀏覽器即能夠參與業(yè)務(wù)交互。用戶無須因為按照客戶端因為軟件版本與系統(tǒng)不兼容而困擾，用戶也無須安裝插件工具等，使用簡單，參與容易。

有利于系統(tǒng)擴展，維護升級。任何信息系統(tǒng)不可能一蹴而就，工作業(yè)務(wù)在發(fā)生變化，信息系統(tǒng)也必須隨之響應(yīng)。當系統(tǒng)業(yè)務(wù)需求發(fā)生變化，只需要更新服務(wù)器端即可，用戶端隨著變更。

2.2 微服務(wù)

微服務(wù)是當前業(yè)界廣泛應(yīng)用的全新軟件架構(gòu)模式，通過將一個龐大而復(fù)雜的功能分解成一組小的服務(wù)，不同的服務(wù)直接可以相互協(xié)調(diào)、互相配合，共同完成一個復(fù)雜功能[5]。Spring Could是我們選取的微服務(wù)框架，具有高質(zhì)量、高穩(wěn)定性、可持續(xù)性等優(yōu)點[6]。多服務(wù)分布部署，將龐大的功能應(yīng)用分解成多個服務(wù)，各個服務(wù)之間低耦合且能協(xié)調(diào)交互;服務(wù)集中發(fā)布，需要建立一個或多個服務(wù)器注冊中心Eureka，將所有服務(wù)在此注冊中心注冊，所有客戶端的請求通過ZUUL網(wǎng)關(guān)判斷URL對應(yīng)的處理服務(wù)，Ribbon負責協(xié)調(diào)網(wǎng)絡(luò)請求轉(zhuǎn)發(fā)負載均衡，多個服務(wù)之間也可以使用feign協(xié)調(diào)調(diào)用。高可靠性能保障，系統(tǒng)對每個服務(wù)接口添加Hystrix標簽，能夠?qū)γ總€服務(wù)接口的運營監(jiān)控，Turbine將監(jiān)控信息匯總查看，方便管理精確定位故障，當某一服務(wù)出現(xiàn)故障時，熔斷器可以有效避免系統(tǒng)整體雪崩效應(yīng)。

2.3 比對分析算法

系統(tǒng)基于基礎(chǔ)參數(shù)和采集到的基礎(chǔ)數(shù)據(jù)，提供多種不同比對匹配算法，對新的候選體進行在線比對、檢索分析，同時，基于已知脈沖星數(shù)據(jù)，聯(lián)合多種條件提供認證匹配檢索。比對算法有歐式距離法和三角相似度法。

3 平臺實現(xiàn)

FAST脈沖星科學(xué)數(shù)據(jù)管理平臺包括前端和后端兩部分組成，后端系統(tǒng)主要是數(shù)據(jù)的維護管理和系統(tǒng)運行管理，前端系統(tǒng)主要功能導(dǎo)航主界面包含：脈沖星、候選體、望遠鏡設(shè)備、巡天項目和脈沖星社區(qū)等。針對脈沖星、候選體及望遠鏡數(shù)據(jù)，集成多種比對分析方法和多維數(shù)據(jù)可視化結(jié)果展示，方便科研工作者直觀、量化分析相關(guān)科學(xué)目標。

3.1系統(tǒng)主要模塊實現(xiàn)

3.1.1數(shù)據(jù)儀表盤

系統(tǒng)數(shù)據(jù)管理員進入系統(tǒng)，呈現(xiàn)的是儀表盤式界面，系統(tǒng)在儀表盤塊，以圖表的形式展示各類數(shù)據(jù)統(tǒng)計。

3.1.2 Candidate數(shù)據(jù)管理

脈沖星巡天數(shù)據(jù)，經(jīng)過PRESTO軟件加速搜索，產(chǎn)生大量脈沖星候選體數(shù)據(jù)，交給天文科學(xué)家群組討論論證正負性。其中包括重點關(guān)注的優(yōu)質(zhì)候選體、一般重要級別候選體。

可以關(guān)聯(lián)到候選體發(fā)現(xiàn)的故事。系統(tǒng)為該功能提供了添加，修改，查詢，刪除都能夠相關(guān)操作，如圖5。

3.1.3 數(shù)據(jù)比對分析

如圖6，提供脈沖星/候選體相關(guān)預(yù)定義參數(shù)60多個。如：色散量（DM）、周期（P0）及位置參數(shù)赤經(jīng)（Declination）、赤緯（right ascension）等，用戶可根據(jù)科學(xué)目標在比對頁面參數(shù)列表中勾選相關(guān)參數(shù)，選擇比對方法。通過搜索/匹配功能可以快速去定位歷史數(shù)據(jù)，如通過ra、dec去找上次同一個位置區(qū)間的觀測結(jié)果，去比對是不是已知脈沖星，通過統(tǒng)計脈沖星的分布/參數(shù)分布研究統(tǒng)計特征等，并對比兩種數(shù)據(jù)結(jié)果展示方式：表格化和圖形化數(shù)據(jù)展示。

3.1.4統(tǒng)計可視化

針對脈沖星、候選體及望遠鏡數(shù)據(jù)，集成多種比對分析方法和多維數(shù)據(jù)可視化結(jié)果展示，方便科研工作者直觀、量化分析相關(guān)科學(xué)目標。

3.2系統(tǒng)部署

本項目作為天文計算機科研項目，遵循開源準則GPL，在技術(shù)選型和部署環(huán)境上盡可能使用開源技術(shù)與軟件。如圖8，系統(tǒng)部署在Linux操作系統(tǒng)，版本為Ubuntu18，數(shù)據(jù)庫軟件MySql，服務(wù)器采用Tomcat+Nginx部署， FTP文件服務(wù)器、數(shù)據(jù)庫服務(wù)器與Web服務(wù)器分離，雙Web服務(wù)器集群熱備，保障系統(tǒng)安裝穩(wěn)定運行。

4 總結(jié)與展望

目前已經(jīng)建成面向FAST科學(xué)數(shù)據(jù)管理平臺（可通過網(wǎng)絡(luò)訪問地址http：//psrcat.net/在線訪問），基本實現(xiàn)FAST天文望遠鏡數(shù)據(jù)資源及相關(guān)基礎(chǔ)數(shù)據(jù)資源的科學(xué)存儲管理，建成候選體數(shù)據(jù)與已知脈沖星比對分析和可視化的專用數(shù)據(jù)庫系統(tǒng)。系統(tǒng)基本實現(xiàn)了對Pulsar數(shù)據(jù)、Candidate數(shù)據(jù)、漂移數(shù)據(jù)Fits文件、Followup Observation數(shù)據(jù)、搜索管道運行狀況記錄數(shù)據(jù)、Timing數(shù)據(jù)、發(fā)現(xiàn)故事（Discovery Story）、觀測日志數(shù)據(jù)等管理功能，實現(xiàn)了對脈沖星數(shù)據(jù)的自定義查詢和統(tǒng)計可視化，候選體與脈沖星比對功能。

下一步將持續(xù)通過獲取公開文獻、網(wǎng)絡(luò)數(shù)據(jù)庫等更新和豐富“FAST科學(xué)數(shù)據(jù)管理平臺”中數(shù)據(jù)記錄，收錄來自FAST脈沖星巡天及其他更多巡天項目的候選體數(shù)據(jù)，提供更為豐富的統(tǒng)計分析模型和工具，探索多種比對分析算法，開放數(shù)據(jù)接口，為AI脈沖星識別程序?qū)W習(xí)訓(xùn)練和識別提供數(shù)據(jù)支撐。期望FAST科學(xué)數(shù)據(jù)管理平臺能夠長期服務(wù)于射電脈沖星科學(xué)領(lǐng)域研究者，成為射電天文領(lǐng)域有一定影響的專用工具。

參考文獻：

[1] 許余云，李菂，劉志杰，等.人工智能在脈沖星候選體篩選中的應(yīng)用[J].天文學(xué)進展，2017，35（3）：304-315.

[2] Wang Hongfeng，ZhuWeiwei，GuoPing，et al. Pulsar Candidate Selection with Ensemble Nets for FAST Drift-scan Suvery[J].SCIENCE CHINA，2016（5）：9.

[3] 姜家濤，郭靜.基于RBAC的權(quán)限管理在實驗室信息管理中的研究[J].計算機技術(shù)與發(fā)展，2017（27）：79-82.

[4] 姜家濤，謝曉堯，張輝.FAST科學(xué)管理平臺統(tǒng)一身份認證的研究與實現(xiàn)[J].電腦知識與技術(shù)，2020，10（29）：13-16.

[5] 郄小明，張建君.基于微服務(wù)架構(gòu)的終端服務(wù)平臺設(shè)計[J].數(shù)字技術(shù)與應(yīng)用，2020（6）：124-126.

[6] 陳娜，嚴張凌.基于Spring微服務(wù)架構(gòu)的學(xué)生實踐平臺[J].信息與電腦，2020（13）：127-129.

[7] 馮志勇，徐硯偉，薛霄.微服務(wù)技術(shù)發(fā)展的現(xiàn)狀與展望[J].計算機研究與發(fā)展，2020，57（5）：1103-1122.

[8] 李娜.基于Spring Cloud微服務(wù)架構(gòu)的應(yīng)用[J].電子技術(shù)與軟件工程，2019（12）：142.

[9] Hewish A， Bell S J， Pilkington J D H， et al. Observations of a rapidly pulsating radio source[J].Nature，1968，217：709.

[10] Li D， Wang P， Qian L， et al. Considerations for a Multi-beam Multi-purpose Survey with FAST[J]. IEEE Microwave， 2018，19（3）：112-119.

[11] Weiwei Zhu， Di Li， Rui Luo， et al. A Fast Radio Burst discovered in FAST drift scan survey[J]. ApJL， arXiv：2004，14029.

[12] 劉鵬，王培，李菂，等. FAST 19波束脈沖星漂移掃描巡天模擬[J].天文學(xué)進展， 2018， 36（2）： 173-188.

[13] Manchester R N ， Hobbs G B ， Teoh A ， et al. The Australia Telescope National Facility Pulsar Catalogue[J]. Astronomical Journal， 2005， 129（4）：1993-2006.

[14] A.Taylor， J.H.R.A. Hulse， J. H. Taylor. Discovery of a pulsar in a binary system[J]. ApJ， 1975，195：L51-L53.

[15] J. M.; Nice， D. J.; Taylor， J. H. Timing Measurements of the Relativistic Binary Pulsar PSR B1913+16[J]. Astrophysical Journal，2010， 722： 1030-1034.

[16] Levin L， Armour W， Baffa C， et al. Pulsar Searches with the SKA[J]. Proceedings of the International Astronomical Union， 2017， 13（S337）.

[17] Manchester RN， Lyne AG， Camilo F， et al. The Parkes multi-beam pulsar survey– I. Observing and data analysis systems， discovery and timing of 100 pulsars[J]. 2001， 328（1）：17-35.

【通聯(lián)編輯：代影】