基于Spark的有效載荷參數(shù)解析處理方法

張文彬，王春梅，王 靜，陳 托，智 佳

(1.中國科學院 國家空間科學中心，北京 100190；2.中國科學院大學 計算機科學與技術(shù)學院，北京 100049)

0 引 言

科學衛(wèi)星有效載荷產(chǎn)生的科學探測數(shù)據(jù)具有數(shù)據(jù)量大、參數(shù)多、處理實時性要求高的特點，其中參數(shù)解析是有效載荷數(shù)據(jù)實時處理的關(guān)鍵環(huán)節(jié)，其參數(shù)越多數(shù)據(jù)量越大，解析過程就越復(fù)雜越耗時。目前有效載荷數(shù)據(jù)的實時參數(shù)解析主要采用單機多線程處理方法[1]，其存在吞吐率低、擴展能力弱的不足，因此，提高有效載荷參數(shù)解析的速率具有必要性。

當前主流的大數(shù)據(jù)流式計算框架Storm、Spark Streaming等具有低延遲、高吞吐、可擴展等優(yōu)勢[2,3]，本文結(jié)合衛(wèi)星有效載荷數(shù)據(jù)流的特點[4]，利用大數(shù)據(jù)計算框架良好的實時處理性能和易擴展的能力，以提高有效載荷參數(shù)解析的吞吐率[5]。其中Spark[6,7]提供的生態(tài)系統(tǒng)具備同時支持批處理、交互式查詢和流數(shù)據(jù)處理的優(yōu)勢，可實現(xiàn)數(shù)據(jù)的無縫共享。Spark Streaming是Spark計算引擎內(nèi)的流式計算框架，因此，本文結(jié)合Spark Streaming和Kafka[8,9]，設(shè)計并實現(xiàn)了一種有效載荷實時參數(shù)解析的處理方法，以提高有效載荷數(shù)據(jù)參數(shù)解析處理的實時性。

1 有效載荷參數(shù)解析的數(shù)據(jù)源

有效載荷數(shù)傳數(shù)據(jù)，其格式遵循國際空間數(shù)據(jù)系統(tǒng)咨詢委員會(consultative committee for space data systems，CCSDS)的高級在軌系統(tǒng)(advanced orbit system，AOS)標準[10]，有效載荷數(shù)傳數(shù)據(jù)結(jié)構(gòu)見表1。

有效載荷數(shù)傳數(shù)據(jù)的處理[11,12]步驟如圖1所示，在對CCSDS格式的數(shù)傳/遙測數(shù)據(jù)進行AOS幀同步、解密、解擾、分包、拼接等預(yù)處理之后，形成中間數(shù)據(jù)格式，稱為數(shù)據(jù)幀，其主要結(jié)構(gòu)見表2，其中，數(shù)據(jù)段部分存放各類參數(shù)的二進制編碼，參數(shù)解析過程即是針對數(shù)據(jù)段中的各個參數(shù)編碼進行處理，將其按要求解析為電流、溫度等物理量。……