基于遷移學習的并行化大數據流傳輸系統設計

龐崇高 陸玉發

摘? 要： 傳統系統在并行化大數據流組件不變情況下的吞吐量會隨著并發數增多而減少，影響數據流傳輸效率。為了解決這一問題，提出基于遷移學習的并行化大數據流傳輸系統。系統硬件由FPGA 核心控制器、XC7K325T?2FFG 900芯片、DCM時鐘組成，用于實時傳輸數據流。系統軟件是在STORM平臺上引入遷移學習算法。軟、硬件結合，完成基于遷移學習的并行化大數據流傳輸系統設計。實驗分別測試了兩個系統在并行化大數據流組件不變情況下的吞吐量。將并行化大數據流分類組件設置為（5.5），（5.6）， （5.7）， （5.8），從實驗結果可知，所設計的系統吞吐量會隨著并發數、線程增多，呈上升趨勢，能夠有效提升并行化大數據流傳輸效率。

關鍵詞： 并行化大數據流; 數據流傳輸; 系統設計; 遷移學習算法; 吞吐量測試; 數據矩陣

中圖分類號： TN919?34; TP421? ? ? ? ? ? ? ? ? 文獻標識碼： A? ? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）18?0040?03

Abstract： As the throughput of the traditional system could decrease with the increase of the concurrent amount under the circumstance that the parallel big data stream component is unchanged， which will affect the transmission efficiency of data stream， a parallel big data stream transmission system based on transfer learning is proposed. The system hardware is composed of FPGA core controller， XC7K325T?2FFG900 chip and DCM clock， which is used to transmit data stream in real time. The system software can realize the introduction of transfer learning algorithm on the STORM platform. The design of the parallel big data stream transmission system based on transfer learning is completed in combination of the software and the hardware. In the experiment， the throughputs of the two systems under the circumstance that the parallel big data flow components are unchanged are tested. The parallel big data stream classification components are set to （5.5）， （5.6）， （5.7） and （5.8）. It can be seen from the experimental results that the throughput of the designed system can be on the rise with the increase of the concurrent amount and threads， which can effectively improve the transmission efficiency of parallel big data stream.

Keywords： parallel big data stream; data stream transmission; system design; transfer learning algorithm; throughput testing; data matrix

0? 引? 言

傳統的并行化大數據流傳輸系統運用圖形處理單元強大的計算能力，協助CPU處理大數據流，雖然可以高效處理完成復雜的計算[1]，但會降低數據流實時傳輸的限制約束。為了更好地處理并行大數據流，提出基于遷移學習的并行化大數據流傳輸系統。在本次硬件結構設計中，主要在以Xilinx FPGA產品為主的結構下設計大數據流傳輸總線。軟件在STORM平臺上，引入遷移學習算法，實現并行化大數據流傳輸。

1? 硬件結構設計

基于遷移學習的并行化大數據流傳輸系統中的各個功能系統是通過 FPGA 核心控制器上傳信息的。經過數據采集系統調節后，獲取信息[2]。再利用XC7K325T?2FFG 900 芯片將采樣的信號上傳系統。待處理后，通過DDR3 SDRAM實現大容量數據緩存。圖1為并行化大數據流傳輸系統硬件架構。

圖1中的FPGA 核心控制器實現了并行化大數據流的傳輸。采用多通道 LVDS傳輸連接方式，利用遷移學習法預測分析在未來時間點上的并行化大數據流值。具體傳輸過程：首先，要分段大數據流，分析所有段的聚類，再輸出一定數量簇中心，將這部分數據流歸到系統的第一層，接著聚類分析此層的簇中心點。獲取的簇中心點要歸結到下一層。

經過迭代計算求出最優解。再構造數據矩陣，用行或者列索引作為標識符。最后，比較相關系數數據集與設定的閾值。若滿足條件，即可使用基本窗口模型，將數據流傳輸到滑動窗口，計算分析數據矩陣特征值，實現實時傳輸數據流的目的[3]。

圖1中的XC7K325T?2FFG 900 芯片是系統硬件的核心，負責將指定的單條數據流和多條數據流傳輸出去。低頻率的并串電路是由數字電路構成。運用VHDL功能仿真和器件編程就能很快找到所需的數據流。但是當電路頻率提高時，VHDL編寫出的邏輯電路是無法滿足設計需求的。為此，選用高速運算放大器將差分轉化為單頻率信號[4]。再通過4位寄存器，輸入到數據選擇當中，完成輸出。

當數據流通過DCM時鐘信號PCLKI鎖存到4位寄存器中時，就會被當作FIFO寫入DCM時鐘。PCLKO是FIFO寄存器的讀取DCM時鐘，是用于加載數據選擇器中的數據流。FIFO能夠識別DCM時鐘在單位間隔內的變化。當讀寫DCM時鐘接入相同的FIFO寄存器地址時，RESET信號至少要達到4UI，為了消除這種情況，就需要復位FIFO。待復位后，寬動態范圍的FIFO會重新開始工作[5]。當數據流從FIFO中讀出時，要輸入到數據選擇器中，并轉換為并行化大數據流輸出。

由此，完成基于遷移學習的并行化大數據流傳輸系統硬件結構的設計。

2? 軟件功能設計

在STORM平臺上部署基于遷移學習算法實現并行化大數據流傳輸。通過歸一化處理得到標準化樣本，再通過減法聚類算法確定初始聚類中心[6]。經過遷移學習算法進一步迭代后，就可以得到較優的聚類中心。聚類樣本是歸一化后的標準樣本，需要通過FCM處理，將所得的較優的聚類中心作為遷移學習算法的輸入聚類中心，再進行聚類，實現樣本數據的故障診斷[7]。

在STORM平臺中，Bolt是數據處理的基本單元，Bolt組件間具有靈活的訂閱關系[8]。為實現相關特征下向量數據的并行故障診斷，要處理元組件中發送的元組。

傳輸過程：首先，處理數據。將處理過程封裝在PreBolt組件中，經過標準化處理后的聚類樣本可以加快聚類的收斂速度，降低迭代次數[9]。其次，在STORM平臺中部署遷移算法處理并行化大數據流。同第一步，將遷移算法封裝在SubBolt組件中[10]。SubBolt組件接收到的數據來源于PreBolt組件傳遞的元組。在元組中的數據為PreBolt組件的數據集，為標準化待聚類樣本。這些樣本需要參加后續的聚類診斷處理，按照編號進行最終的匯總[11]。最后，實現遷移學習算法引入。為避免后續遷移學習算法陷入局部最優，將得到的初始聚類中心封裝為一個元組，傳遞給下游組件，即K?meansblot。在聚類的過程中，需要將上游傳來的聚類中心作為初始聚類中心[12]。通過迭代計算后，不斷更新得到最優的聚類中心。將此類聚類中心封裝給下游組件Fcmblot。Fcmblot是系統軟件的主體部分，在組件內實現遷移學習算法，通過模糊隸屬度確定標準化待測樣本的類別[13]。Fcmblot與上游K?meansblot組件是相結合的整體?？傮w聚類效果相比單一的Fcmblot組件更好，具有較強的魯棒能力[14]。

由此，完成基于遷移學習的并行化大數據流傳輸系統的軟件設計。

3? 實驗分析

3.1? 實驗環境

為驗證所提的并行化大數據流傳輸系統的可行性，設置仿真實驗。在實驗室搭建STORM平臺，共有5臺服務器組成物理集群。服務器之間用千兆交換機相互連接。將虛擬軟件Xenserver安裝到每臺服務器。在上述環境下，虛擬出9個節點，每個節點分配2個CPU核心。在這9個虛擬機上，都安裝傳統系統和本次設計的系統。虛擬機1為主控節點。虛擬機2～9為工作節點，如表1所示。

先部署與系統有關的外部環境，再部署STORM框架。STORM安裝版本為STORM 1.0.1。在每個工作節點都要分配4個Worker Slot，節點之間可以通過交換機連接。

3.2? 實驗搭建過程

1） 分別在主控節點和工作節點安裝STORM，安裝STORM后的系統比較依賴外部資源。

2） 在主控節點和工作節點上，下載STORM發布版本。

3） 修改STORM配置文件。

4） 使用腳本啟動STORM后臺進程。

安裝STORM后，會比較依賴外部環境，所以要先創建安裝目錄，下載JDK文件，解壓到該目錄。配置Java路徑，而Zero下載編譯后，直接安裝。為確保JZMQ正常工作，需要Java變量對應，因為系統版本不同，需要安裝不同的組件。

為了檢測傳統系統和基于遷移學習的并行化大數據流傳輸系統在并行化大數據流組件不變情況下的吞吐量，將并行化大數據流分類組件設置為（5.5）， （5.6）， （5.7）， （5.8）。表2和表3為所提系統與傳統系統在并行化大數據流組件不變情況下的吞吐量。

在組件不變的情況下，使用所建系統的吞吐量會隨著分類組件并行度的增加呈上升趨勢。這是因為新增線程數據量增加導致的。而使用傳統系統的吞吐量在不斷減少。隨著并發數的增多，每個線程所獲取的資源也在逐漸減少。由此可知，文章所建立的基于遷移學習的并行化大數據流傳輸系統所設置的組件并行度可以有效提高大數據流傳輸效率。

4? 結? 語

針對傳統系統存在的問題，提出基于遷移學習的并行化大數據流傳輸系統設計。系統的硬件設計由FPGA 核心控制器、XC7K325T?2FFG900 芯片、DCM時鐘組成，軟件是在STORM平臺下引入遷移學習算法。完成系統設計。最后通過實驗驗證，所提系統具有一定可行性。

參考文獻

[1] 任俊，胡曉峰，李寧.基于SDA與SVR混合模型的遷移學習預測算法[J].計算機科學，2018，45（1）：280?284.

[2] 衡冬冬，唐玉華，易曉東，等.并行原型系統上BFS算法設計實現與測試分析[J].計算機工程與科學，2017，39（1）：27?34.

[3] 曾瑛，李星南，劉新展.電力通信大數據并行化聚類算法研究[J].電子技術應用，2018，44（5）：1?4.

[4] 夏為丙，楊朝明，張志文.多路高速串口并行傳輸系統設計[J].儀表技術與傳感器，2018（2）：97?100.

[5] 王林童，趙騰，張焰，等.基于Hadoop的風力發電監測大數據存儲優化及并行查詢方法[J].電測與儀表，2018，55（11）：1?6.

[6] 朱永利，李莉，宋亞奇，等.ODPS平臺下的電力設備監測大數據存儲與并行處理方法[J].電工技術學報，2017，32（9）：199?210.

[7] 金宇.基于云計算環境的大數據兼容性存儲系統設計[J].現代電子技術，2019，42（1）：24?27.

[8] 朱嘉舟，邵培南，陳景.影像數據分布并行計算處理平臺體系架構研究[J].計算機工程，2017，43（5）：60?66.

[9] 徐源，程潛善，李陽，等.基于大數據聚類的電力系統中長期負荷預測[J].電力系統及其自動化學報，2017，29（8）：43?48.

[10] 梁胤程，袁媛，楊峰.基于Hadoop的探地雷達數據并行處理方法研究[J].系統仿真學報，2017，29（1）：120?128.

[11] 季一木，張永潘，郎賢波，等.面向流數據的決策樹分類算法并行化[J].計算機研究與發展，2017，54（9）：1945?1957.

[12] 宋中喆，裴東興，楊少博.基于USB3.0接口的高速數據傳輸系統設計[J].現代電子技術，2017，40（4）：159?162.

[13] 杜興林，經小川，梁光成，等.基于FPGA的多通道高可靠高速單向傳輸系統設計[J].計算機應用，2017，37（S2）：6?10.

[14] 徐志剛.基于嵌入式的火災檢測系統設計[J].現代電子技術，2017，40（10）：168?171.

[15] 李莉，朱永利，宋亞奇.泄漏電流數據的Spark?KNN并行模式識別方法[J].系統仿真學報，2018，30（4）：1473?1481.