大數據存儲中的優化架構結構的設計與實現

姜學東　孫海民

摘 要： 為了降低存儲系統的空間開銷和抗干擾能力對大數據存儲系統進行優化設計，提出一種基于時鐘同步與高速模塊內部觸發的大數據存儲優化結構設計方法。采用數據動態增益碼調度和編碼方法，將存儲系統中的大數據送到環形RAM緩沖區，對主控機下載緩沖區的數據作頻譜分析，進行大數據存儲系統的硬件模塊設計，主要有時鐘同步電路、復位電路、高速模塊內部觸發電路、程序加載電路和存儲終端接口電路等。軟件設計中，利用匯編指令PORTW，PORTR進行串口控制，配置引腳寄存器，執行大數據的寫入請求，降低存儲開銷。仿真實驗結果表明，該存儲系統具有較好的數據寫入和存儲性能，執行效率較高，存儲開銷較小。

關鍵詞： 大數據存儲； 系統設計； 時鐘同步； 優化結構

中圖分類號： TN911?34； TP391 文獻標識碼： A 文章編號： 1004?373X（2016）24?0066?05

Design and implementation of optimized architecture for large data storage

JIANG Xuedong， SUN Haimin

（Faculty of Mathmatics and Computer Science， Hebei Normal University for Nationalities， Chengde 067000， China）

Abstract： To reduced space overhead of the storage system and improve anti?jamming capacity by the optimization design of large data storage system， a kind of design method of large data storage structure optimization based on clock synchronization and high?speed module internal trigger is put forward. The scheduling and coding method of data dynamic gain code are adopted to send the big data in storage system to the annular RAM buffer. The spectrum analysis for the buffer data download by main control computer is conducted. The hardware modules （such as clock synchronization circuit， reset circuit， high?speed module internal trigger circuit， program loading circuit and storage terminal interface circuit） of the large data storage system are designed. In software design， the assembly instruction PORTW and PORTR is used to executed serial port control， and the pin register is deployed to carry out the written request of big data and reduce the store cost. The analysis on the system simulation experiment results indicates the data storage system has good data writing and storage performances， high execution efficiency， and less storage overhead.

Keywords： big data storage； system design； clock synchronization； optimal structure

0 引 言

隨著計算機與信息技術的快速發展，海量的數據需要在計算機和網絡系統中進行數據交換和信息交互，實現網絡通信和數據共享。大數據通過網絡存儲和本地存儲的方式寄存在網絡和本地計算機上，通常對海量數據的存儲都是采用云存儲構架的方式，云存儲構架是采用層次化的網格結構，復制文件到具有執行任務的站點，在云存儲網格中，每個站點控制數據傳輸，然后通過PCI總線接口為存儲空間提供所需副本，進行數據調度和訪問。大數據云存儲系統的架構結構的優化可以降低存儲開銷，提高數據的存儲空間和數據調度效率，研究大數據存儲的優化加工結構設計方法，在優化大數據信息處理和存儲優化中具有積極重要的意義，相關的系統設計方法受到人們的極大重視[1?3]。

傳統方法中，對大數據存儲中的優化架構結構的設計方法通過任務發生器生成LRU排序列表，副本管理器在每個站點控制數據的傳輸，通過副本相關檢測器進行干擾抑制，實現對大數據存儲的優化結構設計，結合這一設計思想，取得了一定的研究成果。其中，文獻[4]提出一種基于海量數據存儲的時間和空間領域匹配的數據存儲方法，采用線性突發的數據傳輸模式進行數據調度，在存儲架構模型中，允許PCI總線擴展，進行了存儲軟件設計，提高了數據網格調度和存儲的能力，但是該方法在系統架構中總線協議比較復雜，數據計算的開銷較大。文獻[5]提出一種基于綜合調度策略的動態數據復制的海量數據存儲方法，在負載均衡條件的C/S客戶端控制下，對海量數據存儲優化架構系統中的類似數據進行分塊存儲，實現了數據的聚類分析和優化調度，但是該系統在進行海量數據存儲過程中，受到存儲系統的吞吐容量和性能的約束，導致存儲開銷成幾何倍級增長[6?8]。

針對上述問題，本文對傳統的大數據存儲結構進行改進設計，提出一種基于時鐘同步與高速模塊內部觸發的大數據存儲中的優化架構結構設計方法。

1 大數據存儲系統總體設計架構和指標分析

1.1 大數據存儲系統總體設計架構

大數據存儲系統的優化結構設計中，數據觸發和采集是整個系統的基礎，采用觸發總線、模擬總線構建緩沖區，數據傳輸到主控計算機的過程通過模擬信息預處理模塊實現，采用數據動態增益碼調度和編碼方法，將存儲系統中的大數據送到環形RAM緩沖區，對主控機下載緩沖區的數據作頻譜分析，進行采樣點模擬。

大數據存儲系統主要包括如下幾個部分：局部總線傳輸數據處理器、PCI總線及橋接電路、VXI系統總線控制設備、主控計算機讀取時域數據、外部存儲器以及零號插槽復位電路。

局部總線是采集系統的基礎，它負責信號采集、通信總線觸發、與上位機通信、資源管理等任務。通過數據管理調度和評價器分析數據存儲中的抗干擾能力，數據存儲節點通過QoS值進行數據跟蹤，QoS值直接與VXI總線通信，通過對數據存儲任務的評價，進行存儲系統的故障排除和干擾抑制。

大數據存儲系統的功能任務流程如圖1所示。

根據上述任務流程，進行大數據存儲系統的功能分析，主要有：

（1） 應用程序加載，即把存儲VXI總線系統的應用程序通過外置式系統控制器加載到DSP處理器內部RAM中運行。

（2） 通過數字信號處理芯片和32 MB的外部存儲空間，實現人機對話。

（3） 自動增益控制，通過把計算任務分配到多個處理器，設計動態增益控制碼，使得主控計算機的信號能使大數據存儲系統穩定在所需的范圍。

（4） 設置外部信號調理，控制A/D轉換器進行正常大數據存儲的空間采樣。

（5） 讀取A/D采樣值中斷主控計算機，包括局部總線傳輸數據主控計算機進行頻譜分析、信息模擬等。

（6） 與外部SRAM通信，進行PCI橋接和D/A轉換。

（7） 按照系統所需頻率控制D/A轉換器工作。

綜上分析，得到本文設計的大數據存儲的架構結構總體設計框圖如圖2所示。

1.2 大數據存儲系統的功能指標分析與網格調度

根據上述構建的數據存儲的架構結構總體設計進行系統設計，本文設計的大數據存儲系統的指標參數描述如下：

（1） 數據存儲和環形RAM緩沖區內數據捕獲的幅度動態范圍：-43～50 dB，噪聲疊加放大量為87 dB，輸出D/A轉換器的幅度為[±10 V]。

（2） DSP中數據傳輸的采樣通道為12通道同步、異步輸入。

（3） 樣數據在緩沖區循環壓控放大器的采樣率：[≥200 Hz]。

（4） DSP控制DAC的A/D分辨率：15位（至少）。

（5） 功率放大器的D/A分辨率：13位（至少）。

（6） D/A轉換速率：[≥200 Hz]。

大數據云存儲架構結構設計中，采用層次化網格調度模型，通過站點訪問和網格區域分區，將使用動態分級式復制算法計算最佳區域，實現副本放置和數據的快速復制，每個網格站點有多通道任務請求文件的區域，實現對大數據云存儲的優化架構。

大數據云存儲架構結構設計中層次化網格調度訪問的過程描述如圖3所示。

2 大數據存儲系統的硬件設計和軟件設計實現

2.1 大數據云存儲優化構架系統的硬件

根據上述設計思想和指標參量分析，進行大數據存儲系統的硬件模塊設計，硬件模塊主要有時鐘同步電路、復位電路、高速模塊內部觸發電路、程序加載電路和存儲終端接口電路等，系統設計過程描述如下：

大數據存儲系統的時鐘同步電路由多路開關選擇12位A/D數據采樣模塊，通過自適應調制電路進行自適應增益連續反饋采樣。大數據存儲系統的線性動態范圍為-40～40 dB，通過Emulator由JTAG選擇引腳、時鐘信號。根據MAX7425的電子特性，采用PCI 接口功能模塊，設計SCSI?68反饋動態增益模塊，在第一級放大之后進行高通濾波去除干擾數據的誤差增益，在接收電路中加入濾波電路，實現大數據的時鐘同步采樣，得到時鐘同步電路如圖4所示。

大數據的時鐘同步采樣的運放端口，選用AD8021進行5階開關電容低通濾波，從而使輸出電壓趨于穩定的直流電壓。通過自定義總線SCSI?68共享雙端口RAM，實現PC機與數據傳輸系統的實時通信。功率放大器通過三級放大器進行D/A轉換信號的逐級放大，得到數據存儲命令，數據輸出信號的范圍在合理程度，可提高系統的發射響應和接收靈敏度。當存儲器處于接收狀態時，通過設計的帶通濾波器對存儲的數據進行降噪處理，根據上述分析，構建復位電路，在系統上電、初始化、出現異常斷電時，采用看門狗復位方法實現對DSP芯片的復位，得到復位電路設計如圖5所示。

在大數據存儲系統中，通過中斷復位，使得數據長度可以為 8，12，20，經DMA 控制器實現外部脈沖源驅動，按照DSP串口0的引腳引出通過（R/X）DATDLY設置數據運算和存儲。采用5409A串口硬件發送采樣值，進行程序加載，5409A串口引腳分配如圖6所示。

通過5409A串口引腳分配，利用串口在兩塊DSP之間傳送數據，大數據存儲系統的頂層文件的部分VerilogHDL代碼如下：

PWM_controlu1 （External data memory design， .clk（clk）， . reset（reset）. en（en）， . ek （m1））；

//PCI9054之間進行數據通信模塊的實例

Data_operationand_storage（.ek（m1）， .kp（kp）， .clk（clk），. reset（reset）， .en（en），.ek_1（），.s1（s1））； //增益模塊的實例

jifen_controlu3（.ek（m1），.ki（ki），.clk（clk），.reset（reset），.en（en），.s2（s2））；

Postel_ectric_system_controlu4（.ek（m1），.kd（kd），.clk（clk），

.reset（reset）， Data communication between PCI9054）；

assignout=s1+s2+s3 //誤差反饋控制實例

基于時鐘同步與高速模塊內部觸發進行系統的優化設計，通過外部I/O設備進行大數據存儲系統的接口設計，大數據存儲系統的A/D采樣轉換器AD8582四片，將通過通道數設置，把12位的A/D結果轉換成16位，采用[±10 V]的雙極性輸入法，利用[EOC]信號作一通道轉換，為TOUT→[CNVST]，A4～A0，采用轉換序列完成大數據存儲系統對應碼的編碼和符號擴展，I/O設備的外部接口采用AD8582是兩通道的動態增益控制電路，依次與5409A數據總線連接，通過外部接口電源和內核電源協調供電，實現對數據的不間斷采樣和存儲，輸出的波形幅度數據具有較好的自適應性。綜上分析，本文設計的大數據云存儲優化構架系統的硬件集成電路的實現過程如圖7所示。

2.2 系統的軟件設計與實現

在上述進行了大數據存儲系統的硬件設計的基礎上，進行大數據存儲系統架構結構的軟件設計，軟件設計建立在ALTERA公司新推出的MAX7000AE軟件開發平臺基礎上，軟件設計的流程包括中斷服務程序的開發、串口配置程序的設計、DSP串口初始化程序等，首先創建LabWindows/CVI工程文件，根據編寫的PCI卡驅動程序，通知DSP取數，采用時鐘同步模塊進行大數據的多通道采樣，返回的HANDLE（句柄），采用DeviceIoControl（）、ReadFile（）控制系統硬件和設定參數。外部接口片選信號利用匯編指令PORTW，PORTR進行串口控制，配置引腳寄存器，設定RCR[1，2]和XCR[1，2]，先對SPCR1（串口接收控制寄存器）和SPCR2（串口發送控制寄存器）執行大數據的寫入請求，接收堆棧彈出返回指令后，大數據存儲系統內的CVI面板實時顯示大數據的采樣結果和存儲空間，根據上述思想，實現對大數據存儲的軟件設計，大數據存儲系統軟件設計實現流程如圖8所示。

3 系統調試與實驗結果分析

為了測試本文設計的大數據存儲系統架構模型的性能，進行仿真實驗。實驗中，大數據的存儲主機的PC機為32/64位保護模式，在 600 MHz的時鐘速率下執行大數據的采樣和寫入，外部設備接口、DMA控制器支持 32位和40位的浮點運算，內核邏輯電流為2.90 A，內核邏輯電壓為1.3 V，參考電壓VREF設置為VDD_IO的[12]，調節 SCLK1和SCLK2之間的時序偏差，通過時鐘同步控制和鏈路數據的配置，實驗中，數據量為100 MB～1 GB，以100 MB為單位實現數據的寫入和存儲，根據上述實驗環境和參數設定，結合本文設計的系統硬件電路和軟件模塊，進行程序加載寫入，進行數據存儲性能分析和對比，為了對比系統的性能，采用本文方法和傳統方法，在不同的存儲開銷和干擾下，以大數據存儲的信息融合的歸一化投影值為測試指標，得到大數據存儲的性能對比結果如圖9所示。

由圖9可見，采用本文設計的大數據存儲系統進行大數據存儲，具有較好的抗干擾性和數據融合性能，降低數據存儲開銷，提高數據存儲系統的數據調度效率，展示了較好的應用價值。

4 結 語

通過對大數據存儲系統的優化設計，降低了存儲系統的空間開銷和抗干擾能力。提出一種基于時鐘同步與高速模塊內部觸發的大數據存儲中的優化架構結構設計方法。采用時鐘同步技術進行存儲系統的總線實時調度，采用高速模塊內部觸發機制取得總線控制權，提高了數據的轉發傳送性能，系統設計包括了硬件模塊設計和軟件設計兩大部分。由系統設計和仿真實驗分析得出，該系統具有較好的數據存儲性能，執行效率較高，穩定性較好。

參考文獻

[1] CAO Junwei， LI Keqin， STOJMENOVIC I. Optimal power allocation and load distribution for multiple heterogeneous multi?core server processors across clouds and data centers [J]. IEEE transactions on computers， 2014， 63（1）： 45?58.

[2] 田剛，何克清，王健，等.面向領域標簽輔助的服務聚類方法[J].電子學報，2015，43（7）：1266?1274.

[3] 衛星，張建軍，石雷，等.云計算數據中心服務器數量動態配置策略[J].電子與信息學報，2015，37（8）：2007?2013.

[4] URGAONKAR R， KOZAT U C， IGARASHI K， et al. Dynamic resource allocation and power management in virtualized data centers [C]// Proceedings of IEEE/IFIP Network Operations and Management Symposium （NOMS）. Osaka， Japan： IEEE， 2010： 479?486.

[5] CHONG F T， HECK M J R， RANGANATHAN P， et al. Data center energy efficiency： improving energy efficiency in data centers beyond technology scaling [J]. IEEE design & test， 2014， 31（1）： 93?104.

[6] LI Jian， SHUANG Kai， SU Sen， et al. Reducing operational costs through consolidation with resource prediction in the cloud [C]// Proceedings of 12th IEEE/ACM International Symposium on Cloud and Grid Computing （CCGrid）. Ottawa， Canada： IEEE， 2012： 793?798.

[7] WANG Lin， ZHANG Fa， ARJONA A J， et al. GreenDCN： a general framework for achieving energy efficiency in data center networks [J]. IEEE journal on selected areas in communications， 2014， 32（1）： 4?15.

[8] 崔永君，張永花.基于特征尺度均衡的Linux系統雙閾值任務調度算法[J].計算機科學，2015，42（6）：181?184.