淺談并行統計計算基礎下的金融數據

趙哲衡

淺談并行統計計算基礎下的金融數據

趙哲衡

The University of Texas at Dallas

在信息時代，金融數據處理已經成為了困擾金融業的重要問題。基于這種情況，本文對并行統計計算這種數據處理方法進行了分析，然后結合金融數據特點對并行統計計算基礎下的金融數據處理問題進行了探討。

并行統計計算；金融數據；處理

引言

作為信息密集型產業，金融業的各項業務開展都要有數據提供支撐。但在信息時代背景下，金融業要面臨海量數據的處理問題，所以如何進行金融數據的處理成為了行業關注的問題。利用并行統計計算方法，則能完成大量數據的并行處理，從而滿足金融數據的處理需求。因此，還應加強對并行統計計算基礎下的金融數據分析，以得到科學的數據處理方法。

1 并行統計計算分析

所謂的并行統計計算，其實就是統計計算中使用的并行方法。利用該方法完成統計計算工作，需要將工作劃分為多項任務，然后利用多個節點同時進行各任務的處理，從而在較短時間內完成計算工作。而就目前來看，并行統計計算能夠劃分為多個類型，并且需要使用相應的統計算法策略。因此，想要應用并行統計計算，還要掌握其分類和算法策略。

1.1 并行統計算法分類

在并行統計算法分類上，目前人們主要根據硬件類型支持進行分類，即進行Flynn分類或Schmidberger分類。從設備組成上來看，使用并行統計算法需要完成列陣處理器、并行多機和管道處理器的配置。利用管道處理器，可對計算機指令進行分割，以獲得系列獨立步驟，然后利用列陣處理器完成列陣數據的并行高效處理[1]。所謂的并行多機，則是擁有多處理器的機器或由多個機器構成的集群，可用于進行并行統計計算。按照Flynn分類，可以將數據劃分為單指令單數據分類、單指令多數據分類和多指令多數據分類這三種并行程序[2]。按照Schmidberger分類，可將并行統計計算機劃分為多核系統、多處理器系統、多計算集群等。

1.2 并行統計算法策略

利用并行統計計算機進行統計算法實施時，需要采用并行統計的算法策略。目前，主要可以采用區域分解和任務分解兩種策略。采用區域分解策略，即對跨節點統計問題的計算區域進行并行化處理，賦予各節點相應統計數據子集，并在多項統計數據中應用同一指令集[3]。而在分解區域的同時，各處理器將負責各自任務，然后一同進行統計問題的處理。采用任務分解策略，即由各節點對相同代碼的不同部分進行執行，以實現任務分解。所以，各節點需要完成特定子任務的執行，程序也將被劃分為協同任務，各協同任務需進行不同代碼的執行。因此，采用該策略對各協同任務進行了異步執行，可以在不同計算機上完成統計任務。

2 并行統計計算基礎下的金融數據

2.1 金融數據的特點

作為建立在數據基礎上的產業，金融業每天都將產生大量的數據。通過對這些數據進行分析、查詢和挖掘，才能完成潛在商機的挖掘，并為金融風險的管理提供數據依據。就目前來看，金融數據擁有幾大特點。首先，金融數據擁有較大的數據容量，最高能夠達到PB級別。其次，金融數據擁有較廣的數據范疇，各金融業務節點上都存在數據，數據類型也較多，包含日志、圖片、文本、音視頻等，大多為非結構化和半結構化數據。再者，金融數據整體價值密度較低，因為擁有過多的數據，所以也有較大的數據噪聲，其中夾雜較多無價值的數據。最后，金融數據擁有較快的變化，所以要求迅速完成數據處理。受這些因素的影響，金融數據的統計處理有較高的數據處理響應速度要求。但就目前來看，采用傳統數據統計計算方法已經難以滿足金融數據處理的快速響應需求。而分布式系統能夠提供并行統計計算算法，因此能夠用于進行大量金融數據的統計計算處理，繼而更好的應對信息時代給金融數據處理帶來的挑戰。

2.2 金融數據的并行統計計算

圖1 多元線性模型下的PLME

2.2.1 多元線性模型下的金融數據處理

在解決較多金融數據統計問題時，多元線性模型得到了使用。對該模型進行并行執行，能夠有效完成統計問題的快速分解和分析。如下式（1），為多元線性模型，式中X∈Rn*p為已知矩陣，對秩進行了給定，滿足rank（X）=p的條件，并且p≤n；Y∈Rn*1，為觀察得到的隨機向量；β∈Rp*1，指的是未知參數向量；σ2為正未知參數，I∈Rn*n，指的是單位陣。

在該模型中引入并行最大似然估計這一并行算法，則能分別將觀察樣本（X，Y）發送至r各節點，然后利用隨機區域分解從各節點中獲得不同子樣本，并標記為（Xi,Yi），然后進行子樣本最大似然估計計算（MLE）。完成各節點估算，則能得到PLME。采用該算法，就是利用區域分解法解決統計問題。（如圖1）為多元線性模型下的PLME，po為子樣本長度。

為驗證利用該算法處理金融數據的有效性，可以破產數據為樣本。該數據集中包含4500個觀察樣本，被稱之為“Bank32nh”，擁有二維輸出值和31個連續屬性。利用R軟件完成數據擬合，則能發現在二維輸出上，相關系數R2為0.4156，連續屬性F統計量則為102.5。對其子集檢驗PLME，使r取值7，并使rank（Ei）=ni=51，則能得到如下表1的相關系數序列。而31個屬性二維輸出值的PLME為關于子集估計含權為1/7的加權LS估計，其擁有與加權LS相同的統計特性，每個估計相關系數都比MLE大[4]。利用PLME，則能完成最優子集的查找。具體來講，就是將r取1，然后使子集為350：400，可得R2為0.861，其將比總體大。對PLME時間性能進行驗證，可以分別模擬對2、4、8、16個節點進行變形處理，產生的樣本則來自于多元線性模型，樣本數為1.6*106，p為3，子樣本數為5000，可以得到處理2、4、8、16個節點分別能夠得到3.08、1.66、1.01和0.64s的時間性能[5]。由此可見，利用該算法進行金融數據處理，可以得到與節點數近似線性的速度。而在p點增加的情況下，執行時間也將有所增加。通過增加節點數，則能減少大型數據集處理的時間成本。

表1 子集相關系數

2.2.2 并行自助模型下的金融數據處理

目前，在對計量經濟學問題進行處理時，可以使用并行自助法獲得數據處理的線性速度。現階段，盡管并行計算軟件已經得到了廣泛使用，但是并行統計計算尚未得到廣泛使用。利用并行自助法，則能為金融數據處理提供新的途徑。具體來講，在金融數據為獨立同分布的樣本數據和相依樣本數據時，可以利用并行自助模型進行數據處理。因為這類樣本具有一定的統計特性，能夠通過使用并行自助得到最優子樣本長度[6]。因為，如果金融數據樣本長度過大，將導致數據處理花費過多時間用于緩沖。如果樣本長度過小，采用重抽樣法進行數據統計則將導致數據的相依性遭到破壞，進而導致數據處理精度降低。所以在處理金融數據時，需完成合理子樣本長度的選擇。采用并行自助估計算法，需要假設樣本X的函數為θ?，指的是參數θ的估計[7]。利用下式（2）和（3）對θ?的偏和方差進行計算，則能得到樣本的并行自助估計。估計參數的均方誤差MSE則應該為E（θ?-θ）2。而參數漸近均方誤差AMSE為漸近最優子樣本長度的MSE，所以可以根據均方誤差得到最優子樣本長度。

為驗證該種并行統計算法的有效性，可以使用瑞士養老基金基準LPP2005REC數據為測試對象，并選取其中8列作為樣本數據，具體包含LMI、SBI和SPI。如下表2，為各子樣本長度kBopt和RMSE。在B取值1200的條件下，最優子樣本長度在11-18之間。而在B逐漸增加的條件下，樣本長度也將增加。所以，在金融數據為高維數據集的情況下，采用并行自助算法能夠有效減輕數據統計計算負擔[8]。而重抽樣的性能與子樣本長度有著直接的關系，因此在金融數據處理軟件中常常會將n1/3當成是最優子樣本長度，以提高重抽樣的速度性能，進而使更多的金融數據統計問題得到解決。

表2 樣本數據均值估計的最佳子樣本長度

結論

通過分析可以發現，隨著信息時代的到來，在對金融數據進行處理時，還要利用并行統計計算完成海量數據的統計分析，才能盡快得到有用的數據信息，進而為金融業創造更多的價值。因此，相信隨著相關技術的發展，并行統計計算將在金融業得到廣泛的應用，進而為金融數據的處理提供有力的技術支撐。

[1]李浩光.數據挖掘在防范金融風險中的研究及應用[J].計算機安全,2014,02：48-51.

[2]董春,袁衛平,亢曉琛,張玉,喬慶華.地理國情大數據基本統計的多進程并行計算[J].測繪科學,2014,05：13-17.

[3]宋磊,尹俊平,陳虹.基于R的并行統計計算[J].計算機科學, 2013,03：95-99.

[4]李湛.金融大數據中的并行查詢[J].中國金融,2015,10：79-80.

[5]代紅.基于Hadoop的金融智能云平臺分布式架構[J].遼寧科技大學學報,2016,03：223-228.

[6]任媛媛,姚宏亮.嶺回歸視角下金融數據分析與算法實現[J].經濟研究導刊,2013,32：206-209.

[7]王泰積,劉威儀,李竹渝.金融區間數據的動態回歸模型比較與實證檢驗[J].統計與決策,2011,06：28-31.

[8]柴志雷,張圓蒲.基于GPU的輪廓提取算法的并行計算方法研究[J].計算機應用研究,2015,02：630-634.