基于Winsock 的分布式數(shù)據(jù)處理技術(shù)

張 磊

（1. 福建省基礎(chǔ)地理信息中心，福建 福州 350003）

隨著地理信息產(chǎn)業(yè)的快速發(fā)展，矢量數(shù)據(jù)、衛(wèi)星遙感影像數(shù)據(jù)、三維數(shù)據(jù)等地理信息數(shù)據(jù)的數(shù)據(jù)量呈級(jí)數(shù)增長(zhǎng)[1]，數(shù)據(jù)處理工作對(duì)軟硬件設(shè)備和網(wǎng)絡(luò)運(yùn)行環(huán)境提出了更高要求。由于硬件設(shè)備和網(wǎng)絡(luò)運(yùn)行環(huán)境升級(jí)改造的成本較高，很多地理信息數(shù)據(jù)處理軟件將單機(jī)作業(yè)模式轉(zhuǎn)向集群化作業(yè)模式，以獲得更高的生產(chǎn)效率；然而，數(shù)據(jù)處理軟件的升級(jí)成本同樣較高。

目前，從事地理信息數(shù)據(jù)處理工作的部門已配備了大量計(jì)算機(jī)資源和穩(wěn)定可靠的網(wǎng)絡(luò)運(yùn)行環(huán)境。通過(guò)借鑒集群化數(shù)據(jù)處理的思路，本文提出了一種基于Winsock的分布式數(shù)據(jù)處理技術(shù)，利用Winsock設(shè)計(jì)并開(kāi)發(fā)分布式處理程序，將多臺(tái)計(jì)算機(jī)組建成工作群，分布式協(xié)同處理需要消耗大量計(jì)算機(jī)資源的任務(wù)，從而快速提升數(shù)據(jù)處理效率。

1 技術(shù)路線

TCP/IP可實(shí)現(xiàn)異構(gòu)網(wǎng)絡(luò)無(wú)縫鏈接，但其底層協(xié)議復(fù)雜，開(kāi)發(fā)難度較大；而Winsock為開(kāi)發(fā)者提供了一種便捷訪問(wèn)TCP/IP 網(wǎng)絡(luò)的方法[2]。開(kāi)發(fā)者利用Winsock控件函數(shù)，可輕松基于TCP或UDP協(xié)議與遠(yuǎn)程計(jì)算機(jī)建立鏈接，大幅降低計(jì)算機(jī)通信的開(kāi)發(fā)難度[3]。

基于Winsock的分布式數(shù)據(jù)處理技術(shù)路線為（圖1）：①利用Winsock控件在局域網(wǎng)中搭建靈活性強(qiáng)的C/S應(yīng)用程序，將遠(yuǎn)程計(jì)算機(jī)組建成工作群；②根據(jù)地理信息數(shù)據(jù)處理業(yè)務(wù)需求開(kāi)發(fā)數(shù)據(jù)處理模塊，并部署在客戶端；③通過(guò)服務(wù)器端發(fā)布數(shù)據(jù)處理任務(wù)指令，客戶端接收任務(wù)指令并執(zhí)行，從而實(shí)現(xiàn)多機(jī)分布式協(xié)同工作。

圖1 技術(shù)路線圖

2 程序設(shè)計(jì)

結(jié)合地理信息數(shù)據(jù)處理業(yè)務(wù)需求，本文充分利用現(xiàn)有軟硬件和網(wǎng)絡(luò)運(yùn)行環(huán)境，從程序架構(gòu)、通信模塊、處理模塊、可擴(kuò)展性等方面設(shè)計(jì)靈活的C/S程序，將局域網(wǎng)中多臺(tái)計(jì)算機(jī)組建成工作群，以服務(wù)器端發(fā)布任務(wù)指令、多個(gè)客戶端接收并執(zhí)行任務(wù)指令的方式進(jìn)行分布式數(shù)據(jù)處理，從而快速提升數(shù)據(jù)處理效率。

2.1 軟硬件和網(wǎng)絡(luò)運(yùn)行環(huán)境

軟硬件和網(wǎng)絡(luò)運(yùn)行環(huán)境原則上應(yīng)充分利用現(xiàn)有設(shè)備和資源。由于大數(shù)據(jù)量地理信息數(shù)據(jù)處理的效率很大程度上取決于計(jì)算機(jī)硬件、存儲(chǔ)設(shè)備、網(wǎng)絡(luò)等設(shè)備的性能，因此在經(jīng)費(fèi)允許的情況下，可優(yōu)先提升計(jì)算機(jī)硬件性能，其次提升存儲(chǔ)設(shè)備性能和網(wǎng)絡(luò)帶寬，以提升工作群的整體處理效率。

2.2 程序架構(gòu)

TCP 提供的是面向鏈接的、可靠的數(shù)據(jù)流傳輸[3]，為了安全、穩(wěn)定地協(xié)調(diào)多臺(tái)遠(yuǎn)程計(jì)算機(jī)資源進(jìn)行分布式數(shù)據(jù)處理，程序設(shè)計(jì)采用TCP 協(xié)議進(jìn)行通信，需分別建立客戶端和服務(wù)器程序[4]。程序功能主要包括計(jì)算機(jī)資源管理、處理任務(wù)信息傳遞、地理信息數(shù)據(jù)處理等。為便于數(shù)據(jù)處理功能的擴(kuò)展，程序設(shè)計(jì)可采用傳遞參數(shù)的方式調(diào)用外部定制開(kāi)發(fā)的數(shù)據(jù)處理模塊或成熟商業(yè)軟件的數(shù)據(jù)處理模塊[5]。程序架構(gòu)設(shè)計(jì)如圖2所示。

圖2 程序架構(gòu)圖

服務(wù)器端程序的主要功能是統(tǒng)一調(diào)度計(jì)算機(jī)資源、對(duì)客戶端下達(dá)數(shù)據(jù)處理任務(wù)指令以及監(jiān)控客戶端數(shù)據(jù)處理任務(wù)的執(zhí)行進(jìn)度等，以保障計(jì)算機(jī)工作群組的高效協(xié)同處理。服務(wù)器端程序無(wú)需處理數(shù)據(jù)，對(duì)計(jì)算機(jī)資源占用較少，可選擇配置較低的計(jì)算機(jī)。客戶端程序的主要功能是上傳計(jì)算機(jī)資源信息、執(zhí)行數(shù)據(jù)處理任務(wù)指令以及上傳數(shù)據(jù)處理任務(wù)進(jìn)度信息等。客戶端程序的核心功能是執(zhí)行數(shù)據(jù)處理任務(wù)，對(duì)計(jì)算機(jī)資源占用較多，應(yīng)盡量選用性能較高的計(jì)算機(jī)。

2.3 通信模塊

計(jì)算機(jī)標(biāo)識(shí)是計(jì)算機(jī)通信唯一的身份標(biāo)識(shí)信息，主要為客戶端與服務(wù)器端之間創(chuàng)建的唯一鏈接標(biāo)識(shí)碼信息。通信模塊設(shè)計(jì)包括通信內(nèi)容設(shè)計(jì)、信息編碼規(guī)則設(shè)計(jì)和通信頻次設(shè)計(jì)3個(gè)方面。

1）通信內(nèi)容。為實(shí)現(xiàn)服務(wù)器端統(tǒng)一管理和調(diào)度客戶端協(xié)同工作，服務(wù)器端與客戶端程序之間的信息傳遞具有至關(guān)重要的作用。通信內(nèi)容主要包括資源信息、任務(wù)信息和執(zhí)行信息等，資源信息是客戶端對(duì)服務(wù)器端上傳的計(jì)算機(jī)資源信息，包括IP 地址、機(jī)器名、用戶名和程序并行運(yùn)行線程數(shù)量等；任務(wù)信息是服務(wù)器端對(duì)客戶端分配下達(dá)數(shù)據(jù)處理任務(wù)，包括任務(wù)分配編號(hào)、調(diào)用的處理功能、數(shù)據(jù)輸入的文件清單、輸出的文件路徑和其他運(yùn)行參數(shù)的設(shè)置；執(zhí)行信息是客戶端對(duì)服務(wù)器端上傳程序運(yùn)行處理狀態(tài)信息，包括任務(wù)分配編號(hào)、任務(wù)執(zhí)行狀態(tài)和數(shù)據(jù)輸出情況等信息。

2）信息編碼規(guī)則。服務(wù)器端與客戶端通信是一對(duì)多的關(guān)系，且傳遞的信息包括多方面的內(nèi)容，需要以一定的規(guī)則對(duì)傳遞的信息進(jìn)行編碼，以便服務(wù)器端與客戶端之間的通信順暢。傳遞的信息可劃分為信息標(biāo)識(shí)和信息內(nèi)容兩個(gè)部分，因此可按照“信息標(biāo)識(shí)+信息內(nèi)容”的規(guī)則進(jìn)行編碼和解碼。信息標(biāo)識(shí)是計(jì)算機(jī)間通信信息內(nèi)容的類別標(biāo)識(shí)信息，主要包括資源信息、任務(wù)信息和執(zhí)行信息3 大類；信息內(nèi)容是計(jì)算機(jī)間通信的具體內(nèi)容，主要包括資源信息、任務(wù)信息和執(zhí)行信息的詳細(xì)內(nèi)容，信息內(nèi)容還可根據(jù)內(nèi)部組成部分進(jìn)一步細(xì)分，用特定的標(biāo)識(shí)符進(jìn)行鏈接。

（1） 菌懸液的制備。將供試菌金黃色葡萄球菌、枯草芽孢桿菌、大腸桿菌分別接種到斜面牛肉膏蛋白胨培養(yǎng)基上，再培養(yǎng)18～24 h，取出后使用5 mL無(wú)菌生理鹽水洗出，稀釋成質(zhì)量濃度為1×107～1×108CFU/mL的菌懸液置于無(wú)菌操作室內(nèi)備用。

3）通信頻次。客戶端與服務(wù)器端進(jìn)行通信時(shí)，可根據(jù)通信內(nèi)容設(shè)置不同的通信頻次，以節(jié)省網(wǎng)絡(luò)通信資源。資源信息通信可設(shè)置在客戶端與服務(wù)器端建立鏈接或斷開(kāi)鏈接時(shí)觸發(fā)，任務(wù)信息通信可設(shè)置在服務(wù)器端給客戶端分配任務(wù)時(shí)觸發(fā)，執(zhí)行信息通信可設(shè)置在客戶端每間隔一段時(shí)間給服務(wù)器端上傳任務(wù)執(zhí)行情況時(shí)觸發(fā)。

2.4 處理模塊

首先在分析數(shù)據(jù)處理任務(wù)中各環(huán)節(jié)所需的計(jì)算機(jī)資源和處理時(shí)間的基礎(chǔ)上，對(duì)可利用分布式處理方式提升生產(chǎn)效率的步驟進(jìn)行匯總；然后有針對(duì)性地開(kāi)發(fā)數(shù)據(jù)處理模塊，并部署在客戶端計(jì)算機(jī)上。處理模塊需采用統(tǒng)一的調(diào)用接口，以便服務(wù)器端協(xié)調(diào)多個(gè)客戶端同時(shí)執(zhí)行數(shù)據(jù)處理任務(wù)。

2.5 可擴(kuò)展性

為豐富程序分布式數(shù)據(jù)處理和管理能力，可從處理功能和信息內(nèi)容兩個(gè)方面提升程序的可擴(kuò)展性。處理功能可根據(jù)生產(chǎn)任務(wù)的需要，開(kāi)發(fā)采用統(tǒng)一調(diào)用接口可獨(dú)立運(yùn)行的程序或依賴于其他運(yùn)行環(huán)境的程序。這些處理模塊需提前部署在客戶端計(jì)算機(jī)上，并確保能正確調(diào)用和運(yùn)行。信息內(nèi)容方面除核心傳遞信息外，可按照一定規(guī)則進(jìn)行擴(kuò)展，以提升服務(wù)器端的管理能力，如可擴(kuò)展計(jì)算機(jī)內(nèi)存使用、CPU使用、磁盤空間使用、機(jī)器運(yùn)行耗時(shí)和數(shù)據(jù)處理量等信息。

程序可通過(guò)添加計(jì)劃執(zhí)行時(shí)間對(duì)數(shù)據(jù)處理任務(wù)進(jìn)行規(guī)劃，合理利用計(jì)算機(jī)資源。程序在處理大批量數(shù)據(jù)時(shí)，需考慮網(wǎng)絡(luò)資源的負(fù)載情況，若數(shù)據(jù)處理過(guò)程中需占用大量網(wǎng)絡(luò)資源，可在后臺(tái)提前將數(shù)據(jù)拷貝到本機(jī)后處理，再將結(jié)果拷貝至指定的輸出路徑，避免長(zhǎng)時(shí)間占用網(wǎng)絡(luò)資源。服務(wù)器端下達(dá)處理任務(wù)的輸入、輸出路徑參數(shù)需為聯(lián)網(wǎng)計(jì)算機(jī)的統(tǒng)一訪問(wèn)路徑，并注意這些文件或文件夾是否都有讀寫(xiě)權(quán)限。在計(jì)算機(jī)資源允許的情況下，可在一臺(tái)計(jì)算機(jī)啟動(dòng)多個(gè)客戶端或在一個(gè)客戶端啟動(dòng)多個(gè)線程進(jìn)一步提升效率。

3 實(shí)現(xiàn)效果

歸一化植被指數(shù)（NDVI）能反映植被葉綠素、葉片水分含量等信息，被廣泛應(yīng)用于干旱監(jiān)測(cè)中[6]；歸一化差分水體指數(shù)（NDWI）可有效抑制植被信息并突出水體信息，一般用于提取水體信息[7]。NDVI 和NDWI 的計(jì)算方法簡(jiǎn)單，是遙感影像信息解譯最常用的技術(shù)手段。實(shí)驗(yàn)以NDVI 和NDWI 計(jì)算任務(wù)為例，首先根據(jù)上述程序設(shè)計(jì)思路分別開(kāi)發(fā)服務(wù)器端和客戶端，再分別開(kāi)發(fā)NDVI 和NDWI 數(shù)據(jù)處理模塊，最后對(duì)單機(jī)數(shù)據(jù)處理與分布式數(shù)據(jù)處理的執(zhí)行效率進(jìn)行對(duì)比分析，從而驗(yàn)證該技術(shù)方法的可行性和高效性。技術(shù)方法流程如圖3所示。

圖3 技術(shù)流程圖

3.1 程序開(kāi)發(fā)

3.1.1 服務(wù)器端和客戶端

1）服務(wù)器端程序的主要功能包括與客戶端建立一對(duì)多的鏈接關(guān)系、顯示客戶端的鏈接情況、啟動(dòng)數(shù)據(jù)處理工作任務(wù)并將子項(xiàng)任務(wù)分發(fā)給多個(gè)客戶端以及接收和顯示每個(gè)客戶端傳送回來(lái)的子項(xiàng)任務(wù)執(zhí)行情況。為了同時(shí)與多個(gè)客戶端進(jìn)行通信，需在服務(wù)器端創(chuàng)建一個(gè)Winsock 控件用于監(jiān)聽(tīng)客戶端鏈接請(qǐng)求，創(chuàng)建一個(gè)Winsock 控件數(shù)組用于與客戶端建立一對(duì)多的鏈接關(guān)系。客戶端與服務(wù)器端發(fā)起鏈接時(shí)，服務(wù)器端需先查找空閑的Winsock 控件，再接受請(qǐng)求建立鏈接，與多個(gè)客戶端之間通過(guò)唯一鏈接標(biāo)識(shí)碼實(shí)現(xiàn)一對(duì)多通信。服務(wù)器端依照信息編碼規(guī)則和通信頻次設(shè)計(jì)方案，利用Winsock.SendData 編碼發(fā)送信息，利用Winsock.GetData接收解碼信息。客戶端與服務(wù)器端鏈接斷開(kāi)時(shí)，采用Winsock.Close關(guān)閉鏈接。

服務(wù)器端程序界面如圖4 所示，主要采用Win?sock、ListBox、ComboBox、TextBox、Timer 和Com?mandButton 等控件，其中Winsock 用于與客戶端建立鏈接，接收計(jì)算機(jī)資源信息、任務(wù)執(zhí)行信息和發(fā)送任務(wù)分配信息；ListBox用于存放輸入文件路徑清單、計(jì)算機(jī)工作群組資源和任務(wù)處理情況等信息；ComboBox用于選擇任務(wù)需要執(zhí)行的數(shù)據(jù)處理模塊；TextBox 用于設(shè)置輸出文件路徑和任務(wù)名等；Timer 用于控制任務(wù)計(jì)劃執(zhí)行的時(shí)間；CommandButton 用于啟動(dòng)任務(wù)執(zhí)行指令、清空文件列表和退出程序等。

圖4 服務(wù)器端程序界面

2）客戶端程序的主要功能包括與服務(wù)端建立一對(duì)一的鏈接關(guān)系、顯示服務(wù)器端的鏈接情況、接收服務(wù)器端分發(fā)的子項(xiàng)數(shù)據(jù)處理任務(wù)、調(diào)用數(shù)據(jù)處理模塊執(zhí)行子項(xiàng)任務(wù)以及顯示和發(fā)送子項(xiàng)任務(wù)的執(zhí)行情況。一臺(tái)計(jì)算機(jī)可同時(shí)啟動(dòng)多個(gè)客戶端，通過(guò)與服務(wù)器端唯一的鏈接標(biāo)識(shí)碼進(jìn)行區(qū)分，從而實(shí)現(xiàn)單機(jī)多線程數(shù)據(jù)處理。客戶端同樣需要依照信息編碼規(guī)則和通信頻次設(shè)計(jì)方案，利用Winsock.SendData 編碼發(fā)送信息，利用Winsock.GetData接收解碼信息，以保障客戶端與服務(wù)器端的通信順暢。客戶端與服務(wù)器端鏈接斷開(kāi)時(shí)，采用Winsock.Close關(guān)閉鏈接。

客戶端程序界面如圖5 所示，主要采用Winsock、TextBox 和CommandButton 等控件，其中Winsock 用于與服務(wù)器端建立鏈接、發(fā)送本機(jī)資源信息、接收任務(wù)分配信息和上傳任務(wù)執(zhí)行情況；TextBox 用于設(shè)置服務(wù)器端IP地址，顯示程序執(zhí)行任務(wù)編號(hào)、任務(wù)內(nèi)容和運(yùn)行狀態(tài)等信息；CommandButton 用于執(zhí)行鏈接服務(wù)器端和退出程序等。

圖5 客戶端程序界面

3.1.2 處理模塊

GDAL 是一個(gè)優(yōu)秀的開(kāi)源庫(kù)，支持柵格數(shù)據(jù)和矢量數(shù)據(jù)的操作[8]。結(jié)合Python 數(shù)值計(jì)算擴(kuò)展庫(kù)NumPy，可實(shí)現(xiàn)柵格數(shù)據(jù)的高效運(yùn)算[9]。NDVI和NDWI數(shù)據(jù)處理模塊的開(kāi)發(fā)和運(yùn)行環(huán)境為GDAL-202-1500-core、GDAL-2.2.3.win32-py2.7、Python2.7.18和NumPy-1.6.6-cp27-cp27m-win32。

首先通過(guò)sys.argv[]函數(shù)獲取外部輸入和輸出影像的路徑參數(shù)；再利用gdal.Open（）函數(shù)打開(kāi)輸入影像，利用GetRasterBand（）函數(shù)分別獲取綠、紅和近紅外波段數(shù)據(jù)，利用ReadAsArray（）.astype(numpy.float32)函數(shù)讀取影像值；然后按照NDVI=(近紅外波段-紅光波段)/(近紅外波段+紅光波段)、NDWI=(綠光波段-近紅外波段)/(綠光波段+近紅外波段)分別計(jì)算NDVI 和NDWI 值[10]；最后利用gdal.GetDriverByName（"HFA"）.Creat（）函數(shù)創(chuàng)建img 格式的輸出影像文件，并利用GetRasterBand（）.WriteArray（）函數(shù)將計(jì)算得到的數(shù)值寫(xiě)入輸出影像文件中，如圖6所示。

圖6 處理模塊開(kāi)發(fā)流程圖

該方法將柵格數(shù)據(jù)作為數(shù)學(xué)矩陣放入內(nèi)存中進(jìn)行矩陣計(jì)算，受計(jì)算機(jī)空閑內(nèi)存大小的影響較大，柵格數(shù)據(jù)的分塊粒度若太大將導(dǎo)致內(nèi)存不足而運(yùn)行失敗，若太小則嚴(yán)重影響運(yùn)行效率，因此實(shí)際應(yīng)用中需根據(jù)計(jì)算機(jī)可使用內(nèi)存大小選擇合適的矩陣大小，以確保程序穩(wěn)定高效運(yùn)行。實(shí)驗(yàn)采用單線程、逐行影像矩陣的方式計(jì)算NDVI 和NDWI 值，以便更好地測(cè)試分布式數(shù)據(jù)處理的運(yùn)行效率。

3.2 運(yùn)行結(jié)果

實(shí)驗(yàn)準(zhǔn)備了一臺(tái)工作站安裝服務(wù)器端程序，4 臺(tái)虛擬機(jī)安裝部署客戶端和運(yùn)行環(huán)境，一臺(tái)高性能存儲(chǔ)服務(wù)器用于數(shù)據(jù)輸入和計(jì)算結(jié)果輸出。4 臺(tái)虛擬機(jī)的硬件配置相同，均為英特爾至強(qiáng)E7-4830V2 處理器、32 GB 內(nèi)存、Windows 操作系統(tǒng)、千兆網(wǎng)卡和千兆網(wǎng)絡(luò)運(yùn)行環(huán)境，與工作站和存儲(chǔ)服務(wù)器之間互聯(lián)互通。以20 幅10 269 像素×10 204 像素的多光譜影像為例，分別測(cè)試單機(jī)和多機(jī)分布式協(xié)同執(zhí)行NDVI 和NDWI計(jì)算任務(wù)的耗時(shí)情況。

實(shí)驗(yàn)中單機(jī)作業(yè)模式設(shè)定為只利用4 臺(tái)虛擬機(jī)中的一臺(tái)，啟動(dòng)一個(gè)客戶端與服務(wù)器端相連，模擬單機(jī)單任務(wù)單線程逐項(xiàng)執(zhí)行數(shù)據(jù)處理任務(wù)；多機(jī)分布式協(xié)同作業(yè)模式設(shè)定為同時(shí)利用其中兩臺(tái)或4 臺(tái)虛擬機(jī)，分別啟動(dòng)一個(gè)客戶端與服務(wù)器端相連，模擬兩臺(tái)或4 臺(tái)計(jì)算機(jī)單任務(wù)單線程逐項(xiàng)分工協(xié)同執(zhí)行數(shù)據(jù)處理任務(wù)。

實(shí)驗(yàn)數(shù)據(jù)顯示，4 臺(tái)虛擬機(jī)雖然硬件配置一樣，但因各自安裝部署了與測(cè)試無(wú)關(guān)的軟件，在一定程度上影響了程序執(zhí)行效率。4 臺(tái)虛擬機(jī)單機(jī)作業(yè)模式下的任務(wù)耗時(shí)為46～60 min，兩臺(tái)效率較高的虛擬機(jī)組合多機(jī)分布式協(xié)同作業(yè)模式下的任務(wù)耗時(shí)為26 min，兩臺(tái)效率較低的虛擬機(jī)組合多機(jī)分布式協(xié)同作業(yè)模式下的任務(wù)耗時(shí)為32 min，4 臺(tái)虛擬機(jī)同時(shí)啟動(dòng)客戶端模擬多機(jī)分布式協(xié)同作業(yè)模式下的任務(wù)耗時(shí)約為14 min，具體情況如表1 所示。結(jié)果表明，采用多機(jī)分布式協(xié)同處理技術(shù)后，NDVI和NDWI數(shù)據(jù)處理效率得到明顯提升。

表1 程序執(zhí)行耗時(shí)統(tǒng)計(jì)表/min

4 結(jié) 語(yǔ)

本文針對(duì)地理信息數(shù)據(jù)量快速增長(zhǎng)帶來(lái)的處理效率問(wèn)題，從Winsock 通信技術(shù)入手，設(shè)計(jì)了一套基于Winsock 的分布式數(shù)據(jù)處理技術(shù)方法，然后按照程序設(shè)計(jì)思路開(kāi)發(fā)了分布式數(shù)據(jù)處理程序，并以常用的遙感影像NDVI 和NDWI 計(jì)算為例，對(duì)開(kāi)發(fā)的數(shù)據(jù)處理模塊進(jìn)行實(shí)驗(yàn)，驗(yàn)證了該套技術(shù)方法的可行性和高效性。

實(shí)驗(yàn)中未對(duì)數(shù)據(jù)處理算法進(jìn)行優(yōu)化，4 臺(tái)虛擬機(jī)均只啟動(dòng)了一個(gè)客戶端程序，未能充分利用計(jì)算機(jī)資源。若在處理模塊內(nèi)部加入分塊多線程并行計(jì)算技術(shù)，或每臺(tái)計(jì)算機(jī)同時(shí)啟動(dòng)多個(gè)客戶端程序，亦或調(diào)用成熟商業(yè)軟件數(shù)據(jù)處理模塊，運(yùn)行效率都將得到進(jìn)一步提升。同時(shí)，服務(wù)器端程序還可增加文件定時(shí)掃描觸發(fā)任務(wù)下達(dá)的功能，從而實(shí)現(xiàn)分布式數(shù)據(jù)處理的流程化和自動(dòng)化。該項(xiàng)技術(shù)的開(kāi)發(fā)難度較低，且具有較好的可擴(kuò)展性。通過(guò)推廣應(yīng)用該項(xiàng)技術(shù)，可充分利用計(jì)算機(jī)硬件和網(wǎng)絡(luò)運(yùn)行環(huán)境資源，大幅提高數(shù)據(jù)處理效率，為今后大數(shù)據(jù)量數(shù)據(jù)處理提供了新思路。