基于大數據的Web服務傳輸方案的構建與實現

劉強　 宋傳志

【摘要】 Web服務屬于普通常用的面向對象服務架構方式，但Web服務在面向對象架構實現的網絡中，仍然存在大數據網絡傳輸效率低下的問題。如可能夠有效提高大數據在網絡中的傳輸速率，使其可以迅速響應客戶端發來的大數據信息請求，增強網絡用戶的體驗感，是研究Web服務傳輸方案的根本問題。本文在分析了Web服務在網絡中的傳輸原理基礎上，提出了基于取模分類和多線程的大數據Web服務傳輸方案，在提高大數據傳輸速率的同時，增強了網絡用戶的體驗感。

【關鍵詞】 大數據 Web服務 Web傳輸

隨著現代社會信息化建設的進步，各種網絡應用程序已經普遍應用于各領域中，網絡軟件越來越多，包括互聯網子郵件系統、數據搜索引擎系統、文件信息上下載系統等，使網絡需要在同一時間內處理的數據量越來越多，面臨著海量數據傳輸效率低下的問題。

一、Web服務概念

Web服務是一種新型的網絡應用程序，也是一種模塊化的網絡應用，Web服務能夠處理簡單的網絡請求，也可以處理邏輯結構復雜的網絡應用，其有強大的數據處理功能。當Web服務部署完成之后，其他網絡應用程序則可以隨時調用其部署的功能性服務。

SOA指的是一種應用于跨網絡平臺和網絡驅動業務的架構模型，SOA架構模型可以按照實際需求利用分布式部署、組合部署等模式對松散耦合的粗粒度組件進行部署，其服務層是整體架構模型的基礎部分，可以被網絡應用程序直接調用，對網絡系統中存在的交互依賴性進行控制。SOA架構模型具有以下幾點優勢：（1）編碼靈活度較高，可以利用不同的組合方式創建基于模塊化服務，充分體現了SOA架構模型編碼的靈活性。而且，由于網絡服務用戶不會直接對服務提供者進行訪問，因此，這種網絡服務的本身也具有較高的靈活性。（2）明確每個開發工作人員的任務角色，例如，負責客戶端編程的應用程序開發工作人員只需要考慮界面設計層，不需要掌握數據層的邏輯轉換模式，重點解決具有重大價值的數據業務。（3）能夠支持多種客戶類型，SOA架構模型利用服務接口，以及對Web服務標準的支持，能實現對多種客戶類型的數據處理業務，包括智能手機、平板電腦等網絡訪問。（4）SOA架構模型便于后期維護，其采用的開放性標準協議，以及提供的松散耦合關系，可以有效保證后期維護簡單便捷。（5）具有良好的伸縮性和可用性，網絡服務的提供者相互獨立，可以在集群環境中進行靈活部署。

二、基于大數據的Web服務傳輸方案的構建

在現有的大數據Web服務傳輸方案中，應該盡量選擇一次性的調用解決方式，如果期望得到快速的大數據處理請求，可以采用一次調用、多次返回的解決方式，將一個返回數據分解成為多個輕量返回數據，從而使返回數據處理更加方便靈活，以此實現快速返回第一次調用數據的實際需求。但是，想要在大數據Web服務傳輸方案中采用多次返回數據的解決方式，必須采用多線程技術。

如何將多線程技術應用于Web服務傳輸中，必須綜合考慮多線程技術的特性，將一個任務分割成為多個任務。通常情況下，一個任務的最終目標是十分明確的，就是使用戶獲得請求的全部數據。當應用多線程技術后，需要給每個線程分配各自的任務，使每個線程都可以獲得指定數據，由此，提出取模分類的方法，將任務分配給多個線程。

取模分類方法指的是根據用戶發出的請求建立索引值，經過取模運算后可以將全部數據按照取模運算后得到的余數進行分類，此時，每個線程都可以查詢到與其對應的分類數據，由此，一個數據查詢任務被分割成為多個輕量數據查詢任務，獲得的第一個返回數據的時間是最快的響應時間。

隨著網絡技術的普及應用，網絡承載的數據量越來越多，傳統的數據庫系統已經不能滿足目前網絡海量數據處理的實際需求，造成了網絡數據傳輸效率低下。取模分類和多線程技術應用于Web服務傳輸方案中，可以有效提高海量數據傳輸效率，增強網絡系統的可擴展性。

三、基于取模分類和多線程的Web服務傳輸方案的實現

3.1 取模分類方法

取模運算經常應用于程序設計中，設定一個整數P和任意一個整數N，存在N=KP+R，其中，K和R均為整數，0≤R

對于整數P，a，b來說，將其取模運算定義為a mod P，以a除以P的余數。在取模運算的基礎上，將一個整數集合A={1，2，3，4，5，6}的模值設定為3，對集合中的每個整數進行取模運算，分別得到0，1，2三個余數，再按照余數將集合A分成三個類型，{A1，A4}mod 3=1；{A2，A5}mod 3=2和{A3，A6}mod 3=0。

同理可得，對于任意整數集合Z來說，都可以為其設置一個模值n（n∈N），由此，將集合Z進行取模運算之后，可以按照余數分成n個子集合Zi（i∈N）。

3.2 多線程技術

當客戶端發出請求處理大量數據時，會造成數據庫系統的數據處理時間增多，使得大量數據在網絡傳輸中耗費過多時間，降低了網絡用戶的體驗感，想要獲得請求數據必須等候較長時間。如果客戶端請求的數據處理量較小，必然會縮短網絡數據傳輸和處理時間。如果將客戶端發送的數據請求按照取模分類進行計算，將模值設置為N，每個線程傳輸1/N，可以有效縮短網絡用戶請求數據的等待時間。

目前，網絡下載普遍采用的是多線程技術，以此提高網絡傳輸速度，客戶端將預先設置的模值分為N個線程，每個線程獲得與其對應的數據，由此，當第一個線程完成數據傳輸的時間就是客戶端響應時間，該時間比一次性獲取全部數據縮短很多，此時，剩余的線程通過持續加載，多個線程的數據傳輸時間也明顯少于單個線程的數據傳輸時間，取模分類和多線程技術數據傳輸原理如圖1所示：

多線程技術的應用需要設置合理的模值，在大數據傳輸過程中，保證每個線程任務分配合理，不會占用過多的系統開銷時間，以此實現大數據在網絡中的快速傳輸。

四、結論

綜上所述，本文將取模分類方法和多線程技術應用于Web服務傳輸中，可以迅速響應客戶端發出的數據請求，提高網絡用戶的體驗感。本方案按照客戶端發出的數據請求特征，采用取模運算方法，分成多個任務在不同線程內進行傳輸，該方案的有效應用可以明顯縮短客戶端的數據需求響應時間，切實提高網絡用戶的滿意度，具有良好的實踐應用意義。

參 考 文 獻

[1] 許春玲，范志剛，宋應文. 機器學習算法的網絡大數據級應用實踐[J]. 網絡新媒體技術，2012，06：63-69

[2] 季文天. 語義Web下大數據量模糊聚類分析[J]. 電腦知識與技術，2011，27：6571-6572

[3] 趙越，陳志偉，蔡淑惠，顏志平. 大數據量科學計算數據的動態Web可視化[J]. 現代計算機（專業版），2012，14：3-6

[4] 江永源. Web大數據量頁面優化實踐[J]. 程序員，2010，05：107-108

[5] 涂平，朱曉鈴，滿旺. 大數據量數據網絡傳輸研究與實現[J]. 微型機與應用，2010，07：6-9

[6] 熊小華，王帥，寧愛兵. 基于Web服務的大數據訪問性能優化研究[J]. 上海第二工業大學學報，2007，04：271-275