控制海量數據傳輸中件間關鍵技術

摘 要：中件間關鍵技術是如今很多公司和研究機構廣泛參與和應用的新技術，但是中件間關鍵技術在進行數據特別是海量數據傳輸時不僅效率低下而且可靠性也根本達不到較高要求。本文通過闡述中間件技術的總體設計、文件處理流程和總體結構和模塊外部設計，來解決中件間技術在海量數據傳輸中效率低、可靠性低的問題。

關鍵詞：海量數據；數據傳輸；中件間關鍵技術

中圖分類號：TP311.52 文獻標識碼：A 文章編號：1674-7712 （2014） 14-0000-02

中件間關鍵技術是如今很多公司和研究機構廣泛參與和應用的新技術，它突破了傳統的分布式計算機模型在通信、應用方面的限制，輕松應對客戶需求的快速變化。但是中件間關鍵技術在進行數據特別是海量數據傳輸時，不僅效率低下，而且可靠性也根本達不到較高要求。所以，如何能在保留中件間關鍵技術融合異構網絡特性的同時，改善其大數據量傳輸的性能和穩定性，必定能提升其應用范圍，提高解決方案的效率，所以研究基于中件間關鍵技術的海量數據傳輸將具有深遠意義。

一、相關概念闡述

數據交換是指信息資源在互相之間聯網的兩個或兩個以上不同計算機系統之間發送、傳輸、接收的過程[1]。數據交換平臺是指特質專用于為互相之間聯網的不同計算機系統集中分發、中轉、傳輸、接收數據的計算機網絡信息系統。發送方是指在一次數據交換過程中，交換的初始發起機構或者發送者。接收方是指在一次數據交換過程中，交換的最終接收機構或者接收者。交換節點是指信息資源共享交換平臺的組成部分，實現信息資源的適配、轉換盒傳輸。交換流程是指按照特定規則，由組件編排組合并完成特定數據交換任務的工作程序。

二、總體設計需求規格

海量數據傳輸的需求主要包括：配置管理、消息發送、消息接收、文件傳輸、系統監控。

（一）配置管理

配置管理就是消息發送者發送數據和文件，從而達到發送信息的目的，消息接收者接取數據和文件，從而達到接收信息的最終目的。如圖1所示，在整個過程中系統管理員配置文件，系統監控人員負責系統監控，系統管理員和系統監控人員都屬于系統管理人員。

（二）消息發送

消息發送就是消息發送者通過客戶端連接創建，發送數據、發送文件，查詢發送狀態，查詢事件報告等功能。如圖2所示，發送的文件和數據都屬于發送的消息，發送的信息可以進行數據打包、消息切片、重發信息、發送確認等處理，對數據打包時，分為數據加密、壓縮和生成驗證碼等[2]。發送的信息通過重發信息和發送確認兩個環節實現信息傳遞，同時在查詢發送狀態時可以查詢發送隊列狀態信息。

（三）消息接收

消息接收就是消息接收者接收到信息后，對信息進行提取，然后進行存儲，提交接收數據和文件，也就是提交信息，接收到這些提交的信息后進行數據解包、消息組合、請求重發信息和發送確認信息等。數據解包可以進行驗證效驗碼、解壓和數據解密等操作。最后通過數據解包、消息組合、請求重發信息和發送確認信息進行傳遞信息。

（四）文件傳輸

文件傳輸就是文件傳輸者通過發送文件來達到發送信息的目的，這是數據傳輸的直接利用。

（五）系統監控

系統監控主要包括系統管理、隊列管理、連接管理、配置管理和日志管理等。其中系統管理主要是操作系統和數據交換系統，通過前者可以實現查看CPU、查看內存、查看硬盤的目的，通過后者可以實現啟動或者停止服務、清除內存。隊列管理主要是查看列表，可以測試消息、清空隊列。連接管理也是查看列表的方式，可以進行重連和關閉系統。配置管理主要包括客戶授權管理和報警配置，可以對信息進行增加和刪除。日志管理也是為了查看列表，可以對信息下載、刪除或者全部清空處理。

三、文件處理流程

（一）數據連接處理流程

如圖3所示，數據連接處理流程首先要根據用戶名密碼創建連接工廠來獲取連接，確認連接對象，判斷是否需要連接，然后發送連接狀態信息。服務端在獲取連接后要判斷是否已經建立連接，如果建立就根據用戶名，查找對應的連接對象并返回到連接對象，如果沒有建立連接就要補充建立連接并返回連接對象，服務端在獲取連接狀態信息后要接收連接狀態檢查請求并返回連接狀態[3]。

（二）系統監控處理流程

系統監控處理流程包括請求、處理請求、組裝結果返回、解析結果和展示結果等環節。用戶端通過查看頁面向數據交換系統資源管理器發送處理請求，數據交換系統資源管理器接收請求后向數據交換系統管理節點發送處理請求，即SNMP請求，最后由數據交換系統管理節點處理請求，把組裝結果返回。經過數據交換系統資源管理器解析結果后，用戶端可以查看結果，達到系統監控處理的目的。

（三）消息應答處理流程

消息應答處理流程主要包括消息正確處理流程、消息不正確處理流程和傳輸命令應答流程。在消息正確處理流程中結束數據要使用標準協議接收報文數據，通過隊列管理判斷消息報文是否正確，并且寫入接收請求隊列中填寫正確應答報文，最后使用標志協議發送報文數據。消息不正確處理流程中隊列管理在判斷消息報文時填寫不正確應答報文，并且使用標志協議發送報文數據。傳輸命令應答流程中經過使用標準協議接收報文數據后，隊列管理判斷傳輸命令報文是否正確，如果正確就填寫傳輸命令應答報文，并使用標準協議發送報文數據[4]。

（四）異常信息處理流程

異常信息處理流程主要判斷消息報文格式是否正確、數據校驗是否通過、數據類型是否有效、數據分包是否正確、數據包是否太短、數據加密是否正確、數據壓縮是否正確，是否繼續而不重復數據，如果這些判斷有錯誤的結果，那么將寫入日志并輸出到監控信息。

四、總體結構和模塊外部設計

（一）系統體系結構

數據交換系統分為基礎功能、消息功能、與應用系統外部接口。數據交換系統的基礎功能主要由配置管理、日志、安全。其中安全功能主要包括數據加密和數據校驗。

消息功能主要由客戶端連接創建、文件傳輸、消息傳輸、隊列、消息存儲、系統監控等方面。其中消息傳輸主要由打包解包、傳遞信息、確認控制、重傳控制、數據校驗、消息切分組合、壓縮解壓。其中文件傳輸包括：文件切片和重組。

（二）系統物理架構

數據交換系統物理架構主要是通過操作終端，借助于網絡進行備份設備、交換信息和數據交換系統等方面，這些環節都在交換節點進行。

（三）系統組件

系統組件以配置文件為核心，客戶端創建連接、文件切片或者重組、消息切片或者存儲、打包解包、傳遞信息、確認控制、重傳控制、系統控制、消息存儲和日志都是圍繞配置文件展開。打包解包還包括上文提到的數據加密、數據校驗和壓縮解壓等，另外系統監控通過隊列進行消息存儲，消息通過存儲后進入文件數據庫，所以這是一個有機整體。

五、結束語

通過以上分析可以看出，對中件間總體設計要抓住海量數據的配置管理、消息發送、消息接收、文件傳輸、系統監控等方面，中件間的總體結構和模塊外部設計要從系統體系結構、系統物理架構和系統組件等方面著手，這樣才能解決中件間關鍵技術在海量數據傳輸時不僅效率低下，而且可靠性也根本達不到較高要求的問題。

參考文獻：

[1]周明輝，鄧佳，郭長國.基于中間件的動態重配置容錯對象管理框架[J].計算機學報，2005（09）：1431-1439.

[2]張志偉，隋品波，郭長國.分布對象中同件異步消息的研究與實現[J].計算機學報，2004（12）：1626-1632.

[3]徐明發.分布式應用系統的數據傳輸功能的研究與開發[J].計算機與現代化，2003（09）：629-635.

[4]劉紹華，魏峻，黃濤.基于服務協作中間件的動態流程模型[J].軟件學報，2004（10）：1431-1440.

[作者簡介]劉彥能（1983.09-），男，廣東創能科技工程有限公司；周邵敏（1985.09-），男，廣東創能科技工程有限公司。