一種基于單向網絡通信場景的氣象數據文件快速分發軟件設計與實現

趙 凱,吳奮強,劉志強

(華風氣象傳媒集團有限責任公司,北京 100081)

0 引言

隨著網絡安全管理要求的不斷加強,企業的業務網絡通常被劃分為內網區(LAN Area)、非軍事區(DMZ)與互聯網區(Internet Area)[1]。這種通過在網絡防火墻上添加網絡報文進出方向限制策略來實現網絡分區管理的方式形成了一種單向網絡通信場景[2]:只能從內網區主動向DMZ區發起網絡請求,反之則被拒絕。在這種場景下,內網區存儲的數據文件需要被“二次傳輸”到DMZ區后才可以向用戶提供數據服務,這便帶來了2個問題:一是數據文件重復存儲造成存儲空間浪費問題;二是數據文件傳輸過程導致的時延問題。本文基于文件傳輸協議(File Transfer Protocol,FTP)[3]設計并實現了一種無需“二次傳輸”便可支持DMZ區訪問內網區數據文件的數據文件分發軟件,對于解決單向網絡通信場景下的數據文件快速分發問題有重要實踐意義。

1 研究背景

華風氣象傳媒集團有限責任公司(以下簡稱“華風”)采用上述策略對業務網絡進行安全管理,將網絡劃分為業務內網區、DMZ區、互聯網區,網絡分區如圖1所示。內網區存儲了大量氣象數據文件,DMZ區與互聯網區均禁止主動發起網絡請求訪問該區域。DMZ區部署了供用戶實時訪問數據文件的FTP服務器,可以接收來自互聯網的網絡請求。互聯網區部署了供用戶訪問的Web服務與數據API服務。在這種場景下,為了滿足用戶通過FTP客戶端軟件及時獲取氣象數據文件的需求,需要定時將內網區的氣象數據文件傳輸到DMZ區FTP服務器上進行存儲。這種“二次傳輸”給實時數據服務造成了大量存儲空間的浪費,增加了數據傳輸延遲,降低了客戶體驗。

2 數據流程分析

現有數據流程如圖2所示,當前華風的業務網絡與數據傳輸流程如下。

圖2 現有數據流程

(1)從上游數據源接收數據,并將其存儲在內網數據存儲中。

(2)利用Linux系統上的軟件工具Crontab[4]設置定時器,定時調用RSYNC[5]軟件工具將氣象數據文件二次傳輸到DMZ區部署的FTP服務器磁盤中。

(3)用戶通過標準的FTP客戶端軟件工具訪問DMZ區部署的FTP服務器獲取數據。

顯然,為了能夠讓用戶及時訪問氣象數據文件,需要將內網數據存儲中的氣象數據文件“二次傳輸”到DMZ區部署的FTP服務器上。要想解決數據重復存儲與數據傳輸延遲大的問題,就需要消除數據“二次傳輸”環節。

3 軟件總體構想

要消除數據文件“二次傳輸”環節,就需要本方案設計一些策略與機制將DMZ區FTP服務器接收到的對本地磁盤數據文件的讀取操作“轉化”為對內網數據存儲中數據文件的讀取操作,并遵守僅支持從內網主動建立到DMZ區的網絡連接管控策略。

軟件總體構想如圖3所示,本文計劃基于FTP文件傳輸協議,研發具備“接力傳輸”能力的氣象數據文件傳輸軟件(以下簡稱“FTP-CMD”),以與標準FTP服務器軟件相區別。軟件將采用客戶端-服務器(Client-Server,C/S)軟件架構,客戶端模塊FTP-CMD-Agent部署在內網區,服務器模塊FTP-CMD-Server部署在DMZ區,詳細作用如下。

圖3 軟件總體構想

FTP-CMD-Agent模塊定時地獲取FTP-CMD-Server隊列中存儲的從用戶標準FTP客戶端軟件發送過來的操作命令,并轉化為本地存儲的讀取操作,最后按照約定規范將操作結果推送給FTP-CMD-Server,再由FTP-CMD-Server交付給用戶標準FTP客戶端軟件。

FTP-CMD-Server模塊在標準FTP服務器軟件的基礎上增加了異步操作命令隊列的FTP服務。它支持現有的標準FTP客戶端軟件,用于接收用戶標準FTP客戶端軟件的數據操作命令,并將FTP-CMD-Agent模塊返回的數據內容交付給用戶標準FTP客戶端軟件。

通過將標準FTP服務器軟件對本機磁盤文件的同步讀取操作轉化為異步讀取內網區數據文件的操作,實現了數據文件的“接力傳輸”,避免了內網數據文件到DMZ區的“二次傳輸”,解決了數據重復存儲與數據傳輸延遲大的問題。

4 軟件模塊與運行流程設計

該軟件包含Server與Agent 2個模塊,核心流程設計如圖4所示。各模塊中的功能組件與交互流程設計如下。

圖4 核心流程設計

4.1 模塊組件

4.1.1 Server模塊

該模塊部署在DMZ區服務器上,核心組件包含FTP-Server、Cmd-Queue、Cmd-Server、Data-Server以及Session-Map,各組件的具體功能設計如下。

FTP-Server:該組件實現了標準FTP協議,負責解析用戶標準FTP客戶端軟件發送到DMZ區FTP服務器上的FTP命令,并根據命令的執行結果設置響應狀態與數據。

Cmd-Queue:一個由參數控制長度的內存隊列,由Golang語言的Channel實現,用于存放FTP-Server已接收到但尚未處理的FTP操作命令。

Cmd-Server:一個基于TCP協議實現的Socket服務,用于接收Agent模塊發來的命令獲取請求,并將需要Agent模塊執行的命令按JSON字符串編碼后以二進制流的形式進行響應。

Data-Server:一個基于TCP協議實現的Socket服務,用于接收Agent模塊發來的已執行完畢命令的操作結果數據。結果數據以二進制流的形式傳輸。

Session-Map:一個基于內存的哈希表,用于存放FTP-Server的會話ID、FTP-Server與用戶標準FTP客戶端軟件建立的Socket連接映射關系。

4.1.2 Agent模塊

該模塊部署在內網區服務器上,核心組件包含Cmd-Pull-Timer、Task-Queue、Task-Runner,各組件的具體功能設計如下。

Cmd-Pull-Timer:一個由定時器驅動的待執行FTP命令的輪詢器。它主動連接Server模塊的Cmd-Server組件,并將獲取到的JSON格式編碼的命令投遞進入Task-Queue中。

Task-Queue:該組件是一個基于內存的隊列,長度可以由參數控制,基于Golang Channel實現,用于存放已經解析完畢待執行器Task-Runner執行的任務。

Task-Runner:該組件從Task-Queue實時獲取待執行的命令參數,執行獲取到的命令并將響應結果推送到結果數據接收地址(Server模塊的Data-Server組件)。

4.2 運行流程設計

如圖4所示,一次完整FTP操作從用戶標準FTP客戶端軟件發起請求到最后獲取到結果數據的流程如下。

(1)用戶標準FTP客戶端軟件連接FTP-Server組件。

(2)用戶標準FTP客戶端軟件發送操作命令到FTP-Server組件。

(3)FTP-Server組件解析命令及參數,將命令按照JSON格式編碼后投遞到Cmd-Queue,并在Session-Map登記本次會話ID,與TCP Socket連接,之后暫時掛起本次會話等待處理,并設置等待超時計時器。

(4)Cmd-Pull-Timer組件定時輪詢Cmd-Server。Cmd-Server從Cmd-Queue取出1條待執行命令,回復給Cmd-Pull-Timer。Cmd-Pull-Timer解析完畢收到的JSON格式命令后生成待執行任務JSON配置,并投遞到Task-Queue。

(5)Task-Runner組件實時監聽Task-Queue的變化,獲取到任務經JSON配置后立即執行,并將執行的結果數據推送到Data-Server。

(6)Data-Server接收到Task-Runner推送的響應結果數據后,解析其中的FTP會話ID與數據內容,從Session-Map中查到與FTP會話ID對應的TCP Socket,最后由TCP Socket將數據內容返回給用戶標準FTP客戶端軟件。

5 安全功能設計

為了進一步加強網絡安全與數據安全,避免內網區數據文件被非法訪問與截取,在軟件設計過程中引入了SSL/TLS協議,用于建立可信的加密傳輸通道。FTP協議與SSL/TLS協議相結合實現加密傳輸[6],以加強數據文件傳輸的安全性,具體設計如下。

(1)為FTP-CMD-Server配置SSL/TLS協議支持。

使用Liunx系統中的Openssl軟件工具生成數字證書與密鑰[7],并設置DMZ區部署的FTP-CMD-Server啟用該證書,以便正確處理使用SSL/TLS協議的連接。

(2)為FTP客戶端配置SSL/TLS協議支持。

用戶設置標準FTP客戶端軟件連接FTP-CMD-Server的協議為FTPS。設置完成后,客戶端軟件會使用SSL/TLS協議與FTP-CMD-Server建立安全的網絡連接。

6 軟件技術創新

6.1 “逆轉”DMZ區訪問內網區的網絡連接

由于存在內網區只可單向訪問DMZ區而DMZ區無法主動建立到內網區的網絡連接的安全管控,用戶訪問DMZ區服務器下載數據文件時,需要有一個機制將DMZ區訪問內網區的網絡請求“逆轉”為內網區訪問DMZ區的請求。本文通過引入異步I/O、內存隊列、超時器、輪詢機制,使得DMZ區的FTP-CMD-Server不再主動連接內網區,改為緩存待處理的命令進行超時等待;內網區的FTP-CMD-Agent主動抓取待執行命令,將執行結果主動推送回FTP-CMD-Server。這種協作機制解決了“逆轉”問題。

6.2 數據傳輸“接力”機制

FTP-CMD與標準FTP服務器軟件相比,一次讀取數據文件的操作被拆分成了2個執行階段,由分別部署在內網區與DMZ區的FTP-CMD-Agent與FTP-CMD-Server協作完成。這就需要設計一個“接力”機制,確保命令操作的唯一性,以便數據可以被正確、完整地傳輸。本文通過UUID編碼生成技術為每條FTP命令生成唯一的UUID標識,并將該標識關聯到該命令使用的FTP會話、TCP Socket連接上,解決了FTP-CMD-Agent與FTP-CMD-Server接力過程中相互識別的問題。

6.3 數據傳輸擁塞控制機制

通常,內網區與DMZ區可使用的網絡帶寬資源是有限的,需要設計一個避免數據帶寬被耗盡的機制。本文設計了數據隊列容量參數與數據傳輸窗口參數,通過配置以上2個參數來控制FTP-CMD-Server模塊與FTP-CMD-Agent模塊之間可使用的最大帶寬,避免出現數據傳輸擁塞。

7 軟件運行效果

本節對使用本文所設計的軟件后華風數據流程運行時效與數據存儲使用情況進行了簡要分析,結論證明:本軟件可消除使用Rsync將內網數據存儲中的文件定時同步到DMZ區的“二次傳輸”環節,從而在遵循安全管控的情況下解決了數據重復存儲與數據延遲大的問題。

由圖5與圖6可見,使用WinSCP訪問部署在DMZ區的Server模塊讀取到的數據文件列表的文件時間與直接訪問內網區數據存儲獲取到的數據文件列表的時間完全一致。由于本軟件默認設置了Cmd-Pull-Timer組件模塊的輪詢間隔為100 ms,所以實際的延遲僅為0.1 s,實際使用時也可以將Cmd-Pull-Timer組件模塊的輪詢間隔設置為更短的間隔,幾乎達到0延遲的效果。

圖5 DMZ區使用WinSCP訪問Server模塊獲取到的文件列表

圖6 DMZ區使用WinSCP訪問Server模塊獲取到的文件列表

由于無需再使用RSYNC與Crontab將數據文件按照一定頻率從內網數據存儲中傳輸到DMZ區部署的FTP服務器硬盤上,而是轉為在WinSCP發起FTP操作時通過網絡直接讀取內網數據存儲中的數據文件,避免了為存儲這些數據文件副本而造成的存儲空間浪費,消除了RSYNC數據同步帶來的任務等待時延(Linux系統下支持的最小間隔為1 min)與文件寫盤時延。

8 結語

本文以單向網絡通信管控場景中內網區存儲的數據文件需要被“二次傳輸”到DMZ區后才可以向用戶提供數據服務所面臨的數據重復存儲與數據傳輸延遲大的問題為研究對象,找到了解決上述問題的關鍵是消除數據“二次傳輸”環節。基于FTP協議設計了C/S架構的FTP-CMD軟件,該軟件通過FTP-CMD-Server與FTP-CMD-Agent配合成功消除了內網區數據文件到DMZ區的“二次傳輸”環節,其有效性經過了華風數據業務的驗證。

該軟件可以在遵守只能從內網區主動建立到DMZ區的網絡連接的單向通信管控策略的前提下實現數據文件的高效分發。該軟件兼容標準FTP客戶端、SSL/TLS安全協議,兼顧了易用性與安全性,對于網絡安全管理要求高、數據存儲只能在內網區的業務場景有重要的參考價值。