基于數據流的啟發式文件傳輸識別系統設計

唐彰國， 鐘明全， 李煥洲， 張 健

(四川師范大學網絡與通信技術研究所，四川成都610066)

0 引 言

近年來出現了一些新型互聯網信息竊取類惡意通信軟件，集成了代理技術、加密隧道技術、P2P技術、匿名通信技術等各種方法，可以突破現有安全設備，將文件等涉密數據送到目標主機，從而逃避監管。因此，對如何檢測并防止電子文件通過網絡泄露開展研究并提出相應的監控措施具有重要的現實意義。文件是涉密信息的載體，已成為網絡犯罪證據的可能載體，而任何文件的網絡泄露，只有依賴于網絡數據流才能成功實現，因此，本文從文件網絡泄露檢測的需求出發，通過深入分析數據流特點，引入文件數據流屬性的概念，重點討論通過數據流分析進行文件網絡泄露檢測的系統方案和關鍵技術。

1 文件網絡泄漏的方式和相應監控技術現狀

1.1 文件網絡泄漏方式分類

從網絡監管的角度看[1]，文件網絡泄漏從行為方式上可分為兩種，一是文件被動泄漏，即文件被非法訪問者通過網絡獲取；另一種是文件主動泄漏，即文件被合法用戶通過網絡轉移到期望范圍之外。例如：網絡主機受惡意控制導致文件泄露，如主機被植入木馬、被遠程控制軟件控制等；合法用戶通過普通網絡服務有意或者無意將涉密文件傳送到外部網絡造成文件泄漏，如HTTP、FTP、SMTP、POP3等常規網絡應用；合法用戶通過加密、代理等特殊網絡服務有意將涉密文件傳送到外部網絡造成文件泄漏，如HTTPS、SMTP/SSL、POP3/SSL、P2P等網絡應用等。從文件網絡泄露的工具分主要有IM、郵件、木馬、控制軟件、間諜軟件等。從涉密文件的形態上分有特定格式文檔、文件被對應應用軟件加密、文件被第三方加密等屬性。

1.2 國內外現有文件網絡泄露檢測技術的比較

根據以上分析和比對，應當采取多種角度和方法集成為一個立體式的監控體系[5]，核心思想是以出入網絡關口的數據流為分析對象，采用自適應深度協議分析技術，以那些能承載文件傳輸的協議為檢測目標，提取其必要的內容和行為等屬性信息，對非加密類協議進行文件還原取證，對加密類協議進行流量映射，提示是否有文件傳輸行為發生，從而達到對文件網絡傳輸的全協議、全方位的識別。

2 基于網絡數據流的啟發式文件傳輸識別系統

2.1 系統架構及流程

系統工作在網絡關口，在鏈路層進行數據采集，通過對網絡數據流進行包解碼，IP分片重組，TCP會話還原及應用層協議分析等操作，檢測是否存在文件傳輸行為并進行相應的還原取證。整體架構如圖1所示，主要由協議識別模塊、文件傳輸行為識別模塊、當前傳輸文件屬性信息提取模塊、文件傳輸狀態提取模塊、文件內容還原模塊、文件威脅檢測模塊以及文件特征指紋庫構成。為兼顧效率和準確性，在檢測機制上采用啟發式方式分為6個層次，預處理層將協議分為加密和非加密兩大類，對加密通信采用流量映射來發現文件傳輸行為，對非加密類通信從格式到內容逐層深入分析，對于多文件傳輸過程中無法準確區分各分片所屬文件造成的重組還原難題，系統借助文件特征指紋庫在數據流中剝離出所謂的“文件流”，以此為分析對象成功實現了在多文件傳輸過程中各文件精確定位和準確重組，能在高強度背景噪聲的干擾下進行快速檢測。

2.2 部分關鍵技術

2.2.1 文件數據流分析

網絡數據流具有連接屬性、應答屬性、控制屬性、會話屬性等多重屬性[6]。傳統的協議分析技術工作在應用層[7]，因而無法應對木馬等軟件采用自定義協議進行文件傳輸的泄露行為。為了更全面的檢測文件通過網絡傳播這種行為，本文以與請求、控制與會話數據流相關的內容特征信息為分析對象，將分析的數據流對象界定為文件數據流，并定義為一段由有限個數據包組成的具有雙向性、關聯性和結構性的出入OSI鏈路層至應用層的文件數據包序列。為此，本文采用如圖2所示的自適應深度協議分析技術對捕獲的報文進行逐層協議解釋：若為IP分片報文，則進行IP分片的重組；若為UDP報文，則對報文內容按設定的特征字進行審計；若為TCP連接報文，則按協議類型對相應的協議鏈表進行處理；若為TCP的數據報文，則對報文內容進行文件還原，從而達到對文件數據流的全面解析。

圖1 系統方案設計

圖2 自適應深度協議分析的邏輯層次

自適應深度協議分析模型中文件數據流分組與組裝原理如圖3所示，物理層一般要限制每次發送數據包的最大長度，IP層對接收到的IP數據報文進行選路并獲得其MTU，根據這個MTU和數據報的長度，決定是否對數據報進行分片[8]。在接收端通過查看分組IP首部的片偏移位DF和MF，判斷這個分組在傳輸到本機前是否經分片，若是，IP按照片偏移位置和16位標識，將分組重裝成一個完整的IP數據報。IP數據報被提交到TCP層后，TCP協議根據其TCP首部的序號域[9]，將接收的分組數據重新排序，并順序插入到接收報文隊列中，直到隊列中的所有IP包能組成一份完整的報文，被提交到應用層[10]。為了完成上述分片重組過程本文采用了圖3中的分片鏈表來處理，將每個分片按分片偏移位置依次插入到分片鏈表中，從而將分片重組成一個IP數據報，再對IP數據報進行重組以還原成文件。以TCP報文組裝為例給出關鍵數據結構如下[11]：

表1 現有文件傳輸檢測技術的識別能力對比

struct tcp_connect{

__int32 S_addr;//源 IP 地址

__int32 D_daddr;//目的IP地址

unsigned short S_sport;//源端口

unsigned short D_dport;//目的端口

struct tcp_reassembly_data*protocol_data;//重組報文鏈表指針;

char filename[300];//報文重組還原的文件名(本地IP一目的IP_月一日一時一分一秒)

struct tcp_connection*next;//鏈表的后向指針

struct tcp_connection*prev;//鏈表的前向指針unsigned short protocol;//連接的協議類型，包括傳輸層和應用層協議

unsigned long data_recvlen;//記錄當前連接已經接收的重組數據的大小

struct tcp_connection*relationship;//relationship用于控制與傳輸分離的協議報文重組中，如FTP。數據連接的relative需要指向它的命令連接，控制連接的relative指向它的數據連接。這樣做是因為數據連接傳送的文件其文件名由相應控制連接的filename變量保存。

}

圖3 文件數據流分組與組裝模型

為了將組裝后的 TCP數據流還原成文件，還需要利用TCP首部中的序列號來計算TCP重組數據文件寫指針，關鍵步驟如下：

(1)TCP會話標識中記錄有初始的序列號，其中第三次握手的數據包中的序列號為本地主機的初始序列號，確認號為遠程服務器的初始序列號。

(2)對接收到包含有效數據的TCP數據包，用當前TCP首部中的序列號減去初始序列號得到TCP重組數據文件的寫指針。

(3)對接收到包含FIN標志的數據包，關閉重組數據文件，包括請求數據文件和響應數據文件。

2.2.2 文件特征指紋識別

目前國內外針對文件特征指紋識別的研究較少，相關的工具如QuiekviewPlus，ConversionPlus等也主要用于計算機取證領域，這些工具主要是利用文件的后綴名或根據文件的特征碼判斷文件的類型[12]。歸納起來目前常用的文件類型識別技術主要有基于后綴名、基于二進制內容和基于文件特征碼3種。其中，基于后綴名的識別需要以事前得到一個文件為前提，這與本文需要在網絡數據流中判定是否有文件傳輸行為發生的需求不匹配；另外，基于二進制內容的識別以文件的二進制內容中的每個字節值出現的頻率作為文件的特征，該特征作為一種統計值要求在數據流組裝完后進行，時間滯后且性能開銷過大。

為了以較高的效率對數據流中是否有文件傳輸進行快速判定，本文擴展了文件特征指紋的外延并將其界定為用于標識文件特異性的信息，包括格式特征、文件頭特征、文件尾特征、文件結構特征以及加密特征等。根據同種文件類型具有相似或相同特征指紋的原理，構建一個己知文件類型的特征指紋庫，在網絡數據流中搜索特定字符串，通過與指紋庫的比對匹配來達到識別某數據流是否在傳輸文件、文件是否傳完等目的。

涉密文件主要是一些承載涉密信息的文檔，其中涉及加密的文件類型有office系列、WPS系列、PDF、Zip、Rar壓縮系列等。從存儲結構上包括結構化文本、自由文本和半結構化文本，不同類型文本的特征值差異很大，甚至同類型文本不同版本的特征值也不同[6]。所謂文件的特征碼是指文件內容中固定出現的十六進制數字串，比如office2003及之前版本的文件格式特征碼為 D0 CF 11 E0 A1 B11A E1；而 office2007與office2010系列的格式特征碼變為504B0304 140006 000800 00 00 21。文件結構特征值將存儲結構可作為一種指紋信息，例如PDF是一種復合文檔，文件頭直接描述了文件的組織方式和存儲格式，例如PDF文件header、body、cross-reference、trail這4部分組成，其中head存有PDF的版本信息，如%PDF?1.5。

為了保證指紋的穩定性和可區分性，對格式公開的文檔直接找相應軟件定義的標志，對于格式未公開的文檔須進行二進制差異比對的方法進行實驗。下面以 RAR文件為例說明文件指紋特征值的獲取方法。

圖4中深色部分為RAR文件頭6字節的特征值，圖5是7字節的文件尾的結束標志。對于RAR文件的加密識別，圖6給出了加密的RAR壓縮文件的十六進制模式，RAR文件頭的0ah字節處為保存文件加密信息的字節位，當這個字節的第7位置1時，表示這個RAR文件加密。當雙擊RAR文件時，直接跳出輸入密碼的窗口，看不到壓縮的文件。圖6中的0ah字節處的值是0x80，它二進制是10000000，二進制的第7位為1，說明這是一個加密的RAR文件。

圖4 系RAR文件頭特征值

圖5 系RAR文件尾特征值

圖6 RAR加密特征(一)

RAR的另一種加密方式是當雙擊RAR文件時，可以看到壓縮的文件，但每個文件都加了密碼，打不開。這種加密方式的十六進制模式如圖7所示。在文件頭的第16h字節處記錄了文件是否加密的信息，當這個字節的第2位置1時，表示RAR文件加密。圖7中可以看到壓縮的文件是一個“txt”文件，名字是“需求分析”，16h字節處的值是0x74，對應二進制是1110100，二進制的第2位為1，說明這是一個加密的RAR文件。

圖7 RAR加密特征(二)

具體實現時，對文件的加密判斷不需要借助RAR等特定插件，而是可以直接從網絡數據包的載荷段中直接進行定位判斷。若數據包數據被編碼，則先解碼，再根據文件的加密位進行加密判斷。另外，根據文件類型不同檢測點有差異，如Office2003根據文件結構的加密位進行加密判斷；WPS、Office高版本根據文件結構固定偏移的識別判斷加密與否；RAR壓縮文件和ZIP壓縮文件根據文件格式的加密方式進行加密判斷。檢測流程如圖8所示。

圖8 文檔格式識別及加密檢測流程

2.2.3 文件傳輸的流量映射

傳統的流量統計是基于IP的，該方法過于粗糙，可能會淹沒小流量的文件傳輸行為。即使采用加密代理的通信軟件在進行文件傳輸時也必然會引起某一會話端口在進出方向上的流量不對稱，因此，本文提出基于會話端口的精確流量統計，理論分析和實驗數據均表明該方法統計處的兩個傳輸方向上的流量差值與該會話承載的文件大小在數值上高度正相關[14]。因此，可以用端口流量的非對稱性作為存在文件傳輸行為的一個輔助特征，并基于此進行文件傳輸狀態的估計[15]。為了降低誤報率，需要準確區分不同類型網絡應用的流量產生機制和流量宏觀特征，表2基于此給出了比較結果。

根據表2的比對，可以找出用來標識流量異常的行為屬性，即連接頻率和端口流量不對稱。為此，可做出如下定義

式中：CI——連入連接數，CO——連出連接數，(T1-T2)——觀測時間窗口，與 作為流量不對稱的閾值區間，基于表2的分析，可以比較某個會話連接數量和相對值，當這個比值在一定范圍內時，就認為這個連接是周期連接。

表2 常用的網絡通信軟件的流量特征比較

同理，對于文件的網絡傳輸行為，可以比較某個會話端口上的入流量和出流量

式中：fI——某會話端口的入流量，fO——某會話端口的出流量，fI與fO的絕對值都大于某個最小量，其比值設定一個觀測閾值 。需要注意的是，fIO的目的不僅僅是作為某端口是否存在文件傳輸行為的預警信號，更需要通過這種流量的不對稱性反應出文件實際的傳輸狀態，如已傳輸了多少字節等信息，為此，在算法處理上，要做到：

(1)數據流組裝：進行會話還原，按會話進行端口流量的統計，應對端口復用和跳端口通信行為。

(2)區分端口的類型，過濾掉連接端口，應對連接端口和傳輸端口分離的情況。

(3)包類型過濾：為了盡可能的排除協議噪聲，需要對會話流里雙向傳輸的所有數據包的包大小進行過濾，過濾掉協商、應答、重傳、包頭等網絡附加信息，對于過濾后的包也只統計載荷段的大小。

3 測試及結果分析

搭建網絡通信環境，在網絡出口部署網絡抓包軟件，抓包并將數據包導入到本文系統。為了模擬真實通信環境，在實驗室運行木馬并進行文件的傳輸，以校園網通信流為背景噪聲，通過導入校園網絡中心實驗當天的抓包數據，系統準確識別出隱藏在網絡數據流中的文件傳輸行為，限于篇幅這里僅給出兩種典型檢測結果如圖9、圖10所示。

圖9 木馬使用標準應用層協議傳輸文件事件關聯報警

圖10 木馬在傳輸層使用自定義協議傳輸文件事件關聯報警

圖9反映出系統在網絡數據流中成功關聯出了木馬為了傳輸文件在連接、控制與通信階段表現出的行為過程：主機192.168.1.29被Byshell木馬所控制，向多個IP發起了周期連接，成功后通過自帶的郵件客戶端用1572端口發送了帶附件的郵件，引起該主機1572端口出量相對入量出現了約1.2MB的流量差，該差值與實際的郵件附件大小基本吻合，該附件為敏感的WORD文檔，且被Office2003版軟件加了密。圖10說明雖然采用CS模式的灰鴿子木馬在傳輸層直接用Socket實現TCP傳輸，并未采用標準的應用層協議傳輸文件，系統同樣從端口流量給出了可能存在文件傳輸行為的告警信息，并且由于TCP報文中存在RAR文件特征指紋系統對相應的TCP流嘗試組裝，由恢復出的相應文件數據流最終還原成RAR文件，該測試結果與實際情況一致。以上測試表明，對網絡文件傳輸行為的發現系統提供了兩個模式，即還原模式和流量模式，對明文傳輸的應用層協議進行文件還原，而對文件加密或使用非標準協議傳輸行為則進行端口流量映射和文件傳輸狀態估計，兩種模式的集成共同完成了對文件數據流的準確檢測、識別和審計。

4 結束語

文章采用啟發式的多特征檢測思想，引入文件數據流的概念實現對網絡文件傳輸的深度分析和準確檢測。未來的工作：①針對不同的檢測需求，研究統一化、規范化、形式化的文件數據流特征描述方法。②采用更可靠的文件標識來實現更細粒度的文件網絡傳輸監控方法，包括文件中的圖像、視頻、音頻等涉密信息的自動化提取技術也是下一步的一個重點研究方向。

[1]蔡俊朝,蔡皖東,胡潤東.一種網絡信息監管系統的設計與實現[J].微電子學與計算機,2010,27(10):140-144.

[2]宋秀麗,鄧紅耀.計算機證據在網絡傳輸中的安全保護策略[J].計算機工程與設計,2010,31(16):3608-3611.

[3]ZHOU Zheng.Efficient approach for searching data package of encrypted proxy[J].Computer Engineering,2007,33(21):142-146.

[4]孫思維,胡磊.WEP數據加密協議的兩種改進攻擊[J].通信學報,2010,31(9):102-108.

[5]卓瑩,龔春葉,龔正虎.網絡傳輸態勢感知的研究與實現[J].通信學報,2010,31(9):54-63.

[6]林臻彪.基于數據流分析的防文件網絡泄露關鍵技術研究[D].鄭州:解放軍信息工程大學,2009.

[7]謝柏林,余順爭.基于應用層協議分析的應用層實時主動防御系統[J].計算機學報,2011,34(3):452-462.

[8]趙啟升,李存華.一種高效的TCP會話數據流重組算法及應用[J].微電子學與計算機,2010,27(7):129-132.

[9]李世銀,王秀娟,錢建生,等.TCP端到端等效噪聲模型及擁塞控制方法研究[J].電子科技大學學報,2009,387(4):489-500.

[10]張家勇.基于鏈路層數據的中文信息智能過濾系統研究[D].阜新:遼寧工程技術大學,2006.

[11]熊偉.基于報文內容的網絡審計技術研究[D].重慶:重慶大學,2008.

[12]HU Min,YANG Ji-yun,JIANG Wei.Data recovery algorithm based on file feature on Windows platform[J].Journal of Computer Applications,2011,31(2):527-529.

[13]TANG Zhang-guo,ZHONG Ming-quan,LI Huan-zhou.File formatvulnerabilityexploiting technique basedon fuzzing[J].Computer Engineering,2010,36(16):151-153.

[14]柳斌,李之棠,李佳.一種基于流特征的P2P流量實時識別方法[J].廈門大學學報(自然科學版),2007,46(2):132-135.

[15]張賓,楊家海,吳建平.Internet流量模型分析與評述[J].軟件學報,2011,22(1):115-131.