網絡預定行為檢測及還原技術研究

吳宇佳（貴州航天計量測試技術研究所，貴陽　550009）

網絡預定行為檢測及還原技術研究

吳宇佳
（貴州航天計量測試技術研究所，貴陽550009）

隨著互聯網經濟的飛速發展，網絡預定行為（包括定機票、定酒店、定餐等）已經成為人們生活中非常重要的一環。從研究網絡預訂行為通信過程和協議分析著手，針對網絡預定行為特征檢測，網絡協議數據重組，及網絡預訂行為檢測及還原系統設計幾個方面展開研究工作。在實際中，網絡預定行為檢測及還原技術研究，可以為網絡監管提供一種輔助措施。

網絡預定；POST；特征檢測；數據重組

0　引言

互聯網經濟的發展和成熟，特別是網絡預定行為的繁榮很大程度上方便了人們原有的生活。網絡預定在方便人們生活的同時，也不可避免地為不法分子所利用，在網絡中捕捉數據包，對其進行特征檢測、信息提取和數據還原，可以作為一種有效的公安機關網絡監管輔助措施。進行網絡預定行為檢測及還原技術研究的目的是提取其中的有用信息，例如預訂人姓名、證件種類、證件號碼、住址，預定服務等。這里研究的是網絡數據在傳輸過程中如何通過捕獲數據包進行數據的檢測還原，提取有用信息。

1　網絡預定通信過程分析

通過對常見三類網絡預定行為：機票預定、酒店預定、餐飲預定，進行分析發現，網絡預定行為有一個共同的基本過程：

·用戶在瀏覽器中進入預定網站，進入預定頁面。

·用戶通過搜索等方式選擇需要的服務，點擊提交進入訂單填寫頁面。

·用戶填寫訂單信息，完成點擊“提交訂單”按鈕，完成網絡預定。

2　網絡預定通信協議分析及特征檢測

使用數據包捕獲分析軟件，如Wireshark，對常見預訂網站通信過程進行協議分析，以機票預定為例，發現當用戶填寫訂單，并點擊“提交訂單”按鈕后，用戶向服務器發起一個基于HTTP協議的POST請求，如圖1所示。

圖1　一個機票預訂示例網站POST請求數據包

分析圖1中所示數據包信息可以得到用戶全部訂票信息，其中有底紋字體部分即為所需的有用信息。多次抓包分析試驗證實，所需信息都是在相應固定關鍵詞之后，并且都有固定的格式。其中的文字信息（如出發地與訂票人姓名）使用URL編碼。把其中的有用信息用URL解碼，能得到的有用信息如表1所示。

表1　一個機票預訂示例網站有用信息表

通過對各種預定行為進行通信過程協議分析，發現不管是哪類預訂網站在整個預訂行為通信過程中的某個時刻或某幾個時刻由用戶向服務器提交一個或幾個POST請求，通常需要的有用信息存在于當用戶填寫訂單并提交訂單時發出的那一個POST請求中，極少數情況下有用信息不只存在于一個POST請求中。

通過以上分析，可以總結出網絡預定行為的一些特征。首先訪問的預定網站服務器IP可以確定，傳輸層協議采用TCP，目的端口為80，應用層協議為HTTP，應用層數據特征字符串以POST開頭，其他一些特征字符串，例如上面的機票預定中都包含特定字符串“new_order”每個有用信息有一個固定的開始字符串和結束字符串等信息。通過這些特征可以實現從眾多網絡數據包中檢測定位需要的數據包，進而進行有用數據的還原。

3　網絡協議數據重組

進行網絡預定行為檢測及還原技術研究的目的是提取其中的有用信息，通過上面研究分析發現有用信息存在于基于HTTP協議的POST請求數據包中。通過預定行為特征集合可以定位包含有用信息的數據包。但要想從應用層POST數據中提取有效信息，必須先得到通信中的應用層數據。由于通信過程中應用層數據可能分成多個數據包獨立發送，因此從網絡層上看，應用層數據會被分散到很多個網絡數據包中。當捕獲了正在網絡中傳送數據包的時候，需要的應用層數據就有可能被分散到多個數據包中。這時怎么從這些數據包中取出應用層數據分片然后重新組合成一個完成的應用層數據就是一個非常重要的問題，本文把這個問題稱作網絡協議數據重組，研究網絡協議數據重組的有效方法就顯得非常重要了。由于這里研究的POST數據其傳輸層協議為TCP，而TCP是面向連接的，可靠的，有序的協議，重組的時候需要考慮的問題復雜得多，例如起始包、亂序、包丟失等。所以這里主要研究的是TCP協議數據重組的問題。

另外，實現網絡協議數據重組之前，需要一個特征檢測過程，檢測哪些數據包需要還原，然后將需要的數據包再進行重組處理。由此不難得出網絡協議數據重組總體結構示意圖如圖2所示。

圖2　網絡協議數據重組總體結構示意圖

捕獲到的數據包首先要進行特征檢測以識別某個行為產生的數據包，如果檢測到需要的數據包的連接，就把需要重組的連接的信息包括還原名稱，五元組等信息等傳送到數據重組管理模塊。重組管理模塊這是就會知道有一個新的數據連接需要重組，于是就在重組隊列中增加一個隊列。同時重組管理模塊接收每一個捕獲的數據包，判斷是否屬于正在重組的某個連接。如果是直接送入對應的重組隊列進行重組處理，如果不是丟棄，接收下一個數據包。當重組管理模塊發現某個重組隊列重組完成，就把重組好的隊列交由下一步的數據分析模塊處理。

進一步對如果更進一步各個模塊進行詳細設計，則會有網絡協議數據重組詳細設計圖如圖3所示。

據包先要送到特征檢測模塊中進行特征檢測，當特征檢測模塊中檢測到需要還原的連接后，首先提取該連接的五元組（源IP，源端口，目的IP，目的端口，傳輸層協議）信息，然后生成重組文件存放的目標文件夾，自動在該文件夾下生成四個文本文件，包括存儲有雙向數據的文件以及文件附加信息，具體為客戶端向服務端發送的應用層數據，服務端向客戶端發送的應用層數據，還有保存有雙向數據的如接收時間、應用層數據長度等附加信息的文件。最后，特征檢測模塊向數據重組模塊發送這個連接的五元組信息以及剛剛生成的文件夾名稱和路徑。重組模塊要進行的就是將每個進入的數據包進行處理寫入這些文件中去。以上的過程就是圖3中的①過程。而接下來數據重組模塊就是要收集這個連接的所有數據包，剝離其應用層數據處理后寫入這個文件夾中。

圖3　網絡協議數據重組詳細結構圖

接下來當重組管理模塊接收到特征檢測模塊發來的信息時，知道有個新的連接，于是增加一個單個連接重組模塊進程處理該連接。各個單個連接重組模塊之間相互獨立，同時處理，互不干擾。

重組管理模塊對每一個傳入的數據包都進行分析，經過與包含有所有正在重組的連接具體信息的隊列中內容進行匹配后，確認屬于正在重組的連接的就加入相應的單個連接重組進程進行重組，否則將該包丟棄，直接進行下一個包的分析。這個過程就是如圖3中所示的②過程。

單個連接的重組進程每接收到一個包，都按照網絡協議棧的順序，從底層向上層依次剝離各層包含控制信息頭部，最后將純應用層數據內容寫入連接臨時對話中作排序處理。連接臨時對話中按照包的前后到來時間并且兼顧TCP的序列號（如果是UDP則沒有序號）進行排序處理。如何是TCP，由于TCP是由連接的，有序的，可靠的協議，其一個連接各個包有先后順序，順序由序列號表示。如果數據包再傳輸中有延遲，丟失，那么連接臨時對話中的數據就有可能亂序，丟包等，所以連接臨時對話中就必須有對亂序，丟包等各種異常情況的處理。連接臨時對話中把已經正確排序的應用層數據連接部分按順序寫入重組文件夾中對應的數據重組文件中。同時單個連接的重組進程各自維護自身的標志位和連接重組完成情況，隨時等待管理模塊的訪問。

重組模塊在每次處理完單個數據包后還要對待重組連接隊列進行一次分析，超時或者是已經宣告重組結束的連接將調用數據分析模塊進行處理。分析模塊處理重組文件夾中的文件進而進行數據分析。

4　網絡預定行為檢測及還原系統設計

系統總體設計分為數據采集模塊、數據重組模塊和數據分析模塊。網絡預訂行為檢測系統總體框架設計如圖4所示。

圖4　網絡預訂行為檢測還原系統總體框架設計圖

數據采集模塊實現的是網絡數據包寫入磁盤形成格式話數據包文件。在捕獲數據包時所采取的過濾策略應該是直接在網卡上能實現的策略，通常采取的策略是靠五元組信息進行數據包過濾。

接下來應該是對網絡數據包進行重組。雖然在網卡上采取了初步過濾，但數據包的數量依然非常大，不可能也沒必要對每一個網絡連接進行數據重組。一個有效的辦法是通過數據包特征檢測方式對照行為特征庫對網絡預訂行為產生的數據連接進行重組，生成重組數據文件。所謂行為特征庫里面存儲的是每個行為的特征集合，這里使用的特征庫包括訪問的服務器IP，傳輸層協議（TCP），端口（80），應用層協議（HTTP），應用層數據特征字符串（“POST”）等組成的集合。

然后是對重組后的數據文件進行數據分析，數據分析的重點是對有用信息的提取，這時要對照預訂行為知識庫進行有用信息的提取。行為知識庫中記錄了每個有用信息的開始字符，及編碼規則等信息。最后把提取的有用信息存入數據庫中。所謂行為知識庫里面存儲的是每個行為中包含的有用信息項集合。這里的行為知識庫中記錄了每個有用信息的開始字符，結束字符和編碼規則等信息。

通過對網絡預定行為檢測及還原系統進行編碼實現，經過實際的模擬環境測試可以實現網絡預定行為檢測并且還原出有用信息。

5　結語

本文主要研究網絡預定行為檢測及還原技術，從研究網絡預訂行為通信過程和協議分析著手，針對網絡預定行為特征檢測，網絡協議數據重組和網絡預訂行為檢測及還原系統設計幾個方面展開研究工作。重點研究了一種網絡協議數據重組方法。通過對網絡預訂行為檢測及還原系統的設計，經編碼實現可以還原出有用信息。

［1］謝希仁.計算機網絡（第四版）［M］.大連：大連理工大學出版社，2010，4.

［2］陳雷，劉嘉勇.基于HTTP協議的POST數據分析與還原［J］.通信技術，2011，44（4）∶43-46.

［3］Richard J.Roiger，Michael W.Geatz.Data Mining a Tutorial-Based Primer［M］.北京∶清華大學出版社，2003，3.

［4］顧洋.分布式網絡通信行為分析技術研究［D］.四川大學，2012.

Online Booking；POST；Feature Detection；Data Reorganization

Research on Online Booking Behavior Detection and Recovery

WU Yu-jia
（Guizhou Aerospace Institute of Measurement and Testing Technology，Guiyang550009）

With the rapid development of the Internet economy，online booking behavior（including booking flights，a hotel，set meals，etc.）has become a very important part of people's lives.Started with the communication process and protocol analysis，the research focuses on the detection of on online booking behavior characteristics，the reorganization of network protocol data，and the design and of online booking behavior detection and recovery system.In practice，the online booking behavior detection and recovery technology research can provide an additional measure to network supervision.

1007-1423（2016）20-0050-04

10.3969/j.issn.1007-1423.2016.20.010

吳宇佳（1986-），男，重慶涪陵人，碩士，工程師，研究方向為信息系統安全

2016-04-14

2016-06-10