基于DPI識別的應用流量誤差研究

朱曉嵐宋力劉遇哲

（河北遠東通信系統工程有限公司，河北石家莊050000）

基于DPI識別的應用流量誤差研究

朱曉嵐宋力劉遇哲

（河北遠東通信系統工程有限公司，河北石家莊050000）

深度數據包檢測應用識別測試過程中發現某些按照知識庫可被識別為應用的流量識別不全，應用流量統計結果與真實流量存在差距。如何準確統計應用的流量，是一個值得思考的問題。針對應用流量識別不全問題，研究了3種解決方案:查找應用會話中所有報文的共同字符、在規則中加入peer學習和記錄識別為應用會話的IP和端口號、會話老化機制。通過對3種方法的實驗對比，最優的解決方案是采用會話老化機制，輔助采用peer學習和查找會話中所有報文的共同特征。

流量識別網絡協議識別流量與真實流量差距會話老化peer學習報文共同字符

1 引言

隨著網絡資源的不斷增多，合理使用網絡資源成為人們不可避免的問題[1]，深度數據包檢測(Deep Packet Inspection, DPI)技術適應了當前網絡急速增長，并且是解決當前網絡威脅的有效途徑，網絡應用的識別率成為DPI的一個重要指標，DPI識別主要是提取報文載荷部分的特征[2-4]。在特征匹配中是以會話的形式對報文處理[5-6]，匹配完成之后對該會話的流量進行統計，流量統計的準確性與定義的會話起始與會話終止直接相關，下面介紹的對會話老化的解決方案中會話終止時間的定義是決定會話流量統計準確與否的關鍵。

2 DPI處理流程

DPI程序處理中，設備接收到報文，具有相同五元組的報文以會話形式進行應用識別及流量統計[7]。DPI程序對會話前5個有載荷報文進行識別，通過數據鏈路層判斷是否為IP協議，如果為IP協議進一步進行上層識別；如果為非IP協議，標記為非IP協議，之后報文不再進行識別處理。屬于IP層的會話進行識別標記，并進入到IP層協議識別，并對IP層協議進行協議標記。之后進行四層協議識別，如果會話能識別為四層協議，則更新識別標記，最后進入應用層識別，如果應用層可以識別，則再次更新識別標記，會話的識別標記以最高層識別結果作為最后識別結。識別結束之后進入審計，審計模塊對具有相同應用標記的會話進行流量統計，不再對會話進行應用識別，只進行流量識別。

3 DPI識別流量差距原因查找

DPI測試中通過設備統計應用流量與wireshark工具統計的應用流量存在一定差距，為了分析查找原因，查看應用會話，并與知識庫中的特征對比，發現該應用會話符合知識庫中特征及規則的定義，排除了知識庫中特征的輸入錯誤原因；為了更進一步調試錯誤原因，將程序識別情況進行打印，在打印信息中發現應用的會話最初是可正確識別，但是之后該會話又被識別為四層協議。經對程序處理流程進行思考，儀器統計的流量與wireshark流量存在差距原因為具有特征的報文處于會話的前5個報文，待會話識別之后對識別標記位置位。過一段時間接收到的屬于該會話的報文再一次進行了DPI識別，按照程序的審計，這些報文應該直接進入審計，統計會話的流量。但通過打印信息看被識別的會話后面的報文被當成新的會話處理，新的會話進入程序會先進行DPI識別，在DPI識別中這些被當做新會話的報文已不具有特征，因此只能被識別為協議，這種現象原因為會話老化，下文主要采用了3種機制對抗會話老化。

4 會話老化解決方案

因會話老化導致的的會話流量與實際流量差距的解決方法有3種，查找應用會話中所有報文的共同特征；加入peer學習；利用TCP和UDP協議本身的機制。

4.1 查找應用會話中所有報文的共同特征

為了解決被識別的會話因某些原因之后的報文再次進入DPI識別之后被識別為協議，從會話所有報文中提取共同的特征[8-11]，這樣即便被識別的會話中后面的報文被處理為新會話時，進入DPI識別模塊，報文因仍然具有應用的特征，可被識別為應用，因此會話的流量可被正確統計。該方法的的優勢為不需要考慮如何定義會話的建立和會話的結束，流量統計準確。缺點為并不是所有應用的特征在會話的所有的報文中都有，即便是特征貫穿會話始終，提取出來的特征一般比較弱，很容易造成誤識別。這種方法不具有普遍性，并且提取特征比較繁瑣。以局域網聊天事業線應用為例，將所有報文的共同特征字符添加入特征庫前后實驗結果對比，如表1所示。

表1 共同特征字符添加入特征庫前后對比表

4.2 加入peer學習

在DPI識別模塊中peer學習的優先級最高，peer學習機制中將IP和port綁定，并對其應用標記，綁定之后出現該peer就認為具有該IP和端口的會話為應用標記位標記的應用。為了避免被識別的會話后面的報文被當做新的會話再次進行識別，加入peer學習機制，加入peer學習之后將指定端的IP和端口號記錄，之后的一個小時內只要含有這個IP和端口號的報文都被認為屬于該應用。通過peer學習之后在測試應用流量可準確識別，該方法優點比第一種方法節省了查找全部報文的共同特征的工作量，簡單快捷，但是該方法存在的弊端為在peer被老化之前，只要存在該peer的會話都被認為是被標記的應用，如果其他應用也使用了該IP和端口則造成的誤識別是很嚴重的，記錄的IP和端口號對也會占用系統內存。以局域網聊天事業線應用為例，將peer學習加入特征庫前后實驗結果對比，如下面表2所示。

表2 將peer學習加入特征庫前后對比表

4.3 利用TCP建立連接機制及UDP會話的連接特點

TCP是基于連接的協議，在正式收發數據前，必須和對方建立可靠的連接。一個TCP連接必須要經過3次“對話”才能建立起來，數據傳輸結束之后，結束時雙方需要終止連接。會話結束時應用程序首先發送FIN給服務器，服務器收到FIN報文之后發送ACK報文，之后發送FIN報文，客戶端收到FIN報文之后進入TIME_WAIT狀態，最終向服務器發送ACK報文[12]。

RFC文檔中關于TCP關閉之后的等待時間規定如下：當TCP執行一個主動關閉，并發回最后一個ACK，該連接必須在TIME_WAIT狀態(TCP發起終止連接以后收到最后一個FIN報文時的狀態)停留的時間為2倍的MSL(報文段最大生存時間)，超過2MSL時間之后系統也會自動關閉。這樣可讓TCP再次發送最后ACK以防這個ACK丟失，這種2MSL等待的另一個結果是這個TCP連接在2MSL等待期間，定義這個連接的插口(客戶的IP地址和端口號，服務器的IP地址和端口號)不能再被使用。在連接處于2MSL等待時，任何遲到的報文段將被丟棄。因為處于2MSL等待的、由該插口對(socket pair)定義的連接在這段時間內不能被再用。這暗示著終止一個客戶程序，并立即重新啟動這個客戶端程序，則這個新客戶程序將不能重用相同的本地端口。對于服務器，情況就有所不同，因為服務器使用熟知端口。如果終止一個已經建立連接的服務器程序，并試圖立即重新啟動這個服務器程序，服務器程序將不能把它的這個熟知端口賦值給它的端點，因為這個端口是處于2MSL連接的一部分。在重新啟動服務器程序前，它需要在1～4分鐘。RFC793指出MSL為2分鐘，然而實現中的常用值是30 s，1分鐘或者2分鐘。

UDP和TCP協議的主要區別是二者在實現信息的可靠傳輸方面，TCP協議中包含了專門的傳遞保證機制，當數據接收方收到發送方傳來的信息時，會自動向發送方發出確認消息，發送方只有在接收到該確認消息之后才繼續傳送其他信息，否則將一直等待直到收到確認信息為止。與TCP不同，UDP協議是一個面向數據報的傳輸層協議，UDP不提供可靠性，它把數據發送出去，但是并不保證它們能到達目的地。如果在發送方到接收方的傳遞過程中出現數據報的丟失，協議本身并不能做出任何檢測或提示。UDP協議本身沒有提供數據開始發送和發送結束標志機制，因此不能確定UDP會話開始和結束的準確時間。

杭州華三通信技術有限公司的H3C SecPath系列防火墻中會話管理模塊具有支持對各協議報文創建會話、更新會話狀態以及根據協議狀態設置老化時間；支持應用層協議的端口映射，允許為應用層協議自定義對應的非通用端口號，同時可以根據應用層協議設置不同會話老化時間；支持設置長連接會話，保證指定的會話在一段較長的時間內不會被老化。

H3C SecPath系列防火墻會話管理中具有優先級，長會話老化時間僅在TCP會話進入穩態時生效。在會話穩態時，長連接老化時間具有最高的優先級，其次為應用層協議老化時間，最后為協議狀態老化時間。老化時間的修改需要結合實際的使用場景，避免過大或過小，從而影響會話協議報文的正常交互，例如，FTP協議的會話老化時間若小于FTP保活報文發送的間隔，會造成FTP連接無法正常建立。H3C缺省設置下，UDP的保持時間為60 s。

華為Eudemon防火墻會為了維持系統內存會設定一個會話連接最大值，一旦系統記錄的會話達到這個數值，系統就不再建立新的會話。同時，為了保證防火墻的會話連接不會過多，防火墻針對不同的應用協議調整會話連接保持的時間。為了保證內部網絡的安全，防火墻上的各會話缺省保持時間都相對較短，例如：缺省情況下UDP的保持時間為120 s。

UDP會話具體的老化時間設置與設備的性能有關，如會話池內存、會話并發數等相關因素。在本程序中UDP會話的老化時間的設定對UDP流量統計統計誤差有直接關系，老化時間定義過長，使可被老化的會話仍然在會話池中占據內存空間，造成浪費；老化時間過短，將為結束數據傳送的會話作為新的UDP會話重新識別，因含有特征的報文在該會話的前5個有載荷的報文中出現，之后再進行DPI識別時報文不具有應用的特征，將新會話只能識別到協議層而不能準確識別為應用。

5 結束語

通過上述實驗對比，采用TCP會話機制，對于UDP會話除采用一般廠家的會話老化機制，還可輔助采用peer學習和查找所有報文的共同字符方式。在會話老化問題中因peer學習記錄會話的一方IP與端口號，peer老化時間較長，在局域網絡中出現誤識別的概率較高，公網中誤識別的概率較低，因此peer機制可適當采用；對于在所有報文中含有共同字符的應用可采用提取共同字符，提取過程需要考慮這些字符在其他應用報文中是否也出現過，若在其他報文中也出現則不能采用。

[1]王向輝.基于DPI與特征識別的p2p流量檢測技術研究[D].南寧:廣西大學，2010.

[2]吳軍,杜澤華.一種以DPI為核心的網絡流量識別方案[J].軟件導刊，2014(1):23-26.

[3]馬婧.網絡流量特征提取與流量識別研究[D].北京:北京郵電大學，2012.

[4]吳昊,程光.HTTP網絡應用特征串的自動提取[J].廣西大學學報,2011,36(增刊1):61-64.

[5]周延森，汪永好.入侵檢測匹配算法的研究與改進[J]. Proceedings of 2010 International Conference on Broadcast Technology and Multimedia Communication(Volune 4)，2010 (4):13-17.

[6]李倫.針對大規模URL關鍵字的多模匹配算法的性能優化[D].哈爾濱:哈爾濱工業大學，2011:20-29.

[7]黃麗云.網絡流量識別控制系統的設計與實現[D].北京:北京郵電大學，2012:35-54.

[8]李鴻斌.網絡深度包業務識別(DPI)方法的改進[D].南京:南京郵電大學，2011:66-80.

[9]林冠洲.網絡流量識別關鍵技術研究[D].北京:北京郵電大學，2011:29-44.

[10]郭明亮.高速網絡中實時流量識別系統的研究與設計[D].北京:北京郵電大學,2010:39-53.

[11]米淑云.IP網絡流量監控系統的設計與實現[D].北京:北京郵電大學,2009:33-40.

[12]rfc793，Transport Control Protocol[S].

Research on Application Flow Error Based on DPI

ZHU Xiao-lan,SONG li,LIU Yu-zhe
(Hebei Far-east Communication System Engineering Co.,Ltd,Shijiazhuang,Hebei 05000,China)

In the process of the Deep Packet Inspection(Deep Packet Inspection,DPI)test,it is found that some application can be identified according to the knowledge base,but the flow of application is not complete,and the statistic result of actual application flow is different from that of real flow.How to precisely calculate the application flow is an important problem.Aiming at this problem,this paper presents three solutions such as searching common character of all messages in application session,adding peer learning in rules and recording IP and port number of application session as well as session aging mechanism.The experiment results show that the optimal solution is to adopt session aging mechanism,and use peer learning and searching common features of all messages in session as assistance.

flow identification;network protocol;gap between actual application flow and real flow;session aging;peer learning; common characters of message

TP391.4

A

1008-1739(2015)08-38-3

定稿日期：2015-03-26