面向公安應用的Web日志分析工具設計與實現

肖 萍

（中國刑警學院網絡犯罪偵查系 遼寧 110854）

0 引言

在目前大網絡、大數據的環境下，網站是最為流行的信息發布平臺之一，利用網站實施犯罪成本低、公安機關取證困難，犯罪分子選擇網站作為犯罪手段或是犯罪實施工具。本文研究實現一種基于用戶行為的Web日志調查取證軟件，可以及時挖掘出網站用戶的訪問行為，也可以挖掘出實施特定行為的用戶，無論從實際公安業務、還是在公安教學方面，都具有極大的研究意義。

1 Web日志概述

常見的Web服務器包括IIS、Apache、Tomcat等多種類型，其中IIS（Internet Information Server）是目前微軟所推出的主流web服務器，IIS日志格式可分為IIS名稱格式和IIS記錄格式。默認情況下，IIS服務器每天都會生成一個日志文件，記錄該日的一切行為。服務器默認文件名為ex+年份的末兩位數字+月份+日期，如2014年06月20日的日志文件名稱為“ex140620.1og”。日志記錄的格式是固定的ASCII格式，開頭四行為日志的固定說明信息，其中IIS可自定義顯示記錄的格式。舉例說明IIS日志格式：

對以上日志進行解析，進行訪問的時間：2012-06-07 00：01：24；所訪問的服務器的ip：118.26.226.102；獲取方法：get方法；執行訪問的文件及附帶參數是：/90125/stat.ashx aid=100192&adid=362&wid=1&uid=100021&ext1=&ext2=；訪問的端口：80；客戶端ip地址是：124.65.144.2；瀏覽器類型：360瀏覽器；系統相關信息：compatib1e；+MSIE+6.0；+Windows+NT+5.1；+SV1；操作代碼狀態：302，訪問需重定向；處理時間是：143秒。

2 軟件設計與實現

基于公安機關在調查取證過程中對網站用戶行為分析的需求，整個系統功能分為三部分：第一部分是定位、挖掘特定用戶所實施的訪問行為，包括查看了哪些網頁、網頁訪問軌跡、在每個頁面所停留的時間、所使用的瀏覽器類型，及其上傳了哪些圖片文件。第二部分是定位實施特定行為的用戶，這些特定行為包括：訪問特定頁面、登錄網站、在網站進行注冊、在什么時間下載了特定圖片等等。第三部分系統用戶可以自定義訪問行為，包括對某文件的訪問次數大于10、在某文件的停留時間超長一定時長等等。

考慮到系統的穩定性及可用性，選擇面向對象的解釋型計算機程序設計語言python作為軟件實現語言，后臺采用Mysq1數據庫，對總體上進行模塊劃分，各功能模塊的編碼實現、測試。系統流程如圖1所示。

圖1 系統流程圖

（1）數據清洗是數據分析挖掘的首要任務，在數據清理中要考慮的因素主要有以下幾個：區分不同的用戶需要什么信息；通過何種信息識別使用者會話；與模式發現和以后數據挖掘任務有關的數據項有那些。根據以上需求，對日志記錄清除不相關的數據，檢查URL的后綴，合并某些記錄。對用戶請求頁面時發生錯誤的記錄進行適當的處理。例如：在以上日志文件中，需要將客戶機請求的用戶名和服務器返回的狀態去掉。另外，在用戶請求一個網頁時，與這個網頁有關信息自動下載，并記錄在日志文件中。此時，要根據以后要進行挖掘的目的，刪除那些不是用戶顯示請求的文件。例如，后綴名是.cgj，.js和 js的腳本文件因對后面的分析處理不造成任何影響，所以應該刪除。為了提高系統模型的可擴展性，該系統在設計時建立一個缺省的規則庫來幫助刪除記錄，此規則庫可以根據分析網站的類型進行修改。例如，對于其他一般網站日志的數據挖掘，當用戶在請求一個網頁時，與網頁有關的圖片等信息會自動下載，保存在日志文件中，由于這個文件不是用戶顯式請求的，因為在進行數據清理的時候需要將這些記錄刪除，此時，只需要在規則庫中添加后綴為.gif，.jpg，.jpeg，.GIF，.JPG，.JPEG等即可。而在賭博網站日志的數據挖掘中，由于網站中大部分信息為圖形文件，用戶在訪問的過程中極有可能訪問這些圖形文件，因此，在規則庫中，不需要加入這些后綴名。

（2）數據經過清洗后，轉換成適合挖掘分析的數據后存儲到MYSQL數據庫表中，在數據處理模塊中通過主函數根據所接收的用戶需求跳轉到不同的子處理函數中，在每個子處理函數中，對處理信息細節進行了封裝，根據需求參數構建不同的數據分析模式語句，輸出結果。

3 軟件的擴展應用

（1）死鏈接分析 該軟件能夠在分析 IIS日志，查找網站日志中是否有訪問者可以造成的死鏈接，即從數據庫中挖掘如下行為，同一ip地址的訪問者對網站的訪問狀態的結果連續是404。

表明IP為180.153.206.22利用了一些掃描工具對網站進行數據庫查找，企圖通過這種方式猜到網站的數據庫位置和名稱，然后進一步下載看到更具體的信息。

（2）SQL注入分析 一般的SQL注入都是通過%20（空格的ASC碼的16進制值是20）和半角單引號進行的，可以搜索%20和’單引號（半角的），查看是否存在相關結果。通過此行為可以判斷出該網站是否曾遭受 SQL注入攻擊，可以對執行SQL注入攻擊的ip的行為進行更具體的分析，進一步對攻擊者ip地址進行落地。

（3）上傳文件入侵 分析 IIS日志，查找網站是否被上傳文件入侵，上傳的文件是什么。

2012-06-07 06： 32：58 118.26.226.102 POST/1esson_manage/up1oad/40/ASP.asp 80 - 174.44.80.128 Apache-HttpC1ient/4.1.3+（java+1.5）302 0 0 306由上可以看出，用戶174.44.80.128在2012-06-07 23：16：19成功上傳了一個文件 ASP.asp 到/1esson_manage/up1oad/40/文件夾下。

4 結束語

本文研究了Web日志格式及特點，結合公安機關對web日志的挖掘需求，設計并實現了基于用戶行為的Web日志分析系統，但隨著互聯網技術的不斷發展，Web日志信息量將呈幾何數增加，Web日志數據分析處理效率有待進一步提高。

[1]劉建軍,黃政.網站入侵案件中的電子證據研究[J].信息網絡安全.2011.

[2]莊建兒.非法入侵網站案件的電子取證分析[J].寧波大學學報(理工版).2012.

[3]李明翠.面向網絡營銷的IIS日志分析系統[J].華東交通大學學報.2009.