電子資源防惡意下載系統研究?——以華東師范大學為例

劉 莉 馮 騏 汪志莉

（1.華東師范大學信息化辦公室；2.華東師范大學圖書館；3.華東師范大學教育信息技術系，上海 200062）

近年來，隨著教育信息化的迅猛發展，為了更好地服務于全校師生的教學科研管理和生活，本校圖書館作為文獻資源存儲和傳播中心，購買了大量的國內外電子資源。這些電子資源一般通過3種方式提供給師生：①建立電子資源的校內鏡像；②采用本地鏡像索引+包庫的方式；③賬號許可方式。

目前圖書館引進的電子資源大部分是采用第三種方式，有兩種實現途徑：①圖書館從電子資源提供商那里直接購買使用賬號，遠程連接到電子資源服務器上進行使用；②將校內IP地址段和賬號進行綁定，直通免身份認證方式。

但是，目前基于這兩種方式的電子資源訪問，本校和其他很多高校都碰到了類似的困擾——電子資源惡意下載，即電子資源提供商對于電子資源的訪問有嚴格的監控和限制，當同一IP地址一段時間內或并發下載超過一定數量時，就會進行警告，甚至封殺IP地址（段）、進行法律訴訟。一旦學校收到警告信，或者IP地址遭到封殺，就將產生很大的惡劣影響，一是嚴重影響學校的國內外形象和聲譽，二是有可能因此大幅增加下一年度的購買成本。

由于本校電信出口進行了地址映射（NAT），所有校園網地址映射成一個（段）IP地址，所以對于某些以單個IP單位時間內下載數量進行判定的數據庫惡意下載的誤判、警告頻率和惡劣影響更大，而且給惡意下載源的控制和追溯帶來了更大的挑戰。

1 惡意下載的現狀

雖然幾乎每所圖書館都已經發布了《數據庫使用版權公告》，但隨著電子資源總量的日益增加和使用量的遞增，電子資源惡意下載現象仍呈現日益增長的態勢。

清華大學圖書館發布《違規使用電子資源的處理情況》，例舉了2003～2013年所有違規下載行為。浙江大學圖書館2011～2013年先后發布了9條、5條、7條關于違規下載的通告，這些惡意下載，導致學校部分IP被封；除此以外，很多其他高校也發布了“違規下載通告”。

本校也面臨同樣的問題，例如APS journals，2011年以來先后收到7封違規下載郵件，ACS也收到6封違規下載郵件，還有中國知網、申報等也有諸如此類的違規下載通告。

以上數據顯示，如何防范和應對電子資源惡意下載已經成為全國各大高校圖書館共同面臨和研究的課題。根據學校自身特點和借鑒兄弟院校成功經驗，高校應從制度規范、意識教育和技術防范3個方面來逐步解決此問題。圖書館作為電子資源的管理部門，應加強電子資源的制度規范建設，經常性地對師生進行合理合法的使用意識教育。而高校信息化辦公室作為技術管理部門，應該發揮自身硬件及軟件的技術優勢，對讀者的下載進行實時監控，采取有效措施，減少甚至免除惡意下載造成的影響，提高電子資源的服務質量。筆者主要從技術角度探討電子資源防惡意下載的應對措施。

2 電子資源防惡意下載系統的研究現狀

鑒于惡意下載的不良影響，各大高校也結合自身情況，對文獻下載流量統計與監控進行研究與實施。例如，清華大學圖書館建立了“電子資源訪問管理與控制系統”[1]；上海交通大學圖書館聯合校網絡中心建立了“高校電子資源訪問管理控制系統”[2]；南京航空航天大學信息學院提出了“一種帶約束特性的網絡信息下載監考模型”以及“基于使用控制模型的防惡意下載系統”[3]。

國內各大高校陸續提出了適合自身的電子資源訪問管理與控制系統，本校也結合自身網絡環境和電子資源情況，提出解決問題的方案，并逐步付諸實施。

3 電子資源防惡意下載系統的研究思路

惡意下載通常具備以下特征：利用下載工具或多線程進行下載；同一IP地址（段）的單位時間內的下載總量或者并發超出電子資源服務提供商設置的閾值。

基于惡意下載的行為特性，通常采取基于流量分析和基于數據報文分析兩種方式來進行防惡意下載的研究。

3.1 基于流量分析（網絡層）

在校園網出口處，針對數據庫所提供的IP地址（段）的特定端口，進行流量分析與跟蹤。當異常流量出現時（如，短時大量80端口的連接請求），采取風險控制措施（中斷該連接或者封禁IP地址）。

基于流量分析方式處理簡單，僅需處理IP數據報頭，系統負荷小，易于實現。但是由于模糊定量，無法精確判斷，造成誤判率較高。此種方式下，應該參考各電子資源提供商的警告閾值，合理設置，可以采取將閾值降低的方式，以降低對惡意下載的漏判率。

3.2 基于數據報文分析（應用層）

在校園網出口處，將所有出入的數據報文鏡像，然后在應用層對數據進行分析控制。即：分析應用層的http報文中的url后綴字段，分離出http下載報文和http訪問請求報文。根據電子資源數據庫指定的地址段，對目的地址屬于該范圍的下載報文的特定后綴進行統計分析，如果其單位時間內的下載報文次數超過規定的閾值（參考各數據庫規定），則對其進行風險控制措施（封禁IP或中斷其連接及警告）。基于數據報文分析中的數據統計分析通常采用將抓包采集到的數據，做初步分析之后錄入數據庫進行查詢分析或者文本方式存儲在本地，通過搜索引擎建立索引的方式進行文本查詢，數據庫中僅保存索引。文本方式對系統負荷小，但性能取決于搜索引擎的優化。

基于數據報文分析方式判斷精確，誤判率較低。但由于要實時處理長字符串（http報文），處理復雜，因此系統負荷較大。

4 電子資源防惡意下載系統設計

2010年，本校已經進行了電子資源防惡意下載系統的探索嘗試，通過部署在校園網出口處的上網行為審計設備進行電子資源數據庫的訪問統計分析與追溯。該設備將所有校園網出口的流量進行了鏡像，如圖1所示。

圖1 流量鏡像配置

由于上網行為審計設備旁路在校園網出口，僅對流經校園網出口的網絡流量進行了鏡像，而且定制功能尚不完善，所以該功能目前僅用于供圖書館進行訪問統計分析和惡意下載的事后追溯，無法進行控制和防護。

圖2 現狀

在借鑒學習了諸多其他兄弟院校的解決方案后，本校也積極做了進一步的研究和嘗試。由于基于網絡流量的方式存在誤判率較高的問題，因此筆者選擇基于數據報文的方式來進行電子資源防惡意下載系統的研究與探索，以期對電子資源的訪問下載進行有效的管理以及合理的使用。

基于數據報文的電子資源防惡意下載系統的技術方案包括系統網絡架構、軟件架構和技術實施方案3部分。

4.1 系統網絡架構方案

電子資源防惡意下載系統的網絡架構與以前的實現方法類似，即在校園網絡出口處將所有流量鏡像給抓包服務器，或者抓包服務器、應用服務器合并串聯在校園網出口處，如圖3所示。

圖3 系統網絡架構

4.2 系統軟件架構及技術方案

電子資源的下載大多采用HTTP方式和FTP方式。由于數據庫提供商一般不會提供BT方式，所以本方案對此暫未考慮。對于控制下載行為及下載計數，首先需要分析應用層網絡數據包的包頭，分析包頭中哪些是下載的數據包。對于HTTP方式的下載，需要分析每個HTTP請求及響應的參數，根據HTTP協議response的Content-Type來判斷響應的類型，如果是規定的文件類型，則記為一次下載。對于FTP方式的文件下載，可以通過監聽tcp協議的21號端口，如果21端口有數據傳輸，則記為下載。

本方案實現中的難點是對于某些特定的下載，資料鏈接在A網站，而存儲在B網站，于是真正的下載需要跳到B網站進行，此時需要人工創建或者自動建立A網站和B網站之間的關系。關系創建之后，所有B網站的下載可視為A網站的下載。

本電子資源防惡意下載系統自下而上可分為網絡數據包抓取系統、解析HTTP tcp/ip數據包系統、下載規則對比、下載規則管理平臺、統計報表系統。本解決方案的軟件架構如圖4所示。

圖4 系統軟件架構

電子資源防惡意下載系統使用C語言和Java語言編寫，運行在LINUX平臺，也可以運行在Windows平臺。電子資源防惡意下載系統要求HTTP數據包抓包率達到100%，每個數據包的分析過濾響應時間小于10ms，才能保證每一個可能的惡意下載都納入監控之中。因此，網絡數據包抓包程序和數據包分析協議解碼程序由C語言編寫，C語言在速度和執行效率上要高于Java等其他語言。

4.2.1 網絡數據包抓包程序

網絡數據包抓包程序采用Libpcap作為底層抓包庫。Libpcap是unix/linux平臺下的網絡數據包捕獲函數包，這個抓包庫提供了一個高層次的接口可以捕獲所有網絡上的數據包，并充分考慮到應用程序的可移植性。

4.2.2 數據包分析封底&解碼程序

數據包分析封底&解碼程序，負責解析HTTP和TCP/IP數據包并將結果放到Pool中。

對于每一次下載，需要根據TCP協議解析TCP協議包頭得到源端口和目標端口；根據IP協議解析IP協議包頭得到源IP地址和目標IP地址。然后，再解析HTTP協議請求響應Header，如圖5所示。

圖5 HTTP請求響應Header

根據HTTP 請求頭，取到字段（host，URL，Referer，Request Date，Content-type，Response Date，Response，Contentstype，payload）。最后，把TCP/IP和HTTP協議解析得到的所有有用字段放入Pool中，供規則對比程序調用數據。

4.2.3 分析線程流程

圖6 數據分析線程流程

①首先通過數據包抓包程序和分析程序抓取IP、TCP和HTTP數據報文。

如果是數據包HTTP的Request，則將數據包中的RequestURl、REFERER、HOST及HTTP協議對應的TCP報文的端口、ack號及IP報文的IP地址等信息放到內存中緩存Pool中（TCP封裝的http協議報文中，HTTP的Request數據報文TCP的ack編號和Response對應的TCP報文的seq編號相同。根據這個編號及IP地址、端口建立Request和Response的對應關系）。對于跨站下載方式，真正的下載鏈接在其他網站，可以通過HTTP報文中的REFERER字段來判斷是否是控制網站發出的請求。

如果數據包是Response報文類型，取到TCP報文的端口、seq和IP報文中的IP地址信息，根據這些信息從內存中緩存Pool取出請求信息，能取出說明是要控制下載的網站的請求的URL。然后取到HTTP協議報文對應的content_type，根據content_type判斷請求的URL是否是下載的文件類型。如果是，再從HTTP response報文Content_Disposition中取到下載的文件名，將下載信息存到內存緩存中，由另外保存下載的線程存入數據庫中。

常見屬于下載文件content_type類型有application/octetstream、application/pdf、application/msword、application/x-xls、application/vnd.ms-excel、application/x-ppt和application/zip。

4.2.4 數據下載規則比對

協議分析程序分離出需要控制的協議包，根據規則庫定義的規則進行對比。程序在啟動時把所有網站的下載規則包括每個網站最后的時間、下載次數都讀到內存中。當有一個HTTP或TCP的數據包到達時，和內存中的規則庫比較，如果達到該網站規則的下載的最大次數，通知阻斷下載的接口，同時更新該網站下載次數，記錄該網站的下載記錄。如果沒有達到允許的下載次數，則只記錄該網站的下載記錄。數據下載規則比對流程如圖7所示。

圖7 數據下載規則比對流程

4.3 模擬實現

電子資源防惡意下載系統使用C語言和Java語言編寫，在Windows平臺下進行了模擬實現。運行環境：JDK1.6、GCC；數據庫：Mysql 6.1；應用服務器：Tomcat6.36。模擬實現效果如圖8所示。

圖8 模擬實現效果

5 總結與展望

隨著電子資源的不斷增加，惡意下載形勢日益嚴峻，我們必須根據本館的實際情況，積極面對這一挑戰。筆者基于數據報文方式進行了一定的研究探索和模擬實現，控制下載次數的統計要求HTTP數據包抓包率100%，每個數據包的分析過濾響應時間小于10ms，這樣才能保證監控到每一次下載。學校總出口流量比較大，需要軟件結合性能強大的硬件才能更加完善，因此下一步需要加強硬件的支撐，完善阻斷功能，才能更好地防范惡意下載。

[1] 鄒榮，等.電子資源訪問管理與控制系統的設計與應用[J].圖書情報工作，2010（1）.

[2] 施曉華，錢吟，謝銳.高校電子資源訪問控制系統的設計和應用[J].計算機應用研究，2011（3）.

[3] 劉大偉，等.基于使用控制模型的防惡意下載系統[J].計算機工程，2009（23）.