未備案網站發現的技術手段探討

■ 海南 向遠金

實施網站備案管理是行業主管部門加強互聯網管理的重要舉措，在加強行政管理的同時，使用適當的技術手段不僅可以節省人力資源，而且能大幅提升管理效率。本文通過對網站的接入機制的分析，提出了用技術手段發現未備案網站的方法。

未備案網站的接入形態

按照“先備案后接入”的原則，互聯網網站在接入前必須履行備案手續。絕大多數網站都依法依規履行了備案手續，但仍然存在少數未備案接入的網站，并且不易發現，主要有以下幾種情況：

1.虛擬主機網站

通過服務器空間分配及域名與空間對應的技術，實現一個IP對應多個域名的訪問，即通常所說的虛擬主機。

圖1 DNS分析網絡連接示意圖

2.專線私自接入網站

通過專線私自接入，網站主辦者如果沒有主動報備，運營商很難發現。

3.IP網站

網站沒有域名，通過一個IP+端口號的形式提供訪問，多為企業自建內部使用的系統。

4.跳轉網站

通過跳轉服務器實現網站異地接入，當用戶訪問一個域名時，第一次獲取的IP地市為跳轉服務器地址，第二次獲取的IP地址才是真正的服務器地址，該類網站是問題高發戶。

解決方案分析

針對上述網站接入的幾種形態，可采用如下技術方案：

1.DNS分析

通過鏡像方式，實現對DNS響應流量的采集，實時分析DNS響應流量，效率和準確度高，發現網站范圍可覆蓋全省，包括虛擬主機、專線私自接入網站。

如圖1為DNS分析網站發現方案，在DNS上聯交換機鏡像DNS的響應流量到一個千兆網口，并連接DNS分析服務器。

DNS分析服務器配置2塊千兆網卡，1個連接鏡像口，一個用于訪問INTERNET。DNS分析服務器實時接收并分析DNS的響應流量，發現監控IP范圍內的網站信息。

2.HTTP分析

通過HTTP分析技術，可有效發現IDC內虛擬主機網站，該技術對流入80端口的流量進行分析，處理數據量很小，效率高。與DNS技術相比，其優勢在于不受訪問用戶所使用的DNS限制，只要IDC內網站被訪問即可發現。

如圖2，通過在IDC核心交換機上，鏡像流入IDC內的HTTP請求（80端口）并實時分析該流量，發現IDC內網站。

3.爬蟲遍歷

相對于DNS分析及HTTP分析等被動發現網站的技術，爬蟲發現網站技術屬于主動發現網站的技術，該技術是通過爬蟲主動遍歷網站間的鏈接并分析這些鏈接達到發現網站的目的。

從效率上講，該技術不如DNS分析及HTTP分析效率高，但是該技術也是一種重要的未備案網站發現技術。作為DNS分析和HTTP分析技術手段的補充，爬蟲技術可發現上述兩種技術不能發現的未備案網站。

如圖3，爬蟲通過種子站點，作為抓取的入口，遍歷網站頁面的鏈接，通過URL分析網站的域名信息。

圖2 HTTP分析網絡連接示意圖

圖3 爬蟲遍歷網絡連接示意圖

4.IP網站掃描等技術

上述3種技術方案能有效地發現未備案的網站，對于IP+端口號作為訪問入口的網站，以及以跳轉服務器作為網站訪問入口的跳轉網站，在上述3種解決方案做適當地變化也有較好地處理效果。

結語

通過技術方式實現未備案網站的發現，能有效地增強相關管理部門對互聯網的管理能力。網絡技術的發展日新月異，技術手段作為一種輔助管理方式，也要與時俱進，不斷改進和完善。