基于網(wǎng)頁(yè)DOM樹節(jié)點(diǎn)路徑相似度的正文抽取

潘心宇，陳長(zhǎng)福，劉 蓉，王美清

(1.福州大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，福建 福州 350108;2.福建庫(kù)易信息科技有限責(zé)任公司，福建 福州 350000)

?

基于網(wǎng)頁(yè)DOM樹節(jié)點(diǎn)路徑相似度的正文抽取

潘心宇1，陳長(zhǎng)福2，劉 蓉1，王美清1

(1.福州大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，福建 福州 350108;2.福建庫(kù)易信息科技有限責(zé)任公司，福建 福州 350000)

由于人工抽取網(wǎng)頁(yè)信息效率低、成本高，因此根據(jù)對(duì)大量網(wǎng)頁(yè)結(jié)構(gòu)的觀察，提出基于網(wǎng)頁(yè)文檔對(duì)象模型DOM樹節(jié)點(diǎn)路徑相似度的正文抽取方法。依據(jù)同網(wǎng)站下的網(wǎng)頁(yè)結(jié)構(gòu)相同的特點(diǎn)去除網(wǎng)頁(yè)噪聲得到網(wǎng)頁(yè)的主題內(nèi)容，然后結(jié)合正文節(jié)點(diǎn)在DOM樹中的路徑的相似度抽取正文。通過(guò)對(duì)不同類型的中文新聞網(wǎng)站上的1 000個(gè)網(wǎng)頁(yè)進(jìn)行實(shí)驗(yàn)，結(jié)果表明該方法對(duì)于97.6%的網(wǎng)頁(yè)都能夠去除大部分噪聲并保持正文內(nèi)容的完整性，正文抽取結(jié)果有93.30%的準(zhǔn)確率和95.59%的召回率。所提算法對(duì)不同類型的網(wǎng)頁(yè)都有較好的適應(yīng)性。

DOM樹；信息抽取；HTML標(biāo)簽；網(wǎng)頁(yè)去噪；正文抽取

0 引言

隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，網(wǎng)頁(yè)成為人們獲取信息的重要來(lái)源之一。然而，網(wǎng)頁(yè)上的數(shù)據(jù)是海量的，單純依靠人工手段獲取網(wǎng)頁(yè)信息效率較低，因此需要借助軟件對(duì)網(wǎng)頁(yè)信息進(jìn)行全部或部分地自動(dòng)過(guò)濾和分類。目前常用的自動(dòng)網(wǎng)頁(yè)信息獲取方法是正文內(nèi)容抽取，該類方法是一種被廣泛應(yīng)用于互聯(lián)網(wǎng)數(shù)據(jù)挖掘的技術(shù)，它的目標(biāo)是從互聯(lián)網(wǎng)龐大的數(shù)據(jù)中提取有意義的和有價(jià)值的信息，可以用于信息搜索、Web文檔分類、數(shù)據(jù)挖掘、機(jī)器翻譯、文本摘要等。

常用的正文抽取方法可以分為以下4類：(1)傳統(tǒng)的歸納總結(jié)正文抽取方法：根據(jù)一些信息模式，從特定的信息源中提取相關(guān)內(nèi)容[1]。此方法效率較低、需要較多的手動(dòng)操作，獨(dú)立性以及適應(yīng)性較差。(2)基于網(wǎng)頁(yè)布局[2]和視覺(jué)[3-4]的正文抽取：該方法很大程度上依賴于網(wǎng)頁(yè)的風(fēng)格或者結(jié)構(gòu)。當(dāng)涉及到有更復(fù)雜的嵌套關(guān)系的網(wǎng)頁(yè)時(shí)會(huì)出現(xiàn)偏差。(3)基于語(yǔ)義單元[5]或者數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)[6]的正文抽取：通過(guò)使用分詞和文本分類，雖然準(zhǔn)確率有所提高，但是解決方案比較復(fù)雜。(4)基于統(tǒng)計(jì)的正文抽取[7]：該方法簡(jiǎn)單而且具有更好的通用性，但是較低的精確度限制了它的進(jìn)一步應(yīng)用。此外，它不能處理短文本、表格文本以及有較長(zhǎng)評(píng)論的文本。

FINN A等[8]提出正文抽取(Body Text Extrac tion,BTE) 算法，將網(wǎng)頁(yè)中的文字和標(biāo)簽作為序列，抽取序列中文字最多和標(biāo)簽最少的連續(xù)的內(nèi)容。PINTO D等[9]提出文檔斜率曲線(Document Slope Curves,DSC) 算法，在FINN的方法的基礎(chǔ)上使用窗口方法實(shí)現(xiàn)多正文抽取。MANTRATZIS C等[10]提出鏈接定額過(guò)濾(Link Quota Filters,LQE) 算法，通過(guò)網(wǎng)頁(yè)結(jié)構(gòu)分析，分離正文和導(dǎo)航目錄等超鏈接。DEBNATH S等[11]提出特征提取器(Feature Extractor,FE)算法，選擇包含有一定特征的文本、圖像而且重復(fù)出現(xiàn)次數(shù)較少的內(nèi)容塊。GOTTRON T等[12]提出正文代碼模糊(Content Code Blur-ring,CCB)算法，選擇相同格式的長(zhǎng)文本作為網(wǎng)頁(yè)的正文。劉利等[13]提出基于多特征融合的網(wǎng)頁(yè)正文信息抽取，從網(wǎng)頁(yè)的多個(gè)特征和設(shè)計(jì)習(xí)慣入手定位正文位置。王利等[14]提出基于內(nèi)容相似度的正文抽取，根據(jù)樹節(jié)點(diǎn)中文本內(nèi)容與各級(jí)標(biāo)題的相似度判定小塊文本信息的有效性，由此進(jìn)行網(wǎng)頁(yè)清洗和正文抽取。

分析網(wǎng)頁(yè)信息會(huì)發(fā)現(xiàn)，網(wǎng)頁(yè)中包含大量與網(wǎng)頁(yè)主題無(wú)關(guān)的噪聲內(nèi)容，如廣告鏈接、導(dǎo)航欄、版權(quán)信息等。在正文抽取過(guò)程中，這些網(wǎng)頁(yè)噪聲會(huì)影響抽取效果，因此需要通過(guò)去噪方式對(duì)網(wǎng)頁(yè)進(jìn)行預(yù)處理。常用的網(wǎng)頁(yè)去噪方法有：

YI L等[15]提出用風(fēng)格樹(Style Tree,ST)來(lái)表達(dá)網(wǎng)頁(yè)的結(jié)構(gòu)和內(nèi)容特征，出現(xiàn)相同特征次數(shù)多的部分更有可能是噪聲數(shù)據(jù)。GIBSON D等[16]提出Shingle和模板Hash方法。這兩種算法的缺點(diǎn)是計(jì)算量較大。WANG J Y等[17]提出的主題數(shù)據(jù)提取(Data-rich Section Extraction,DSE)算法，該算法通過(guò)從上到下比較兩棵相同模板的文檔對(duì)象模型 (Document Object Model,DOM)樹，去除樹中相同的部分，剩下的部分作為網(wǎng)頁(yè)的主題內(nèi)容。

根據(jù)對(duì)現(xiàn)有方法的總結(jié)以及對(duì)網(wǎng)頁(yè)特征的分析，本文提出基于DOM樹節(jié)點(diǎn)路徑相似度的正文抽取方法，對(duì)于不同結(jié)構(gòu)的網(wǎng)頁(yè)都有較好的適應(yīng)性，對(duì)來(lái)源于新浪、網(wǎng)易、搜狐、騰訊等大型門戶網(wǎng)站以及多家各類型網(wǎng)站的1 000個(gè)網(wǎng)頁(yè)進(jìn)行了抽取實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明本文方法有較好的抽取準(zhǔn)確度。

1 網(wǎng)頁(yè)去噪

目前，大部分網(wǎng)頁(yè)的源代碼是以超文本標(biāo)記語(yǔ)言 (Hyper Text Markup Language，HTML)的形式存在的。對(duì)于同一網(wǎng)站下的不同網(wǎng)頁(yè)，它們由同一個(gè)模板生成，因此這些網(wǎng)頁(yè)具有相似的結(jié)構(gòu)，而這些網(wǎng)頁(yè)中相同的部分就是噪聲內(nèi)容，它們與網(wǎng)頁(yè)所要表達(dá)的主題沒(méi)有關(guān)系。本文在DSE算法的基礎(chǔ)上，首先將與網(wǎng)頁(yè)無(wú)關(guān)的標(biāo)簽及相關(guān)代碼刪除，然后通過(guò)將某個(gè)網(wǎng)頁(yè)與同一網(wǎng)站下的2個(gè)或多個(gè)網(wǎng)頁(yè)進(jìn)行對(duì)比去除相同部分，從而達(dá)到去除噪聲的目的。

1.1 刪除無(wú)關(guān)的標(biāo)簽

網(wǎng)頁(yè)源代碼包含了以不同的標(biāo)簽括起來(lái)的各段代碼。例如，網(wǎng)頁(yè)標(biāo)題和一些修飾性代碼主要嵌在標(biāo)簽的內(nèi)部，網(wǎng)頁(yè)主題內(nèi)容包含在標(biāo)簽之間，客戶端腳本則包含在標(biāo)簽之間。通過(guò)對(duì)大量HTML文本的研究和分析，發(fā)現(xiàn)以下幾類標(biāo)簽與網(wǎng)頁(yè)主題內(nèi)容的相關(guān)性很低，在對(duì)比網(wǎng)頁(yè)之前可以將這部分內(nèi)容過(guò)濾掉以提高后續(xù)的對(duì)比速度。

標(biāo)簽以及它們之間的內(nèi)容。

標(biāo)簽。該標(biāo)簽中內(nèi)容的主要功能是定義客戶端腳本，與網(wǎng)頁(yè)所要表達(dá)的內(nèi)容關(guān)系不大，也可以將其刪除，類似地，也可刪除。

大部分網(wǎng)頁(yè)通過(guò)層疊樣式表(Cascading Style Sheets,CSS)來(lái)調(diào)整頁(yè)面的布局，標(biāo)簽用于定義HTML文檔的樣式信息，同樣可以刪除。

注釋標(biāo)簽、只是為網(wǎng)站編輯提供說(shuō)明，并不會(huì)在瀏覽器中顯示，也可刪除。

在預(yù)處理過(guò)程中利用正則表達(dá)式刪除以上噪聲代碼。正則表達(dá)式通過(guò)使用單個(gè)字符串來(lái)描述、匹配一系列符合某個(gè)句法規(guī)則的網(wǎng)頁(yè)源代碼。符合匹配規(guī)則的源代碼將被刪除。

刪除完無(wú)關(guān)標(biāo)簽后，再刪除空白行，這樣完成了去噪的第一步。

1.2 通過(guò)網(wǎng)頁(yè)對(duì)比去除噪聲

網(wǎng)頁(yè)對(duì)比可以通過(guò)對(duì)比它們的 DOM樹來(lái)實(shí)現(xiàn)。DOM是文檔中數(shù)據(jù)和結(jié)構(gòu)的一個(gè)樹形表示， 它定義了表示和修改文檔所需的對(duì)象、這些對(duì)象的行為和屬性以及這些對(duì)象之間的關(guān)系。DOM實(shí)際上是以面向?qū)ο蠓绞矫枋龅奈臋n模型。它可以以一種獨(dú)立于平臺(tái)和語(yǔ)言的方式訪問(wèn)和修改一個(gè)文檔的內(nèi)容和結(jié)構(gòu)。圖1給出了一個(gè)文檔的DOM樹的結(jié)構(gòu)圖。

圖1 DOM樹結(jié)構(gòu)圖

通過(guò)HTML解析(如使用解析器htmlcxx)可以將HTML文檔轉(zhuǎn)換為DOM樹結(jié)構(gòu)。假設(shè)要處理的是某網(wǎng)站的網(wǎng)頁(yè)URL1，隨機(jī)選取該網(wǎng)站下的另外兩個(gè)網(wǎng)頁(yè)URL2和URL3，獲得它們的DOM樹。然后分別對(duì)比DOM1DOM2以及DOM1DOM3,輸出不同的節(jié)點(diǎn)。

對(duì)比算法的基本思路是：按深度遍歷3棵樹的節(jié)點(diǎn)，為每個(gè)節(jié)點(diǎn)設(shè)置深度、路徑、文本內(nèi)容、是否為tag(HTML標(biāo)簽)。以第1個(gè)網(wǎng)頁(yè)作為目標(biāo)與另外兩個(gè)網(wǎng)頁(yè)進(jìn)行對(duì)比，如果3個(gè)節(jié)點(diǎn)深度相同，則判斷節(jié)點(diǎn)的文本內(nèi)容是否相同，相同的加入模板集合中，不同的加入網(wǎng)頁(yè)內(nèi)容集合中；如果3個(gè)節(jié)點(diǎn)深度不同，則根據(jù)不同情況對(duì)相應(yīng)的節(jié)點(diǎn)進(jìn)行處理，其中網(wǎng)頁(yè)1的節(jié)點(diǎn)加入到網(wǎng)頁(yè)內(nèi)容集合中。直到3個(gè)網(wǎng)頁(yè)都遍歷到end節(jié)點(diǎn)為止。最后得到的就是網(wǎng)頁(yè)1的主題內(nèi)容， 過(guò)濾了噪聲部分。

算法偽代碼如下：

for(i = begin1 : end1; j = begin2 : end2; k = begin3 : end3)

{

if(depth1 == depth2 == depth3)

if(i->text() == j->text() == k->text())

i加入模板集合;

else

i加入內(nèi)容集合;

else

{

while(depth1 > depth2 || depth1 > depth3)

{

i加入內(nèi)容集合;

i++;

}

while(depth1 < depth2)

j++;

while(depth1 < depth3)

k++;

}

}

2 正文抽取

HTML文檔轉(zhuǎn)換成DOM樹以后，每個(gè)節(jié)點(diǎn)都有唯一確定的路徑。網(wǎng)頁(yè)中不同內(nèi)容塊的節(jié)點(diǎn)在DOM樹中的公共路徑較少，而同一內(nèi)容塊的節(jié)點(diǎn)的公共路徑很長(zhǎng)。本文以這些路徑之間的相似度作為不同節(jié)點(diǎn)是否屬于同一內(nèi)容塊的依據(jù)。所有的主題內(nèi)容都在葉子節(jié)點(diǎn)上，記所有葉子節(jié)點(diǎn)的路徑為：

P={PA,PB,…},PA={TA1,TA2,…,TAn}

其中TAi為文本節(jié)點(diǎn)內(nèi)容。

例如:

這段網(wǎng)頁(yè)源代碼中的 “This is the first block”節(jié)點(diǎn)的路徑為：