一種基于模板的快速網頁文本自動抽取算法
2009-12-31 00:00:00陳治昂周知予李大學
計算機應用研究 2009年7期
摘要：針對網頁噪聲和網頁非結構化信息抽取模板生成復雜度高的問題，提出了一種快速獲取非結構信息抽取模板的算法。該算法先對網頁噪聲進行預處理，將其DOM樹結構進行標簽hash映射，通過自動訓練的閾值快速判定網頁的主要部分，根據數據塊中的嵌套結構獲取網頁文本抽取模板。對不同類型網站的實驗表明，該方法快速且具有較高的準確度。
關鍵詞：噪聲；非結構化；文本抽取；模板；閾值
中圖分類號：TP391 文獻標志碼：A 文章編號：1001－3695(2009)07－2646－04
