基于互聯網的數據挖掘技術在競爭情報收集中的應用

車榮海，梁志恒

沈陽師范大學 科信軟件學院，遼寧 沈陽 110034

1 Internet情報收集子系統概述

一個企業要進行競爭情報的研究，應該建立自己的基于網絡環境的競爭情報系統——競爭情報網絡系統是圍繞企業的經營戰略目標，以現代信息技術（尤其是網絡技術）為主要手段，對企業內部和外部的競爭要素，競爭環境以及競爭對手的信息進行收集、存儲、處理與分析研究的新一代綜合性網絡系統。系統有3部分組成：競爭情報收集子系統、競爭情報分析子系統和競爭情報服務子系統。競爭情報收集子系統是根據事先確立的情報課題，收集、整理各種信息，初步篩選，同時作好文件、記錄等資料的保管及定期歸檔工作。競爭情報分析子系統是應用恰當的分析方法與技術，深入分析競爭情報收集子系統的信息，生產競爭情報產品。競爭情報服務子系統是以各種適當的方式包裝競爭情報產品，及時將產品傳送到情報用戶手中去，并為企業決策層提供快捷的瀏覽、查詢服務和情報服務。以企業現有技術和信息資源為核心， 以網絡為基礎的現代競爭情報系統共分3個層次：第一個層次是企業內部網。它利用Internet技術把企業內部所有的信息資源集成起來，把各子公司、各部門聯系起來，實現企業內部的信息共享與協同作業；第二層次是企業外聯網，它將Internet技術應用于企業間的信息系統，把與企業有業務合作關系的交易伙伴、合作對象、相關公司以及主要客戶連成一體；第三層次是因特網，它是覆蓋全世界范圍的網絡，通過它可以使國內外企業、遠程用戶、異地資源得以聯合，實現資源共享，溝通合作。

2 數據挖掘技術在Internet情報收集子系統的應用

2.1 公共信息挖掘系統

隨著Internet的迅速發展，在Internet上儲備了大量的信息，這些信息是零散的分布在全球的各個位置上，也就是分布在各個不同的計算機服務器上，那么我們如何來更好的找到并利用這些信息，成為了競爭情報工作中一個非常重要的課題研究。競爭情報工作除了要挖掘自身門戶網站的知識，Internet上的各種各樣的公共信息的利用同樣也不容忽視。公共信息挖掘系統就是企業通過在Internet上免費的信息獲得有價值的信息的系統。通過查閱大量的資料提出一個公共信息挖掘系統的模型如下：

圖1 公共信息挖掘系統模型圖

Web上的數據與傳統的數據庫中的數據不同，傳統的數據庫都有一定的數據模型，可以根據此模型來具體描述特定的數據。而Web上的數據非常復雜，沒有特定的摸模型描述，每一站點的數據都各自獨立設計，且數據本身具有自述性和動態可變性。傳統數據挖掘技術是用來處理保存在數據庫中的結構化數據，但是Internet上的大量數據都是半結構化和非結構化。因此，要在競爭情報工作中充分利用Internet的信息，數據由非結構化和半結構化轉化為結構化形式是關鍵，從而就涉及到情報檢索和WEB挖掘兩個領域的研究。

2.1.1 元搜索引擎

搜索引擎按其工作方式主要可分為3種，分別是全文搜索引擎目錄索引類搜索引擎和元搜索引擎。元搜索引擎，被稱為搜索引擎之上的搜索引擎。用戶只需遞交一次檢索請求，由于元搜索引擎負責轉換處理后提交給多個預先選定的獨立搜索引擎，并將所有查詢結果經過處理后集中起來以整體統一的格式呈現到用戶面前。由于采用了一系列的優化運行機制，能夠在盡可能短的時間內提供給搜索者相對全面、準確的信息，能夠更好的滿足搜索者的需要，但顯示給搜索者的信息也是不能達到100%，可以通過擴展調用多個搜索引擎來提高搜索的全面性。值得推薦的元搜索引擎有Dogpile、InfoSpace、Vivisimo等。為了在大范圍的檢索中取得較好的效果，本模型采用元搜索引擎。

2.1.2 WEB結構挖掘（鏈接分析）

目前的大多數搜索引擎在進行分類的時候都是利用內容的相關性進行排序的，所謂的內容相關性排序就是根據網頁的內容進行分類，處理的辦法一般是進行分詞、詞頻統計，根據統計的結果進行分類和進行相關性排序。這樣的分類不能反映人們對該網頁內容的分析與看法，缺乏一定的主觀性。在使用元搜索引擎技術后，調用己有的搜索引擎，因此返回的搜索結果是進行了基于內容相關性的相關性排序。這些結果中包含指向的結果頁面的超級連接（URL網址），不同的搜索引擎的結果不同，那么它們的超級連接也是不同的，其中有部分內容是重復的。我們知道通過超級連接能夠反映某個頁面是不是權威頁面，也就可以根據某個頁面被引用的次數可以知道這個頁面是不是權威頁面，也就是基于超級鏈接的相關性排序。因此我們可以對處理結果中的各個超級鏈接的URL地址進行排序，在原有的基于內容排序的基礎上加入了基于超級鏈接的相關性排序，通過鏈接分析，提高搜索結果的精度。Brin和Page提出了的Page-rank算法，并將它應用于搜索引擎谷歌。

2.2 門戶網站挖掘系統

隨著互聯網的飛速發展，現在很多的企業擁有自己的門戶網站。如果企業納入電子商務的運營模式，門戶網站更加是必不可少。基于Internet的競爭情報工作的研究應該首先把瀏覽本企業的網站時所保存下來的數據，進行挖掘分析。通過對網站本身的Web挖掘，對于競爭情報工作主要會產生以下3方面優勢：1）理解客戶行為：通過理解訪問者的動態行為來優化電子商務網站的經營模式；獲得個人訪問者的興趣愛好；了解從訪問者到客戶的轉化率；發現客戶和訪問者對于網頁的瀏覽模式；發現客戶群對于不同業務的行為特征；發現網站上客戶之間的關系；2）判斷站點的效率：發現站點上不同業務量；設計網站不依靠專家定性指導，根據對訪問者路徑分析等手段修改、設計網頁結構和布局；對于不同客戶提供個性化服務；3）評估電子商務模式的成功：將客戶按照模式分類；測評廣告的投資回報率；得到可靠的市場反饋。

2.3 行業監視挖掘系統

分析競爭對手的目的是了解每個競爭對手的戰略和目標，評估其優勢與劣勢以及競爭反應模式，從而制定自己的競爭戰略。如今公司擁有自己的門戶網站再平常不過了。現在的網站不僅僅對企業做簡單的介紹、發布新聞，更多的是把網站作為與客戶進行交流的前沿陣地。因此，通過對競爭對手門戶網站的分析，可以尋找到許多有價值的信息。不僅可以關注競爭對手或潛在對手的信息，通常每個行業都有自己的網站，這些網站上的數據統計信息都是很有價值的。但是有時更新速度快，因此需要及時進行發現。對于如何從其他網站進行有效的數據挖掘，目前還有些困難，隨著技術的發展，門戶網站會成為企業競爭戰略的重點。

[1]李子方.數據挖掘中關聯規則在競爭情報系統中應用[J].微計算機信息,2007.

[2]董獻洲，胡曉峰.信息可視化技術在情報分析中的應用研究[J].計算機工程與應用，2006(34).