基于Scrapy的開(kāi)源核情報(bào)采集系統(tǒng)構(gòu)建

黃 禹 蘭 洋 張 玥 胡家全 黃 粲

（中國(guó)核動(dòng)力研究設(shè)計(jì)院，四川 成都 610000）

0 引言

二十一世紀(jì)以來(lái)，突飛猛進(jìn)的網(wǎng)絡(luò)化、信息化、數(shù)字化進(jìn)程，使得社會(huì)知識(shí)傳播方式發(fā)生了巨大變革。互聯(lián)網(wǎng)因其多樣性、及時(shí)性和共享性的特點(diǎn)，已經(jīng)成為人們獲取信息的重要載體，滲透到政治、經(jīng)濟(jì)、科研、生活的方方面面。隨之而來(lái)的就是大數(shù)據(jù)時(shí)代下海量數(shù)據(jù)的激增，網(wǎng)絡(luò)資源變得多元化，人們面對(duì)紛繁多擾的信息資源時(shí)，反而陷入了“信息迷航”“信息過(guò)載”的困境，而在針對(duì)具體領(lǐng)域開(kāi)源情報(bào)（Open Source Intelligence，簡(jiǎn)稱OSINT）的獲取方面尤為如此。基于此，不同于通用搜索引擎的基于主題的采集技術(shù)應(yīng)運(yùn)而生，該技術(shù)是傳統(tǒng)搜索引擎的延伸和發(fā)展，專注于某一行業(yè)或某一領(lǐng)域的信息資源的獲取，具有“專、精、深”的特點(diǎn)，在各領(lǐng)域開(kāi)源情報(bào)獲取方面得到廣泛應(yīng)用。基于此，本文利用Scrapy技術(shù)構(gòu)建開(kāi)源核情報(bào)采集系統(tǒng)，旨在提升對(duì)開(kāi)源核情報(bào)的搜集效率。

1 基于主題的數(shù)據(jù)采集技術(shù)在開(kāi)源情報(bào)獲取方面研究現(xiàn)狀及相關(guān)技術(shù)介紹

1.1 國(guó)內(nèi)外研究現(xiàn)狀

基于主題的數(shù)據(jù)采集技術(shù)作為目前主流的開(kāi)源情報(bào)獲取方式，在各領(lǐng)域的數(shù)據(jù)采集中得到廣泛的應(yīng)用，周昆團(tuán)隊(duì)構(gòu)建黨建采集主題用以采集互聯(lián)網(wǎng)中的黨建領(lǐng)域頁(yè)面內(nèi)容；屈莉莉等人基于WebMagic框架搭建職位主題用以實(shí)現(xiàn)對(duì)招聘網(wǎng)站職位需求變化的持續(xù)監(jiān)測(cè)；劉燦等人為滿足對(duì)教育類新聞關(guān)注的實(shí)際需求，提出了一種面向教育新聞的采集系統(tǒng)；黃煒團(tuán)隊(duì)提出了一種針對(duì)網(wǎng)絡(luò)恐怖信息的主題信息采集系統(tǒng)，以實(shí)現(xiàn)提升開(kāi)源網(wǎng)絡(luò)采集網(wǎng)絡(luò)恐怖信息效率的目的；郭頌等人為準(zhǔn)確高效采集航天領(lǐng)域內(nèi)的競(jìng)爭(zhēng)情報(bào)，設(shè)計(jì)了一款新的航天領(lǐng)域情報(bào)采集的總體框架，實(shí)現(xiàn)了航天領(lǐng)域情報(bào)的高效采集。

相較于國(guó)內(nèi)，國(guó)外對(duì)基于主題的數(shù)據(jù)采集技術(shù)的應(yīng)用起步更早，并且將機(jī)器學(xué)習(xí)等先進(jìn)算法應(yīng)用到采集程序中，實(shí)現(xiàn)對(duì)采集效率的提升。近五年來(lái)，Shiqi Deng針對(duì)礦產(chǎn)開(kāi)源情報(bào)領(lǐng)域的特點(diǎn)，提出了一種基于文本語(yǔ)義相似度與網(wǎng)頁(yè)URL結(jié)構(gòu)結(jié)合的主題采集策略，從而較高地提高了互聯(lián)網(wǎng)上礦產(chǎn)開(kāi)源情報(bào)的獲取效率；Sumita Gupta等人在主題中融入元數(shù)據(jù)標(biāo)準(zhǔn)，用以優(yōu)化數(shù)字圖書(shū)館搜索引擎，提升檢索結(jié)果的匹配度；Aamir Khan與Dilip Kumar Sharma在社交網(wǎng)站中集成本體的概念，使得社交網(wǎng)站的搜索功能成為更加精準(zhǔn)的基于用戶信息主題的采集程序，提升了對(duì)具體用戶信息的查詢。

綜上，基于主題的數(shù)據(jù)采集技術(shù)在互聯(lián)網(wǎng)信息的采集中應(yīng)用廣泛，是當(dāng)前緩解“信息迷航”，提升開(kāi)源情報(bào)精準(zhǔn)獲取的必要手段。

1.2 相關(guān)技術(shù)介紹

1.2.1 Scrapy框架

Scrapy是一個(gè)能夠快速搭建部署的基于Python語(yǔ)言的基于主題的采集技術(shù)運(yùn)用框架，該框架基于Twisted異步網(wǎng)絡(luò)庫(kù)處理網(wǎng)絡(luò)通信，具有模塊化、定制化、易拓展等點(diǎn)，同時(shí)該框架支持采集進(jìn)程的并行采集和分布式采集，極大地提高了數(shù)據(jù)采集的效率。Scrapy框架結(jié)構(gòu)如圖1所示。

圖1 Scrapy框架

Scrapy框架主要包含以下五個(gè)模塊：

（1）引擎模塊Engine：負(fù)責(zé)整體的數(shù)據(jù)協(xié)調(diào)以及各模塊之間的數(shù)據(jù)流動(dòng)。

（2）調(diào)度器模塊Scheduler：負(fù)責(zé)接收Engine的請(qǐng)求，并將請(qǐng)求加入隊(duì)列，實(shí)際上是對(duì)目標(biāo)URL進(jìn)行管理。

（3）下載器模塊Downloader：負(fù)責(zé)下載Web頁(yè)面的相關(guān)數(shù)據(jù)，并將這些數(shù)據(jù)發(fā)送給Engine。之后Engine將數(shù)據(jù)傳給Spider，目的是使Spider的函數(shù)對(duì)數(shù)據(jù)進(jìn)行分析。

（4）采集模塊Spider：用戶自定義的程序，負(fù)責(zé)分析回應(yīng)和獲得數(shù)據(jù)，或者跟蹤深層次的URL。

（5）數(shù)據(jù)流水線模塊ItemPipeline：負(fù)責(zé)對(duì)獲得的數(shù)據(jù)進(jìn)行后續(xù)數(shù)據(jù)處理。處理方式包括：數(shù)據(jù)冗余消除、數(shù)據(jù)合法化、數(shù)據(jù)存儲(chǔ)。

（6）中間件模塊Middlewares：由下載中間件和采集中間件組成，是各組件之間的橋梁。

1.2.2 Xpath技術(shù)

Xpath是一門(mén)在XML文檔中查找信息的路徑語(yǔ)言。用以對(duì)XML文檔中的元素和屬性進(jìn)行遍歷，并確定數(shù)據(jù)的位置。Xpath基于XML樹(shù)狀結(jié)構(gòu)，因此能夠方便地查詢樹(shù)狀結(jié)構(gòu)的節(jié)點(diǎn)，在基于主題的數(shù)據(jù)采集行為中常用作查詢語(yǔ)言用以提取網(wǎng)頁(yè)結(jié)構(gòu)中所需的數(shù)據(jù)信息。

常用的Xpath路徑表達(dá)式如表1所示。

表1 Xpath路徑表達(dá)式

2 基于Scrapy的開(kāi)源核情報(bào)采集系統(tǒng)需求分析與概要設(shè)計(jì)

2.1 系統(tǒng)功能需求分析

面對(duì)海量的互聯(lián)網(wǎng)網(wǎng)頁(yè)數(shù)據(jù)時(shí)，僅利用通過(guò)搜索引擎（如百度、谷歌、必應(yīng)等）對(duì)國(guó)外開(kāi)源核情報(bào)進(jìn)行檢索，會(huì)返回大量的檢索結(jié)果，由于商業(yè)競(jìng)價(jià)、SEO優(yōu)化等因素的影響，排序靠前的匹配結(jié)果可能并不是人們所期望的內(nèi)容，并且會(huì)包含大量與專業(yè)領(lǐng)域無(wú)關(guān)的網(wǎng)頁(yè)。基于傳統(tǒng)搜索引擎在專業(yè)開(kāi)源情報(bào)獲取方面的局限，本文的開(kāi)源核情報(bào)采集系統(tǒng)利用Python語(yǔ)言基于Scrapy框架進(jìn)行定制開(kāi)發(fā)，實(shí)現(xiàn)對(duì)目標(biāo)站點(diǎn)下信息資源的發(fā)現(xiàn)、采集、解析與存儲(chǔ)。下面就開(kāi)源核情報(bào)采集系統(tǒng)的功能需求進(jìn)行簡(jiǎn)要介紹：

（1）成功請(qǐng)求響應(yīng)。設(shè)計(jì)的基于主題的開(kāi)源情報(bào)采集程序能夠在對(duì)目標(biāo)站點(diǎn)發(fā)起請(qǐng)求后，從目標(biāo)站點(diǎn)成功獲取響應(yīng)數(shù)據(jù)。

（2）完成網(wǎng)頁(yè)文本內(nèi)容解析與提取。系統(tǒng)頁(yè)面解析模塊能夠從網(wǎng)絡(luò)頁(yè)面中成功解析到需要提取的數(shù)據(jù)字段。

（3）數(shù)據(jù)分類存儲(chǔ)。系統(tǒng)存儲(chǔ)模塊能夠根據(jù)針對(duì)數(shù)據(jù)按照其結(jié)構(gòu)化和非結(jié)構(gòu)化特性進(jìn)行分類后在進(jìn)行存儲(chǔ)。

（4）用戶界面。用戶能夠通過(guò)一個(gè)可視化的系統(tǒng)界面實(shí)現(xiàn)對(duì)各采集程序的開(kāi)啟與關(guān)閉等相關(guān)操作。

2.2 系統(tǒng)基本結(jié)構(gòu)

本文所構(gòu)建的開(kāi)源核情報(bào)采集系統(tǒng)，整體采用C/S架構(gòu)，通過(guò)前端頁(yè)面完成與用戶的交互，后端服務(wù)器提供后臺(tái)的業(yè)務(wù)邏輯處理，使用Mysql數(shù)據(jù)庫(kù)對(duì)采集的網(wǎng)頁(yè)信息進(jìn)行存儲(chǔ)。主要分為頁(yè)面請(qǐng)求模塊、情報(bào)解析模塊、情報(bào)存儲(chǔ)子模塊以及用戶界面模塊。系統(tǒng)結(jié)構(gòu)如圖2所示。

圖2 系統(tǒng)基本結(jié)構(gòu)

由圖2可得，本系統(tǒng)頁(yè)面請(qǐng)求模塊主要實(shí)現(xiàn)通過(guò)網(wǎng)絡(luò)采集程序?qū)φ军c(diǎn)集群內(nèi)的所有站點(diǎn)的URL發(fā)起網(wǎng)絡(luò)請(qǐng)求，從而獲取到數(shù)據(jù)的響應(yīng)；情報(bào)解析模塊主要包括網(wǎng)頁(yè)解析以及字段提取，從而實(shí)現(xiàn)對(duì)目標(biāo)網(wǎng)頁(yè)內(nèi)所需內(nèi)容的解析與采集提取；情報(bào)存儲(chǔ)模塊包括Mysql數(shù)據(jù)庫(kù)和本地文件存儲(chǔ)路徑，用于對(duì)采集結(jié)果保存和文本附件的存儲(chǔ)；用戶界面模塊為一個(gè)可視化的交互界面，由Web瀏覽器和用戶共同構(gòu)成，用戶通過(guò)瀏覽器打開(kāi)本系統(tǒng)的前端頁(yè)面實(shí)現(xiàn)交互操作，通過(guò)封裝好的接口連接到后端，實(shí)現(xiàn)對(duì)用戶在前端操作的響應(yīng)。

3 基于Scrapy的開(kāi)源核情報(bào)采集系統(tǒng)詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)

本文基于Scrapy的開(kāi)源核情報(bào)采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)過(guò)程中所采用的開(kāi)發(fā)以及測(cè)試環(huán)境為Windows 10操作系統(tǒng)，開(kāi)發(fā)工具為Pycharm，使用Python為系統(tǒng)主要開(kāi)發(fā)語(yǔ)言，使用的開(kāi)發(fā)框架為Scrapy框架，前端頁(yè)面使用JavaScript與HTML，存儲(chǔ)數(shù)據(jù)庫(kù)為Mysql數(shù)據(jù)庫(kù)。前后端的通信遵循Http/Https協(xié)議。

3.1 頁(yè)面請(qǐng)求模塊

本系統(tǒng)所構(gòu)建的頁(yè)面請(qǐng)求模塊，通過(guò)對(duì)站點(diǎn)集群內(nèi)的所有站點(diǎn)URL發(fā)起網(wǎng)絡(luò)請(qǐng)求，采取深度優(yōu)先的采集策略，使得數(shù)據(jù)采集程序采集流程從一個(gè)站點(diǎn)初始化種子URL出發(fā)，發(fā)起網(wǎng)絡(luò)請(qǐng)求，盡可能在目錄頁(yè)URL中提取到最多的詳情頁(yè)URL。在響應(yīng)的頁(yè)面中提取新的URL鏈接添加到待采集的URL列表中，循環(huán)往復(fù)直至獲取到所有符合條件的URL，同時(shí)，將成功獲取到響應(yīng)的頁(yè)面信息傳入至情報(bào)解析模塊中。本模塊的網(wǎng)絡(luò)請(qǐng)求流程如圖3所示，具體的流程步驟如下：

圖3 頁(yè)面請(qǐng)求流程

（1）步驟1：在一個(gè)站點(diǎn)內(nèi)選取一個(gè)URL鏈接作為數(shù)據(jù)采集程序的初始化種子URL，該URL可為網(wǎng)站一級(jí)URL，也可為下一級(jí)版塊URL。由于本文采用深度優(yōu)先采集策略，優(yōu)先選擇網(wǎng)站二級(jí)版塊URL作為初始化種子URL。

（2）步驟2：采集程序開(kāi)始執(zhí)行對(duì)URL的請(qǐng)求，獲取對(duì)應(yīng)的響應(yīng)信息。

（3）步驟3：采集程序?qū)RL響應(yīng)的頁(yè)面進(jìn)行采集。

（4）步驟4：提取網(wǎng)頁(yè)上的所有URL鏈接，獲取頁(yè)面下新的URL鏈接。

（5）步驟5：判斷獲取的URL鏈接是否符合所需采集URL條件，若滿足條件，則將新的URL放入待采集URL隊(duì)列，繼續(xù)執(zhí)行URL的請(qǐng)求，同時(shí)將該URL的響應(yīng)內(nèi)容傳入情報(bào)解析模塊。若不滿足條件，則結(jié)束頁(yè)面請(qǐng)求流程。

本文在測(cè)試階段所構(gòu)建的網(wǎng)站集群包含站點(diǎn)如表2所示。

表2 采集站點(diǎn)列表

3.2 情報(bào)解析模塊

本系統(tǒng)所構(gòu)建的情報(bào)解析模塊主要功能為對(duì)采集程序請(qǐng)求到的網(wǎng)絡(luò)頁(yè)面進(jìn)行解析以及對(duì)需要獲取的字段進(jìn)行提取。由于每個(gè)站點(diǎn)的頁(yè)面結(jié)構(gòu)不同，數(shù)據(jù)的渲染方式各異，因此在設(shè)計(jì)和編寫(xiě)解析規(guī)則時(shí)需要具體站點(diǎn)具體分析，根據(jù)每個(gè)站點(diǎn)的結(jié)構(gòu)特征來(lái)設(shè)計(jì)合適的解析規(guī)則，這也是在系統(tǒng)構(gòu)建中最費(fèi)時(shí)的地方。本文以世界防務(wù)關(guān)鍵詞匹配采集任務(wù)為例，闡述頁(yè)面的解析與字段的提取。

世界防務(wù)網(wǎng)站的采集策略為通過(guò)關(guān)鍵詞構(gòu)建用于檢索的URL，對(duì)該URL發(fā)起請(qǐng)求從而獲取檢索結(jié)果的響應(yīng)結(jié)果，再?gòu)臋z索結(jié)果頁(yè)面出發(fā)，提取檢索結(jié)果的URL進(jìn)行更深一層詳情頁(yè)面的請(qǐng)求，最終獲得詳情頁(yè)面的響應(yīng)結(jié)果進(jìn)行解析和字段提取。

3.2.1 頁(yè)面分析與解析

通過(guò)對(duì)世界防務(wù)網(wǎng)的URL進(jìn)行訪問(wèn)請(qǐng)求后，獲得檢索頁(yè)面的響應(yīng)結(jié)果，利用Xpath從頁(yè)面響應(yīng)的源碼中解析出各條檢索結(jié)果的詳情頁(yè)URL，進(jìn)而能夠?qū)υ斍轫?yè)面發(fā)起請(qǐng)求，從而最終從詳情頁(yè)解析到需要的字段。檢索界面的響應(yīng)結(jié)果和詳情頁(yè)面如圖4、圖5所示。

圖4 世界防務(wù)檢索結(jié)果頁(yè)面展示

圖5 世界防務(wù)詳情頁(yè)面展示

實(shí)現(xiàn)上述解析提取的關(guān)鍵代碼如下：

3.2.2 解析字段設(shè)計(jì)

以世界防務(wù)網(wǎng)站中的開(kāi)源情報(bào)為抓取目標(biāo)，在對(duì)頁(yè)面結(jié)構(gòu)進(jìn)行分析后，需要從中解析出的字段如表3所示。

表3 世界防務(wù)開(kāi)源情報(bào)ITEM構(gòu)成表

其中，post_id為某條信息在世界防務(wù)網(wǎng)站中的唯一標(biāo)識(shí)ID，post_url為該條信息的訪問(wèn)URL鏈接，title為該信息的標(biāo)題名稱，category為該信息在世界防務(wù)所屬的分類信息，pub_date為該信息的發(fā)布時(shí)間，content為該信息正文詳細(xì)內(nèi)容。

3.3 情報(bào)存儲(chǔ)模塊

基于Scrapy框架開(kāi)發(fā)的開(kāi)源核情報(bào)采集程序，在對(duì)頁(yè)面的字段進(jìn)行解析提取后，會(huì)轉(zhuǎn)入框架的PipeLine中進(jìn)行下載和存儲(chǔ)，在世界防務(wù)案例中，僅能采集到以標(biāo)題、URL、詳情內(nèi)容等類的文本類字符串?dāng)?shù)據(jù)，因此在設(shè)計(jì)存儲(chǔ)業(yè)務(wù)邏輯時(shí)，將解析提取的字段存入本地Mysql數(shù)據(jù)庫(kù)的對(duì)應(yīng)表中，并將該信息的詳細(xì)內(nèi)容轉(zhuǎn)換為pdf文檔格式進(jìn)行本地化存儲(chǔ)，以便閱讀與使用。

以世界防務(wù)為例，設(shè)計(jì)的數(shù)據(jù)庫(kù)存儲(chǔ)表結(jié)構(gòu)如表4所示。

表4 數(shù)據(jù)庫(kù)中世界防務(wù)信息存儲(chǔ)表屬性

對(duì)于該表，前六個(gè)字段用于存儲(chǔ)從頁(yè)面中解析出來(lái)的字段，crawl_time屬性用于存儲(chǔ)信息采集入庫(kù)的時(shí)間，file_path用于存儲(chǔ)詳情內(nèi)容轉(zhuǎn)換為pdf文件后的本地存儲(chǔ)位置的路徑信息。

本系統(tǒng)測(cè)試環(huán)節(jié)共從世界防務(wù)網(wǎng)站采集到包含“Nuclear”關(guān)鍵詞的數(shù)據(jù)1 188條，耗時(shí)6分鐘，采集后存儲(chǔ)至本地Mysql數(shù)據(jù)庫(kù)的數(shù)據(jù)如圖6所示。

圖6 世界防務(wù)采集數(shù)據(jù)存儲(chǔ)結(jié)果

3.4 用戶界面模塊

本文基于Scrapy的開(kāi)源核情報(bào)采集系統(tǒng)實(shí)現(xiàn)對(duì)站點(diǎn)集群內(nèi)站點(diǎn)的核開(kāi)源情報(bào)的采集，但在數(shù)據(jù)采集程序執(zhí)行的過(guò)程中難免會(huì)因?yàn)楦鞣N問(wèn)題造成執(zhí)行的中斷，因此需要實(shí)現(xiàn)對(duì)數(shù)據(jù)采集程序運(yùn)行狀態(tài)的實(shí)時(shí)監(jiān)測(cè)，使得用戶通過(guò)可視化界面的方式對(duì)采集程序運(yùn)行狀態(tài)的直觀監(jiān)測(cè)。基于此，本系統(tǒng)基于ScrapydWeb框架完成相關(guān)編碼工作，實(shí)現(xiàn)通過(guò)用戶界面對(duì)采集程序運(yùn)行狀態(tài)的監(jiān)測(cè)。

4 結(jié)語(yǔ)

為了提升對(duì)核開(kāi)源情報(bào)的搜集效率，本文基于Scrapy技術(shù)構(gòu)建了開(kāi)源核情報(bào)采集系統(tǒng)。該系統(tǒng)具有頁(yè)面請(qǐng)求模塊、情報(bào)解析模塊、情報(bào)存儲(chǔ)模塊以及用戶界面模塊，在測(cè)試階段實(shí)現(xiàn)了對(duì)國(guó)際原子能機(jī)構(gòu)、世界核新聞網(wǎng)、動(dòng)力工程、世界防務(wù)以及中國(guó)核網(wǎng)這5個(gè)網(wǎng)站特定版塊的數(shù)據(jù)采集，采集數(shù)據(jù)完整，采集效率較高。在接下來(lái)的實(shí)驗(yàn)與研究中，本系統(tǒng)還需要拓展對(duì)更多核開(kāi)源情報(bào)網(wǎng)站的采集，并且不斷完善本系統(tǒng)功能，集成數(shù)據(jù)預(yù)處理、數(shù)據(jù)挖掘以及數(shù)據(jù)可視化等更多功能。