一種Selenium數據自動獲取技術的研究應用

鄭海鵬

（淮南聯合大學信息工程學院 安徽淮南 232001)

目前，數據獲取的渠道主要有三種：自有、爬取或購買。其中數據爬取方式屬于數據自動獲取的范疇，可以通過Python編寫Web站點數據獲取自動化測試用例加以實現，并可將獲取到的實驗數據用于數據分析。自動化測試通常用于替代人工方式，去執行那些繁雜的、高重復性的操作，進而節約大量的人力資源。Selenium為Web站點數據自動獲取提供了基礎框架，憑借其自身強大的功能，市場占有額越來越高。本文以Python+Selenium為核心，利用Web Driver數據驅動實現了數據自動獲取功能。

一、Selenium自動化測試框架

Selenium通常用來編寫Web應用的自動化測試腳本。早期Selenium1.x主要使用Selenium RC（Selenium Remote Control）進行自動化測試。Selenium2.x集成了Selenium和Web Driver的功能。Selenium可以用來模擬用戶在瀏覽器中的操作。軟件測試開發人員能夠使用不同的編程語言如Java、Scala、Python等編寫測試腳本，并且兼容在Google Chrome、IE、Firefox等瀏覽器中運行測試腳本[1]。基于Selenium是開源的，測試人員可以按需進行個性化定制。

Selenium主要由IDE、Grid和RC三個組件構成[2]，其中IDE為瀏覽器插件，提供腳本編輯、錄制及回放功能，錄制腳本可以轉換為Java、Python、PHP等多種腳本語言；Grid實際上是一個jar包，由hub節點及node節點構成，可在Dos命令行下執行。主要用于測試腳本的分布式處理，允許在多機及異構環境下運行測試腳本；RC（Remote Control）作為Selenium核心組件，由selenium Server和Client Libraries組成。其中Selenium Server用于控制瀏覽器行為，Client Libraries則在自動化測試腳本執行過程中，用以控制selenium Server庫，以便達到自動化測試目的[3]。在Selenium2.x及后續版本中，使用Web Driver替代了Selenium RC。其中，Web Driver API是客戶端、Web Driver作為瀏覽器驅動。對于程序執行過程中的每一條Selenium腳本，均會創建一個HTTP請求，并將該HTTP請求發送給瀏覽器的驅動Web Driver，由 Web Driver中HTTP Server接收這些 HTTP請求，依據HTTP Server接收到的請求，來具體操控對應瀏覽器。瀏覽器執行具體的測試步驟，并將執行結果返回給 HTTP Server，HTTP Server又將結果返回給 Selenium的腳本[4](Selenium工作流程圖如圖1所示)。其詳細工作流程如下：

圖1 Selenium工作流程

1）編寫基于Selenium支持的測試腳本程序。

2）執行測試腳本程序。

3）Selenium Client向Web Driver發送請求。

4）Web Driver接收、解析相關請求，并將請求發送給瀏覽器。

5）瀏覽器接收請求后，執行對應操作，返回執行結果。

二、研究方法

（一）實驗數據需求分析。本文實驗數據來源于域名為http://www.ahcyfc.com的安徽朝陽房產網。打開網站中二手房首頁，仔細查看其中的某條二手房房產信息(如圖2所示)，對其中數據做需求分析，為后續的數據獲取及Web前端展示做鋪墊，需要從中提取的房屋詳細信息包括：二手房所在小區、戶型、建筑面積、房屋朝向、總價、每平米單價、實際看房人數。編寫Python程序導入Selenium庫，用以實現該網站數據自動化獲取操作。

圖2 二手房詳細信息

（二）腳本設計。Selenium兼容多種瀏覽器。編寫測試腳本過程中，需指明具體瀏覽器，本文使用 Firefox。

1.驅動并打開瀏覽器。

2.定位到對應元素。Selenium在操作瀏覽器時，應先定位到對應的元素。目前，主要有八種定位方法，如表1所示。

表1 Selenium元素定位方法功能描述

在獲取二手房詳細信息的需求過程中，需要定位二手房所在小區、戶型、建筑面積、房屋朝向、總價、每平米單價、實際看房人數等數據對象。

3.設置Selenium定位方法參數。設置Selenium定位方法參數的實際作用是利用數據驅動將數據和腳本相分離[5]。本研究主要利用的Selenium定位方法為：find_element_by_xpath，即根據路徑表達式來定位二手房測試實驗數據。

全選一條二手房信息，選擇：右擊->審查元素，或按F12鍵來查看網頁源碼，發現房屋詳細信息的路徑為: