基于python的二手房數(shù)據(jù)爬取及分析

趙綠草 饒佳冬

摘要：隨著海量數(shù)據(jù)的出現(xiàn)，如何快速有效的獲取到我們想要的數(shù)據(jù)成為難題。以房源信息為例，該文使用Python語(yǔ)言結(jié)合Scrapy分布式爬蟲來對(duì)房源信息網(wǎng)——鏈家網(wǎng)上在售二手房數(shù)據(jù)進(jìn)行爬取，解讀武漢市的二手?jǐn)?shù)據(jù)背后隱藏的房源趨勢(shì)。

關(guān)鍵詞：Scrapy;爬蟲;Python;可視化分析

中圖分類號(hào)：TP391? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2019）19-0001-03

1 背景

近年來，大數(shù)據(jù)、互聯(lián)網(wǎng)和云計(jì)算等技術(shù)發(fā)展迅速，“智慧城市”建設(shè)進(jìn)程加快，越來越多的實(shí)物用數(shù)據(jù)代為表示，用數(shù)據(jù)來反映問題成為一種直觀又具有說服力的方式。如今，大部分地區(qū)已進(jìn)入城市化進(jìn)程，人口的眾多與住房用地的減少使得房?jī)r(jià)大漲，如何找到合適的住房已成為常見的民生難題。

互聯(lián)網(wǎng)為用戶提供了各種房源數(shù)據(jù)，在爬蟲的爬取下集中有用的數(shù)據(jù)，并對(duì)這些數(shù)據(jù)進(jìn)行清洗、統(tǒng)計(jì)和可視化分析，可以為用戶挖掘出隱藏在網(wǎng)絡(luò)數(shù)據(jù)中的所有房源的分布情況以及價(jià)格等特征走向，幫助用戶做出更好的決策。

2 Scrapy分布式爬蟲

Scrapy是一種用于抓取網(wǎng)站和提取結(jié)構(gòu)化數(shù)據(jù)的應(yīng)用程序框架，可廣泛應(yīng)用于信息處理，數(shù)據(jù)挖掘或歷史存檔。最初Scrapy是為網(wǎng)絡(luò)抓取而設(shè)計(jì)的，但它也可以用于使用API或者作為通用網(wǎng)絡(luò)爬蟲來提取數(shù)據(jù)[1]。

Scrapy是基于Twisted異步網(wǎng)絡(luò)庫(kù)來處理通訊， 架構(gòu)清晰， 并且包含了各種中間件接口， 可以靈活的完成各種需求。其工作原理為：首先從首頁(yè)URL開始， 調(diào)度器會(huì)傳給下載器進(jìn)行下載， 之后會(huì)交給爬蟲進(jìn)行分析， 根據(jù)分析結(jié)果進(jìn)行不同處理。如果是需要進(jìn)一步爬取的鏈接， 這些鏈接會(huì)傳回調(diào)度器;如果是需要保存的數(shù)據(jù)， 則被送到項(xiàng)目管道組件進(jìn)行后期處理， 包括詳細(xì)分析、過濾、存儲(chǔ)等。此外， 在數(shù)據(jù)流動(dòng)的通道里還允許安裝各種中間件， 進(jìn)行必要的處理[1]。

3 Scrapy爬取及數(shù)據(jù)清洗

3.1 Scrapy爬取數(shù)據(jù)

打開cmd命令窗口，在常用文件夾下建立新的Scrapy爬蟲工程，設(shè)置爬取首頁(yè)和爬蟲名稱，便有了一個(gè)spiders文件夾及其目錄結(jié)構(gòu)，使用配置有python3.6的pycharm打開我們所建立的爬蟲工程開始正式編寫爬蟲。

然后轉(zhuǎn)到爬蟲模塊，定位房源字段信息，在parse（）方法中對(duì)這些信息的源代碼進(jìn)行復(fù)制解析，利用for循環(huán)從第一頁(yè)開始進(jìn)行翻頁(yè)，回調(diào)parse（）方法，對(duì)每一頁(yè)的信息進(jìn)行同樣的提取，直到最后一頁(yè)。最后數(shù)據(jù)爬取完成，轉(zhuǎn)到管道模塊，將爬取的全網(wǎng)二手房數(shù)據(jù)轉(zhuǎn)換為json純文本寫入到csv文件存儲(chǔ)。

3.2 數(shù)據(jù)清洗

數(shù)據(jù)清洗是對(duì)所爬取的數(shù)據(jù)進(jìn)行規(guī)范化操作，將數(shù)據(jù)中多余的符號(hào)及字符做刪除或者替換處理，并且通過使用正則表達(dá)式等工具對(duì)數(shù)據(jù)進(jìn)行一致性處理的過程。由于爬取出來的數(shù)據(jù)很亂，有各種換行符，制表符以及空格隱藏在數(shù)據(jù)中，或者是字段出現(xiàn)錯(cuò)位，存在缺失值異常值等情況，因此需要先將數(shù)據(jù)進(jìn)行清洗補(bǔ)充缺失數(shù)據(jù)等數(shù)據(jù)處理再進(jìn)行探索分析。

首先用split（）和drop（）方法將含有多條信息的一列分成多列，pandas.concat（）合并數(shù)據(jù)。然后通過正則表達(dá)式處理數(shù)據(jù)中影響分析的字符，re.sub（）刪除指定字符，re.findall（）提取指定字符。最后刪掉不必要的數(shù)據(jù)，將一些不規(guī)范的數(shù)據(jù)替換掉，例如年份一列中有“未知”字段，屬于字符型，為了便于后續(xù)分析，我們將“未知”兩個(gè)字替換為整型。

4 數(shù)據(jù)可視化分析

4.1 簡(jiǎn)單概括性分析

數(shù)據(jù)初步清洗完畢，進(jìn)行分析之前先檢查一下數(shù)據(jù)缺失情況，如果數(shù)據(jù)缺失嚴(yán)重，需要對(duì)缺失值進(jìn)行填補(bǔ)或者其他處理，否則會(huì)影響數(shù)據(jù)分析結(jié)果準(zhǔn)確性。檢查結(jié)果如圖3，從圖中可以看出數(shù)據(jù)沒有嚴(yán)重缺失，再對(duì)數(shù)據(jù)做描述性統(tǒng)計(jì)分析如圖4，可以看出武漢市二手房的價(jià)格均值約為212.6萬(wàn)，平均面積102.8平方米，兩者相除得出的每平米均價(jià)約2萬(wàn)多，與統(tǒng)計(jì)結(jié)果中每平米單價(jià)的均價(jià)基本一致，說明該數(shù)據(jù)異常值不明顯，可以進(jìn)行數(shù)據(jù)可視化。

4.2 可視化分析

數(shù)據(jù)可視化技術(shù)將數(shù)據(jù)轉(zhuǎn)換成圖形圖表， 為決策提供依據(jù)[2]。數(shù)據(jù)可視化技術(shù)的研究已得到了快速發(fā)展并取得相應(yīng)的成就[3]。

對(duì)武漢市每個(gè)區(qū)域二手房數(shù)量進(jìn)行分析并且分析每個(gè)區(qū)域二手房每平米單價(jià)均值和總價(jià)箱形圖，可視化結(jié)果分別如圖5和6。

從圖5可以觀察到武漢洪山區(qū)二手房數(shù)量最多，遠(yuǎn)遠(yuǎn)高于其他區(qū)域，但是房屋每平米價(jià)格卻不是最高的，武昌區(qū)二手房每平米單價(jià)均值最高，可能是因?yàn)槲洳龑儆谥行奈恢茫瑫r(shí)占據(jù)交通和經(jīng)濟(jì)兩大優(yōu)勢(shì)。另外，通過6的箱型圖結(jié)果可以得出，武漢各區(qū)房屋總價(jià)中位數(shù)都在300萬(wàn)以下，而且房屋總價(jià)分布趨勢(shì)比較分散，最高的是洪山區(qū)，房屋總價(jià)達(dá)到了1400萬(wàn)，最低的不到100萬(wàn)，說明房屋價(jià)格特征不是理想的正太分布。

通過distplot和kdeplot繪制柱狀圖并給出標(biāo)準(zhǔn)擬合正態(tài)分布，觀察武漢市二手房面積分布情況如圖7，可以看出房子面積分布與標(biāo)準(zhǔn)正態(tài)分布大部分?jǐn)M合，說明我們觀測(cè)的大部分二手房面積在正常范圍之內(nèi)，面積90平米左右的二手房最多，還有一些面積大于200平米超出正常范圍的二手房。再以有無(wú)電梯為分類依據(jù)繪制面積和價(jià)格之間的散點(diǎn)圖，如圖8，發(fā)現(xiàn)整體上面積特征基本與價(jià)格呈現(xiàn)線性關(guān)系，同樣面積的二手房有電梯比無(wú)電梯價(jià)格高，符合基本常識(shí)，面積越大，有電梯，價(jià)格越高。

5 總結(jié)

隨著信息技術(shù)越來越成熟，如何使用爬蟲和數(shù)據(jù)可視化等技術(shù)更好地了解用戶以及他們的意向是WEB2.0時(shí)代的關(guān)鍵領(lǐng)域。本文通過研究如何從互聯(lián)網(wǎng)上采集相關(guān)數(shù)據(jù)，讓數(shù)據(jù)采集更高效，把采集到的數(shù)據(jù)進(jìn)行清洗、過濾，將有用的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)和可視化分析，從中分析和挖掘出有價(jià)值的信息[4]，充分利用大數(shù)據(jù)潛在的價(jià)值。

參考文獻(xiàn)：

[1] 晉振杰， 曹少中， 項(xiàng)宏峰， 等. 基于python的電商書籍?dāng)?shù)據(jù)爬蟲研究[J]. 北京印刷學(xué)院學(xué)報(bào)， 2018， 3（26）： 39-42.

[2] 曾悠. 大數(shù)據(jù)時(shí)代背景下的數(shù)據(jù)可視化概念研究[D]. 杭州： 浙江大學(xué)， 2014.

[3] 任磊， 杜一， 馬帥， 等. 大數(shù)據(jù)可視分析綜述[J]. 軟件學(xué)報(bào)， 2014， 25（9）： 1909-1936.

[4] 肖樂， 叢天偉， 嚴(yán)衛(wèi). 基于python的Web大數(shù)據(jù)采集和數(shù)據(jù)分析[J]. 電腦知識(shí)與技術(shù)， 2018， 14（22）： 9-11.

【通聯(lián)編輯：謝媛媛】