基于Python爬蟲的影評(píng)情感分析與可視化系統(tǒng)設(shè)計(jì)

楊冰倩

(河北軟件職業(yè)技術(shù)學(xué)院,河北 保定 071000)

0 引言

中國(guó)電影市場(chǎng)規(guī)模不斷擴(kuò)大,成為全球第二大電影市場(chǎng)。2019年,中國(guó)電影市場(chǎng)總票房達(dá)到642.66億元人民幣,創(chuàng)歷史新高。中國(guó)觀眾對(duì)電影的需求不斷增加,推動(dòng)了市場(chǎng)的快速增長(zhǎng)。隨著互聯(lián)網(wǎng)的普及,越來(lái)越多的影評(píng)平臺(tái)涌現(xiàn)出來(lái),如豆瓣、時(shí)光網(wǎng)、貓眼等[1]。這些平臺(tái)提供了觀眾發(fā)表影評(píng)、評(píng)分、討論電影的空間,使得觀眾可以方便地獲取他人對(duì)電影的評(píng)價(jià)和推薦。中國(guó)觀眾對(duì)影評(píng)的關(guān)注度逐漸增加,影評(píng)在電影消費(fèi)決策中起到了重要的作用[2]。觀眾通過(guò)影評(píng)來(lái)獲取信息、指導(dǎo)觀影選擇,并通過(guò)社交媒體進(jìn)行討論和分享。因此,影評(píng)在中國(guó)電影市場(chǎng)中具有一定的影響力[3]。

本文基于Python語(yǔ)言,對(duì)貓眼電影中的評(píng)論信息進(jìn)行爬取,然后通過(guò)數(shù)據(jù)分析技術(shù)對(duì)爬取到的數(shù)據(jù)進(jìn)行分析與展示。通過(guò)PyQt技術(shù)設(shè)計(jì)了與用戶的交互界面,增強(qiáng)了與用戶的互動(dòng)性。

1 系統(tǒng)實(shí)現(xiàn)

本系統(tǒng)的業(yè)務(wù)流程如圖1所示,用戶先選擇電影,如果該電影分析過(guò)則顯示查看按鈕,可以查看分析的結(jié)果;如果沒(méi)有分析過(guò),用戶可以點(diǎn)擊分析按鈕,對(duì)選擇的電影進(jìn)行分析,分析完成后可以查看結(jié)果。本系統(tǒng)的用戶交互界面使用PyQt完成,主要包括主窗口及顯示分析結(jié)果的子窗口,功能設(shè)計(jì)主要通過(guò)request模塊獲取數(shù)據(jù),再使用pandas模塊把數(shù)據(jù)生成文件,最后使用Pyecharts模塊生成圖表。

圖1 業(yè)務(wù)流程

2 獲取影評(píng)數(shù)據(jù)

本系統(tǒng)使用request庫(kù)爬取豆瓣電影網(wǎng)中的數(shù)據(jù),主要包括電影的data(日期)、score(評(píng)分)、city(城市)、comment(評(píng)論)、nick(用戶昵稱)等字段,本文以近期熱映電影“消失的她”為例。在獲取數(shù)據(jù)時(shí),先應(yīng)用pandas模塊中的DataFrame()方法創(chuàng)建一個(gè)數(shù)據(jù)框用于臨時(shí)保存讀取的數(shù)據(jù)。在貓眼電影網(wǎng)中每部電影都有唯一的moveId,因此可以通過(guò)傳遞不同的moveId爬取不同電影的評(píng)論。通過(guò)request.get()方法對(duì)評(píng)論鏈接發(fā)起請(qǐng)求,然后通過(guò)pandas模塊將解析到的數(shù)據(jù)保存到Excel文件中。爬取到的部分原始數(shù)據(jù)如圖2所示。

圖2 部分原始數(shù)據(jù)集展示

爬蟲部分代碼展示如下:

re=requests.get(url='https://movie.douban.com/subject/%s/comments?start=%d&limit=20&sort

=new_score&status=P' % (self.movie_id, 20 * i),headers=headers).text

html=etree.HTML(re)

comment=html.xpath('//div[@class="comment"]')

for content in comment:

grades=content.xpath('.//span[contains(@class,"rating")]')

texts=content.xpath('.//span[@class="short"]')

if len(grades) >0:

grade=grades[0].xpath('./@class')[0][7:8]+' '

else:

grade= ' '

3 評(píng)分與地點(diǎn)分析

電影上映后,評(píng)分的高低在一定程度上體現(xiàn)了電影的質(zhì)量與觀眾緣,本文以電影“消失的她”為例闡述該模塊的技術(shù)實(shí)現(xiàn)。首先使用pandas模塊讀取數(shù)據(jù),然后使用Pyecharts模塊生成折線柱狀圖,最后調(diào)用render()方法生成HTML文件。其主要評(píng)論城市數(shù)及平均分如圖3所示,左邊的縱坐標(biāo)表示評(píng)論的城市數(shù)量,右邊的縱坐標(biāo)表示該城市對(duì)電影評(píng)論的平均分。

圖3 電影“消失的她”主要評(píng)論城市數(shù)及平均分

通過(guò)圖3可以發(fā)現(xiàn),來(lái)自上海、廣州、成都的評(píng)論數(shù)量比較高,并且排在前幾名的基本都是一線城市,一定程度上反映了電影在一線城市的播放量會(huì)比二、三線城市高,主要原因跟一線城市的人口規(guī)模、經(jīng)濟(jì)實(shí)力、影院數(shù)量和設(shè)施以及影評(píng)的發(fā)行策略有關(guān)系[4-5]。

部分代碼展示如下:

city_main=city_com.sort_values('count', ascending=False)[0:30]

attr=city_main['city']

v1=city_main['count']

v2=city_main['mean']

line=Line("主要城市評(píng)分")

line.add("城市", attr, v2, is_stack=True, xaxis_rotate=45, yaxis_min=0,

mark_point=['min', 'max'], xaxis_interval=0, line_color='lightblue',

line_width=4, mark_point_textcolor='black', mark_point_color='yellow',

is_splitline_show=False) # 添加折線圖

bar=Bar("主要城市評(píng)論數(shù)") # 柱形圖對(duì)象

bar.add("城市", attr, v1, is_stack=False, xaxis_rotate=45, yaxis_min=0,

xaxis_interval=0, is_splitline_show=False,mark_point_color='yellow') # 添加柱形圖

overlap=Overlap() # 疊加圖表對(duì)象

4 評(píng)論情感分析

詞云是一種可視化工具,通過(guò)將文本中出現(xiàn)頻率較高的詞語(yǔ)以較大的字體顯示,從而給人一種直觀的展示[6]。在影迷的情感分析中,詞云可以用來(lái)展示影迷對(duì)電影的主要評(píng)價(jià)和感受[7]。本系統(tǒng)中對(duì)評(píng)論內(nèi)容使用jieba模塊進(jìn)行分詞,jieba庫(kù)分詞支持3種模式:精確模式、全模式和搜索引擎模式[7],本系統(tǒng)采用搜索引擎模式將評(píng)論內(nèi)容切割成若干個(gè)詞,然后使用WordCloud模塊將其生成詞云。如圖4所示為電影“消失的她”評(píng)論生成的詞云。

圖4 電影“消失的她”詞云

部分代碼展示如下:

words=jieba.lcut(t)

filtered_words=[]

for word in words:

if len(word) >2: # 只保留長(zhǎng)度大于2的詞語(yǔ)

filtered_words.append(word)

filtered_text=' '.join(filtered_words)

w=WordCloud(

font_path="C:/Windows/Fonts/SIMSUN.TTC", # 詞云字體

width=1000, # 圖片寬度

height=800, # 圖片高度

background_color="white") # 圖片背景顏色

w.generate(filtered_text)

w.to_file(self.ciyun)

“消失的她”是一部懸疑電影,上映后引起了眾多影迷的共情。通過(guò)詞云可以看出,大部分觀眾認(rèn)為該電影好看,評(píng)價(jià)較高。

5 結(jié)語(yǔ)

本系統(tǒng)實(shí)現(xiàn)了對(duì)影評(píng)的情感分析及可視化,以電影“消失的她”為例展示了該系統(tǒng)主要實(shí)現(xiàn)的功能,通過(guò)詞云展示了影迷的情感傾向,通過(guò)柱狀圖與折線圖展示了評(píng)論城市與評(píng)分之間的關(guān)系。通過(guò)這些數(shù)據(jù)的提取,全面挖掘了影評(píng)背后的關(guān)鍵信息,為電影行業(yè)研究觀眾的喜好和電影行業(yè)的發(fā)展提供了參考。