基于Python的詞云生成及優化研究

汪言

摘要：在大數據時代，利用相關技術手段對大數據進行獲取與解讀就顯得十分重要。“詞云”技術，由于能夠將文本中的“關鍵詞”圖像化，正受到人們越來越多人的關注。該文以《中共中央關于制定國民經濟和社會發展第十四個五年規劃和二〇三五年遠景目標的建議》全文文本為例，對基于Python的詞云文本分析技術進行了優化，以期為快速解讀文本內容提供方便。

關鍵詞：Python;中文分詞;詞云;優化;十四五規劃

中圖分類號：TP311? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）19-0023-06

Research on Generation and Optimization of Word Cloud Based on Python—Take the Text of the 14th Five-year Plan as an Example

WANG Yan

（Hubei University， Wuhan 430062，China）

Abstract： In the era of big data， it is very important to obtain and interpret big data by using relevant technical means. "Word cloud" technology， due to its ability to visualize the "Keywords" in the text， is attracting more and more attention. This paper takes the full text of Proposal of the Central Committee of the Communist Party of China on Formulating the 14th Five-Year Plan for National Economic and Social Development and the Long-term Goals for the year of 2035 as an example， and optimizes the text analysis technology of word cloud based on python， so as to provide convenience for quick interpretation of the text content.

Key words： Python; Chinese word segmentation; word cloud; optimization; 14th five-year plan

1 引言

“詞云”，是近幾年來出現的用于文本挖掘的可視化技術，其將文本中大量的不重要的信息過濾，并對出現頻率較高的“關鍵詞”予以字體大小和顏色等視覺形式的差異來直觀反映詞語的重要程度，文字的字體越大，表明其越重要，可以幫助閱讀者迅速把握文本的主要內容。簡言之，“詞云”，是一種將大量文本信息或網絡大數據迅速生成幫助閱讀者把握文本關鍵內容的輔助性可視化工具，其生成的詞云圖中的詞語字形、字號、顏色以及圖片背景可以根據使用者的實際需求進行修改和保存。此外，借助mask、stopwords、scale等參數的設置，可以對生成的詞云圖進行優化設計，比如：背景圖設計、刪減詞語、增加輪廓線等等。

“詞云”，由于其能夠快速、直觀地抓取文本的主要內容，方便人們對文本內容的解讀，正受到人們越來越多的關注。然而，由于對“詞云”技術的掌握和應用需要掌握一定的編程知識和技巧，導致大眾對此“望洋興嘆”。因此，本文寫作目的在于幫助一般讀者從無到有掌握“詞云”文本分析技術。具體而言，即借助《中共中央關于制定國民經濟和社會發展第十四個五年規劃和二〇三五年遠景目標的建議》文本，嘗試對基于Python的詞云文本分析技術進行應用和優化。一方面，解讀“詞云”原理。另一方面，則為一般讀者應用“詞云”理論和技術進行文本分析和解讀提供一般流程。

2 詞云理論

“詞云”（Word Cloud）一詞，由美國學者Rich Gordon于2006年提出，又稱文字云圖（詞云圖），屬于當前文本挖掘可視化主流技術之一?！霸~云”制作基本思想為：基于單詞庫（或詞典）將整個文本切分成不同單詞片段， 同時對同一單詞在文本中的出現次數進行統計;而后根據詞頻大小，將單詞按不同字體大小和顏色通過圖像呈現出來;詞頻越高，單詞的呈現方式越凸顯?；谥形牡摹霸~云”制作基本原理如圖1所示。從圖1可知，信息收集工作是詞云制作的出發點，研究者可根據具體需要選擇文本。文本預處理一般可以將輸入文本存為txt或Word文檔類型，將輸出文本以表格或圖形方式存儲和呈現。中文分詞、單詞庫（或詞典）以及關鍵詞提取是詞云圖制作核心。

2.1中文分詞

分詞是自然語言處理（NLP）中文本處理的前提和基礎步驟，由于詞是語句中的基本單位，故需要在分析語句前將文本中的連貫的句子切分成不連續的詞。相比于英文，中文語句由于句式結構復雜、沒有間隔符，一個詞語在不同的語句或文本中意義千差萬別，地名、人名、省略語以及網絡詞、流行詞、俗語等不確定性詞匯的存在等特點加大了分詞的難度。中文分詞技術面臨的困難主要表現在：對詞的界定、歧義消除以及未登錄詞識別三個方面。目前，中文分詞有基于詞典、基于統計和基于理解三種算法。

Jieba庫是一種應用廣泛且效果較為理想的中文分詞工具，需要通過pip指令安裝，主要支持三種分詞模式——精確模式、全模式和搜索引擎模式。

1精確分詞模式：默認模式，對語句進行精確切分，適合文本分析，無冗余，常用格式：Jieba.cut（sentence， cut_all=False）