基于網絡爬蟲的社交類APP運營優化分析
——以微信為例

李家驁，張 豪，楊相群

（南京工程學院，南京 211167）

隨著中國經濟的不斷發展，依賴于移動互聯網和移動終端供應商的移動社交類APP逐漸成為新的潮流。以“微信”為代表的APP革新了人們信息傳遞與，而新技術介入、大眾需求變化，使社交類APP在其設計、開發、演變、升級等過程均呈現出差異化趨勢。

1 移動社交APP

移動社交APP就是指安裝在移動終端上，提供用戶信息傳遞和交互等功能的應用統稱[2]。初期的互聯網行業中為用戶提供交互交談的服務，例如：BBS，新聞組等呈現為在線社區的形式。隨著信息技術的快速發展，社交網絡的載體逐漸從傳統的電腦與WEB頁面變成了智能手機APP，并已涉及和影響到了社會大眾生產生活的方方面面。[1]

2 數據獲取與分析

本文選用360應用軟件市場作為案例，并基于request和BeautifulSoup以及re評論爬蟲，分析、設計與實現，通過request爬取內容，運用BeautifulSoup解析爬取到得信息，運用正則表達式re讀取我們想要得信息。

2.1 獲取目標網站信息

首先了解到，該網站的評論是有AJAX異步加載的，無法獲取評論的真實URL，所以需要分析真實的URL構成以及規律，從而對爬蟲程序進行設計。在借助到瀏覽器可查看客服端和服務端之間可以通信的過程的幫助下，通過點擊加載更多評論的按鈕URL由兩部分構成，并且只有頁數和編號在變化，即需要設計2個變量來表示真實的URL。

基于這種方式，需要獲取更多的評論就需要更多次的請求，于是通過URL改造成一個循環，讓程序的每循環一次可以拿到下一頁的URL。而在此處需要格外注意網站的反爬蟲和網絡安全保護機制，因此在程序設計時必須在每次爬取內容的時候設置一點點停頓的時間 time.sleep（random.random（）），否則將會觸發網站的安全保護系統甚至拒絕訪問。

2.2 捕捉網站信息

在獲取網站內容的過程中，首先需要借助Python中的request庫，并設置請求頭和代理。通過這種方式規避了網站的反爬蟲機制?，F在再利用request.get（）方法獲取網頁內容，設置捕捉到的信息內容編碼為utf-8。此時，我們已經初步的獲取到所要的網頁內容。

進一步的信息加工處理是通過BeautifulSoup工具來解析獲得的網頁內容，在解析前我們需要對獲取內容進行初步篩選。調用f ind all函數獲得所有div元素里面的內容，在拿到所有帶有html格式的內容即評論信息之后，可以采用re正則表達式內容提取出來，并調用re.compile（）方法得到我們最終想要的信息。

2.3 信息存儲與分析

運用Scrapy框架里包含的Feed exports命令可以很方便地導出文件，保存爬取到的用戶評論，再利用程序對數據進行篩選與清洗，提取具有用戶體驗性質的內容并借助詞云分析工具得到了用戶體驗的關鍵詞。

3 現狀分析及優化改進

通過對軟件商店中用戶評價的關鍵字詞進行分析后不難發現，多數用戶的意見反饋集中在，微信的安裝包體積較大，程序占用空間較大，以及媒體編輯功能較為單薄以及注冊流程優化等問題。其中，對微信功能建設方面的意見中，圖片編輯、夜間模式和聊天記錄的訴求較多。這反映出了，目前微信極簡化的產品定位，在信息爆炸的當前稍顯落后，在用戶間的信息傳播和交流中，圖片和視頻等多媒體信息的傳播比重正逐漸提高，用戶對于多媒體的編輯處理功能要求提高。而在產品內容的用戶評價，則集中在公眾號的內容，騰訊會員特權兩方面。

實驗數據表明，在用戶體驗的五個維度中，社會體驗的影響效應最大，即用戶在社會聯系中尋求社會的認可，實現自己與親人朋友甚至陌生人的聯系，達到自己的社交意愿，這正是移動社交軟件的本質功能。[3]用戶在使用社交軟件時，傾向于穩定且高效地實現自身的社交意愿。這要求移動社交軟件重視且具備社會體驗建設，進而提升用戶粘性，提升用戶滿意度。

產品界面的設計和產品服務方式的改進升級至關重要，人類是“視覺動物”，優美的產品界面設計能給用戶帶來視覺感官的沖擊，色彩鮮明和風格簡單的同時強調功能齊全。用戶的需求是產品設計的出發點，捕捉用戶的多樣化需求，收集反饋信息反作用于產品，促使其提供的服務多樣化發展。

打破現有的技術壁壘，開發和突破算法瓶頸能夠進一步降低用戶學習成本和使用門檻。通過大數據算法的加持，能夠實現將用戶需求精確定位，進而實現流量變現，提升經濟效益。對代碼結構的優化和提升也有助于提升系統響應能力，以微信為例，用戶的反饋較多的集中在頁面更新以及信息加載速度較慢，并且缺乏快速有效的投訴反饋渠道。

4 結束語

總之，基于網絡爬蟲研究社交類APP的運營與優化具備重要的現實意義，如何打破現有的技術壁壘進行研發是之后需要關注的重點。只有不斷總結并改進，才是促進社交類APP優化與提升的關鍵。