基于淘寶某商品銷售量監控系統

陳陽

摘要：本系統對網絡爬蟲獲得的數據進行分析，實現對淘寶某商品銷量的監控功能，從而達到更深入的了解消費者對于某種商品的喜好程度，以此來判斷和決定以后的商品的銷售。了解淘寶網的網頁架構和一些特定的規則，并依據此來編寫相關的代碼和特定的規則，編寫JAVA代碼并使用了網頁渲染工具以及瀏覽器工具。利用編寫好的程序下載我們所需要的特定的網頁數據，通過DOM解析分析并提取我們所需要的信息，將獲取到的信息存入數據庫中，最終通過Web展示在網頁上。

關鍵詞：網絡爬蟲；淘寶；銷售量

0.引言

伴隨著電子商務的迅猛發展，越來越多的人喜歡和趨向于網絡購物。基于網絡購物成功的典型案例淘寶網來說，在淘寶網進行銷售的總經銷商來說，能及時的掌握分銷商的銷售量信息，這樣不僅可以幫助他們更好的生產和合理的分配自己的產品分配，還有助于提高企業的效率和利潤。目前經銷商對于分銷商的淘寶商戶的數據監控是有需求的，但淘寶卻只提供淘寶客戶對自己的數據管理和查看，并不允許他人獲得這些商業信息。傳統的方式是利用人來手動輸入網址和查看各個淘寶商戶的數據并記錄。這就需要大量的人力和時間，還存在效率低出錯率高得缺點。基于淘寶商品的監控系統能夠幫助經銷商系統的、全面的、更加直接的監控分銷商的銷售信息。系統可以幫助任何一個經銷商對自己在淘寶網的各個分銷商的銷售量進行監控，在功能方面主要可以獲取某個商品在淘寶網所有商家的網絡地址和每個商家的每月的銷售量的展示和查詢。

1.需求分析

對于淘寶網的總經銷商來說，如何生產和分配自己的產品無疑是重中之重。某知名商品的總經銷商為了監控自己淘寶網下的各個分銷商的銷售量情況，利用人工的手段實時的蹲守在電腦旁查看和記錄每個分銷商的銷售情況，這樣的手段太消耗人力和時間，而且沒有效率。如果可以利用程序自動的去獲得沒一家分銷商的商家地址，已經他們每個月的銷售記錄，并對商品的銷售量進行實時監控。這樣不僅可以幫助他們更好的生產和合理的分配自己的產品分配，還有助于提高經銷商的效率和利潤。

2.系統設計

（1）功能設計

系統包含的功能有兩部分，商家地址的獲取功能和網頁內容的獲取功能。商家地址的獲取功能主要是實現商家網址獲取的功能。首先由用戶鍵入要監控的產品的名字即關鍵字。然后由應用端程序獲取關鍵字并在淘寶中搜索關鍵字，將得到的結果頁面進行分析，并按照特定的規則去篩選，符合條件的網址即為商家店鋪網址，不符合的則舍棄。網頁內容的獲取功能主要是首先將保存網頁地址的文件讀入，將得到的網頁地址進行解析，并獲取網頁內容，利用網頁內容生成DOM樹。按照之前找好的網頁規則，輸入要查找的內容所在的節點即唯一的ID。通過ID查找DOM樹種是否含有此ID，如果有則提取ID內容并存入數據庫中，如果沒有則返回null并退出程序。

（2）數據的抓取和存儲

系統對數據的抓取和存儲使用了兩種方式，分別是商家地址的抓取和存儲和商家銷售量信息的獲取和存儲。對于商家地址的抓取和存儲為外部文件，當用戶在服務器端鍵入關鍵字的時候，應用服務器端會搜索關鍵字并將得到的搜索結果頁面進行解析。按照特定的規則分析其中包含的網頁地址，經過篩選和提取獲得我們所需要的商家的地址，將這些商家的地址一一保存在外部文件URL.txt中。對商家銷售量信息的獲取和存儲首先從外部文件URL.txt中獲取網頁地址，然后在應用服務器端解析地址并獲得其內容，服務器端會根據內容生成DOM樹，根據之前所給定的ID節點查找DOM樹，找到ID之后提取其內容并將提取出來的內容保存如數據庫表taobao中。

3.系統實現

（1）商家地址的提取、存儲成文件、網頁內容的獲取。

其中商家地址的提取使用了ItemDemo，Java，是一個實現獲取所有商家地址的類。其中main方法是想parseListDocument方法傳人商品名參數，和調用SaveUrlToFile類中的writeLinesToFile方法來將得到的結果輸出成外部文件。parseListDocument方法是通過處理parseProductUrl返回的參數以此獲得所有商家地址。parseProductUrl方法是將getPmductListDocument方法中所獲得的所有地址進行解析和分解并進行組裝，獲得我們所需要的地址。