基于Web數據挖掘的武威特色農產品數據分析

張玉梅　晉藝波

【摘 要】以淘寶電子商務網站為數據來源，使用后羿采集器的網絡爬蟲技術進行武威特色農產品的Web數據挖掘，抓取武威特色農產品的產品名稱、品牌、售賣店鋪、價格、付款人數、生產出售區域等數據進行分析，提出了發展武威特色農產品的品牌建設、品質管控、產品營銷、產業延伸等措施與建議，以達到促使武威特色農產品持續健康發展的目標。

【關鍵詞】Web數據挖掘;淘寶;武威特色農產品;爬蟲技術

【中圖分類號】F323.7 【文獻標識碼】A 【文章編號】1674-0688（2019）09-0161-04

0 引言

武威是一個農業城市，也是一個傳統而重要的農業經濟區域。在互聯網時代，要發展農村經濟，就要實現農業信息化。《武威市“十三五”農業現代化規劃》明確提出要“推進‘設施農牧業+特色林果業，加快推進農業信息化，實施‘互聯網+現代農業行動，持續增加農民收入，努力縮小城鄉差距”。目前，武威“互聯網+現代農業”發展狀況如何，是否實現了特色農產品網絡銷售，特色農產品的實際發展與規劃的符合程度如何，互聯網特色農產品發展存在哪些問題及未來應如何發展，都是需要認知的內容。基于此，文章將基于Web數據挖掘技術，以淘寶電商平臺為研究對象，提取分析武威特色農產品銷售數據進行實證分析，量化武威特色農產品實際發展狀況，為武威市發展農村經濟提供數據基礎，為政府政策制定提供參考依據。

1 研究基礎與方法

1.1 研究基礎

目前，關于網絡數據挖掘的研究文獻較多，其中大部分研究內容是關于數據挖掘的系統設計，而數據挖掘針對電子商務及營銷方面的研究內容較少，未發現運用數據挖掘技術應用于武威農產品實證分析的研究文獻，相關文獻研究方向主要有兩個：一是基于Web設計爬蟲技術系統;二是運用爬蟲技術基于Web抓取數據研究進而分析數據。魏倩男[1]等人通過抓取京東平臺Web數據，進行數據挖掘與分析，預測了電商行業的走勢;晉振杰[2]等人基于Python語言設計Scrapy爬蟲技術獲取電商書籍數據，目的是解決消費者購買計算機書籍時缺少書籍相關信息的需求;呂博慶[3]構建了一套爬蟲數據挖掘系統，采集了電商網頁信息，探究消費者需求，并為電子商務的營銷提供建議;陽黎明[4]等人基于分布式集群下的Nutch網絡爬蟲技術進行網絡交易數據抓取，計算了網上交易價格指數，預測了市場價格變化趨勢;李雪菁[5]利用數據挖掘技術分析了電子商務客戶細分、客戶保持、客戶滿意度，提出了避免客戶流失的對策;王鑫[6]利用數據挖掘技術收集整理了電子商務網站農產品信息，分析了客戶的行為特征、購買習慣及商品特性，提出了電子商務網站優化建議;安翔[7]、盧長寶[8]、李明江[9]等人利用集搜客等爬蟲軟件抓取了電子商務網站的評論數據，研究了消費者滿意度，為商品制定銷售策略提供了依據。

從以上陳述中可以看出，用得較多的數據挖掘工具主要是網絡爬蟲，具體使用的工具則不一樣，有Python等需要編程的爬蟲技術，有集搜客、八爪魚等爬蟲軟件;文獻研究的方法、思路也有區別，有的側重于數據挖掘、爬蟲技術的程序設計方面，有的側重于數據分析方面。本研究借鑒相關學者的研究思路與方法進行武威特色農產品數據挖掘與分析，以期為武威“互聯網+現代農業”提供客觀量化研究基礎。

1.2 研究方法

本文利用網絡爬蟲來進行數據采集，數據采集及研究思路方法如圖1和圖2所示。

1.3 數據采集

（1）數據來源。采集武威特色農產品電子商務數據，以淘寶為對象，時間選擇為2019年1月21日，運用工具為“后羿采集器”，采集關鍵詞為“武威特產”“涼州特產”“民勤特產”“古浪特產”“天祝特產”，通過變換關鍵詞，共抓取數據1 085條作為本次研究的基礎數據。

（2）數據預處理。第一步，對重復無關的數據進行挑選去除，剔除了228條與研究無關且重復的數據，獲得857條有效數據;第二步，把后羿采集器采集到的數據導入WPS表格中，依照文本內容篩選武威特色農產品相關信息;第三步，進行產品名稱關鍵詞重新選擇，選出中心主題詞語;第四步，對抓取的有效數據人工提取各項指標頻次、詞語含義信息，分析武威特色農產品銷售情況、銷售熱點、宣傳特色等，明確武威特色農產品的特色、銷售者的宣傳口號、銷售規模等信息。對857條數據以農產品名稱、農產品品牌、售賣店鋪、產品價格、付款人數、產品生產出售區域進行統計，具體信息見表1。

2 武威特色農產品數據分析

2.1 武威特色農產品信息分析

在淘寶售賣的武威特色農產品的種類產品類型有16種，其代表了普通個人所認知的武威特色農產品種類，因為抓取的數據來源是淘寶（與天貓、京東的數據來源不同，其代表企業數據），從表1中的數據來看，售賣數量最多的為人參果，這也是近幾年武威市政府推薦的特色農產品和代表武威形象的農產品，排名后面的特色農產品售賣產品數量并不多，原因如下：一是有的產品不能由個體產經營戶單獨完成生產，需要具有一定加工能力的企業生產;二是有的產品是現采現賣，種植制作的人數相對較少，從而導致在淘寶店鋪出售的數量較少。

2.2 武威特色農產品品牌分析

從產品品牌信息分析，武威特色農產品的擁有的品牌數量較少，擁有產品品牌96個，僅占所有產品的11.2%，從擁有品牌的產品類型看，有品牌的產品類型主要是瓜子、掛面、牦牛肉干、枸杞、沙棗、保健醋，一是因為它們是目前武威農產具有特色的產品;二是因為這些產品都有企業進行生產，具有一定的工業基礎。但大部分產品并沒有品牌，一是可能因為此次抓取數據的來源是淘寶店鋪，為個人售賣產品;二是大部分售賣的產品屬于農家手工自制、水果采摘等產品，這類產品很少有人有意識地建立品牌，所以大部分產品使用了區域地理名稱，例如民勤人參果、民勤蜜瓜、民勤沙棗、民勤羊肉、天祝牦牛肉、古浪掛面等具有地域特征的產品名稱，這樣做的好處是可以最大化地宣傳區域特色產品，但是無法統一管理，一旦有部分產品達不到產品質量標準，會降低消費者對產品的預期，降低顧客滿意度，進而會對未來產品宣傳、品牌建設等方面產生不良影響。

2.3 武威特色農產品店鋪分析

由收集的數據可看出，武威特色農產品銷售店鋪共有251家，平均每個店鋪銷售產品個數是3.4個/家，其中僅僅銷售一種產品的店鋪有121家，比例為48.2%，說明大部分商家并沒有將網上銷售作為職業行為，而銷售產品種類數目超過8個的店鋪僅有15家，比例為6.0%，說明對于武威特色農產品網絡銷售，只有6%的商家是投入比較大的，也愿投入精力進行維護，或者希望通過網絡銷售獲得利益，是認真進行商業行為的表現。

2.4 武威特色農產品價格分析

從武威特色農產品網絡商品銷售價格分析，網上的價格比線下都高，高出10%～80%，在大部分網絡消費者觀念中，認為網上價格低于市場價格，但是武威特色農產品卻相反。從價格組成分析，高于本地實際的價格部分可以看成物流費用、購買服務費用、銷售者實際利潤等，即使高于本地市場價格，在網絡上仍然有一定的銷售量，原因如下：一是網絡價格與其他同類產品價格相比，仍然具有一定的性價比;二是部分人認同物流費用可以成為價格的組成部分;三是部分特色產品具有明顯的地域性，比如武威涼皮，許多購買者是從武威本地出去的武威人，購買目的為了品嘗“家鄉的味道”，這些人同樣可以接受價格的上漲;四是因為地域經濟水平的差異，武威本地的價格水平在購買者區域即使價格上漲了，仍然在購買者觀念中認為是可以接受的價格水平，因此導致網上價格水平普遍高于武威本地售賣價格水平。

2.5 武威特色農產品付款分析

武威特色農產品付款人數從高到低的排列順序是人參果（897人）、瓜子（390人）、沙棗（223人）、武威面皮子（230人）、沙蔥（99人），這個排序代表武威特色農產品被認知的程度，它與產品售賣數量的排列順序具有差異，但是有3個共同商品，分別是人參果、沙棗和瓜子，從一定程度上可以認為這幾種農產品可以作為未來武威特色農產品的重點規劃發展目標。從網絡商品銷售效率指數來看，即付款人數/商品數量，銷售效率的含義是每個商品展示可以帶來銷售付款的倍數，可以表示商品展示帶來的銷售效率，也可以表示顧客從商品展示所引起的購買意愿程度，武威特色農產品銷售效率從高到低的排列順序是沙棘果（6.40）、武威面皮子（5.48）、瓜子（5.27）、人參果（4.70）、沙棗（2.86）、沙蔥（2.36），這個排列順序與付款人數排列順序也出現了差異，付款人數靠后的沙棘果竟然排到了第一，銷售效率指數達到了6.40，即每個商品展示吸引了6.4個顧客的購買。由此可見，沙棘果具有較強的網絡銷售潛力，所以沙棘果可以作為未來武威特色農產品重點發展目標，而銷售效率指數的第2～6名產品名稱和付款人數第1～5名是一致的，同樣表示人參果、瓜子、沙棗、武威面皮子、沙蔥5種農產品可以代表武威特色，同時也具有網絡銷售的潛力，因此未來是可以大力發展這5種特色農產品作為規模化、品牌化發展的目標。

2.6 武威特色農產品區域分析

從淘寶網站上分別以“武威特產”“涼州特產”“古浪特產”“天祝特產”“民勤特產”為關鍵詞進行數據采集后的有效信息有857條，然后進行產品來源區域信息處理，武威“三縣一區”在857條信息中占的比例分別為涼州區14.1%、民勤縣70.8%、古浪縣7.9%、天祝縣7.2%，數據排列順序為民勤、涼州、古浪、天祝，從一定程度說明了每個區縣的商家采用網絡銷售農產品的意識，而且民勤縣在網上展示商品進行銷售的比例為70.8%，遠遠高于其他3個區縣之和，表明民勤區域的百姓具有較強的網絡銷售思維，同時也與民勤縣政府的政策支持與指導有很大的關聯，而且從付款人數來看，民勤縣的特色農產品銷售效率指數也是比較多的，前6名銷售效率指數有5個與民勤特色農產品相關，從這一角度來看，民勤是武威“三縣一區”特色農產品電子商務發展最強的。

3 武威特色農產品發展措施與建議

通過對抓取的數據進行分析發現，武威特色農產品雖然具有一定的發展潛力，但是仍然需要政府、企業、農戶等多方共同努力，因此提出以下措施與建議。

3.1 品牌建設

通過對武威特色農產品的產品信息進行分析發現，雖然武威“三縣一區”有較多的特色農產品進行網絡銷售，但是有品牌和有影響力的品牌的特色農產品不多，只有約1/10的網絡商家有品牌意識，而品牌建設不僅對某個產品、某個企業有正向推動作用，更重要的是品牌特色農產品對于整個武威區域的特色農產品有巨大的宣傳作用，從網絡產品宣傳的口徑來看，很多網上顧客對于沙漠特色、綠色生態比較認同，國家對于“三品一標”政策也比較支持，所以武威特色農產品品牌標識應從“三品一標”“沙漠”“生態”進行品牌建設，而且網上銷售的產品中沙漠生產種植、養殖產品較多，因此可以樹立以“沙漠”為核心+各類沙生植物、果類、動物等品牌名稱，如沙漠健康棗、沙漠蜜瓜、沙漠羊羔肉、沙漠人參果等不同種類的品牌標識，以此區別新疆、內蒙古、南方等其他區域的農產品，只要首先打出“沙漠”特色，就可以建立“沙漠+產品”的系列品牌，提升武威特色農產品品牌影響力。

3.2 品質管控

打造武威特色農產品沙漠品牌標識的基礎是進行特色農產品的品質管控。一個區域要長久地發展，就一定需要有健康持續發展的基礎，一個農產品產業要長期可持續發展，就一定要保證農產品的品質，因為一旦打造了沙漠品牌系列農產品，如果某個網絡銷售商家的產品達不到顧客期望水平，就可能會影響整個區域某一類農產品，而且網絡評價對后續消費者購買有非常大的影響，所以政府、企業、商家、農戶需要共同制定某類農產品標準，按照不同標準制定不同的價格、品味、目標顧客、營銷宣傳語，達到不同品質農產品都有目標群體的目的。

3.3 產品營銷

對武威特色農產品品牌與品質的建設進行管控后，不需要從農產品價格、物流渠道、促銷等方面進行產品營銷。針對不同顧客、不同品質的農產品，采用差異化定價策略，物流渠道[10]借用淘寶阿里、京東等平臺，自建店鋪，政府進行人才培養、資金扶助，同時洽談已有一定規模和影響力的淘寶、天貓、京東網店進行店中店合作，借用其平臺縮短營銷宣傳的時間與費用，可以讓利合作的網店，武威農產品則獲得品牌影響力，請其打造武威特色農產品頁面，最終達到雙贏的效果。

3.4 產業延伸

武威特色農產品的可持續發展還需要農產品加工業的助力，因此政府需要從產業延伸的角度進行特色農產品產業鏈的規劃。從淘寶網信息分析中可以看出，很多特色農產品之所以沒有品牌，因為是農戶自己手工加工而成的，而具有品牌的特色農產品一般都有相應的品牌名稱，因此武威特色農產品的品牌建設需要以相應的農產品加工企業進行規模化生產為基礎，進行品牌設計、宣傳，農產品加工后可以延長農產品的儲存時間，打消農戶種植、養殖的后顧之憂，提升農戶發展農業的信心，提高農戶的收入，延長產業鏈條，使武威特色農產品實現持續健康發展。

總之，武威特色農產品電子商務的發展需要政府、企業、商家、農戶等多方共同努力，這也是一個長期的發展工程，只有從政策支持、資金扶持、人才培養等方面努力，武威特色農產品產業才能持續健康發展。

參 考 文 獻

[1]魏倩男，賀正楚，陳一鳴.基于網絡爬蟲的京東電商平臺數據分析[J].經濟數學，2018，35（1）：77-85.

[2]晉振杰，曹少中，項宏峰，等.基于Python的電商書籍數據爬蟲研究[J].北京印刷學院學報，2018，26（3）：39-42.

[3]呂博慶.基于爬蟲與數據挖掘的電商頁面信息分析[D].蘭州：蘭州大學，2018.

[4]陽黎明，蘇理云.基于Nutch爬蟲的電商交易價格統計研究[J].重慶理工大學學報（自然科學），2017，31（1）：152-157.

[5]李雪菁.基于數據挖掘技術的電子商務客戶關系管理[J].計算機與數字工程，2018，46（9）：1834-1838.

[6]王鑫.跨行業數據挖掘在農產品電子商務中的應用研究[J].山東行政學院學報，2016（1）：74-76，60.

[7]安翔，李世鑫，白雪，等.北大荒米業競爭對手產品評論數據挖掘[J].北方經貿，2018（8）：44-47.

[8]盧長寶，莊曉燕.餐飲業服務質量在線評論的聚焦維度：基于網絡爬蟲技術的實證研究[J].天津商業大學學報，2016，36（4）：14-22.

[9]李明江，盧玉.基于數據挖掘的電商中貴州茶葉產品分類分析[J].黔南民族師范學院學報，2015，35（4）：78-82.

[10]王紅娟，胡瑜杰.生態文明背景下農產品流通體系綠色增值的實現路徑[J].生產力研究，2018（11）：60-62.