基于RPA技術的優惠商品信息實時收集平臺研究

黃英迪 陳立濤 梁通達

收稿日期：2023-08-11

基金項目：2022年自治區級大學生創新創業訓練計劃立項項目（S202210595354X）

DOI：10.19850/j.cnki.2096-4706.2024.07.028

摘? 要：隨著電子商務的蓬勃發展和各種購物平臺的涌現，商品信息的數量和種類呈現爆炸式增長，給用戶帶來了巨大的信息搜索壓力。面對海量的商品數據，用戶在網購時獲取商品信息的效率不高，并在比對商品價格時耗費大量的精力，為此文章提出一種基于RPA技術的優惠商品信息實時收集平臺，采用RPA機器人流程自動化技術實時抓取各個購物平臺的商品信息（價格、優惠信息和用戶評價等），并進行信息整合和數據可視化，從而為用戶提供更多的選擇和參考，幫助他們做出明智的購物決策，極大地提升了用戶的購物體驗和滿足感。

關鍵詞：RPA；優惠商品信息實時收集平臺；流程自動化；購物決策

中圖分類號：TP242.6；TP399 文獻標識碼：A 文章編號：2096-4706（2024）07-0136-05

Research on Real-time Collection Platform for Preferential Product Information Based on RPA Technology

HUANG Yingdi， CHEN Litao， LIANG Tongda

（School of Computer and Information Security， Guilin University of Electronic Technology， Guilin? 541004， China）

Abstract： With the booming development of E-commerce and the emergence of various shopping platforms， the quantity and variety of product information are showing explosive growth， bringing huge information search pressure to users. Faced with massive product data， users have low efficiency in obtaining product information during online shopping and spend a lot of energy in comparing product prices. Therefore， this paper proposes a real-time collection platform for preferential product information based on RPA technology. RPA robot process automation technology is used to capture product information （price， preferential information， and user feedback） from various shopping platforms in real time， and information integration and data visualization are carried out， thus providing users with more choices and references， helping them make wise shopping decisions， which greatly enhances their shopping experience and satisfaction.

Keywords： RPA; real-time collection platform for preferential product information; process automation; shopping decision

0? 引? 言

在當今海量數據的時代中，人們面臨著一個普遍的問題：如何快速、準確地找到自己所需的優惠商品信息。雖然市場上已經存在一些商品信息收集平臺，但仍然存在著信息獲取效率低、數據不準確、用戶體驗欠佳等問題。針對上述問題，本論文提出了基于RPA（Robotic Process Automation）技術的優惠商品信息實時收集平臺。相比于傳統的手動方式，RPA技術可以通過模擬人類使用瀏覽器或相關應用程序的行為來獲取目標網站或平臺的商品信息，具有高效率、低成本、高精度等諸多優勢，從而提高用戶的購物體驗，為用戶提供更加便利、高效的商品信息搜索服務，并為商業應用創造可觀的價值。

1? 研究背景

2023年第51次《中國互聯網絡發展狀況統計報告》顯示，一方面，截至2022年12月，我國網民規模達10.67億，較2021年12月增長3 549萬，龐大的網民規模為推動我國經濟高質量發展提供強大內生動力；另一方面，我國互聯網普及率達75.6%，形成全球最為龐大、生機勃勃的數字社會[1]。

隨著中國互聯網發展的不斷壯大，電商平臺也逐漸分散化，電商的購買入口越來越多。為了擴大商品銷售渠道和獲取最大利益，商家大多會在多個電商平臺中開設店鋪并銷售商品，這時就會出現同一商家的某一商品在不同的購物平臺上的價格存在一定的差異。對于消費者來說，面臨的選擇多種多樣，從而在購物前查看歷史價格走勢，比較其他商城的價格就成為必走流程，由此電商導購的市場也逐漸擴大起來。

基于此市場背景，本團隊借助RPA技術進行商品數據爬取，探索出了一條類似推廣軟件的道路，促使了優惠商品信息實時收集平臺的誕生和發展，旨在幫助消費者快速比較心儀商品在不同平臺上的價格，并提供詳細的商品信息和用戶關注度分析，以輔助用戶做出明智的購物決策。未來，隨著RPA技術的不斷發展和創新，該平臺將進一步提升用戶體驗，并為商家和電商平臺提供更多商業價值和合作機會。

2? RPA技術

2.1? RPA技術的概念

RPA（Robotic Process Automation）是一種新型的人工智能的虛擬流程自動化。 進行重復性、低價值、無須人工決策等固定性流程化操作，從而有效提升工作效率，減少錯誤，其可實現多端軟件的自動化流程控制[2]。

自動化流程技術（RPA）通過模擬人類操作并記錄用戶在計算機上的行為，可以實現各種任務，如數據錄入、郵件收發等。它使用鼠標鍵盤命令和系統調用來完成這些任務，并遵循約定的規則[3]。RPA技術能夠在計算機上自動進行數據采集、文件上傳和下載、圖像識別、文本處理以及數據加工和分析。此外，它還能夠管理和監控流程，并輸出和反饋信息[4]?？傮w而言，RPA提供了一種低錯誤率、高合規性和高效率的解決方案。

2.2? RPA技術的特征

2.2.1? 基于規則且流程固定

RPA技術通過執行基于規則的固定流程來完成工作，只需按部就班地點擊按鈕或進行其他機械化操作即可。雖然目前的RPA技術仍需要人工干預，并遵循預先設定的規則，但它通過記錄人類操作行為并模擬這些行為（如鼠標點擊、數據錄入、應用程序觸發和調用等），取代了重復且耗時的業務任務[5]。盡管RPA無法完全擺脫人工參與，但它能顯著提高業務流程效率，減輕人工工作負擔。在此過程中，RPA機器人始終執行著固定流程中的規則操作，并以高效、精確的方式完成工作。

2.2.2? 跨系統且無接口

RPA技術具有跨系統和無接口的特性，被稱為“非侵入性”[6]。這種技術可以輕松地集成到多個系統平臺中，而無須改變企業原有的信息系統架構。通過抓取界面元素和自動化操作，RPA機器人能夠實現在不同系統之間獲取和寫入數據，而無須依賴接口。它通過模擬人類操作行為，例如點擊按鈕、填寫表單等，與系統進行交互并完成任務。這種無接口的特性使得RPA技術能夠快速部署和應用于各種系統環境中，節省了與系統集成相關的開發和維護成本。

2.2.3? 全天候且不間斷

RPA機器人無須休息，能夠實現7×24小時高效自動化處理大量重復性任務[7]。這種特性減輕了企業員工的工作壓力，并使工作更加高效。RPA機器人能夠在幾個小時內完成那些人工操作需要一整天才能完成的任務。同時，RPA機器人嚴格遵循事先設定的規則進行業務操作，不會因為長時間工作而導致疲勞或錯誤的發生，為高質量工作提供保障。

2.2.4? 自動化重復任務

RPA技術能夠自動執行高度重復且低附加值的任務，從而顯著提高工作效率。大規模的重復性任務往往乏味且容易出錯，而RPA機器人可以高效、準確地完成這些任務，從而降低了錯誤風險。通過使用RPA機器人處理大批量的重復性任務，可以減少錯誤的發生，提高工作效率，并節省員工的時間和精力[8]。這使得員工能夠將更多的時間和注意力投入到需要創造性思維和決策的高價值任務上，進一步提升了工作的滿意度和貢獻度。

2.2.5? 靈活可擴展

RPA技術的可擴展性和靈活性對于高效自動化解決方案的實現起著關鍵作用。首先，RPA能夠無縫集成各種系統和應用程序，對多樣化的任務和流程提供支持。無論是簡單的、重復性的任務還是復雜的業務流程，RPA都能夠適應并快速處理。其次，RPA機器人具備快速調整和擴展的能力[9]。隨著業務需求的變化，企業可以迅速修改和優化RPA流程，以適應新的挑戰和機會。與傳統的軟件開發相比，RPA的靈活性使得企業能夠更加敏捷地響應市場變化，并在競爭中保持競爭優勢。此外，RPA技術的可擴展性也為企業提供了良好的發展空間。無論規模擴大還是業務變化，RPA都可以通過添加新的機器人或擴展現有機器人來滿足需求。

RPA機器人流程自動化的特征如圖1所示。

3? RPA技術的應用

依托RPA技術流程自動化、能夠跨系統操作、7×24不間斷工作等優勢特征，優惠商品信息實時收集平臺運行Python執行腳本來爬取商品優惠信息，使用其可視化流程控制視圖以實現對流程機器人的調度與功能控制，并通過平臺提供的數據可視化視圖分析等功能實現對虛擬信息的初步管理。相較于傳統的爬蟲發送大量的http請求獲取網頁信息，RPA通過模擬人工手動操作鍵盤和鼠標，自動不間斷地進行信息爬取[10]。一方面，不易被大型網站的反爬蟲機制所偵測，從而無障礙的獲取到所需的數據；另一方面，自動化爬取商品信息實現了平臺數據的實時更新，保證用戶獲取最新最全信息。而且，相比于傳統的腳本獲取方式能更好地獲取各種網址上的商品信息與原購物網站的鏈接，對服務器造成的負擔較小。因此，RPA技術在平臺的開發和運維中具有不可或缺的地位，以下為其在優惠商品比價平臺中的具體應用。RPA技術在平臺中的具體應用圖如圖2所示。

自動化商品信息的抓取過程，使得數據的獲取更加快速和準確。相比傳統的爬蟲技術，RPA通過模擬人工手動操作鍵盤和鼠標來進行信息抓取，能夠應對大型購物網站的反爬蟲機制，并且不會給服務器帶來過大的負擔。這意味著平臺可以實時地獲取最新的商品信息，保證用戶所看到的數據是最準確和及時的。

平臺對采集到的商品信息進行價格比較和優惠分析，將不同平臺的商品價格、優惠幅度等關鍵信息進行對比，生成詳細的比價報告。用戶可以根據自己的需求和偏好，在報告中找到最適合自己的商品選擇。

平臺根據用戶的瀏覽歷史和搜索記錄，對商品進行關注度分析。通過統計用戶對不同商品的點擊量、收藏量等指標，為用戶提供個性化的商品推薦和熱門商品排行榜，幫助用戶更快速地找到感興趣的商品。

平臺通過圖表、報表等方式將商品價格走勢、優惠幅度等信息進行可視化展示，用戶可以直觀地了解商品的價格波動和優惠情況。同時，平臺還提供對虛擬信息的初步管理，方便用戶自定義篩選條件和排序方式，進行更精準的商品搜索。

實現多平臺的數據整合。通過RPA技術獲取來自京東、天貓商城、拼多多、蘇寧易購、唯品會、考拉海購等多個購物平臺的商品信息，平臺可以提供一個統一的界面，讓用戶能夠方便地對不同平臺的商品進行比較和選擇。這樣，用戶無須在不同平臺間來回切換，節省了時間和精力。

可擴展性和靈活性使得平臺能夠適應不斷變化的市場需求和規模擴展。隨著用戶量的增加和新的購物平臺的引入，平臺可以通過增加更多的機器人來提高系統的處理能力，確保平臺的穩定性和響應速度。同時，RPA技術還可以與其他系統和應用程序進行無縫集成，為平臺的功能拓展提供更多可能性。

結合智能算法和推薦系統，為用戶提供個性化的推薦和建議。通過分析用戶的購物記錄、喜好和行為模式，平臺可以利用RPA技術實時抓取合適的商品信息，并根據用戶的偏好和需求進行個性化的推薦。這樣，用戶可以更加精準地找到符合自己需求的商品，提高購買的滿意度。

4? 平臺核心功能設計與實現

優惠商品信息實時收集平臺的設計開發目的是減少用戶在選擇商品時在多方平臺進行商品信息獲取以及對商品的價格和品質比較時花費的時間和精力，從而提高用戶的購物的準確性和便捷性。通過該平臺，用戶可以查看平臺推送的個性化商品信息以及商品熱銷排行榜，同時，用戶也可以查看商品的近期價格趨勢圖，便于用戶對于最新的商品價格進行一目了然地查看。該平臺的功能主要由三大核心模塊實現：數據爬取、數據分析與清洗、數據可視化展示。

4.1? RPA數據爬取

在RPA平臺中，使用中文腳本對京東、天貓商城、拼多多、蘇寧易購、唯品會、考拉海購、途虎養車等多個平臺的優惠商品以及什么值得買的網站做文本分析，針對性的使用腳本爬取數據，同時運行多個腳本，多個腳本能夠同時執行且不沖突，針對一些網站的規律，如圖3所示。

圖3? 京東秒殺的活動頁面

為了在京東秒殺中獲取最新的商品信息，對平臺設計了定時任務，每2小時進行一次數據爬取。同時，平臺還實現了對已獲取數據的去重處理，確保數據的準確性。爬取到的數據將被存儲到Excel表格中，然后通過Easyexcel插件讀取數據，并緩存并導入到MySQL數據庫中。MySQL將作為主要的數據存儲介質，使用Spring Boot和MyBatis從MySQL中讀取數據，并將其存儲到Elasticsearch中，以便更高效地檢索和查詢數據，確保獲取到最新的商品信息，并且能夠高效地存儲和檢索這些數據。

4.2? 數據的分析與清洗

基于RPA開發平臺進行代碼開發，將每個購物平臺作為一個組件，根據每個購物平臺的不同結構進行編碼，爬取商品信息并寫入至同個Excel文件中。由于每個購物平臺的商品信息格式各異，爬取的數據格式也各不相同，因此需要對初步爬取的數據進行分析和清洗，得到結構化的數據，并根據展示需要存儲在不同的Excel文件中。最后為了前端頁面數據的展示，需要編寫組件將Excel文件的數據導入至云數據庫中。完成所有組件的開發之后，通過圖形化的流程，將所有組件串聯起來，按照一定順序執行，最終就完成了該模塊的開發。在RPA開發平臺部署功能模塊后，通過接口調用的方式與Web頁面實現功能模塊調用以及數據傳輸，從而實現數據的可視化展示。

4.3? 數據可視化展示

圖4為主頁界面展示用戶所感興趣的商品輪播圖，用戶可以通過點擊頁面大屏，進入具體的商品信息頁面，深入了解每個商品的詳情。這種設計方式旨在為用戶提供更直觀、便捷的瀏覽體驗，方便他們快速獲取所需信息。

圖5為商品信息展示頁面提供了多個平臺的商品數據，用戶可以查看來自不同平臺的商品信息，能夠比較不同平臺上同一商品的價格、評論和其他相關信息，幫助用戶可以更全面地了解商品的市場情況，并做出明智的購物決策。

圖6為熱銷排行榜頁面展示當前最受歡迎和暢銷的商品信息。該頁面根據銷售量、用戶評價和關注度等因素，將商品進行排名，以便用戶快速了解當前市場上最熱門的商品。用戶可以在排行榜頁面上查看每個商品的詳細信息，并根據排名情況做出購買決策。

圖7為商品具體詳情頁，提供了商品的基本信息，包括商品名稱、描述、規格等，幫助用戶更全面地了解商品的特點和屬性。該頁面顯示了商品在不同平臺上的價格歷史趨勢圖，以幫助用戶了解商品價格的波動情況，把握商品價格的走勢，做出更明智的購買決策。此外，平臺還提供價格的實時監控數據，可以使用戶實時獲取商品價格的變化情況，可以及時把握商品的最新價格，從而選擇最合適的購買時機。

5? 結? 論

本文設計的優惠商品信息實時收集平臺利用了RPA技術自動化運行的獨特優勢，通過實時收集各個購物平臺的商品信息，并利用比價分析和用戶關注度等功能，減少用戶在多個平臺獲取商品信息時所花費的時間和精力，從而為用戶購物提供更加便捷的服務，為商業應用創造可觀的價值。

未來，隨著人工智能技術的不斷發展，RPA優惠商品比價平臺有望在更多領域得到應用。例如，結合自然語言處理和機器學習技術，為用戶提供更精準的商品推薦；引入區塊鏈技術，確保數據的安全性和可信度；拓展平臺的合作伙伴，增加更多購物平臺的支持等。這些發展將為用戶提供更便利、高效的商品信息搜索服務，同時為商業應用帶來更廣闊的市場前景。

參考文獻：

[1] 中國互聯網絡信息中心.CNNIC發布第51次《中國互聯網絡發展狀況統計報告》 [J].互聯網天地，2023（3）：3.

[2] GUPTA S，RANI S，DIXIT A. Recent Trends in Automation-A Study of RPA Development Tools [C]//2019 3rd International Conference on Recent Developments in Control，Automation & Power Engineering（RDCAPE）.Noida：IEEE，2019：159-163.

[3] 程平，鄧湘煜.RPA財務數據分析機器人：理論框架與研發策略 [J].會計之友，2022（13）：148-155.

[4] 陳虎，孫彥叢，郭奕，等.財務機器人——RPA的財務應用 [J].財務與會計，2019（16）：57-62.

[5] 司玉濤.基于RPA的HB公司財務共享服務中心業務流程優化研究 [D].邯鄲：河北工程大學，2022.

[6] 王學平，李長春，毛玲燕.基于RPA的應用交付能力研究與實踐 [J].冶金自動化，2023，47（S1）：592-595.

[7] ZHAO C H，QIAN Q，XUE J R，et al. Design and Implementation of Enterprise Sensitive Information Monitoring System Based on RPA [C]//2023 5th International Conference on Communications， Information System and Computer Engineering （CISCE）.Guangzhou：IEEE，2023：263-267.

[8] 田高良，陳虎，郭奕，等.基于RPA技術的財務機器人應用研究 [J].財會月刊，2019（18）：10-14.

[9] LUBIS L S，SEMBIRING D E. Driving Digital Transformation： Leveraging Robotic Process Automation（RPA）to Enhance Business Process Efficiency and Reducing Manual Errors [C]//2023 IEEE International Conference on Data and Software Engineering（ICoDSE）.Toba：IEEE，2023：91-95.

[10] 秦海波，曹莉，葉宜修，等.RPA流程自動化技術分析 [J].自動化技術與應用，2022，41（5）：1-3+25.

作者簡介：黃英迪（2002—），女，漢族，山東臨沂人，本科在讀，主要研究方向：件項目開發與管理；陳立濤2002—），男，漢族，廣東汕頭人，本科在讀，主要研究方向：大數據與區塊鏈技術；梁通達（2000—），男，漢族，廣西南寧人，本科在讀，主要研究方向：Web前端開發。