跨境電商信息化監管系統中數據挖掘和清洗的運用

唐雪濤

摘 要： 隨著當前社會經濟的發展，跨境電商已經成為推動我國外貿產業發展的主要動力之一。相比于傳統對外貿易方式而言，在現有經濟條件下，跨境電商具有極大的發展潛力。作者所在的檢驗檢疫部門負有對出入境貨物進行行政監管的職責，近年來建立了一整套跨境電商信息化監管系統，為了應對跨境電商的海量數據，建立了大數據平臺，運用了數據采集、挖掘、清洗等技術手段。本文主要就對跨境電商信息化監管系統中數據挖掘和清洗的運用進行分析和探討。

關鍵詞：跨境電商 信息化 數據挖掘 清洗

中圖分類號：F713 文獻標識碼：A 文章編號：1003-9082（2016）09-0088-01

一、跨境電商的定義及類型

跨境電商，根據其商業模式可以分為如下三種類型。跨境B2B是指分屬不同關境的商業企業之間，通過電子商務手段使商品展示、信息交流、業務洽談和交易環節信息化，以規模化現代跨境物流送達貨物給關境外的商戶，并通電子化方式支付和結算，完成商品交易活動的國際商業行為。這類交易模式在進出口檢驗檢疫可走傳統貿易模式，也可走保稅備貨模式。

跨境B2C是指分屬不同關境的企業直接面向消費者個人開展在線商品展示、宣傳、銷售產品和服務，并采用快件、小包等行郵的方式通過跨境物流將商品送達消費者手中的商品交易行為過程。在檢驗檢疫監管中，電商企業先在報稅園區備貨再轉郵包的形式屬于保稅備貨模式，直接從海外發郵包的，屬于直郵模式。

跨境C2C是指分屬不同關境的個人賣方對個人買方開展的在線銷售產品和服務，由賣家通過第三方電商服務平臺發布產品和服務價格等相關信息，個人買方進行篩選，最終通過電商服務平臺達成商品在線交易，通過電子化手段進行支付結算，并采用快件、小包等行郵的方式通過跨境物流將商品送達到消費者手中的商品交易行為。在檢驗檢疫監管中，屬于直郵模式。

二、跨境電商對監管帶來的挑戰

1.如何落實經營主體責任。傳統國際貿易中貨物所有權轉移給國內進口商的過程規范合法，涉及的國外供貨商較少，在產品質量、消費維權等方面完全可以按照中國的法律來落實中間商的主體責任，而中間商也有能力肩負起主體責任的義務。跨境電商的經營主體和傳統貿易企業相比，數量多規模小，一家跨境電商涉及的國外供貨商數量可以成千上萬，且有部分跨境貿易是由國外賣家直接到國內消費者，中間缺少經營責任承載主體。因此在對國內經營主體追責上存在困難，在對國外賣家身份識別、產品溯源等方面也難以運用中國法律進行規范。

2.如何落實產品溯源管理。傳統國際貿易買賣雙方通過訂立合同方式對產品來源渠道、質量要求予以明確，因此一旦發生質量問題或被消費者要求退貨，能夠快速有效地進行溯源。跨境電商貿易由于批量小而多，供貨狀況復雜，難以使用傳統手段完成在溯源工作，必須依靠新技術，建立信息化的溯源體系。

三、數據挖掘的過程

1.數據清洗

數據清洗是糾正數據紕漏的步驟，通常情況下大數據包的質量都不高，存在數據缺失、噪聲數據、重復數據，甚至離群點數據的情況，數據清洗的工作就是刪除重復冗雜數據、補充缺失的數據，并對數據的一致性進行核查和篩選，采用不同的處理方法可能對分析結果產生影響，尤其是當缺失值的出現并非隨機且變量之間明顯相關時。因此，在調查中，應盡量避免出現無效值和缺失值，保證數據的完整性。只有通過了數據清洗，才能為數據挖掘的結果提供優質而堅實的基礎。

2.數據集成

數據集成是把不同來源、不同格式、不同特點性質的數據在邏輯上或物理上進行有機的結合，數據集成可以有效地為需求方提供全面的數據基礎。數據集成步驟可以有效解決在數據庫管理工作中，因為數據來源問題造成的數據不一致和冗余的問題，讓數據有一個良好的邏輯或物理結構，并保持統一格式。在一些工作中不存在多個數據源時，本步驟可以省略。

3.數據歸約

數據歸約是一個關鍵的過程，能夠大量減少海量數據在運算時候的時間。通過數據歸約，數據可以得到一定的壓縮，由于數據歸約基本保持了數據的完整性，歸約處理后的數據挖掘結果與不歸約的結果相差無幾，但工作效率則有明顯的提升。

4.數據轉化

數據轉化又稱為數據變換，通過平滑聚集、數據概化、規范化等方式，將數據轉化為數據挖掘所需要的形式，一般情況下，該形式為數據規范化技術。對于某些實數型數據，通過概念分層和數據的離散化來轉換數據是重要的一步。

5.數據挖掘

數據挖掘是選擇適合的分析工具，按照統計學中的方法，事例推理、決策樹、規則推理等方法對信息進行處理，得出有用的分析處理信息。

四、數據挖掘在跨境電商信息化系統中的應用

1.數據挖掘在檢驗監管方面的應用

杭州作為全國最早設立的跨境電子商務綜合試驗園區之一，跨境電子商務的發展排在全國前列，早在2015年，作者所在的浙江出入境檢驗檢疫局就建立了跨境電子商務監管信息化平臺。

平臺通過電子口岸獲取數百家電商平臺的跨境電子商務交易信息，每天處理10萬左右的跨境訂單數據，在雙十一峰值時，平臺日處理單量為百萬級別。

每月都有300～400萬訂單數據沉淀到監管平臺中，對這些數據進行有效的挖掘分析，利用數據化手段實現監管

2.數據挖掘在風險監測方面的應用

目前浙江受國家質檢總局委托，在杭州建立全國跨境電子商務風險監測中心，作為中心的信息化支撐，同步建設跨境電子商務風險監測平臺。風險監測平臺的數據來源多種多樣，有天貓國際等電商平臺傳輸給我局的風險信息，有我局自建網絡爬蟲在各大電商網站上抓取的信息，也有國外監管部門通報退運的信息。運用數據清洗技術手段，從這些數據中找出真正的風險點，形成能夠切實指導一線業務人員對貨物進行抽查檢驗的警示通報。

結語

跨境電商作為新鮮事物，新的交易模式，新的經濟增長點，有著巨大的市場潛力和生命力。同時，跨境電商的業態和傳統模式不同，從其誕生開始就和信息化系統緊密結合，其數據有著全面、海量、實時性高等諸多的特點。作為檢驗檢疫部門，就必須在信息化系統建設上緊跟時代，建立大數據平臺、運用數據采集、挖掘、清洗等先進手段，依托檢驗監管系統、風險監測預警系統，從而合理有效的履行對跨境電子商務行業的監管職責。

參考文獻

[1]穆承剛.我國小額跨境電子商務模式研究[D].上海社會科學院，2014.

[2]金虹，林曉偉.我國跨境電子商務的發展模式與策略建議[J].宏觀經濟研究，2015，09：40-49.