通用B2C電商平臺交易數據抓取中間件的研究與設計

郭亞平,馬新春,昔 克

（新疆電子研究所有限公司 新疆 烏魯木齊 830049）

B2C電子商務模式即企業通過互聯網為消費者提供一個新型的購物環境——網上商店，消費者通過網絡在網上購物及支付的商務模式。目前大型的B2C電子商務平臺很多(如淘寶、京東、一號店、亞馬遜等)，往往一個企業會在多個B2C平臺開設門店，這樣就會導致一個企業的電商交易數據分散在多個B2C平臺，對銷售數據的統一管理以及統計分析工作造成了困難。中間件是一種獨立的系統軟件、服務程序或分布式應用軟件，借助這種軟件在不同的技術之間共享資源。 本文探討如何采用中間件技術實現一種統一的電商交易數據抓取插件，進而實現對分布于不同B2C電商平臺交易數據的統一管理。

1 B2C電子商務的背景與現狀

電 子 商 務 是 指 在 互 聯 網 （Internet）、 企 業 內 部 網（Intranet）和增值網（Value Added Network，VAN）上以電子交易方式進行交易活動和相關服務的活動，是傳統商業活動各環節的電子化、網絡化[1]。近十年電子商務正在以幾何級數的速度迅速發展。電子商務(e-commerce)作為一種新興的商務活動模式，憑借自身依托Internet網絡交易所帶來的迅捷、方便等優點，正在超越傳統的商務活動模式，給人們的生活帶來越來越多的商機。

電子商務B2C模式中的B是Business，即商業供應方（泛指企業），2（two）則是 to 的諧音，C 是 Consumer，即消費者。B2C電子商務是按電子商務交易主體劃分的一種電子商務模式，即表示企業對消費者的電子商務。

B2C電子商務模式包括兩種類型，一種是大型企業自建B2B電子商務網站來開展電子商務，企業通過電子商務來降低成本、提高銷售量，如海爾、聯想等公司。另一種是第三方電子商務平臺。我國大部分中小企業由于自身條件的限制，只能通過第三方電子商務平臺開展電子商務業務。主要的第三方電子商務平臺包括淘寶商城、天貓、京東、一號店等。

2 中間件概述

中間件（Middleware）是基礎軟件的一大類，屬于可復用軟件的范疇[2]。中間件在操作系統、網絡和數據庫之上，應用軟件的下層，總的作用是為上層的應用軟件提供運行與開發的環境，幫助用戶靈活、高效地開發和集成復雜的應用軟件。中間件的主要特點如下：

1)易于集成。 中間件能夠無縫的嵌入目標應用開發環境中，應用程序能夠穩定方便的調用中間件提供的應用邏輯和數據。

2)易于移植。中間件與平臺無關，即平臺的改變對應用程序來說幾乎沒有影響，無需修改代碼。

3)易于升級維護。中間件通過外部接口和應用程序交互，因此中間件的升級維護對應用程序基本沒有影響。

4)高可靠性。中間件主要針對部分功能邏輯進行封裝重用，通用性很強，成熟的中間件可以有效的保障系統的邏輯正確和運行穩健。

5)易于使用。中間件封裝了復雜的業務邏輯，系統通過簡單的接口調用就能重復使用這些業務邏輯。

3 通用B2C平臺電子商務交易數據抓取中間件的意義

目前我國大部分從事B2C電子商務的企業主要是依托于第三方B2C平臺進行自身商品的網上營銷活動，而其中的大部分企業為了實現更好的網上營銷效果，在很多B2C電子商務平臺上均開設了門店，其中知名度較高，規模較大的平臺包括淘寶、天貓、京東、一號店等，在不同平臺開設門店為企業增加效益的同時，也帶來的不少問題。舉例：我省一干果加工銷售龍頭企業已成功依托于B2C電子商務平臺進行線上銷售多年，由于自身架設的電子商務銷售網站知名度不很高，該龍頭企業主要依托于淘寶、天貓、京東、一號店等平臺進行線上銷售工作，這些分散于各個電商平臺的銷售數據為企業的日常銷售管理工作帶來了一些問題。第一、如何集中管理這些分散數據，進行企業日常的各類分析統計工作。第二、如何自動導入這些線上銷售數據到財務軟件等企業現有ERP系統，實現企業整個銷售數據的統一，同時避免人為重復錄入等工作造成的成本提升等問題。

文中就是針對目前的這種狀況，提出以一種通用中間件的方式統一解決企業在各第三方B2C平臺銷售數據的抓取問題。企業或第三方系統開發人員能夠通過本中間件輕松的實現大多數B2C平臺的數據抓取功能，在解決B2C銷售企業困難的同時提高企業工作效率。

4 通用B2C平臺電子商務交易數據抓取中間件的研究開發

4.1 中間件設計

數據抓取中間件介于B2C電子商務平臺與企業ERP信息管理系統之間，以屏蔽不同B2C電子商務平臺數據接口差異為目的，支持大部分主流B2C電子商務交易數據的即時抓取功能，實現B2C電商平臺交易數據到企業內部ERP信息管理系統間的無縫融合。結構示意圖如圖1所示。

圖1 中間件結構示意圖Fig.1 Middleware structure diagram

4.2 功能需求

1)能夠適應目前主流的幾個B2C平臺，如京東、一號店、淘寶、天貓。針對于這些平臺企業用戶無需再次編寫數據抓取接口，通過本中間件提供的方法調用即可方便的實現交易數據抓取功能。

2)制定中間件接口標準，通過接口標準屏蔽不同B2C交易平臺間數據接口的差異，在有新的B2C平臺數據接口需求時，只需要根據差異針對目標平臺進行簡單接口編程，即可實現本中間件的擴展，提高本中間件的兼容性。

3)實現對企業不同B2C平臺下的多帳號管理，自動根據所管理的帳號進行抓單并自動關聯單據至該帳號。

4)企業維護人員能夠自行定義本中間件抓取的數據到企業數據庫表/字段的自動映射關系。 通過本中間件實現B2C平臺到企業ERP系統數據庫的數據自動入庫功能，無需再次編碼。

5)提供事件處理引擎，將自動抓取數據進行過濾、分組、關聯和聚合生成用戶需要的業務數據，減少或避免用戶在處理底層數據上所花費的工作，直接面對業務邏輯數據。

4.3 中間件開發工具及流程

常用的編程語言主要有：c++、C#、Java、vb 等；而 Linux 系統下一般用C語言來進行開發[3]。本中間件主要基于C#語言開發，采用Visual Studio 2010開發環境 。考慮到本中間件的兼容性和強壯性，本地化存儲方案采用XML文件存儲。系統開發流程如圖2所示。

圖2 系統開發流程圖Fig.2 System flow chart

4.4 中間件所具備的功能模塊

中間件需要實現的主要功能模塊主要有6個，包括電商平臺賬戶管理模塊、邏輯接口模塊、單店鋪抓單接口實現模塊、數據結構映射模塊、數據自動導入模塊、抓單守護線程模塊。各模塊功能介紹如下:

1)電商平臺賬戶管理模塊：管理分布于各B2C電商平臺的賬戶認證信息。

2)邏輯接口模塊：該模塊對各B2C電商平臺的抓單動作進行抽象，形成接口標準定義。

3)單店鋪抓單接口實現模塊：針對接口標準對不同電商平臺所做的抓單功能實現。

4)數據結構映射模塊：用戶自定義的電商交易數據自動導入企業ERP系統時的數據邏輯結構定義。

5)數據自動導入模塊：實現電商交易數據自動導入企業ERP系統功能。

TF/IDF方法只考慮了詞在上下文中的統計特性，具有一定的局限性。一個特征項出現的頻率越多，該特征項越能代表主題，包含該特征項的文檔越少，該特征項越能代表主題，這是正確的，但也是片面的。從詞性上講，名詞比動詞或者其他詞性更能代表主題，從詞匯屬性上講，關鍵詞、方言詞比普通常用詞匯更能代表主題。本文利用的是項目自定義的農業專業分詞算法，該算法的分詞結果包括該詞的詞性和詞匯屬性(常用詞、方言詞、專業關鍵詞)，將詞匯按照其詞性及詞屬性進行加權，增加了該算法的可操作性和準確度。

6)抓單守護線程模塊：定時抓取電商交易數據，處理網絡異常、單據異常、數據異常等非正常事件，保證中間件的健壯性。

5 軟件開發

5.1 基于XML的多平臺數據交換協議

可擴展的標記語言XML是1998年2月由W3C組織制定的一種通用語言規范，具有開放性、平臺無關性、自描述性、靈活的可擴展性、高度結構化和層次化的數據組織形式等特點[4]。XML語言采用標記來表示信息的內容,使用者可根據需要自由定義這些標記,生成結構化的信息,使其非常適用于不同應用間的數據交換。因此,基于XML的異構數據交換技術已成為電子商務應用的關鍵技術[5]。基于XML的數據交換標準在B2C電子商務平臺與企業之間充當一個橋梁,使得使用不同通信方式的B2C電子商務平臺和企業之間可以方便地進行信息交流[6]。

本中間件主要通過XML數據交換標準實現各B2C平臺不同格式標準數據到本中間件數據標準的轉換定義。通過最大冗余數據格式定義將從各B2C平臺抓取的數據統一變化為標準定義。再根據具體使用企業的自身ERP系統的差異，將標準數據轉換為企業ERP所需的數據，從而完成B2C平臺數據到企業ERP數據的轉換。下面為淘寶平臺交易數據到中間件交易數據標準格式轉換的XML定義示例。

--域定義列表

--標準字段轉換定義

--第三方平臺字段名稱

--字段類型

--字段長度

--值

--標準版本號

通過標準定義來屏蔽不同B2C平臺接口間的差異，同時保證本中間件的可擴展性，對于其他B2C平臺只需要針對于本標準進行簡單的接口編程即可實現對本中間件的功能擴展，提高本中間件的平臺兼容性和健壯性。

5.2 基礎類設計

整個中間應用邏輯實現依賴于四個重要的基類設計，如圖3所示。

圖3 基類設計圖Fig.3 Basic class design chart

1)Istore類:該類為抽象類(abstract class),封裝了店鋪認證信息，店鋪登錄，獲取店鋪基本信息等通用處理過程。由此基類衍生出所有B2C平臺店鋪子類，如淘寶店，京東店等。

2)StoreManager類：該類為店鋪管理類，負責管理本中間件所有登記在冊的店鋪信息。

3)StoreFactory類：該類為工廠類，負責根據請求的店鋪類型生成不同的店鋪實例。

4)CaptureRobot類：該類為主守護線程類，負責按所有登記在冊的店鋪信息定時依次抓取各類單據信息，并負責處理抓單過程中的各類異常信息。確保本中間件的穩定運行。

5.3 實現結果

基于本抓單中間件開發出的自動抓單機器人的系統運行界面如圖4所示。

圖4 系統界面圖Fig.4 System UIchart

6 結論

在電子商務蓬勃發展的今天，越來越多的企業采取Internet線上營銷的方式，通過第三方B2C電子商務平臺營銷自己的產品。在給企業帶來便利，實現效益最大化的同時，也為企業帶來了數據分散，難以集中管理統計等困難。使用本中間及相關技術可以有效解決這些問題。企業只要通過簡單的調用本中間件的外部接口或進行二次開發就能方便的實現B2C電商平臺數據與本企業ERP平臺數據的無縫集成，實現企業信息資源方便高效快捷的互通互享，提升企業的經濟效益。本文所設計的中間件已在新疆某干果電子商務銷售企業得到了成功應用，進一步的提高了企業自身的信息化優勢，取得了良好的經濟效益。

[1]方美琪．電子商務概論[M].北京：清華大學出版社，1999．

[2]仲巖,蘆陽,李霞.電子商務實物[M].北京：北京大學出版社,2009.

[3]葉穎,李陶深.淺談電子商務中間件架構[J].廣西大學學報：自然科學版，2005(30):58-61.YE Ying,LI Tao-shen.E-commerce middleware architecture[J]Guangxi University：Natural Science,2005(30):58-61.

[4]王宇飛，許進．OpenBase MINI數據同步的設計與實現[J]．計算機科學，2000，27(10)：214-217．WANG Yu-fei,XU Jin.OpenBase MINI design and implementation of data synchronization [J].Computer Science 2000，27(10)：214-217．

[5]李文菲.基于中間件技術的數據交換平臺的設計與實現[D].北京:中國科學院，2006.

[6]尹夢嘉.基于中間件的電子商務基礎系統研究[J].福建電腦,2005(6):37-38.YIN Meng-jia.Research about middleware-based e-commerce infrastructure systems[J].Fujian Computer,2005(6):37-38.