關于大數據環境下的電子商務商品實體同一性識別的研究

于帥

【摘要】 經濟與科技的發展帶動了電子商務的發展，在電子商務平臺中對數據的收集與分析是相關人員應當重視的關鍵性問題，不同的電子商務主體其擁有的數據是不同的，且具有相對獨立自治，數據異構等特征，為了對商品信息進行識別與判定，應當設計相應的模型，提高對商品實體同一性的識別率。文中將對這一問題展開研究。

【關鍵詞】 大數據 電子商務 商品實體 同一性 識別

信息化的發展是人們進入了大數據時代，商品交易對網絡的依賴性與利用率迅猛提升，電子商務已經逐漸成為人們生活中不可分割的一部分。為了更好的在網絡上開展生產經營活動，需要對大量的數據進行收集與分析，從眾多的數據源中找到能夠描述具有同一性的商品實體的網頁，如何開展商品實體同一性識別是應當思考的重點問題。

一、電子商務在大數據環境中進行商品實體同一性識別面臨的挑戰

在大數據環境中，對同一性商品進行識別具有較大的難度。首先數據極為龐大，這一特點主要表現在三個方面，第一是數據量本身較多，我國現有的電子商務平臺在100家以上，而商品數量則超過200萬件，識別難度較大；第二是數據具有多樣性，商品的描述方式、屬性結構、數據模態、商品布局等均存在差異，因此很難在一個模型下進行選擇與分析；第三是數據增長與更新速度快，商品的數量與價格、用戶評價、交易記錄等都會成倍的增長，因此數據篩選難度大。其次，商務平臺中，商家與商品均較多、交雜，而不同商家對同一商品的定義與設計也存在或多或少的差異性，因此在進行關鍵詞搜索時，兩個相似度較高或相同的商品不一定會顯示在同一個頁面中，相似度相對較低的商品也可能因為某一關鍵詞而出現在同一頁面中。在對商品描述性語言進行分析時，傳統方法很難準確判定兩個描述的語義是否具有一致性，因此識別相對困難。

二、大數據環境下電子商務商品實體同一性識別的模型研究

1、對象數據模型。在數據背景下可用對象來描述數據特征，商務平臺中商品數據通常以網頁的形式呈現出來，網頁可被稱作為對象頁面，每一商品對應的網頁頁面都含有獨特的結構信息，由對象、對象頁面以及頁面信息所構成的模型極為對象數據模型。為了更準確的進行同一性識別，整個網站會被描述為非空樹，由五個層次組成，其中根節點為網站數據源，中間節點為各級欄目，葉子節點為頁面，用戶在網站主最多只需點擊四次就可以到達目標頁面。

2、樹模型。關系模式難以對電子商務中的復雜數據進行描述與定義，而樹模型以值或者屬性為基礎，并與鍵值型進行適當結合，可以滿足多樣性的需求。整個模型由數據單元關系以及鍵值型對應的數據單元兩部分組成，對象數據則包括不同層次的元數據，元數據包括實體、父級對象、鍵名以及數據值，如商品實體OPPO手機，可分為N1、N3等多個型號即多個商品對象，各型號存在的不同的屬性即為值。由于樹模型不會對數據結構與數據內容進行識別與解析，它可適用于任何類型的數據，其擴展性極強。

3、索引設計。在找尋具有同一性的商品實體時，需要對每兩個商品進行一次比較，這一過程是極為復雜與繁瑣的，為了解決這一問題，可將商品對應的屬性值構造進行倒排，從而形成新的索引表，完成對商品的查詢。屬性名稱、取值、子樹中滿足要求的頁面集合共同組成索引記錄集合。當用戶鍵入關鍵詞后，模型會根據條件形成層次樹，即建立樹模型，然后索引設計模型再對符合條件的項目進行檢查，如果節點中存在索引集合，那么記錄中將會增加該頁面，通過這種方式可以完成初步的聚類處理。

4、值與屬性處理。電子商務平臺中商家、商品都極多，而其商品可能會采取不同的形式表述，雖然其值或屬性節點是等價的，由于表述不一，篩選起來十分困難，如蘋果手機與iPhone這種表述等。若想準確找到具有同一性的商品就需要對商品的值或屬性進行規范化的處理，在索引設計中采取倒排索引，設計人員應當將可以表示商品值與屬性的點集進行分析，然后判定各值或屬性所占的權重。如果某兩件商品的某一屬性完全等價，則可將其納入到同一商品的集合中。

5、層次概率模型。對同一體進行識別的過程最終是在層次概率模型的基礎上完成的，在實際的電子商務中幾乎沒有頁面的相關描述是百分百一致的，因此同一性識別的依據只能是相似度，由于不同屬性對商品識別產生的影響具有差異性，因此在識別與比較前需根據實際需求對各屬性賦予不同的權值，然后就商品比較的需求設計由三個層次構成的概率樹，最后以此對概率樹種的屬性進行篩選與比較，找出其中相似度較高的屬性，找出具有同一性的商品。

結語：在電子商務活動中對商品實體進行同一性的識別是十分必要且重要的，信息時代數據量迅猛增長，為了準確、迅速的找到具有同一性的商品，設計人員應當建立有效的對象數據模型、樹模型、索引、值與屬性處理系統以及層次概率模型等，對數據進行合理的篩選與分析。

參 考 文 獻

[1]胡亞慧，李石君，余偉，等.大數據環境下的電子商務商品實體同一性識別[J].計算機研究與發展，2015（08）.

[2]劉顯敏.XML數據實體同一性相關技術的研究[D].哈爾濱工業大學，2013.