電商里的數據玩家

鐘嘯靈

淘寶網數據平臺與產品部數據產品總監趙昆有著一頭藝術家式的飄逸長發。2009年6月加入這家中國最大的電子商務企業后，他逐步創立了淘寶自己的數據產品團隊。他們的最新動作是，4月18日發布了面向賣家、第三方研究機構、媒體的消費者數據研究平臺──“淘寶指數”，在這個平臺上開放基于消費者搜索和交易行為的分析數據，供所有人免費使用。

淘寶目前擁有國內電子商務最大的交易數據量，總數據量已經超過30PB，并且還在以每月3PB的速度增加著，共有10億多條產品信息和5億多名用戶的活動信息，每天超過8000萬人次的獨立訪問。“淘寶擁有海量的數據，同時也必須面對數據分析帶來的挑戰。”趙昆說。

與他有同樣想法的還有eBay中國研發中心分析平臺與支付研發總監梁滸。梁滸所在的中國研發中心是eBay設在中國上海的技術支持中心，在這里，每天有上千人的團隊為eBay全球提供技術支持，數據分析部門是其中最主要的團隊。他認為，相比于B2C平臺，淘寶和eBay這類C2C平臺遇到的數據分析挑戰更大，原因是“亞馬遜和京東所有的商品數據都是自己的，可是在eBay，商品數據都在賣家那兒。”需要指出的是，兩家公司的商品數據極為龐大，截至去年末，eBay的在線商品數目在3億左右，淘寶的在線商品數則高達10億，是國內擁有最龐大商品數的電商。

在淘寶所有數據里，有超過50%的數據屬于非結構化/半結構化的數據，而在eBay，這一比例則高達95%以上。兩家公司面臨了相似的大數據處理問題，這迫使兩家公司不得不關注它們對數據處理的能力。

不過，淘寶和eBay數據分析團隊遇到的業務訴求不同，讓它們二者分別走向了不同的關注點。在淘寶，日常運營的數據處理和計算是一部分，他們更致力于如何為用戶提供產品化的數據服務。而eBay更關注在日常運營中，為內部各部門提供細致的數據分析支撐工具。

淘寶：迎合用戶需求，將數據產品化

趙昆入職后遇到的第一個挑戰，是來自寶潔中國的問詢，“淘寶上人們對日化產品消耗和需求的數據是什么？”。

2009年，寶潔中國在淘寶開設了名為“e生活家”的旗艦店，銷售剃須刀和洗發水、牙膏等套裝日用品。寶潔考慮的并非銷售額上的直接獲益，而是認為淘寶能夠提供一種創新的營銷模式。對于一向熱衷數據分析的寶潔，同樣熱切期望獲得淘寶上的數據支持。隨著品牌企業的逐步加入，有同樣需求的企業賣家不在少數。

“既然這些需求很典型，為什么不做一個能夠覆蓋到這些用戶需求的產品呢？”抱著這個想法，趙昆和他的團隊開始將自己的工作定位于將數據產品化，以服務于需要數據的賣家等外部用戶。

不過，他們馬上就面臨最棘手的數據處理和整合問題——淘寶此前缺乏數據體系：數據內容多樣（日志型數據、文本型數據、關系型數據）、數據來源也很廣泛（有商品維度、賣家維度、買家維度），并且這些數據分布在不同的數據庫中。

在接下來的四五個月里，團隊成員忙于數據處理問題。他們首先將原始數據進行規范化處理。同時，為了讓分析工作更快速推進，他們將大多數非結構化的數據盡量轉為結構化數據，比如將用戶行為這一非結構化數據進行結構化數據處理。這些工作量非常龐大，在淘寶，數據的核心有三大維度：商品、交易和用戶。此時淘寶內部開始確立明確的數據存儲規則：網絡平臺上產生的所有數據都要被保留下來。這也意味著淘寶需要投入更大的技術力量，提高海量數據的存儲和計算能力，并且需要不斷提高系統的性能，壓縮投入的成本。

不過，這僅僅是第一步，“我們要通過一種方式讓用戶能獲取有價值的數據，讓數據真正地幫助到用戶的業務”趙昆說。為此，他們創造了一種樹形方式對數據進行梳理。所有數據都基于這棵“樹”進行組織，并且以“樹”的方式展示給用戶，這樣用戶獲取數據的方式就像從一顆樹的高處到末端根系，獲得商品的從行業、類目、品牌、產品，到屬性、店鋪、商品等所有完整的、有關聯的、有意義的信息。

這種方式打破了一般做法，通常在企業里，數據會分布于不同的數據庫里，用戶最終獲取的是不完整的數據，數據分析完全由業務需求驅動，查詢的成本很高。這種做法意味著，需要將分布在不同數據庫中的數據組建關聯起來，這樣的關聯降低了用戶提取數據的成本，也讓數據變得更加“聰明”。

“不過，淘寶需要動用很多系統資源，對數據做大量的預處理，盡可能降低數據的使用成本并且增大靈活性。”趙昆表示。

隨后要開展研究數據產品的工作。因為淘寶對外開放數據，他們需要克服海量數據的安全問題，同時還要防止數據被惡意爬取等很多技術問題。到2010年3月28日，他們推出了淘寶第一個基于全量數據的數據產品——“數據魔方”，賣家可以查詢行業宏觀情況、品牌的市場狀況、消費者行為等數據，涵括淘寶所有類目的交易、瀏覽和搜索數據。

賣家還可以根據自己的需求，選擇使用“數據魔方”的專業版或者標準版的產品。專業版主要滿足大賣家對行業數據的更細致分析的需求，同時也提供大賣家對自己店鋪的交易和瀏覽的數據，現在寶潔已經在使用這款產品了解淘寶平臺上用戶購買日化消費產品的數據了。而標準版則主要為小賣家提供用戶在自己店鋪里交易和瀏覽的數據。“現在‘數據魔方已經有大量的商家用戶，其中有一半是活躍用戶。”趙昆表示，用戶的訂購情況早已超過他們的預期。

繼“數據魔方”之后，在今年的4月18日，趙昆和他的團隊又推出他們的第二款產品 ——“淘寶指數”，這款產品進一步延展了淘寶生態圈的用戶群，賣家、第三方研究機構、媒體機構都可以免費使用這款產品。與“數據魔方”相比，淘寶指數提供的數據相對單純，主要是消費者在淘寶上的搜索商品和交易商品的數據。

不過，淘寶從來沒有指望通過“數據魔方”賺錢，雖然它實際上是盈利的，但這從來也不是淘寶的目標。包括最近發布的“淘寶指數”，未來也不會有盈利的考慮。“我們只希望將淘寶數據平臺的商業價值反饋出來，為淘寶生態圈的賣家、ISV（獨立軟件開發商）或者其他的電商服務。”趙昆說。

在淘寶這樣一個巨量交易平臺上，滿足用戶的數據請求和處理，是非常具有挑戰性的工作。他們需要為用戶呈現商品和店鋪信息的實時變化情況，在技術上需要實現數據的實時和循環計算，同時還需要滿足高并發的查詢，以及在用戶網絡環境有限情況下數據請求的問題，這在傳統數據平臺是不太容易碰到的。

沒有現成的技術支持，淘寶需要建立適合自己的算法，趙昆和他的團隊一直在努力研發更好的技術。“對于數據來說，不是把它計算出來就好了，還包括怎樣提供高效的查詢，以及非常友好的展現，這些也是不能忽略的。”趙昆表示。

因為數據的多而復雜，淘寶一直在做數據挖掘，不過這是不得已而為之。“我們盡量提供一些方便的可視化產品，讓用戶自己去發現，而不是我們分析人員。”這或許也是淘寶致力于將數據產品化的原因之一。

eBay：以數據驅動運營，提升用戶體驗

“在eBay，如果不做數據分析和處理，我們就沒法生存。”梁滸表示，和淘寶相對規范的售賣方式不同，eBay的業務以拍賣為主，并且還有“一口價”業務。相對復雜和多樣的業務特點讓eBay面臨比淘寶更大的數據挑戰，它的非結構化、半結構化的數據遠比淘寶要高得多，這種數據高達95%以上，而淘寶這類數據在50%以上。

關注用戶體驗和數據分析是eBay從創立開始就有的基因。可以說，數據是eBay運行的血脈和經絡。和淘寶一樣，eBay同樣保存了所有的數據，不過eBay對于商品的核心數據的定義是基于買家、賣家和商品這三個維度。

現在，eBay內部對于數據的利用已經深入骨髓，“以數據決定決策”已經是eBay內部上下的工作習慣。在eBay內部，各個業務部門的決策很大部分依據數據進行決策，包括他們彼此之間的協作，也都是數據分析平臺自動按照每個人的職位、權限等進行系統的自動推送。這些工作的核心目標都是為了保證用戶的體驗。在eBay，用戶的體驗包括用戶搜索的精確度、交易過程中有沒有虛假的商品、買賣雙方的滿意度、網頁的速度是否夠快、操作體驗好不好等等很多內容。在每一項內容里，eBay都會設定相關的指標，以達到用戶滿意度持續提升的目標。

在日常的運營中，eBay投入大量技術、資源在平臺基礎信息的過濾和清洗上，以保證用戶的體驗。eBay目前有3億件商品，它會對賣家每天上傳的文字、圖片等500種因素進行分析，以保證商品描述一致性，那些重復上傳的圖片、或者不同賣家的相同圖片不會在eBay上通過。而且對于賣家好評率將會被精確分析，以保證平臺的信譽。同時，eBay會綜合考慮賣家上傳圖片的清晰度、買家對賣家的打分、評論等所有信息。“那些各項指標表現良好的賣家將會在搜索中被呈現在前面。”eBay中國研發中心搜索科學產品研發總監逄偉表示。

除此之外，eBay也依據數據調整針對賣家的政策。比如三年前，eBay決定給相關賣家提供相關的優惠政策，對平臺里的所有賣家進行各項指標的設定和評估，尋找其中符合參與該優惠活動標準的賣家。這里面涉及到對賣家過往歷史信息的分析、以及給予優惠活動后為平臺帶來的價值的評估預測，需要大量的數據支持。

最具有挑戰的是“沉默的數據”。這是用戶體驗極為重要但容易被忽視的內容。

“很多用戶不會表達他們對eBay的不滿，但是數據會告訴我們。”逄偉說，比如有人通過Google搜索一個產品，到達eBay頁面，卻很快關掉頁面這一系列行為，eBay會定義為“東西太差了”；當買家向賣家發出發貨時間的各種疑問，而賣家卻不做響應，這也屬于“沉默的數據”。

逄偉認為，雖然這里面會存在大量的噪音數據，但是定義這些行為還是有其不可忽視的意義。“通過對各項細節指標的監測、以及對這些指標的不斷改進，有助于從各個細節提升用戶體驗。”eBay每年都會制定轉化率目標，這些目標會逐層分解到具體的每個流程中、需要提升的用戶指標中等各項數據里。

為了保證良好的用戶體驗，eBay做重要改進時都要事先進行測試。eBay已經開始借助互聯網的力量進行這一工作——通過第三方網站外包給互聯網上的用戶。他們會通過數據去分析支付給測試者多少費用更合理，以保證測試的可靠性和成本之間的平衡。隨后，eBay會通過系統自動監測這些賬號的行為，將這些行為與用戶日常數據進行比對分析，從而生成自動化的分析結果。

在用戶體驗上，eBay對于各項內容每年都設定持續改進的目標，不過，eBay將“有多少用戶向其他人推薦eBay”作為最核心的效果來考慮，這個數字現在大約在80%左右。

鑒于對海量數據處理能力，eBay能夠提供很好的服務承諾，比如對于出現投訴的商品，它會先代替賣家賠付給買家，隨后再對賣家進行追討。如果遇到假貨投訴，一旦確定，eBay將會對賣家的商品進行下架。這也意味著eBay需要前期投入更大精力保證平臺的信譽。梁滸表示，這些做法也讓eBay同時也承擔更多的風險，有些款項可能永遠也追不回來了。

共同趨勢：個性化推薦

無論是淘寶還是eBay，個性化推薦都是主要的發力點，這其實也是電商企業的共識之處。對于C2C平臺商而言，由于其業務特點和海量的商品數據，面臨的挑戰更大。

趙昆寄希望通過個性化的推薦來提升用戶的購物體驗，基于這一目標，淘寶致力于為每一個用戶提供個性化的界面體驗和搜索結果。他打了一個比方，如果一個用戶經常瀏覽的是檔次較高的商品，那么淘寶給他展示的將不會是以低價為導向的商品。

最近，數據產品團隊醞釀已久的一款個性化推薦的應用已經實現，他們在淘寶上推出了“我的衣柜”這一頻道。

“它代表一種新的購物體驗，以前我們按照商品屬性呈現給用戶商品，現在我們按照人群需求提供商品。”趙昆表示。在“我的衣柜”里，淘寶會根據用戶過往的瀏覽搜索等記錄，推薦用戶可能感興趣的人群特征，系統會通過不斷地學習積累推薦，最終達到為每一個用戶提供他喜歡的購物方式。這樣的嘗試也相繼在其他一些頻道展開，比如淘寶也在嘗試針對用戶中的年輕媽媽的購物偏好，推薦可能適合她們的商品。

趙昆同時透露，他的團隊稍后將在淘寶上正式推出SNS應用。在淘寶上有熟人關系的用戶是很大的群體，淘寶會基于他們之間的關系，提供全程購物分享的工具。同時，淘寶基于用戶行為分析，幫助有相似需求的用戶建立社交關系。“在購物環節中建立社交化的聯系，挑戰很大，不過這符合未來的趨勢。”他表示。

趙昆認為，5年到10年后，互聯網商業社會的核心主題將逐步從現在的社交時代，步入以數據主宰的時代。“這是互聯網發展的規律，從初級階段步入中高級階段的互聯網，其商業模式、業務形態、產品形式將完全基于數據之上運營。”他表示。現在，無論在內部還是外部，他都會說淘寶不是一家電子商務公司，而是一家數據公司，現在他的團隊的愿景是，推動淘寶成為一家數據運營公司。

“現在這樣的應用1%都不到，我們希望未來有更多這種應用。”趙昆說。

在eBay，相關團隊也在進行相繼的技術研發，同時也在推出相關應用。實現針對每一用戶的個性化推薦是eBay致力實現的一個方向。在eBay上，它已經可以做到根據每個人的瀏覽搜索習慣，呈現不同的結果。

不過，它的另一項應用突破了自身、延伸到了線下。這是一項基于地理位置的個性化推薦，如果用戶在手機上搜索eBay某一件商品，沒有獲取想要的結果時，會推薦離用戶最近的沃爾瑪等商家的商品信息。這一應用源于eBay與沃爾瑪等線下商家的緊密的合作。

“在eBay，我們已經過了做簡單的決策的階段，現在是利用數據做運營決策的時候了。”逄偉說。