大數據在市場研究中的國際前沿追蹤

路明

數據已經滲透到了全世界市場中的各個領域，并逐漸成為重要的組成因素，對海量數據的運用將提升人們對市場以及未來走向的預知和把控。在互聯網時代，數據本身就是資產，而大數據則意味著這些資產正在變得龐大無比，在現實生活中，善于運用大數據的企業已經從數據中獲得了豐厚的回報。

大數據在當今市場研究中的重要意義

大數據是由數量巨大、結構復雜、類型眾多的數據構成的數據集合，可通過云計算的處理技術與應用模式，在合理時間內達到選取、管理、處理并整理成為可以幫助企業經營決策的資訊。大數據具有數量大、實時性、多樣性、真實性等特點。

從2009年開始，“大數據”逐漸成為互聯網信息技術的熱門詞匯。美國互聯網數據中心指出，互聯網上的數據平均每年增長50%，每兩年便翻一番，所以目前世界上90%以上的數據是最近幾年才產生的。此外，數據不光指人們在互聯網上發布的信息，全世界的工業設備、汽車、電表上有著無數的數碼傳感器，隨時測量和傳遞著有關位置、運動、震動、溫度、濕度乃至空氣中化學物質的變化，也產生了海量的數據信息。

數據已經滲透到了全世界市場中的各個領域，并逐漸成為重要的組成因素，對海量數據的運用將提升人們對市場以及未來走向的預知和把控。在互聯網時代，數據本身就是資產，而大數據則意味著這些資產正在變得龐大無比，在現實生活中，善于運用大數據的企業已經從數據中獲得了豐厚的回報。

例如，華爾街的德溫特資本市場公司通過分析3.4億個微博賬戶的留言判斷民眾情緒，依據人們在高興時買股票、焦慮時拋售股票的規律來決定公司股票的買入或賣出。阿里巴巴根據天貓網上中小企業的交易狀況篩選出財務健康和講究誠信的企業，對他們發放無需擔保的貸款。目前已放貸300多億元，壞賬率僅0.3%，低于商業銀行的平均水平。在宏觀經濟預測方面，2008年，阿里巴巴根據對交易數據的分析結果提前預測了金融危機的爆發，幫助一些企業躲過了金融危機的沖擊。印第安納大學利用谷歌公司推出的心情分析工具，從近千萬條網民留言中歸納出六種心情，進而對道瓊斯工業指數的變化進行預測，準確率高達87%。

在公共事業領域，大數據也在發揮著不可小覷的重要作用。歐洲多個城市通過分析實時采集的交通流量數據，指導司機選擇最佳出行路線，從而改善城市交通狀況。聯合國也推出了名為“全球脈動”的項目，希望利用“大數據”來促進全球經濟發展。“大數據是未來的新石油”，這已經成為社會的共識。

國際知名企業在大數據上

的前瞻研究

大數據在市場研究中的精髓是價值，即數據本身可以給企業帶來的商業價值，在未來4-5年中，越來越多的公司會像IBM、Google、阿里巴巴、Facebook等技術領先的公司一樣，學會如何在大數據集群中運用技術來發展自己的業務。下面我們來看幾個國際知名企業運用大數據在市場研究中的前沿走向。

IBM

——大數據可視化

IBM近些年來，一直致力于大數據的前瞻研究，有自己的數據管理系統、數據倉庫、Hadoop System 、Stream Computing流計算、信息整合管理平臺這一整套的大數據技術，其中數據可視化功能是IBM 的一個重要大突破，即分析工具生成的信息以可視化形式呈現在用戶面前，給用戶一個非常強烈的直覺判斷。可視化分析方法，主要包括可視化查詢、鏈接分析、路徑分析、群集分析、社會網絡分析等分析算法與分析工具。

未來IBM在大數據可視化商業化研發的三大工作方向：一是從結構化、半結構化、非結構化的音頻和視頻當中抽取特殊數據，即語義分析和語境分析，來幫助企業進行決策和分析；二是將分析得出的結果以可視化的方式讓業務用戶能夠理解；三是可視化與地理位置信息相結合，例如在港口監控所有船只時，一旦出現異常情況，可視化軟件可以讓工作人員更準確的判斷現實情況并得到更快的解決方案。

Facebook

——通過大數據精準定位客戶群

Facebook一直是大數據技術最積極的應用者和開拓者，因為它擁有的數據量極其巨大。

目前，Facebook在全球有9億用戶，其中日常活躍用戶達5.26億，每天會采集到500+TB的數據。面對這大量的數據，Facebook正在分類、提煉，發揮數據真正的價值，根據海量用戶的使用習慣做數據挖掘，然后對用戶進行“畫像”，更精準地把握用戶需求和廣告主的需求，Facebook大數據技術被廣泛應用在廣告、新聞源、消息聊天、搜索、站點安全、特定分析、報告等各個領域。

海量數據處理的第一步就是歸類，將用戶發表的評論、上傳的圖片、音樂、視頻這些碎片化、非結構化的數據進行分析，使其集結、歸類成結構化的數據信息。第二步是要將這些結構化的數據進行解讀，深入到數據背后的潛在意義。每當用戶登錄Facebook，Cookie會一直駐留在用戶的瀏覽器中，從此用戶的瀏覽行為、瀏覽頁面的關鍵字會被記錄，通過對關鍵字和上傳信息的持續分析，Facebook很容易得出用戶的長期愛好和近期需求。再加上對你朋友圈的分析，可以獲得你的教育、工作、收入、地理位置等諸多方面，這種挖掘和解讀往往比個人主動填寫的信息還要全面、真實。

為了更便捷、更真實地獲得用戶的資料，Facebook發布了一款大數據新產品——“時間線”Timeline，它是一個用戶可以自我編輯的個人時間軸，在這條時間線的頁面記錄個人生活故事的應用。Timeline通過幫用戶創建個人的時間線和電子傳記這一形象化的工具，進行用戶數據捕獲、存儲，將Facebook的數據收集工作帶入歷史領域。而一旦擁有了這些歷史數據，Facebook就如同一個和你從小一起長大的人，對你的檔案了如指掌。用戶留下的數據越多，Facebook就越了解用戶，投放的廣告就會更加精準。

Google

——大數據作預測

Google就是大數據時代的開拓者，Google的大數據技術架構一直都是全球互聯網企業爭相學習和研究的重點，在市場研究中Google所提供的大數據分析主要是客戶情緒分析、交易風險分析、產品推薦、客戶流失預測、法律文案分類、電子郵件內容過濾、政治傾向預測、物種鑒定等多個方面。據稱，大數據已經給Google每天帶來2300萬美元的收入。具體應用如下：

其一，基于Map Reduce（映射化簡模式），Google提供了包括數據存儲、數據分析、日志分析、搜索質量以及其他數據分析應用。

其二，基于Dremel系統（在線可視化系統）， Google推出其強大的數據分析軟件BigQuery，它也是Google自主開發的一個云數據分析引擎。BigQuery引擎可以快速掃描高達70TB未經壓縮處理的數據，并且可馬上得到分析結果。這個服務，能幫助企業用戶在數秒內完成萬億字節的掃描。

其三，Google的趨勢圖應用。通過用戶對搜索詞的關注度，很快地了解社會上的熱點是什么。對廣告主來說，它的商業價值就是很快地知道現在用戶在關心什么，他們應該在什么地方投入一個廣告。如“Brand Lift in Adwords”、“Active GRP”等工具，可以幫助廣告客戶分析和評估其廣告活動的效率，再利用Google Analytics，可全面掌控營銷投資回報率。

Google的大數據平臺架構仍在演進中，追求的目標是更大數據集、更快、更準確的分析和計算，這將進一步引領大數據技術發展的方向。

阿里巴巴

——大數據下的新C2B模式

阿里巴巴作為中國最大的電商企業，已經通過所掌握的數據以及分析成果，去指導這些生產線的研發、設計、生產、定價。

用戶的搜索瀏覽、駐留時間、商品對比、購物車、下單、評價數據被全程記錄，同時用戶的個人資料，例如性別、地域、年齡、職業、消費水平、偏好、星座等也已進行畫像。這時候阿里巴巴可以對用戶進行交叉分析、定點分析、抽樣分析、群體分析，基于這些分析結果得出市場需求趨勢，再通過地域和時間分析指導生產線不同季節不同物品的產量和不同地域不同產品的庫存，適時調整生產、銷售、推銷策略。

阿里巴巴已經啟動了數據共享計劃，將它們沉淀的行業數據分享給廠商，從價格分布、關鍵屬性、流量、成交量、消費者評價等維度建模，挖掘出功能賣點、主流價格段分布、消費者需求、增值賣點等來指導廠家的研發、設計、生產。并可以將這種模式復制到更多廠家，讓他們去承包生產線，引入更多廠商。

這是一種用戶不知不覺參與的C2B模式，可以總結為“大數據定制”。它既幫助廠家更好地滿足用戶的需求，也有助于幫助廠家減少庫存、提升銷量。這種C2B模式的C是全網用戶，所以就不再需要興師動眾地組織團購，組織投票，組織調研。

未來這種基于大數據的C2B模式將會從小家電擴展到服裝、家居以及一些日用品。除承包生產線之外，阿里巴巴還會嘗試其他的一些大數據C2B定制模式，例如有償提供大數據成果或定制服務給一些廠家、其他電商賣家或普通互聯網。

大數據時代市場研究的

新方式

傳統的市場研究雖然以嚴謹的抽樣理論為基礎，但由于受制于主持人的訪問技巧、街頭攔訪的不確定性等缺點，不能完全真實反映總體的客觀情況。而大數據的調研方法為市場研究人員提供了以“隱形人”身份觀察消費者的可能性，超大樣本量的統計分析使得研究成果更接近市場的真實狀態，同時具有豐富性、實時化、低投入等特點。總結如下，在大數據時代下新的市場研究方法主要有以下兩點：

搭建網絡平臺進行市場調研

無論是IBM、Google、Facebook，還是中國的阿里巴巴，都是基于強大的網絡平臺來進行大數據的采集、分析、研究、盈利。通過網絡平臺獲取海量的非結構化數據，從大量的音頻、視頻、搜索記錄等數據中抽取特殊數據用來市場的決策和分析，包括影像背后語義分析、語境分析、消費者態度和心理分析，得出的結果通過可視化的方法讓用戶能夠理解、分析、判斷。這些數據都屬于用戶主動披露的，與傳統訪談形式的被動挖掘相比信息的真實性更高。總之，網絡調研具有傳統調研無可比擬的便捷性和經濟性。

基于云計算的數學分析模型

傳統市場調研的采集數據的結構化較好，一般的統計軟件SPSS甚至Excel就能滿足數據處理過程，而大數據的數據是海量的、非結構化的，需要如HadoopMapReduce、InfoSphere Streams等云計算的數據處理技術來實現數據分析，即通過單遍掃描實現對海量數據集的高效聚類，是對AP聚類算法的擴展，通過稀疏化各子集，然后融合各子集稀疏化后的數據再次AP聚類，從而實現對大規模數據的高速聚類。基于云計算的數學分析模型可以將碎片化信息還原為完整的消費過程信息鏈條，更好地幫助營銷人員研究消費行為及消費心理。這些碎片化的信息包括消費者在不同時間、不同地點、不同網絡應用上發布的消費信息、購買信息、商品評論信息等，并且通過連續追蹤可以形成一個專屬的時間鏈，更加精準的對想得到的結果作趨勢性判斷。

未來大數據的Hadoop平臺將普及，云計算智能化分析的成本低、效率高、收益大的特點促使著IBM、Google、Facebook等這些技術領先的公司不斷開拓新的大數據分析軟件和模型。

大數據時代新的市場研究方法使“無干擾”真實還原消費過程成為可能，智能化的信息處理技術使低成本、大樣本的定量調研成為現實，這將推動消費行為及消費心理研究達到一個新的高度，幫助企業更為精準地捕捉商機。