傳統研究在大數據下業(yè)務流程的變化與調整

馬　亮

（慧辰資訊，北京 100016）

傳統研究在大數據下業(yè)務流程的變化與調整

馬亮

（慧辰資訊，北京 100016）

在之前的文章中，我們討論了大數據空間下市場研究企業(yè)在基本的研究方法論與產品模式上應有的變化。與之對應，在實際工作中，原有的業(yè)務處理流程，也因大數據而有了較大的變化。本文將對這些內容繼續(xù)進行相關分析。

大數據；業(yè)務流程；變化

數據是市場研究業(yè)務處理的主要目標，所以以數據處理流程來定義市場研究業(yè)務處理流程的關鍵環(huán)節(jié)，會更準確和直觀。在后文說明中，傳統模式代表傳統業(yè)務形態(tài)（問卷調研等非大數據源+傳統分析方法論）的數據處理流程，大數據模式代表大數據源+全部方法論（傳統方法論+大數據方法論）的處理流程。

1　基本業(yè)務環(huán)節(jié)的變化

首先，我們來看一下數據業(yè)務流程在兩種模式下的變化。從圖1可以發(fā)現，大數據下的業(yè)務流程，相比傳統模式，總體上有兩點重要的變化：一是數據融合代替數據收集，將成為數據來源的主要模式。傳統模式下，數據來源更多是研究公司自身采集（如問卷）或者客戶采集后提供，所以采集是核心。在大數據模式下，研究公司自身能力和資源有限，將會更多通過非采集方式（如各種外部渠道數據引入/交換，并進行整合）獲得分析的數據，此時融合是核心問題。二是數據管理能力成為一個新的要求。傳統模式因為業(yè)務數據量小，基本不存在對數據管理的較多要求，所以可以忽略。但大數據場景下，數據規(guī)模大而且多樣，且常常比較分散，其統一的管理（如存儲和檢索等）能力，是后續(xù)業(yè)務環(huán)節(jié)順利進行的基礎，有必要得到更多的重視。

圖1　數據業(yè)務流程模式

2　各業(yè)務環(huán)節(jié)的變化

為了便于說明，將兩種模式下的流程進行統一，整個業(yè)務流規(guī)范為了五個環(huán)節(jié)。圖2簡要說明了各環(huán)節(jié)下兩種模式各自在實施上的特點。

圖2　業(yè)務環(huán)節(jié)實施比較

（1）數據融合/采集

傳統模式下，數據采集的方式主要是問卷、座談會等。這是一種小規(guī)模的采樣，且對目標有直接影響（有交互）。數據本質是某個時間點的靜態(tài)、快照式的截面數據，維度受采集方式所限也不可能太多。

而大數據下，數據融合代替采集成為市場研究獲取數據的主要方式，此時數據同步和ETL成為主要方式。在最初的源數據采集中，行為日志記錄、網絡Spider抓取、移動互聯網App基于Sdk采集等成為主要手段。這類方式仍然可認為是采樣（不過更大的規(guī)模），但作為一種監(jiān)聽/探針式的模式，用戶不會感知和受影響（所以數據會更加符合實際情況）。采集的數據在時間和空間上多是動態(tài)和持續(xù)性的，可記錄的維度也會大很多。

（2）數據管理

傳統模式下，數據通常為標準的結構化數據，且規(guī)模小（通常萬級以下），此時PC單機的普通文檔（如Csv，Excel之類）足以勝任所有存儲和檢索要求。特定應用，百萬級的數據量用小型數據庫也都足夠。所以此時數據管理一直被忽略。

在大數據環(huán)境下，數據量起點在億級以上，比傳統模式增加了成千上萬倍，格式也更加多樣，數據的管理難度呈幾何級數增加，原有方式已經無能為力。此時，新的技術體系（多機、分布式文件系統/海量數據庫）和專業(yè)架構人員，確保了大數據的安全管理和快速檢索。相比之前，研究企業(yè)需要在該方面作出相當大的投入。

（3）數據計算

傳統模式下，計算主要是各種統計學的計算（比如總計、方差、均值等）為主，計算量不大，工具以Excel，SPSS，SAS為主流，處理多由DP完成。此時，DP人員更多是研究業(yè)務的輔助支持。

在大數據模式下，數據規(guī)模、維度和分析方法的變化對計算的要求大大加強。傳統的統計性計算仍然需要，但更大的變化是：計算工作更多樣化、更高復雜度和更具專業(yè)性，且與分析更深入的結合。許多新的計算理論成為主角，比如對網絡非結構化文本數據使用自然語言處理，大數據挖掘的機器學習處理（大部分是高維度向量計算），而社交網絡計算更多是圖計算。這些新的計算理論和方法，極大擴展了大數據分析洞察的能力，但也對相關人員的專業(yè)能力提出了很高的要求。

（4）分析

分析是研究過程中最重要的環(huán)節(jié)。傳統模式下，研究人員主要根據傳統方法論，對DP人員生成的指標性數據，考察全局性的分布與差異，歷史的變化等。

大數據模式下，除了傳統方法論的分析外，更多使用大數據方法論的思路（更關注個體，如何給用戶打標簽，個體/群體的匹配度是多少，對未來發(fā)展的預測期望）。同時，由于分析主要基于各種專業(yè)計算的結果，而研究人員并不具備相關技能，因此，必須與專業(yè)IT技術專家緊密配合，才可能完成有價值的分析。此時，相關IT專家成為本階段最重要的參與者。

（5）結論與呈現

傳統模式下，研究結論關注的是統計性指標的變化，對相關原因分析和建議是重要的內容。結果更多是通過專項報告（以文檔而不是系統平臺）形式，在呈現方式上多采用表格和基本圖表。

大數據模式下，既有傳統的統計性結論，也有更多大數據方法論，比如基于個體特性之上的群體特性標簽化描述。結果更多地通過在線化系統來展示，新的可視化技術，在大數據的分析和結果展示上，越來越受到重視。

通過上面各環(huán)節(jié)的比較可以發(fā)現：在新的大數據業(yè)務生態(tài)下，市場研究的業(yè)務流程有以下變化：一是各環(huán)節(jié)的方式和支撐方法，都有較大的擴展/變化；二是IT技術能力（數據管理與專業(yè)數據計算分析能力），成為大數據業(yè)務實現過程中最重要的推動因素。

HCR（慧辰資訊）半年多來，已經在相關環(huán)節(jié)進行了積極有效的調整和提升。市場研究公司業(yè)務產品各有所長，業(yè)務模式也不盡相同，所以對于大數據業(yè)態(tài)下的發(fā)展思路也不會完全一致。建議從自身的大數據業(yè)務規(guī)劃出發(fā)，結合現有情況，有針對性地調整和改進現有業(yè)務流程，以更好的適應未來大數據業(yè)務的發(fā)展。

在相關調整中，IT技術資源是傳統研究公司最需要投入的環(huán)節(jié)。考慮大數據業(yè)務下相關資源（軟硬件和團隊）投入較大且專業(yè)性強，筆者后續(xù)將結合市場研究領域的業(yè)務特點，對市場研究涉及的大數據領域相關的主要技術理論、應用場景與常用的工具資源，專文進行說明。

Changes and Adjustments to the Service Flow of Traditional Market Research Industry in the Big Data Era

Ma Liang
（HCR Co.， Ltd， Beijing， 100016）

In the first essay we find that there are great changes on the basic researches and production modes when Big Data comes. With the corresponding， the intrinsic business process also has a great changing by Big Data. This article will do correlation analysis.

Big Data； Business Process； Changing

10.3969/J.ISSN.1672-7274.2015.03.014

TP3

B

1672-7274（2015）03-0060-03