大數據：更多的數據還是更好的算法？

我知道很多人自始至終都認為數據是越多越好，Google甚至直言：更多的數據勝過更好的算法，而過去很多偵探劇中崇尚“信息越多，就越靠近真相”的刑偵金句也似乎佐證這一點。而事實上，我的觀點是，數據只是基礎，如何建構起有效的算法、模型比數據本身更重要，最起碼對目前而言是這樣的。持與我相近觀點的大有人在，如《The Signal and the Noise》（信號與噪聲，作者Nate Silver）這本書里面的一個觀點是：“更多的數據意味著更多的噪聲。信號是真相，噪聲卻使我們離真相越來越遠。”

每種觀點都有自己的理據，所以我們不能片面地去判斷哪種觀點對與錯。就大數據而言，我認為Google是一個理想主義者，而Nate Silver則是一個實用現實主義者。

理想中大數據的終極形態是不用構建模型，或者說已經構建了全模型，不用針對每次分析的目的去單獨建模，數據自身會從數據特性，規律去進行邏輯性分析（非數理分析），人們只需要將所有數據輸入，機器就能告訴人們這些數據中，哪些數據說明了什么問題，大數據的輸出成果將不是一份報告，而是一個體系，沒有一份報告能容納如此多的結果。到了那個時候，確實是更多的數據勝過更好的算法，因為那時候已經沒有了算法，沒有什么是不能計算的。

但現實是，我們目前的大數據離理想中的大數據形態還有很遠的距離。

我們先看一個通過數據分析來輔助營銷的例子。你要推廣一個旅游產品，比如說是一個旅游攻略的APP，你第一反應肯定是去旅行社、戶外網站去收集數據，去展開宣傳，去鋪開銷售吧？這當然對，但問題是，經常旅游的人很可能已經不需要你旅游產品的指導，他們有更多的出游經驗，他們有更多的團隊合作，他們可能更傾向個體出行。而不經常出沒在戶外網站的人，不經常搜索旅游相關信息的人，他們心中對旅行的渴望也許是很強烈的。從數據的維度來看，從旅行社、戶外網站收集到的客戶信息當然是比大眾市場上得到的客戶信息的維度要多，顆粒度要細，信息更非結構化，更稱得上“大數據”，但顯然，通過這些更大的數據卻未必能支撐你找到更多有需求的客戶。當然，你也許會說在強關聯的小圈子里找到客戶的單位成本遠比漫無邊界地挖掘客戶的單位成本要低。但我只是用這個例子去說明，更多的信息未必能指向更明確結果，如何建構一個合理的模型（利用有限的數據去做最有效的分析），遠比找到一個新的數據源要重要得多。

目前的大數據與理想中的大數據形態的距離并不在于數據源的多少上，數據源從來不是問題，問題在于我們如何去建構一個科學合理的分析模型，并相信、堅持分析模式的輸出結果。通過不斷地修正、累積各種正確的分析模型，我們將不斷接近理想形態。

而很不幸的是，有時候現實與之背道而馳。

分析員總是習慣帶著預設去分析，他們會自覺不自覺地以對自己有利的方式對這些數據進行分析和解釋，而哪怕這些方式很可能與這些數據所代表的客觀現實不相吻合。出于各種原因，分析員很難從干擾他們的噪聲中分辨出有用的信號，甚至會無視這些真實有用的信號。于是，數據展示給他們的通常都是他們想要的結果，而且他們通常也能確保這些數據令大家皆大歡喜。同時，我們天真地相信各種預測分析模型，卻沒有人認真地去驗證這些模型是否科學合理，是否與事實相符，也許這些模型在進行架設選擇時根本不堪一擊。

我對此感同身受。我曾經為不同省份的移動公司做過各種形式的經分，給我最大的感受就是，我們不是要用數據去發現問題，找到解決問題的方法，而是要用數據去支持領導的觀點，一旦結果與領導觀點相悖時，模型是可以調整，數據可以調整，口徑可以調整，只有領導的觀點不能動，不能變。具體的過程是，剛開始時我們通過經驗建構了分析模型，模型只需要三組數據，但很不幸無法支撐領導的觀點，進而增加到五組，依然無法得出想要的結論，進而想方設法增加到十組，并開始調用不同的分析模型，費盡九牛二虎之力，終于在用某模式導入XXYY數據時，出來的結果剛好與領導的觀點一致，好吧，終于天亮了，終于可以定稿了，終于可以各自回家睡覺了。一覺醒來后開始宣揚，我們充分調用了N多的數據，并創新性地使用了X模型，得出某某結論，與領導觀點不謀而合。

這就是分析員的困境，而這種困境是目前分析工作的常態，也許壓力不是來自于領導，但也有可能來自于市場的壓力，個人績效的壓力，時間精力的有限，經驗和知識的匱乏，甚至是內心無法言明的情緒等。

這個世界自從有了印刷機，信息的傳遞不再局限，信息變得不再那么稀有，后來有了互聯網，信息開始爆炸式增長，我們擁有的信息太多，甚至多到無從下手，但事實上有用的信息寥寥無幾。沒有科學、經過驗證的模型支持，我們往往主觀地、有選擇地看待信息，對信息的曲解卻關注不夠，于是，當我們把越來越多的信息塞進越來越臃腫的模型，我們以為我們將看到更多真相，而事實是很多只是假相。

借用《The Signal and the Noise》的一句話結尾：我們以為自己需要信息，但其實我們真正需要的是知識。