數據定義的挑戰

1999年9月23日， 美國國家航空航天局耗資近3.28億美元研制發射的火星氣候探測者號在進入火星軌道的過程中與地面失去聯絡，最終任務失敗。耗費如此巨資項目的失敗無疑讓人痛心，然而更令人扼腕的是失敗的原因竟然是計量單位搞錯了。原來地面人員輸入的數據指令用了英制單位，而飛行系統軟件使用公制單位。這一錯誤導致探測器進入大氣層的高度有誤，最終解體墜毀。

從數據科學的角度看，這次航天仼務的失利是數據定義沒有做好，正所謂“失之毫厘，謬以千里”。數據定義是數據收集和分析的基礎，看似簡單，想要在實踐中做好卻并不容易。尤其是在大數據系統中（如宇航工程），維護數據定義的正確性和一致性就更具挑戰性了。

數據定義有兩個要素，一個是關于定義的概念，另一個是關于定義的測度。前者可被稱為概念定義，而后者可被稱為操作定義。好的數據定義應該同時具有清晰的概念定義和操作定義。火星氣候探測者號的悲劇就是操作定義沒有在系統中做到一致性而導致的。

而在另一些應用場合，概念定義可能成為問題的癥結所在。一家國內著名電商的大數據負責人曾經告訴我，一個讓他們非常頭疼的問題就是應該如何定義什么是一筆“訂單”。從IT人的角度，“訂單”的概念似乎應是很簡單的，那就是顧客一次付款購買的全部商品。然而實際卻遠比這個復雜。比如說，有時候下單之后，后臺發現某個產品斷貨，然后征得顧客同意取消了原訂單中的這一項產品。這樣就有了兩種訂單的定義，初始訂單和真正執行的訂單。接著在倉庫配送時，一張訂單可能會被拆成兩次或多次送貨。這樣一個訂單在運營記錄中變成了幾張單子，在財務那邊也造成了多張發票。最后，顧客可能發現自己不喜歡購買的一些產品而要求退貨。結果一張訂單的實收款往往有別于下單時的金額和配送時的金額。這樣以來一筆訂單到底該如何定義，一張訂單的金額和包含的產品數到底該如何計算，就成了個棘手問題。

重要的是，這一數據定義不僅是個技術問題，而且還有戰略層面的意義。從營銷和客戶關系管理的角度看，訂單的定義需要能反映顧客購買次數和（考慮退貨后的）實際消費金額。但是從運營管理的角度，訂單的定義最好能反映實際配送成本和配送質量（如遞送速度，準確率等）；因此拆分后的實際配送訂單對運營決策更具意義。而在公司高層決策者看來，以上各種的訂單概念都有其重要性和對應的管理作用，因此都希望保留。所以對數據部門來說，挑戰一下就大了起來。因為不僅要在系統中維護不同的訂單定義，而且還要注意及時提醒使用數據的決策者當前看到的數據和分析結果是基于何種訂單概念。因為不同部門有自己對數據定義的偏好，在提供數據圖表時還要盡量給出個性化的定制。

更多的時候，清晰的概念定義和操作定義都不容易給出。筆者曾經給一家著名的跨國石油公司做過零售方面的咨詢，是關于其在全球各個自有加油站的定價優化。要給某個加油站做定價優化，知道其競爭對手是誰應是必不可少的。可是競爭對手到底該怎么定義呢？競爭的概念似乎是不言而喻的，但是不言而喻恰恰正是隱患所在。強調數據科學，就是要消除這些隱患，把概念清晰地表達出來。

從經濟學角度，對于競爭對手的嚴格定義應該是：如果至少有一部分消費者在購買時會考慮在A和B中做出選擇，那么B是A的競爭者。但是這一定義卻缺乏可操作性。該公司收集了自己加油站每天每時段的銷售情況，但只能追蹤同城其它加油站的每天定價和廣告變化。另外，對于持品牌積分卡的顧客，他們在該公司的消費情況能被完整地追蹤，但是他們是否也加過其它品牌的油就不得而知了。

經過一番仔細思考，我們決定采用如下的定義：B加油站是A加油站的競爭者，如果B的營銷活動（如價格降低、廣告等）對A的銷量有負面影響。這一定義符合我們對競爭的一般理解，而且還考慮到了數據收集的可行性，所需的數據都是已經有了的。可是即便有了這個定義，操作起來還是充滿了挑戰。首先，澘在競爭者的范圍該如何定？離A一公里？ 五公里？還有更遠的可能性因為消費者可能會比較居住地附近的加油站和上班地附近的加油站。大數據在這一點上能幫助我們。比如說我們可以把網撒得很大，擴大到一百公里的半徑，把潛在的競爭者都查一遍。

可是下一個問題又來了：我們怎么判斷B的營銷活動（如價格變化，廣告等等）對A的銷量有影響呢？和有些流行大數據讀物所宣稱的不同，我們發現單純看相關性并不可行。 舉個例子，由于原油價格上升，B提了價，而消費者也總體減少了開車的里程。這樣從數據上我們看到的是B的價格提升往往伴隨著A的銷量減少，這似乎意味著B不是A的競爭者，而事實則可能正好相反。

最后我們的解決方案是放棄了尋找A的具體競爭對手的想法，而是把所有A以外的加油站的營銷活動匯總起來做成一個A的市場環境指數，再基于這一指數做出A的定價優化。其中的細節十分復雜，篇幅所限，就不贅述了。

以上的這些例子讓我們看到數據定義的問題看似簡單，也因此往往被忽視，但是這其中的挑戰不可不察。所謂“千里之行，始于足下”，“好的開端是成功的一半”， 這些用來描述數據定義的重要性決不為過。要用好大數據，我們必須對數據定義慎而慎之。