面試你的數據

陳宇新

招聘人才為企業服務，面試通常是不可或缺的一環。通過收集數據，分析數據來輔助管理決策，“面試”你的數據，也同樣重要。

招聘時看過了簡歷，之所以還要面試，是因為簡歷中的信息往往不能夠全面地反映求職者的能力及其與招聘崗位的契合度。同樣的，僅僅依賴對數據的簡單統計描述，數據分析師和數據驅動的決策也往往會錯失一些重要的信息。所以，有經驗的數據專家通常會在進行深入分析前先“面試”一下數據，即對原始數據有一個親身的感知。用數據分析師的行話來說，就是看一下“數據到底長得什么樣”。在大數據時代，把原始數據都看一遍當然是不現實的也是不必要的。所以真正的數據面試通常是用一種人機配合的做法，即通過分析師對原始數據的查看與數據軟件處理的交互來實現。

數據面試一般可分為兩個步驟。第一步是隨機抽取一定量的原始數據（比如數百名顧客的紀錄）來瀏覽一下。這一步不僅可以讓數據分析者對數據有個直接的感知，而且可能發現一些數據錄入、數據格式上的明顯錯誤；更重要的是，這一做法往往能幫助分析者看到一些之前不曾想到的數據規律，并在之后的進一步數據分析中對這些規律進行假設驗證。不久前，筆者曾經對某網上銀行移動端用戶行為進行過一些研究。通過瀏覽數百名用戶的原始交易記錄，筆者發現，用戶使用移動端的一般規律是，從簡單賬戶查詢過渡到小額支付，再過渡到大額的轉賬匯款等交易。當然這一規律是否真的有普適性還需要用大數據做嚴格意義上的統計假設檢驗。盡管一個經常接觸用戶的客戶服務經理可能會覺得這樣的移動端行為演變模式是顯而易見的，然而不通過對原始數據的這般面試，專業的數據分析師或許很難想到這種潛在的用戶行為規律。這是因為數據分析師與一線業務經理對客戶行為的熟悉程度存在差異。而企業中廣泛存在的各部門間的交流瓶頸，特別是一線業務人員與后臺數據分析師之間的溝通不暢，使得分析師或其他數據使用者對原始數據的面試顯得尤為重要，因為這種面試能讓數據分析人員得以對數據背后的業務和用戶行為有更好更多的了解。

數據面試的第二步則是看一下數據中每個變量的分布直方圖（histogram）。如果是隨時間變化的變量，還應該作圖看一下它隨時間波動的情況。一般的統計軟件都提供這些功能，但是我常常發現連一些頗有經驗的數據分析師也經常會忽略這一步，而只是看一下均值方差等常見的簡單統計量。其實分布直方圖包含的信息要比均值方差多得多。它不但讓我們能一目了然地看到是否有極端值的存在，還往往能帶給我們市場細分的新啟示。我曾經分析過一家電商的銷量分布直方圖，發現其月銷售額是由大量千元左右的中低值定單和近百個超大定單（數十萬元以上）構成的。據此進一步追溯原因，才了解到原來這家B2C網站的用戶中還存在一些商業用戶。而這些商業用戶作為一個重要的細分市場，當然也需要與一般終端用戶在營銷上區別對待了。

在實踐中要真正了解分布直方圖所展示信息的背后成因，往往需要回到原始數據中去查看一番。因此數據面試的兩個步驟通常是交替使用，密切結合的。曾經有過這樣的一個例子。分析師利用某信用卡公司的數據研究持卡人用該公司信用卡加油的情況，其中一個變量是持卡人兩次用該卡的加油時間間隔。通過查看這一變量的分布直方圖，他們發現有相當多持卡人的這一間隔分布在一天之內和數月之后的這兩個極端。原因會是什么呢？分析師接著回到原始數據中去查看這些持卡人的消費紀錄明細，發現這些持卡人平時幾乎不用該卡，卻喜歡在自駕游時帶上這張卡，并用于加油餐飲等。管理層獲知這一分析結果，很快根據多年的行業經驗做出了自己的判斷：這些持卡人很可能有多張信用卡并常用競爭對手的信用卡，然而那些卡的額度可能不夠高，日常消費使得可用額度不足了；所以出門旅游就用平時不常用的那張卡。有了這一洞察，下一步針對這類持卡人的精準營銷策劃就能積極展開了。

當然，隨著數據的不斷增加，數據中的變量數目可能會多到連查看每個變量的分布直方圖也變得不現實。這時我們就只能有選擇地挑選一些變量進行查看，就如同因為面試時間有限，只能挑一些重要的問題來問一樣。那么我們應該如何來挑選出需要特別查看的變量呢？一個好的做法是從業務和統計兩方面著手。從業務角度出發，我們可以挑選出與業務最相關的那些變量。這里數據分析師自身對業務的熟悉度以及分析師與業務人員之間的溝通起著重要作用。從統計角度出發，我們可以用分析軟件找出不符合正態分布的那些變量，著重于查看那些偏離正態分布最多的變量。通俗地講，這些變量是“長”得最怪的，因而更有可能帶給我們意想不到的洞察。另一個好的做法是用分析軟件找出每個變量可能存在的異常值（outlier），然后對這些異常值進行“面試”。異常值往往是最富含信息量的，它們或許反映了數據收集中的差錯，或許折射出企業運營中的失誤，或許能成為重大發現的引子（比如歷史上許多藥品的發現）。

在大數據時代，數據資源正成為和人力資源一樣重要的企業競爭優勢的來源。因此，管理者應具備如重視人才一樣重視數據的意識。有了這一意識，企業上下，從管理者到數據分析師，每個圍繞數據的利益共同體成員，才能夠盡快形成做好數據“面試”的好習慣。