大數據時代，數據采集與管理的幾點思考

江密

在2015年3月份的十二屆全國人大三次會議上，李克強總理在政府工作報告中提出制定“互聯網+”行動計劃，專門提到了大數據，引起業界的關注。

當今社會是一個大規模生產、分享和應用數據的時代，改革開放以來，我國作為發展中國家的領頭羊，在工業化、信息化引領的現代化進程中取得驕人成績，如今又面臨世界走向數據化的重要時刻，這就要求我們對大數據要有清醒的認識和足夠的研究。

一、對大數據的認識

人類社會無時無刻都在產生數據，隨著計算機的發展與普及，各種層出不窮的智能設備的出現，數據才真正意義上進入大數據時代。今天的數據時代，不僅企業有收集數據的能力，搜索引擎還可以將資料進行快速檢索、歸納分析后將內部邏輯關系通過量化指標展現出來。之所以能產生大數據，是因為傳感器和微處理器在現代機器設備的廣泛使用，理論上所有的機械設備、元器件等任何物體通過加載電子芯片都可以把運作過程中產生的數據記錄下來，這些被記錄的數據表明它的性能、位置或狀態，還可以根據需要通過互聯網匯聚到后臺進行研究、分析直至加以控制，這就形成了巨大的數據源。“萬物互聯”是現實可行的，一點都不夸張。在服務、消費行業，客戶線上線下的服務觸點和點擊流量，也構成了大數據。政府在管理服務社會的過程中，也收集、存儲了海量數據，上述提到的物體、企業、政府產生或收集的數據寶藏都有待分析并能產生價值。

世界各國也已開始認識到大數據的重要性并注重數據價值的挖掘，從政府機構設置或產業扶持政策就可見一斑，引用英國知名學者的一句話——“數據之于信息社會就如燃料之于工業革命，是人們進行創新的力量源泉”，該對比形象地說明了大數據的重要性及其蘊藏的巨大價值。

二、大數據在企業經營管理中的運用

很多人會把針對大量數據進行的分析和利用理解為大數據營銷，單純靠用戶的聯系信息（如姓名、地址、聯系號碼、即時通訊賬號等）而開展的營銷不是大數據營銷，不論其用戶信息是正當收集的還是非法獲取的，充其量只能算是數據在“表內”（辦公應用軟件Office Excel的公式僅取自單張表內的數據，下同）地整理和分析、利用。真正的大數據是根據海量數據按照不同的使用目的利用各種分析手段找出內在規律性的邏輯關系，是跨行業甚至不同屬性的“表間”（辦公應用軟件Office Excel的公式可取自多張表間的數據，下同）關聯分析，是完全可以進行脫敏分析的，大數據注重相關關系，不要因果關系。

（一）剛邁入21世紀的頭幾年，完成政企分開、公司化改革后的電信運營商逐漸進入了全業務經營競爭階段，客戶爭奪日漸激烈，也開始重視基于客戶歷史消費信息的分析，并制定出臺針對性的營銷策略，這就是當時風靡一時的洞察力驅動的營銷（IDM），洞察力驅動營銷的本質就是電信運營商早期的大數據營銷，就是根據客戶歷史消費信息預測其消費趨勢及離網可能性，盡管制定營銷政策是根據全量數據進行趨勢分析，但個性化營銷方案（如簽約值）還是細化的個體，同時利用的還僅是企業內部的數據，屬于“表內”階段，所以盡管知道是競爭因素導致客戶固定電話消費下降，但由于無法獲取該用戶同期在其他運營商的移動電話消費變化情況數據，因而就無法獲得該因素的影響權重。非真正意義上的大數據分析，造成對消費趨勢的預判就產生了偏差，制定的固定電話基于歷史均值的保底消費贈費政策就缺乏系統的前瞻性，雖然發動渠道力量進行大規模的簽約行動，但移動電話資費的下降對固定電話話務量的替代趨勢不可阻擋，固定電話保有結果可想而知，這是數據獲取能力的局限造成的。

（二）目前通過大數據收集、分析，并挖掘價值做得較好是知名的互聯網企業，如谷歌、亞馬遜、臉書等，國內也是如此，他們是大數據營銷的先行者。國內某資訊推薦類APP就是運用大數據經營的成功典型案例，在安裝其APP時默認同意被獲取位置、聯系人、音視頻等信息，之后根據用戶的使用習慣結合個人信息特征進行個性化推薦，比如你經常點擊軍事題材的新聞，它就優先推送該題材的新聞資訊，如果你是在福州的游戲玩家，它就能結合位置信息常常推送福州的玩家相關資訊給你，甚至經常會讓人覺得很驚奇：它給我推送的內容正是我這兩天想要了解的東西？因為你可能在電話、網絡聊天中提到或搜索了相關關鍵詞，這就是跨行業甚至不同屬性進行“表間”關聯分析的大數據。

先完成海量數據的收集，再多維度進行分析，預測市場的個體需求將越來越精準，就越能取得競爭優勢從而取得成功。進行大數據分析的人輕松、興奮地看到了大數據的價值潛力，這將激發他們更加深入地采集、存儲、循環利用我們個人數據的強烈愿望。隨著存儲介質成本的不斷下降，數據分析手段、工具越來越精準和多樣化，被采集和存儲的數據在深度和廣度上將井噴式地增長。

三、大數據的采集與使用管理

（一）重視數據的采集

數據不但能產生價值，而且是可以循環、交叉利用的。數據價值根據不同使用對象、目的、時間、手段等均體現出了用途的差異性，有時為了一個工作目的重復使用數據，分析目的也會隨著時間、空間的變化而轉化。西方學者對此作了形象的比喻——“數據的真實價值就像漂浮在海洋中的冰山，第一眼只能看到冰山一角，而絕大部分則隱藏在表面以下”。不論使用數據能產生多大價值，前提是要擁有大數據，在中國制造2025、“互聯網+”行動計劃的政策背景下，我們要重視各行各業的數據采集，政府擁有的海量數據、企業生產經營的數據都要重視采集和存儲，即使當前未明確使用目的或無法深入分析，但隨著分析能力不斷提升，當前付出的有限存儲成本，有朝一日必定會帶來令人驚喜的可觀回報。原始數據的收集、存儲，擁有大數據是數據產生價值的前提和基礎，否則將來會陷入“無數據可用”的尷尬局面，這里的數據指的是海量數據，因為大數據時代要的是全體數據，不是樣本數據。

當前，很多企業不重視歷史數據的存儲，一是沒意識到數據的潛在價值，二是受傳統數據精確性要求的影響，大數據時代要得數據恰恰是允許不精確，而且混雜紛繁的數據越多越好。我國是一個人口大國、互聯網大國、手機大國，我們不缺乏可供收集的數據，但卻還不是一個數據大國，除了要完善收集數據的手段外，更重要的是要強化收集數據的意識。

（二）數據的開放共享

大數據雖然是下一個社會發展的石油和金礦，但數據要充分有效地使用才能產生價值，有效使用的前提是數據的開放共享。政府在管理服務社會的過程中擁有了海量數據，是最大的數據擁有者，還有大量的企業業務數據，物聯網技術日趨發展成熟起來的環境數據：自然環境、動植物、物體。跨行業數據的開放共享及使用范圍和效率決定了大數據“金礦”的效益。

由于互聯網的發明，“開放”已經成為人類文明發展過程中不可逆轉并不斷加速深化的社會發展方向。美國是世界上最早開始探索信息開放的國家，半個多世紀以來數據對美國社會政治、商業、文化等方面產生了巨大的影響。由于國情不同，我們不宜照搬照套美國的做法，但可以借鑒并找出契合我國現階段發展需要的數據開放共享之路，收集數據、開放數據是使用數據的前提和基礎，并最終決定大數據價值。

（三）數據的使用管理

大數據能產生價值，但使用管理也是不容忽視的問題，正如所有事物都具有兩面性一樣，大數據使用管理不當，幾乎會對所有人產生潛在的不利影響。目前所采集的大部分數據都包含個人信息，人們的生活離不開網絡，開放的網絡可以收集到一個人所有的信息，除非你是一個躲在原始森林、不與任何外界接觸的原始人。所以就不可避免地會出現個人信息安全、隱私保護等問題，目前大家都對直呼名址的電話營銷印象深刻：剛簽了購房合同，接踵而來的裝修裝飾、家具家電、出租出售等營銷電話會騷擾你很久，這種還僅是低層次的、單點的信息泄漏就讓人不勝其煩。多點數據整合的信息安全及隱私保護的案例，目前最典型的就是網絡“人肉”事件，基本上可以把一個人的所有個人信息都搜出來。大數據時代的數據使用不當造成的個人信息泄漏及隱私傷害將遠大于上述案例，數據掌控著一切，所有生活習慣、言行舉止、社交關系網等數據都被網絡聊天、網絡購物、穿戴設備所采集，大數據分析可以準確地預測出每個人即將發生的行為，甚至所思所想，若被不法利用后果不堪設想。

數據的開放、使用，要從國家法律層面進行規范，既要充分發揮數據使用的最大效益，又要規范使用管理，避免國家、個人信息安全受到影響，除了實施許可制度外，數據使用者要承擔責任。