大數據在日本的發展及應用

趙敬

欄目責編：邵滿春

日本是一個高度信息化的國家，自20 世紀50年代以來就以信息化立國，并長期積極推進各行各業的信息化，鼓勵進行信息收集及數據分析。近幾年，美國及歐盟等正積極推進大數據的研究，日本各行業尤其是信息化程度較高的行業也開始思考并推進大數據的研究及應用。主管信息通信產業的總務省于2012年開始對大數據進行專項調查，并將調查結果發布在《信息通信白皮書》里。2013年，日本總務省對大數據的發展現狀進一步深入開展宏觀和微觀層面的調查，針對大數據的生成、流通、存儲環節進行宏觀的定量調查，主要目的是為了把握日本當前大數據發展的整體情況，反映大數據生成的規模、流通及存儲情況；微觀層面的調查主要通過二手資料分析和實地調研，探尋大數據在企業層面的應用場景、問題及效果。本文采用日本總務省2012年及2013年部分調研數據，介紹大數據在日本的整體發展情況和在企業層面的應用實例，以資借鑒。

宏觀觀察：大數據的發展及行業應用

日本總務省首先對大數據的流通量進行了調查，以便掌握當前大數據的發展規模。宏觀調查所涉及結構化數據有八種，分別是客戶數據庫、會計數據、POS 數據、健康保險理賠數據、電子商務銷售記錄、GPS 數據、RFID 數據、氣象數據；非結構化的數據有九種，分別是業務日志數據、CTI 語音日志數據、固定IP 電話語音數據、手機語音數據、電子郵件、博客/SNS 等日志數據、訪問鏈接日志數據、電子醫療記錄數據，診斷成像數據。結構化數據流通量為1704227TB，非結構化數據流通量為512969TB，前者規模約為后者的3.3 倍，說明結構化數據是當前日本大數據的主要構成部分，而真正能體現大數據特征的非結構化數據尚未占據主流。在結構化數據之中，POS 數據、RFID 數據及GPS 數據流通量合計占比超過99%，這些商業數據及M2M（Machine to Machine）數據是當前結構化數據的主流，說明了商業、制造業、物聯網領域具有大數據應用的數據量優勢。而在非結構化數據中，電子郵件、固定IP 電話、手機數據流通量合計占比超過95%，說明通信數據當前是非結構化數據的主流，意味著互聯網及電信領域具有大數據應用的數據量優勢。

在行業應用上，通過總務省對農林水產、礦業、制造業、建筑業、水電氣、商業、金融保險、房地產、交通運輸、信息通信及服務業等九大產業的調查顯示，2012年這九大產業的大數據流通量規模達到2217195TB，在7年之間增長了5.5倍。從數據存儲量來看，九大產業的數據總存儲量為9708096TB，其中數據存儲量最大的是商業，其次是服務業、建筑業、制造業、金融業。同時，結合2013年總務省對各行業大數據應用實例的調查結果來看，在應用大數據上取得顯著成果的129 個案例中，應用程度最高的是擁有26 個案例的零售業，其次是道路交通、制造業、廣告業、金融業。

從數據流通規模及應用案例的多寡來看，零售業、制造業、金融業等是日本各行業中大數據應用的領先者。日本從20 世紀80年代中期開始推廣POS 機，基于POS 機的銷售數據開始應用于商業配送及流通。進入90年代以后，連鎖便利店快速擴展。這些小規模店鋪的高效運營，更加需要加深對銷售數據的利用。2000年前后，點數積分卡開始普及，POS 機的銷售數據與積分卡的顧客ID 進行關聯，商家開始掌握個體顧客的購買行為，并且將數據分析結果用于有針對性的促銷。2010年前后，跨行業的點數積分卡和電子錢包開始發展，跨行業跨企業之間的數據共享得以實現。近幾年，產生了大量來自于社交媒體、O2O、手機、位置信息的數據，零售業可利用的數據種類和量級大大增加。從制造業來看，20 世紀90年后半期起，日本制造業就開始建設供應鏈管理機制，通過在生產商和銷售商之間共享銷售數據來進行庫存調控，如今隨著大數據的應用，供應鏈管理不斷精準量化提升效率。2000年前后遠程監控數據開始應用，通過傳感器對進貨商品進行掃描，可以實時掌握商品物流情況，及時發現異常并處理。此外，以道路交通為代表的基建行業、農業、醫療等隨著信息化和物聯網的發展，開始成為大數據應用的新兵。交通及基礎設施建設行業將實時獲取的汽車行駛數據，應用于實時交通信息反饋和實時地圖，解析事故高發地點，改良道路條件及設施，甚至用于新款汽車的開發。此外、農業、醫療等行業近兩年的數據采集迅速發展，亦開始積極嘗試使用數據來改進產品質量和提升服務水平。

微觀觀察：大數據在日本企業層面的應用

在日本總務省調研的129 例企業案例中，零售業企業數據基礎好、數據應用歷史悠久，在大數據的分析應用上也顯示出了較高水平。此外以道路交通為代表的基建行業的應用則顯示出了大數據應用的多樣性，互聯網及電信業等作為信息通信產業的重要力量，不僅具有良好的數據基因，而且在實際業務開展中取得了積極效果。本文試以零售業、交通及信息通信產業的大數據應用為例，一探大數據在企業層面的應用場景和實際效果。

案例1：大數據應用于零售業。安德魯森是在日本廣島縣本土誕生的一家糕點生產及零售商，現在全國有71 家店鋪。為了盡量減少每天產量過剩或產量不足帶來的損失，安德魯森在公司內部引入了ANS 銷售管理系統以便指導生產。該系統通過分析POS 機的銷售數據，能夠做到分時間段預測顧客數量，通過結合不同種類商品的銷售數量及時間，制定分時間段的銷售計劃，反饋給生產部門以便按需生產。該公司以前主要靠店長的經驗來對商品產量進行估算，應用數據分析以后能夠以更高的準確度和實時性來制訂生產計劃。自2011年10月到2012年3月的半年之間，使用了ANS 系統的店鋪銷售額提升了1.1%，而沒有使用的店鋪則減少了0.9%。

案例2：大數據應用于交通道路行業。日本本田公司于2002年推出了基于汽車導航定位服務系統并采用遠程信息處理的交通信息服務“Internavi”，截至2012年5月會員數已達到145 萬人。行駛的車輛成為了一個個收集交通信息的感應器，以五分鐘為間隔向Internavi 信息中心實時回傳并共享數據，現在每個月上傳的數據量有1 億公里，截至2012年5月末累積的道路交通數據已經達到25 億公里。將這些數據分析應用于預測堵車，本田在東京、名古屋、大阪抽選一百個樣本調查發現預測效果提高了20%。在琦玉縣與道路交管合作，本田通過數據分析統計出急剎車多發地點，指導道路交通部門對路旁樹修建和道路交通指示進行了修整，減少了約7 成的急剎車事件。本田還根據數據生成實時交通流量地圖提供給Google 及政府機關等，尤其在日本各次地震中發揮了重要作用。

案例3：大數據在互聯網及電信行業的應用。日本電子商務網站樂天將數據分析用在了定向廣告上。樂天每天對數千萬會員的屬性、數千萬件商品的購買歷史，各種服務的使用數據、會員排行榜、點數卡使用情況等數據進行分析，按照顧客特性發送定向廣告。通過大數據的分析和使用，會員使用多種服務的比例由2007年的31.4%上升到2009年6月的38.2%，并且點擊率和購買率都成倍上漲。電信運營商T-Mobile 對3400 萬用戶總共超過1PB 的數據進行了兩周的分析，發現同一組用戶中若有一個用戶解除了和T-Mobile 的合約，那么同組當中的其他用戶大約有高于一般用戶七倍的概率會解約。于是T-Mobile 在用戶解約之前對用戶續約推出了一系列的優惠活動，使得客戶流失率大大改善。

總務省針對企業應用大數據的129 個案例調研顯示，一方面，大數據應用的行業在不斷擴展，除了傳統擅長數據分析應用的零售業、金融業、制造業、服務業以外，游戲業等娛樂業、行政、旅游、農業、醫療、基建等行業的企業也開始嘗試大數據的應用。例如，過往只有像汽車行業這種大規模制造業才有可能應用數據分析來嚴格制訂生產計劃，但是隨著信息化程度的提高，像安德魯森這樣小規模的食品生產商也可以應用大數據來為自己制訂生產和銷售的計劃。另一方面，大數據應用的業務種類不斷擴增。除了促銷、售后服務、維護客戶關系、開發商品、管理庫存和物流之外，也開始應用于定向廣告、經營決策、基礎設施管理及改造、人才分配培養、行政事務、災害防御、危機管理等。最后，從企業的規模來看，規模大的企業更加關心大數據的應用，當前在公司內部的大數據應用仍然主要以市場營銷、經營管理、產品開發及策劃等，并逐漸關注大數據在戰略決策、服務、物流、內部管理等方面所發揮的作用，期待能夠借以提升決策質量和業績表現。

結語

整體而觀，大數據在日本當前的發展及應用有以下突出特點。第一，大數據的數據結構不斷多樣化，數據流通量和存儲量規模龐大，雖然目前仍以商業及制造業等傳統行業的結構化數據為主體，然而M2M 數據及非結構化數據增長迅速，這說明了真正的大數據時代正在到來。第二，豐富的數據源是大數據產業發展的前提，商業、服務業、建筑業、制造業、金融保險業擁有發展大數據的數據量基礎，這些信息化水平較高的行業在數據的流通及存儲上具有優勢。第三，由于歷史傳統和實際需要，零售業、道路交通、制造業、廣告業、金融業顯示出較高的數據應用水平，說明了當前大數據在日本的應用主要還是以促進商業銷售及提升公共服務質量為主要目的，再一次印證了大數據本質上是“一場管理革命”這一觀點。第四，在企業層面雖盡力挖掘大數據的應用場景，然而從應用案例的數量來看仍然稀少，大范圍大規模的應用案例仍不多見。

1.日本總務省，《信息通信白皮書》（平成24年版），第153-158 頁。

2.日本總務省，《信息通信白皮書》（平成25年版），第143-166 頁。

3.[日]城田真琴著，周自恒譯：《大數據的沖擊》，北京，人民郵電出版社，2013年6月版。