大數據與智慧物流概述
——“大數據與智慧物流”連載之一

李鵬濤/文

大數據與智慧物流概述
——“大數據與智慧物流”連載之一

李鵬濤/文

智慧物流就是以大數據處理技術為基礎，利用軟件系統把人和設備更好地結合起來，系統不斷提升智能化水平，讓人和設備能夠發揮各自的優勢，達到系統最佳的狀態，并且不斷進化。

在“互聯網+”的大環境下，智慧物流成為業界一致追求，智慧物流的基礎就是大數據相關的技術。以大數據為基礎的智慧物流，在效率、成本、用戶體驗等方面將具有極大的優勢，也將從根本上改變目前物流運行的模式，“雙11”就是典型的案例。

大數據的發展過程及價值

大數據的發展可以分為三個階段。

首先是數的產生，早在公元前8000年，兩河流域的蘇美爾人將各種形狀的小的粘土記號像珠子一樣串在一起，保留記數實物來記數信息。

第二階段是產生于近代的數據科學，是以統計學作為基礎，一個重要的假設就是采樣遵守獨立同分布，其中很大的原因就是當時的技術對于巨量的數據無法進行計算，或者成本無法承受。2014年，隨著技術的發展，特別是云計算等技術的成熟，巨量數據的計算存儲都不再是問題，并且大數據應用顯現出巨大價值的時候。

第三階段，大數據時代就到來了。大數據時代的顯著特征之一就是可以利用數據的相關性來解決問題，而不只是依賴因果關系，創新的數據應用開始層出不窮。而基于大數據技術的深度學習等人工智能的發展，特別是谷歌AlphaGo的成功，是個標志性事件，讓我們更加認識到大數據技術可以突破人的認知能力極限，因此，一個真正革新的時代來臨了。

大數據的價值不僅在于其原始價值，更在于數據之間的連接、大數據擴展、再利用和重組。例如，京東利用物流大數據加上用戶交易數據，推出的移動商店就大受歡迎。另外，大數據開放對于提升整個社會的發展水平具有重要作用。大數據作為數字資產，可以重復利用，不像資源類的零和游戲，政府、協會等社會組織可以收集數據脫敏后對社會開放，為社會服務，創造出更大的社會價值。

圖1：大數據的應用

圖2：大數據應用場景的維度

大數據是構建智慧物流的基礎

京東商城依托物流的優勢，快速崛起，目前已經成為自營B2C電商的領頭羊。其整個物流系統日處理數量達到百萬級，大促銷期間甚至高達上千萬，物流操作人員多達數十萬，龐大的業務規模下，智慧化物流系統成為迫切需求。青龍系統作為支撐京東物流的核心系統，不僅保證了京東物流的準時高效，同時保證了極高的用戶體驗，在京東的不斷發展過程中，青龍系統也逐漸為外界矚目，從2012年研發版本1.0到目前的6.0的演進過程中，我們逐步認識到，以大數據處理為核心的系統是構建智慧物流的關鍵。

“大數據”的經典定義可以歸納為4個V：海量的數據規模（volume）、快速的數據流轉和動態數據體系（velocity）、多樣的數據類型（variety）和巨大的數據價值（value）。從青龍系統看，每天處理億級數據，具有海量信息的數據規模；支持快速的數據流轉，實現了物流各個節點實時數據監控優化；系統處理各種各樣的信息，包含了結構化和非結構化數據；數據具有極大的價值，如推動系統成本和效率優化1%，則可以節約上億成本。因此，青龍系統具有顯著的大數據特征。

我們在實戰中認識到，把大數據轉化為智慧系統，需要具備兩個基礎。

第一，業務數據化，并且具有數據質量保障。京東物流在青龍系統的支撐下，實現了所有物流操作的線上化，也就數據化，并且，對每個操作環節都可以進行實時分析，這就奠定了很好的數據基礎。如果業務都是線下操作，或者系統無法準確及時收集數據，那么，即使數據量夠大，缺乏關鍵數據和數據不準確，也會給大數據處理帶來很大的困難。

第二，大數據處理技術，包括數據收集、傳輸、存儲、計算、展示等一系列技術。青龍系統在數據處理技術上也踩過很多坑，最早我們用數據庫生產庫做一些數據的分析，發現很快性能就跟不上了，因為數據分析SQL（結構化查詢語言）一執行，生產庫性能急劇下降；隨后又開始利用讀庫，并結合MQ（程序化交易平臺），也就是操作數據庫的時候，會發出一個MQ，數據分析處理系統接收MQ重新解析，但是也不能很好解決問題；最后，我們總結發現，作為傳統的技術人員，我們是試圖用OLTP（聯機事務處理）的方法來解決OLAP（聯機分析處理）的問題，這在方向上就存在問題。

最后我們總結發現，當做大數據應用時，首先是要分清企業的應用場景，至少需要考慮兩個維度：一是實時性維度，大數據分析是秒級的還是離線的，也就是24小時以后拿到也沒問題；二是一致性維度，即對一致性到底是什么樣的要求，是否要求100%一致。由此可以劃分四個場景。當企業重新做數據系統或者大數據應用時，肯定要考慮所用的業務場景到底如何，再加上數據量維度（從現在新系統發展來看，企業架構支撐業務兩年發展已經足夠）。這幾個維度確定以后，從ETL（數據倉庫技術）數據抽取到數據傳輸到數據存儲，包括數據計算，技術相對來講比較成熟了，從而可以選擇合適的技術。

京東在大數據處理技術上也做了很多工作，現在對于實時數據、離線數據，都有完整的解決方案，這樣對于青龍系統來講，可以基于公司大數據平臺，進行對應的實時數據處理和離線數據分析。大數據平臺技術棧其實非常重要，因為它從技術上提供了一個基礎數據質量保障。如果數據質量得不到保障的，那么后面所進行的分析就不靠譜；整個系統都是不可靠的。

以大數據為基礎構建智慧物流系統的步驟

傳統物流系統的數據處理，也被稱為BI（商業智能）分析，往往是事后進行的。而我們認為的智慧物流系統，不同于傳統物流系統，它是以數據作為開始，數據的應用貫穿其中，并且是以數據為終點的一個循環上升過程。在可靠的數據源和處理技術基礎上，我們就可以以大數據為基礎逐步構建智慧物流系統，這個構建過程主要分為以下四步。

第一步，通過大數據技術準確及時還原業務，也就是及時準確地采集業務運行的數據，并分不同層次需求展示出來。業務日報、周報、月報等離線數據都是業務管理的基礎，如果不能做到及時準確，數字化運營是無法進行的，更不用說智慧化了。

對于物流系統來講，進行圖形化展示非常重要，通常一圖勝千言。在時間維度，實時展示各個節點的生產量，相鄰節點間的差異，可以很好地把控業務。我們還發現，移動端的開發，對業務非常有幫助。物流是商品流、實物流、資金流、信息流的結合，因此，地理維度展示也非常有幫助。

圖3：京東大數據平臺架構

圖4：單量建模預測

圖5：數據決策模型

第二步，通過大數據評估業務。在大數據時代，我們可以依據社會化的數據，進行業務評估，并且可以利用互聯網灰度測試的方法，進行流程優化的評估，這些方法可以讓我們對業務有更深刻的理解。對于物流這種勞動密集型行業，利用實時數據進業內排名對現場也能起到很好的激勵作用。

第三步，在對業務進行實時監控和準確評估后，利用大數據對業務進行預測。預測一直是大數據應用的核心，也是最有價值的地方。預測的準確度，也就是傳統統計學中的置信度，是預測的一個重要衡量。大數據的預測，很多是利用到相關性，因此，完全準確的預測是非常困難的，如果應用對于準確度的容忍度越高，就越容易進行預測。對于物流行業而言，如果能夠提前進行業務量預測，那么，對于資源調度等非常有意義，不僅能夠實現更好的時效，而且能夠避免浪費。

第四步，依托大數據進行智能決策。這很大程度上依賴預測的準確性和業務對準確性的包容性，這樣可以得出四個象限，對于預測準確性高并且包容性強的業務，越容易實現智能決策，目前最好的方式依然是人機結合，能夠利用大數據和人工智能的技術，為人工提供輔助決策，讓人工決策更加合理。當前，基于大數據的深度學習技術，在人工智能領域取得突破，例如谷歌AlphaGo的案例，從而為智能決策提供了非常大的想象空間。

具體分成了兩個維度，一個維度是構建系統的難度，另一個維度則是構建系統的價值。首先，要選擇應用場景，選擇合適的大數據技術架構，把數據質量能夠做好。然后，要對業務進行分析，第一步主要進行業務還原，包括業務節點，環比、同比，環節差異，最好用圖形化的方式展示出來。之后可以進行下一步，做業務評估，評估業務健康度，這也有很多的方法：如同比、環比，以及和業界平均指標對標的方法。如果能通過大數據做到和友商實時對標，就能發現自己的薄弱點，從而進行改進和優化，優化后再將系統指標運行一下，檢驗是否真的改進了；利用灰度的方法，也可以對業務改進進行效果評估。大數據最核心的是預測，業務負責人如果能夠提前知道業務情況，現場的管理就能處理得更好。再往上走就是業務決策系統，Google的AlphaGo就是一個典型例子，但是實際的業務可能更加復雜。

大數據在智慧物流中的應用

在大數據技術和物流大數據本身的保障下，我們可以開展多種應用，如從物流網點的智能布局，到運輸路線的優化；從裝載率的提升，到最后一公里的優化；從公司層面的決策，到配送員的智能推薦等，從點到面，逐步提升智能化水平，智慧物流將顯示出在效率、成本、用戶體驗方面不可比擬的優勢，我們會在后面的連載中進行深入解密。

總結起來，我們認為智慧物流就是以大數據處理技術為基礎，利用軟件系統把人和設備更好地結合起來，系統不斷提升智能化水平，讓人和設備能夠發揮各自的優勢，達到系統最佳的狀態，并且不斷進化。

智慧物流作為一個新的社會基礎設施，一端連接著消費者，通過滿足消費者更加多樣化的需求，提供更好的消費體驗，不斷促進消費升級；另外一端連接著供應商，使得供應鏈深入優化，所以智慧物流向前發展，有著廣闊的前景，我們將看到越來越多基于大數據的精彩應用。

作者為京東商城運營研發部總監