大數據構建京東智慧物流系統

佚名

京東一直強調技術創新對生產效率的提升，并在多年的運營和創新實踐中，積累了優質的大數據資源。大數據的應用為智慧科技的業務層面落地實施提供了展示、評估、預測、可視化管理以及輔助決策等多方面的支持，與京東優勢的物流科技相結合，搭建了完整而開放的倉、配、客、售后全供應鏈一體化服務，可以為京東商城以外的商業體系提供服務。

兩個基礎

青龍系統從2012年研發版本1.0，到目前的6.0的演進過程中，我們也逐步認識到，以大數據處理為核心是構建智慧物流的關鍵。

“大數據”的經典定義是可以歸納為4個V：海量的數據規模（volume）、快速的數據流轉和動態的數據體系（velocity）、多樣的數據類型（variety）和巨大的數據價值（value）。從青龍系統看，每天處理億級數據，具有海量信息的數據規模；支持快速的數據流轉，實現了物流各個節點實時數據監控優化；系統處理各種各樣的信息，包含了結構化和非結構化數據；數據具有極大的價值，推動系統成本和效率優化1%，可以節約上億成本，具有了顯著的大數據特征。

我們在實戰中認識到，把大數據轉化為智慧系統，需要具備兩個基礎：首先是業務數據化，并且具有數據質量保障。京東物流在青龍系統的支撐下，實現了所有物流操作的線上化，也就是數據化，并且，對每個操作環節都是可以進行實時分析，這就奠定了很好的基礎。如果業務都是線下操作，或者系統無法準確及時收集數據，那么，即時數據量夠大，缺乏關鍵數據和數據不準確，也會給大數據處理帶來很大的困難。

第二基礎就是大數據處理技術，包括收集，傳輸，存儲，計算，展示等一系列技術。青龍系統在數據處理技術上也踩過很多坑，最早我們用數據庫生產庫做一些數據的分析，發現很快性能就不行了，因為數據分析SQL一執行，生產庫性能急劇下降，然后開始利用讀庫，并結合MQ，也就是操作數據庫的時候，會發出一個MQ，數據分析處理系統接收MQ重新解析，但是，也不能很好解決問題。后面，我們總結發現一點，作為傳統的技術人員，我們是試圖用OLTP的方法來解決OLAP的問題，這在方向上就存在問題。

分清應用場景

當你做一個大數據應用，首先要分清你自己的應用場景。至少有兩個維度：一個是實時性的維度，你做大數據分析是秒級的還是離線的，也就是24小時以后拿到也沒問題。另一個是一致性維度，你對一致性到底是什么樣的要求，要求是百分之百一致的，另外很多場景不要求一致，很多的消息推送不要求一致。

從這兩個維度來看可以劃分四個場景，強實時性強一致性、強實時性弱一致性、弱實時性強一致性、弱實時性弱一致性。到底你的應用落在什么樣的場景，你要分清楚。如果問你的運營團隊和業務團隊，他肯定說要百分之百一致，肯定要實時，不僅是分鐘量級的，最好是秒級的，甚至比秒級還小，完全一樣的。你可以告訴他，要實現這個沒問題，但你要實現這個對應的代價非常大，你用代價換取價值是不是足夠。

另外還有一個維度，就是數據量。你的數據到底是什么樣的量級，GB、TB，甚至是PB。從現在新系統發展來看，架構支撐業務兩年發展已經足夠了，要對兩年內數據量有一個預估。這幾個維度確定以后，現在從ETL數據抽取到數據傳輸、數據存儲，以及數據計算，技術相對比較成熟了，你可以選擇合適的技術。

大數據平臺技術棧很多，有些公司可能不會自己開發，但它非常重要，因為它可以從技術上提供基礎數據質量保障。如果數據質量得不到保障的，后面所進行的分析就是不靠譜的，數據質量就很差。另外如果你對一致性要求很高，它可能10%的信息都丟失了，如果你對實時性要求很高，它可能延遲好幾個小時，在這種情況下數據分析應用不可能做好。在可靠的數據源和處理技術基礎上，就可以逐步構建智慧物流系統。

四個步驟

第一步主要是通過大數據技術準確及時還原業務。也就是我們可以及時準確采集業務運行的數據，并分不同層次需求展示出來。

對于物流系統來講也是一樣，圖形化展示，一圖勝千言。在時間維度，實時展示各個節點的生產量，相鄰節點的差異，可以很好把控業務。我們還發現，移動端的開發，對業務非常有幫助。對于物流來講，是商品流，實物流，資金流，信息流的結合，因此，地理維度展示也非常有幫助。青龍系統做到了車輛，配送員實時展示，例如在京東APP上就可以查看訂單的實時軌跡。

第二步就是通過大數據提升業務。這塊對于離線數據，大家都比較熟悉，包括業務日報，周報，月報等，這都是業務管理的基礎，如果不能做到及時準確，數字化運營是無法進行的，更不用說智慧化了。對于物流這種勞動密集型行業，我們利用實時數據，進行業界排行，對現場也起到很好的激勵作用。

在對業務能夠進行實時監控和準確評估后，就可以進行第三步，也就是利用大數據對業務進行預測。預測一直是大數據應用的核心，也是最有價值的地方。對于物流行業，如果能夠提前進行業務量預測，那么，對于資源調度等非常有意義，不僅能夠實現更好的時效，而且能夠避免浪費。舉一個青龍系統的例子，就是單量預測，根據用戶下單量、倉儲生產能力、路由情況等，可以進行建模預測。

最后一步就是依托大數據進行智能決策。做到了這一步，才可以稱作智慧物流。目前，做決策最好的方式依然是人機結合，能夠利用大數據和人工智能的技術，為人工提供輔助決策，讓人工的決策更加合理。

因為京東業務每年增長也非?？?，就遇到如何增加配送站的問題。在以前沒有系統輔助決策，就只能拍腦袋，但隨著規模越來越大，發現拍腦袋代價會很大。于是，我們就想用大數據的方法來解決一下如何建配送站的問題。

構建配送站

首先，建站依賴于什么？大家看過《大數據時代》就知道，利用大數據進行預測，非常重要的是找到它的關聯物，建站最直觀的是跟訂單相關的，我們也從訂單開始著手來分析這個問題。我們從訂單分布數據，加上我們的客戶分布數據進行分析，通過訂單聚合等技術手段，找到訂單很密的點，這個過程有很多的模型可以供參考。然后，加入更多的數據，包括位置信息、當地租金成本、管理成本、從分撥中心到傳站的距離等，我們就能輸出一個模型分布，根據不同的維度，將建站預測展示給用戶，輔助業務管理人員進行決策。并且，可以根據業務人員的使用情況，輸入更多的業務知識，形成業務閉環，讓系統更加智能化。

首先，要選擇應用場景，選擇合適的大數據技術架構，把數據質量能夠做好。然后，要對業務進行分析，第一步主要進行業務還原，包括業務節點，環比、同比，環節差異，最好用圖形化的方式展示出來。

之后可以進行下一步，做業務評估，評估業務健康度，這也有很多的方法，如同比，環比，和業界平均指標對標的方法。如果能通過大數據做到和友商實時對標，就能發現自己的薄弱點，哪塊是需要改進的，就可以進行優化，優化完，系統指標運行一下，可以看看是不是真的改進了。利用灰度的方法，也可以對業務改進進行效果評估。大數據來講最核心預測，作為一個業務負責人，如果能夠提前知道業務情況，現場的管理就能處理得更好。再往上走就是業務決策系統，Google的AlphaGo就是一個典型例子，但是實際的業務可能更加復雜。

智慧物流是以大數據處理技術作為基礎，利用軟件系統把人和設備更好地結合起來，讓人和設備能夠發揮各自的優勢，不斷進化，達到系統最佳的狀態。當前，青龍系統已經具備初步智能化的特征，我們會持續進行軟件系統優化，利用機器學習等智能化技術。另外，引入更多的智能硬件，深化智能應用，從而支持京東物流更加高效，也將為用戶提供更好的體驗。