基于數字孿生和深度強化學習的無人倉儲調度優化

葉旭乾，王 丹，劉一陽，韓憲征

（1.中興通訊股份有限公司，廣東 深圳 518055；2.帝國理工學院，英國 倫敦 SW72AZ）

0 引言

根據中國物流與采購聯合會的數據，2021年我國社會物流總費用16.7萬億元，同比增長12.5%。社會物流總費用與GDP 的比率為14.6%，其中倉儲保管費用達到5.6 萬億元，占GDP的比重為4.9%，隨著我國電商、新零售和高端制造的發展，對高標準倉儲的需求進一步加大。無人倉儲作為一種新型的存儲方式，其相比傳統倉儲具有人力成本低、人員安全隱患少、貨物破損風險低等優勢。通訊制造企業利用無人倉儲可實現貨物存儲流程的無人化，對企業向自動化、數字化、智能化轉型具有重要意義。

針對精準調度和資源優化的問題，傳統的解決方案主要是啟發式算法，將復雜的多目標優化問題轉化為單目標優化問題[1]或將運輸設備與立體貨架、檢測設備同時視為資源，使用基于精英策略的遺傳算法求解[2]。但這些算法的求解能力有限并且靈活程度不夠，不能很好地解決多頻次不確定數量貨物到達的調度，以及貨架、AGV、叉車等資源的配置問題，制約了倉儲的服務能力和效率。而數字孿生[3-4]作為一種智能制造和倉儲領域的前沿和熱點[5-8]，在本文中被引入無人倉儲領域。目前針對數字孿生在無人倉儲領域應用的研究很少，以陶飛，等[9]提出的數字孿生五維模型及其在倉儲領域的應用規劃為代表。但該技術在制造業相關領域應用較多，可以作為借鑒。Tong，等[10]應用數字孿生技術，針對生產加工數據難以實時交互的問題，提出了基于智能多模式終端的解決方案。Zheng，等[11]基于數字孿生三維模型提出了一種產品級數字孿生開發方法。Liu，等[12]結合賽博系統和數字孿生技術提出了一種基于網絡的數字孿生建模和遠程控制的網絡物理系統。

借鑒數字孿生在制造領域的應用，可將數字孿生技術與無人倉儲結合，對多類資源調度和效率優化問題，利用網絡技術和可視化技術動態監控設備的運行狀態，及時處理現場出現的問題，從而提高設備的運行效率和精準調度能力，而參數的設置來源于現場的傳感器，故能很好地解決倉庫及時精準調度難、資源效率低下的問題。為此本文從以下三個方面開展研究：

（1）針對無人倉儲的流程特點搭建了多層級特征的數字孿生無人倉儲系統架構；

（2）利用本體建模技術和數據服務系統搭建實時映射的數字孿生無人倉儲模型；

（3）結合數據分析和深度強化學習方法對數字孿生無人倉儲資源調度進行優化。

1 數字孿生無人倉儲系統架構

借鑒陶飛[9]提出的數字孿生系統五維概念模型，構建如圖1所示的數字孿生無人倉儲系統框架，包含一個可感知的物理實體層，兩個技術平臺（多網融合的網絡平臺與數據服務系統平臺），三層架構（感知層、數據層、服務層），三個數據庫（本地數據庫、系統數據庫、實時數據庫），六大邏輯流程映射（出入庫、理貨、揀貨、訂單接收、儲存、送到線邊），六類實體的實時映射（機器人、AGV、貨物、托盤、叉車、立體倉庫）。

圖1 數字孿生無人倉儲系統架構

感知層用于識別物體、采集信息。該層利用感知設備讀取安裝在貨架、叉車、AGV、貨物、托盤、機器人、倉庫的相關數據之后，利用傳感器中間件技術進行數據處理，并利用相關網絡工具對數據進行傳輸，完成底層信息的采集。

數據層中包含用戶權限管理、數字孿生無人倉儲系統與對象模型庫的模型交互接口、實時數據庫和本地數據庫的數據交互接口。其中：實時數據庫包含倉庫信號、設備狀態、設備位置、展示數據、倉儲庫位數據；本地數據庫包含布局數據、邏輯數據、觸發映射表、初始化規則表、掃描點映射表、配置文件；系統數據庫包含設備數據、生產任務數據、模型庫、動作庫、訂單信息、用戶個人信息表。

服務層利用孿生數據和預測數據驅動模型運行并對數據層的數據進行迭代，實現倉儲系統的智能應用，從而實現資源效率優化、訂單數調度優化、庫位優化、面積區域優化、資源信息共享等功能，并將優化信息反饋到感知層的數據中心進行虛擬監控。

2 數字孿生無人倉儲作業流程要素

數字孿生無人倉儲作業流程要素包含孿生實體建模、數據系統搭建、映射邏輯梳理。

2.1 孿生實體建模

孿生實體構建首先采用本體建模的方法，本體的構建重點是類和屬性，類是對實體的定義，屬性是對類特定功能的描述，所以數字孿生模型的建立需要預先進行對象和其屬性的編輯，導出保存在對象庫中，并記錄到對象表。屬性作為每一種對象建模的特征，可對其進行編輯，之后利用建模軟件建立物理實體的多維模型，將模型導入到仿真平臺，并選擇性地對模型進行輕量化處理，以減少運行時的顯示壓力。對于多維模型中可運動的組成部件，設置其為可動畫對象，進而編輯可動畫組件的動作路徑，并關聯組件動畫形成一個完整的動作。無人倉儲本體模型的屬性以及相互之間的聯系，構成了一個復雜的網狀概念結構，包含16類對象，21種聯系，91種屬性，具體如圖2所示。

圖2 無人倉儲本體模型的網狀結構

2.2 數據系統搭建

數據服務系統可以實現實時數據庫與本地數據庫和系統數據庫三者之間的連接和數據調用，利用實時數據庫驅動模型運行。模型首先通過XML接口模塊訪問XML配置文件，讀取本地數據庫和實時數據庫地址信息，然后利用ODBC 接口模塊連接本地維護的靜態建模數據，并通過OWL-S技術調用以OWL方式建置的本體模型的知識本體，自動快速建立數字孿生模型，之后可選擇性地通過數據庫接口模塊周期性地按照時間戳訪問實時數據庫規則數據，并對本地數據庫和系統數據庫數據進行解析，以數字孿生模型為載體快速還原無人倉儲狀態。

2.3 映射邏輯梳理

通過本體建模技術使孿生模型與物理實體在空間位置、幾何尺寸、運動特性等方面具有相同的屬性和功能。之后利用數據服務系統建立模型內部與外部的控制接口，實現模型與三類數據庫的數據交互。最后根據實時映射規則使數字孿生模型能夠實現實體要素之間的有效組合，從而完成出入庫流程、理貨流程、存儲過程、揀貨流程、訂單接收流程和送到線邊流程的有效運轉，實現無人倉儲整體的業務流程。實時映射邏輯流程如圖3所示。

圖3 數字孿生無人倉儲實時映射流程邏輯圖

3 數字孿生無人倉儲調度優化邏輯

采用數字孿生技術對倉儲資源效率進行優化時，其流程包括：基于出入庫數據、庫存數據、設備運行狀態歷史和實時數據進行預測分析；利用聚類分析方法對資源效率進行分析并運用深度強化學習方法進行優化；將資源效率優化后的分配方案與優化前對比，并將優化后的數據反饋至數據服務系統，進行矢量迭代輸出優化結果。具體內容如圖4所示。

圖4 資源效率優化分析流程

3.1 數據分析預測

利用神經網絡算法進行計算。其輸入為根據數字孿生數據中心搜集的出入庫貨物數據，包含訂單數、訂單行、收貨量、發貨量、庫存量、拆零量、SKU和設備狀態的歷史和實時數據，選擇隱含層數目等相關參數，神經網絡的數據主要分為三個部分：訓練數據、驗證數據、測試數據，其比例大約為7：1.5：1.5。數據訓練的主要目的是通過訓練，不斷調整并最終確定神經網絡的相關參數。訓練效果用AUC值去判斷，一般是介于0.5到1之間的，其值越接近1說明隨機判斷預測結果越好。利用預測數據與底層收集的實時數據去驅動數字孿生模型運行，反饋無人倉儲可能存在的資源效率問題。

3.2 設備資源自動優化

系統自動優化流程包括對設備資源效率使用聚類分析，并基于分析結果設置自動優化算法優化相關參數。

利用聚類分析方法將各類設備資源效率分為3大類，以使類內具有較高的相似度，而且類間的相似度較低。運行數字孿生無人倉儲模型，得到AGV、揀貨機器人、理貨機器人以及叉車等資源效率數據，利用聚類分析找出待優化的資源效率值以及優化方向。本文在無人倉儲資源優化應用場景下使用A2C算法，需要結合實際場景設定狀態（State）、動作a（Action）和回報r（Reward）。表1 介紹了A2C 算法中狀態矩陣可選擇的參數，包括：暫存區、儲存區、進貨區和出貨區貨架的存儲情況；理貨機器人、揀貨機器人、AGV和叉車資源利用率；當前時刻理貨機器人、揀貨機器人、AGV和叉車資源的激活數量；下一批次到達貨物的數量、預計卸貨時間和種類；下一批次離開貨物的數量、預計裝貨時間和種類。這些參數的數據類型都是整數和浮點數，可以整合成矩陣來幫助深度強化學習模型[13]判斷并給出資源的調整方向。表2介紹了A2C算法中動作矩陣可選擇的參數，根據狀態矩陣傳入的參數，A2C算法給予各個資源在下一階段運行期間的資源池大小。以一種以AGV、進貨區叉車和出貨區叉車為資源優化目標的獎勵函數計算方法為例，函數計算時會從模型中獲取以下參數：AGV，進貨區叉車和出貨區叉車的使用效率以及進貨區貨架，理貨區貨架，暫存區和各個儲存區貨架的當前存量，以及上次執行動作函數到當前時刻貨物的平均進貨、出貨和存儲時長。當貨架存量超過最大存量時，給予一個極大的懲罰值，同時通過懲罰值推薦智能體，將資源利用效率限定在一個較好的區間，最后計算周轉時間并給予獎勵值。表3給出了各函數和參數的定義與說明。

表1 A2C算法狀態（State）矩陣可選擇的參數

表2 A2C算法動作（Action）矩陣可選擇的參數

表3 各函數定義與描述

在訓練前，需要將導出的數字孿生無人倉儲模型封裝成可以與基于Python編寫的深度強化學習模型交互的強化學習環境。之后無人倉儲模型從云端抓取需要的表單數據，并運行返回當前狀態函數矩陣。深度強化學習模型接收狀態矩陣后做出決策，反饋給無人倉儲模型執行動作，運行到下一判斷時刻位置后無人倉儲模型返回獎勵值和下一時刻的狀態矩陣給深度強化模型。模型直接不斷交互迭代運行，最終得到訓練好的無人倉儲資源優化的深度強化學習模型，具體的部署流程如圖5所示。

圖5 深度強化學習部署框架

3.3 優化結果反饋

將經過驗證的深度強化學習模型，結合Html 框架以Http server的形式部署到Linux系統服務器上。并將無人倉儲模型以jar包形式部署到云端，并提供以API形式訪問的功能。在實際應用時，現場數據庫的數據經過獲取和處理整合成模型需要的狀態和任務數據并上傳到云端數據庫中。云端的深度強化學習模型抓取數據并返回動作策略結果，通過API調用無人倉儲模型進行驗證。最后將驗證后的數據結果傳輸反饋到服務層的終端。用戶可以根據可視化的顯示界面查看優化后的模型和相關參數，更加科學合理地分配無人倉儲資源。

4 數字孿生無人倉儲系統應用

本文提出的數字孿生無人倉儲系統在Z公司進行了應用。對公司2021年第一季度到2022年第二季度的10 920條訂單數據進行分析，以每隔一個星期的訂單數進行分類匯總。通過神經網絡對訂單數據進行訓練預測，其AUC值為0.924 5，說明訓練效果較好，并將數據上傳至數據服務系統數據表格中，利用這些數據驅動數字孿生模型運行。利用深度強化學習A2C算法優化，學習率參數設定為1×10^(-6)，仿真時間步長設定為5min，每次模型訓練步數1 000步，訓練總步長5×10^6步。

使用庫存數據運行測試對比，結果如圖6-圖8 所示。將訓練好的模型與實際無人倉儲常使用的資源配置方式進行對比，從圖6看出優化后的資源配置方案可以獲得更高的獎勵值。圖7展示了優化前后的資源數量配置動態效果，可以看出為了獲得更高的獎勵值，深度強化學習模型對于無人倉儲AGV、進貨區叉車和出貨區叉車進行了動態配置。圖8分析了優化前后貨物的入庫、出庫和在庫內停留的時間對比，應用深度強化學習動態配置資源后，入庫平均時間從26min降低到了25.8min，出庫的平均時間由3.7min降低到了3.4min，貨物在庫內的平均停留時間從43.8min降低到了42.7min，在優化資源效率的同時，入庫時間也隨著動態的資源調整有了一定的改善。

圖6 獎勵值優化前后對比

圖7 資源配置優化前后對比

圖8 流程時間優化前后對比

將優化后的數據信息反饋至數據服務系統，進行迭代優化，方便后續對模型的進一步優化，并將數據反饋至服務端的數據共享中心，決策人根據可視化界面的模型和參數，科學合理的做出相關資源的調配決策。

5 結語

本文針對基于數字孿生和深度強化學習的無人倉儲調度問題進行了研究，主要包括以下內容和成果：

（1）設計了基于深度強化學習的無人倉儲資源優化技術。由于現實環境中無法通過無人倉儲的實際現場來訓練深度強化學習模型，因此本文設計了一種使用仿真軟件搭建深度強化學習模型訓練環境的方法，訓練時使用數字孿生無人倉儲模型作為深度強化學習模型探索的環境，測試過的模型可以直接與生產執行系統對接，從而指導實際的倉儲作業。

（2）開發了可交互優化的數字孿生無人倉儲系統。該系統支持交互式優化求解，可以將云端數據庫、深度強化學習、數據分析技術相結合，對數字孿生無人倉儲進行優化。將此系統應用于Z公司后，提高了其規劃質量，驗證了本文中相關模型、算法及原型系統的有效性和便捷性。

考慮到數字孿生的實施成本和復雜性，本文設計的系統離高水平集成的數字孿生仍存在較大的差距，后續將在此基礎上獲取更多不同對象的孿生數據，并對不同粒度的數據進行進一步研究，更好的實現“以虛控實”的目標。