基于大數據的分揀設備智能分析系統的設計與研究

龔亞彬

關鍵詞：自動分揀；數據采集；大數據；HBase/Hive；智能分析

0 引言

隨著物流行業的發展和物聯網的普及，全國現代物流中心為了提高物流效率和服務質量，已逐步實現了信息化，對高性能物流分揀設備的需求在日益增長， 相應的各類智能自動化分揀設備也在不斷地涌現。在眾多的分揀設備中，小件交叉帶分揀設備、大件擺臂擺輪分揀設備、模組帶分揀機轉換機和AGV等產品得到了業界廣泛的應用與認可。

包裹分揀模式由傳統的人工分揀逐步演變為自動化分揀，實現了對分揀全過程、全環節的信息跟蹤與監控，提升了作業自動化水平，使得物流行業的整體運營效率大幅提升，運營成本大大降低。

由于包裹的多樣性、供件人員操作不規范、設備元器件精密度要求高和分揀環境復雜等因素，給設備的穩定性和分揀的準確性造成了諸多困擾。分揀過程記錄、設備PLC通信和光電信號傳感器產生了海量數據，尤其在“618”“雙11”“雙12”“節假日”等高峰期間呈指數級增長。面對其龐大、多源、異構等特點，如何保證數據的快速接收與存儲，并將分析結果反饋給相關業務部門，如何進一步確保設備運行的高穩定性和分揀結果的99.99%高準確率成為一大難題。

本文以Ginfon交叉帶分揀設備為例，在分析分揀過程數據的特點和大數據技術的基礎上，基于HBase 大數據庫、Hive數據倉庫和Spark計算模型進行整體架構設計和針對性分析，最終實現了對海量多源、異構和分布式分揀大數據的高效快速處理。對各項指標進行建模，可對分揀過程和設備元器件進行全方位智能診斷和智能決策，通過模型計算與評估挖掘潛在問題與規律，有效改善設備的分揀流程，促進設備工藝的優化，從而提升產品的市場競爭力。

1 相關技術簡介

1.1 交叉帶分揀設備的特點

交叉帶分揀機由主驅動帶式輸送機和眾多載有小型帶式輸送機的臺車組成。環線小車與主驅動帶式輸送機連接在一起，包裹經供件臺掃碼后由PLC預約小車和裝載。小車采用伺服直流驅動技術，毫秒級瞬時啟動，確保貨物能上正確的小車且位置居中。在控制系統的控制下，包裹隨小車與主驅動帶式輸送機一起運行。當運行到目標位置時，小車皮帶啟動，將待分揀物品推送至分揀格口，完成包裹的分揀任務[1]。

1.2 HBase/Hive

HBase建立在HDFS之上，提供了高可靠性的列存儲和實時讀寫的大數據庫系統，介于關系型數據庫和NoSql之間，通過主鍵和主鍵的Range來檢索數據，支持單行事務，主要用來存儲非結構化和半結構化的松散數據。

Hive是基于Hadoop的數據倉庫工具，可以將結構化數據文件映射為數據庫表，是一種類SQL的引擎，可以將SQL轉化為MapReduce任務運行，十分適合數據倉庫的統計分析[2]。

1.3 Spark

Apache Spark 是為大規模數據處理而設計的快速通用計算引擎，任務中間輸出結果保存在內存中，由于不需要讀寫HDFS，Spark能更好地適用于數據挖掘與機器學習等需要迭代的MapReduce的算法。Spark 啟用了內存分布數據集，除了能夠提供交互式查詢外，還可以優化迭代工作負載。在內存計算模式下，Spark比Hadoop快100倍以上。Spark提供了大量的庫，開發者可以在同一個應用程序中無縫組合使用這些庫[3]。

2 系統架構設計

智能數據分析系統（Intelligence Data Analysis Sys?tem，IAS） 采用客戶端分布式采集，云端集中處理模式。云端服務器與全國各個分揀中心交叉帶分揀設備WCS實時連接，接收PLC控制器的指令。通過對分揀機WCS系統的日志目錄監控，定時和實時采集正常日志、錯誤日志和系統信息，從各個分揀客戶端傳輸至系統云端。服務端接收日志數據后保存至相關目錄，通過Hadoop任務調度對相應的日志內容進行數據清洗、格式轉換及規范處理，實現了包裹信息檢索、分揀過程分析、設備元器件分析、錯分分析、設備狀況感知與分析、運營與監管、模型預警與預判、設備畫像，同時給出分析報告。系統整體流程如圖1所示。

系統整體架構（如圖2）包括數據采集層、清洗與存儲層、數據計算、數據挖掘、任務調度、數據倉庫和網關服務等。

2.1 數據采集層

數據源由設備參數數據和WCS分揀日志記錄構成。設備參數數據包含交叉帶的層數、小車數、供件臺數、格口數、灰度儀數、小車組/格口組/急停按鈕數和分揀方案數據等。分揀日志記錄以文本文件格式保存，具體包括：分揀流程記錄、PLC通信報文數據和光電傳感器信號數據。數據采集層通過異步Socket 由客戶端發給服務器，服務端接收后進行處理，處理完畢后返回給客戶端相應指令。服務端將接收到的日志文件根據設備名稱保存在相應的目錄中，數據存儲在HBase 和MySQL。服務端大數據環境Hadoop+Spark采用1主2從模式，可支持橫向擴容[4]。

2.2 數據清洗與存儲層

由于客戶多樣，不同的WCS客戶端分揀記錄日志格式存在差異、數據的不完整和未統一標準化，服務端將采集到的日志文件進行清洗處理形成規范，清洗的內容有：字段格式轉換、缺失值、重復值、錯誤值和異常值等。分揀過程需要按不同階段設定不同的INFO 類別（如表1），不同階段的異常設定不同的ERR類別（如表2），控制設備元器件的PLC報文按協議編號進行區分（如表3）。

清洗后的INFO類別、ERR類別和PLC報文數據存儲在大數據庫HBase表中，通過數據倉庫Hive統一調用。

2.3 數據分析

系統通過采集交叉帶設備的分揀日志，做針對性分析，集設備分揀效率評估、分揀流程追溯、供包臺供件效率、小車落格率分析、集包效率、可疑流程診斷、設備元器件分析和錯分分析等于一體，挖掘規律，控制各項指標在有效的閾值內，同時實現預警。

3 功能模塊設計與實現

系統主要包括分揀統計、集包效率分析、分揀過程追溯、相鄰小車落格分析、錯分分析和重量體積比分析等功能，具體功能模塊如圖3所示。

3.1 分揀統計與集包效率分析

通過Spark Core讀取清洗后的標準日志文件，針對不同場地可進行如下分析：

1） 供件臺分揀統計：根據各個供件臺分揀量評判供件效率情況。

2） 小車分揀統計：根據小車分揀量評判可疑小車情況。

3） 集包效率分析：根據人員鎖格、解鎖時間差評估集包操作人員的熟練度。

4） 根據設備元器件運行過程的關鍵評判指標提供相關預警、提高主動式維修響應速度。具體包括：迷路預警、灰度儀及光電的故障預警、環線碳刷壽命預警、48V電源報警和小車故障檢測等。提供的預警閾值分為供件臺供件量閾值、小車分揀量閾值和集包時長閾值等。

3.2 分揀過程追溯

根據不同設備進行不同條件的組合查詢，如條碼、格口/小車/供件臺號、報文類型和日志消息類型等，供分揀分析使用。

1） 分揀過程追溯：通過JDBC調用Hive Sql詳細跟蹤包裹分揀過程中供件臺、小車、格口的狀態詳情及系統錯誤信息，并可關聯查詢供件臺上一個包裹、下一個包裹，相鄰小車上一個包裹、下一個包裹分揀情況。

2） 分揀調查：根據條碼、錯分格口、異常口針對性分析錯分原因，并實現關聯查詢分析。

3） 針對分揀的流程，統計分析迷路占比及趨勢，可直觀地評判糾偏儀、灰度儀的工作運行正確率及穩定性。

3.3 相鄰小車落格分析

環線小車通用截距60cm，格口寬度75cm，在2m/s的速度運行時，每5個小車在時間分配上為一組連貫性控制。當出現相鄰小車落相鄰格口時，可評估采用動態變換格口擋板角度來增加包裹的落格準確性。此時需要統計分析交叉帶項目場地1s內、500ms內相鄰小車落相鄰格口情況，結果供設計部門對滑槽工藝改進及相關決策。相鄰小車落相鄰格口模型如圖4所示。

由表4可得出，小車間隔越大，相鄰格口落格比例逐漸降低，各場地占比情況整體類似。貨物相鄰、貨物間隔1個小車、貨物間隔2個小車落相鄰格口導致格口變換的占比約為1.23%。而通過擺臂動作測試，只有貨物相鄰、貨物間隔1個小車才可能導致擺臂來不及動作，占比為0.85%，此種情況，完全可以通過程序禁止第二件貨物在此區域落格，而去另外一個區域落格，卻對整體分揀沒有影響。

3.4 錯分分析

根據條碼、錯分格口和回流口可進行批量錯分原因分析與錯分關聯查詢。

包裹是否落入正確格口，和上車的位置、糾偏的位置、環線速度、包裹外觀、材質重量等諸多因素有關聯，通過大數據相關性分析得出包裹的重量和體積是直接的可量化指標。通過分析得出整體包裹的重量體積比分布情況，步驟如下：

1） 使用Spark SQL讀取錯分條碼的重量（kg）、長寬高（cm）數據。

2） 通過Stream.groupBy（）按包裹密度（重量/體積）級別分類，計算其占比[5]。

由圖5所示：包裹密度主要分布在0.02～0.8kg/立方分米以內，總占比95.18%。根據上述包裹密度結果，在確定落格時PLC可精確實現對小車的毫秒級控制，減少錯分機會。

4 結束語

智能數據分析系統作為一個物流分揀的大數據分析平臺，是智能分揀設備、物聯網和大數據相結合的典型應用，支持和兼容各類分揀設備的高并發場景，易于擴展，滿足了快速、高效處理和專項分析有效數據的硬性要求。實現了數據來源于設備，分析結果逆向促進對分揀設備的有效智能管理，為提高設備的穩定性、準確性和產品的進一步的迭代奠定了真實的應用基礎，大大提升了產品的市場競爭力。