基于Hive架構的物流供應鏈運力異構數據整合研究

[摘要]設計了一種基于Hive架構的異構數據整合框架，該框架以多個應用系統數據庫為主要研究對象，選取某物流企業供應鏈過程中的車輛調度系統和運力調度系統的車源數據作為實驗對象，通過分析、整合異構數據，搭建異構數據整合框架，進行異構數據整合研究。結果表明：該架構實現了異構數據資源共享，同時有助于實現物流行業的信息資源整合，而且可以為企業提供更加穩定可靠的決策支持。

[關鍵詞]Hive；物流供應鏈；異構數據；ETL

[中圖分類號]F274 [文獻標識碼]A [文章編號]1005—152X（2017）03—0168—04

1引言

隨著計算機網絡的普及，數據資源的共享已經成為一個熱門話題。很多企業需要將DBMS、MIS、OA數據集成起來，構成企業的管理決策的網絡信息平臺。異構數據是一個含義豐富的概念，不僅指不同的數據庫系統之間的數據是異構的，如Oracle和SQL Server數據庫，而且還包括不同結構的數據之間的異構，如結構化的SQL Server數據庫數據和半結構化的XML數據。

在物流行業中，異構數據整合對提高物流供應鏈過程中的數據處理和數據共享能力，以及提供數據有效性、可用性和更加可靠穩定的決策分析等能力有重要意義。在物流運力供應鏈中，無論是頂端的物流運輸企業還是底端的個體司機都難以實現雙方的數據共享。他們之間沒有真正意義的統一信息交換平臺，從而導致雙方各自為主，缺乏準確的信息交流。即使雙方進行數據交換，也可能面臨很多問題，這些問題主要集中于他們可能使用不同的信息交換平臺，平臺之間缺乏統一的數據格式。因此，在運力供應鏈中成員在進行數據交換時，基本都采用手工登記的方式。本文建立的基于Hive架構的物流運力供應鏈數據倉庫將建立在多個應用系統之上，通過數據過濾、清洗、整合，建立統一的數據格式，實現多個系統之間的運力數據整合與共享。

2多源異構數據處理技術

在物流運力供應鏈數據整合過程中，首先需要整合鏈中各成員的數據，主要包括貨主企業、物流企業、個體司機等。但是由于這些成員信息分散在不同的應用系統中，往往造成數據存儲格式千差萬別，所以需要將這些異構的多源運力數據實現有效整合。其次，將這些數據建立統一的數據格式。接著使用ETL（Extract-Trans-form-Load，抽取、轉換、加載）等傳輸工具將數據導入Hive數據倉庫，實現運力數據共享。

數據ETL主要包括三個過程：

（1）數據抽取。數據抽取是將源數據層的數據抽取到ODS或者數據倉庫中。源數據可以是傳統關系型數據庫中的歷史數據，也可以是文本文件，比如業務系統產生的日志文件以及其它文件數據；還可以是其它外部數據，如人工登記的數據。數據抽取策略一般根據具體業務需求而定，比如可以每一天抽取一次或多次，也可以每一小時或者每一分鐘進行抽取。數據抽取主要分為全局性抽取和局部抽取，局部抽取一般用于大規模的數據分析，可以明顯節約抽取時間，方便快速獲得分析結果。而全局性抽取主要用于小規模的數據分析，由于數據量不大，采用全局性抽取方式不但能節約數據的抽取時間，而且還能進行完整的數據分析。

（2）數據清洗。數據清洗主要是將沒有實際意義的數據進行清洗。數據清洗一般和數據抽取同步進行，可以為接下來數據存儲和分析節約時間。當數據源為關系型數據庫時，使用抽取的SQL語句中就可以進行數據清洗工作，比如把NULL值或空值的數據過濾掉；當數據源為文本文件時，可以進行人工清洗，比如刪除掉一些不符合規范的數據。

數據清洗一般包含以下幾個方面：

①空值NULL值處理：在實際應用程序中，會產生很多空值或NULL值的情況，所以應根據具體業務需要，把空值或NULL值的數據過濾掉或者替換為其它字符。

②檢測數據正確性：處理一些非法輸入的數據，如把一些用戶隨意輸入的數據刪除掉。

③統一數據格式：對多個應用系統中表示同一含義字段的數據類型和數據精度等進行統一。

④數據轉意：由于數據表中往往存在固定的編碼，這些編碼代表的含義需要在編碼表中查看。在數據清洗時，可以通過關聯編碼表，將這些編碼轉換成實際含義的數據等。

⑤根據具體業務規則進行數據清洗工作。

（3）數據轉換和加載。數據轉換和加載，又稱為數據更新，一般用來更新數據倉庫中的歷史數據。由于數據倉庫中的表都是按照具體業務邏輯設計好的，并且更新數據的操作也是固定的。所以每當更新數據倉庫中的數據時，往往只需要傳人一些參數，通過程序代碼或者存儲過程就能實現數據更新。每當插入數據到一張表，都可以稱為數據加載，至于刪除、插入、合并，這些操作是由具體業務規則決定，并且都是嵌入到數據抽取、轉換的過程中。

3運力多源異構數據在阿里云數據倉庫的搭建

3.1異構數據來源

物流異構數據源主要來自企業提供的運力數據，包括三個部分：

（1）WEB系統。WEB系統主要是由企業開發并使用的物道網和物合網。物道網是一個物流設備選型和會展平臺系統，主要提供物流設備選型、線上會展、專家咨詢等服務，它旨在打造物流設備行業的最佳大數據平臺。物合網是中國西部現代物流公共信息平臺，是為了打造全國最大最專業的物流資源整合網站，它主要提供貨源和車源信息等多個服務項目。它們分別提供了倉儲平臺、車源、貨源、企業、用戶、物流專線等多項數據，由于部分數據涉及個人、企業的隱私信息，企業過濾了這些隱私信息。這些數據來源于應用程序的后臺數據庫。

（2）手機APP。手機APP主要是企業正在使用和完善的某運力調度系統，該調度系統主要旨在匯聚運輸公司、個體司機和運力需求方，通過車輛監管和集中調度，逐步建成一套自動化的、集交易、運力匹配、監管為一身的運力綜合服務平臺。該平臺主要由交易子系統、運力匹配子系統、監管子系統、客戶關系管理子系統、合作伙伴子系統五部分組成。該數據源主要來自運力匹配子系統中，包括司機表、客戶表、運力單明細表、車輛表等多個數據表。這些數據來源于應用程序的后臺數據庫。

（3）其它數據文件。其它文件數據主要包括一些手工登記的數據，比如個體司機登記的車輛運力需求信息。這些文件數據主要記錄在Excel、XML等工具上。

3.2數據倉庫搭建

為實現物流供應鏈過程中多系統車源數據整合，首先搭建Hive數據倉庫，該數據倉庫采用完全分布式管理，包括三臺阿里云服務器，一臺主節點，兩臺從節點。具體詳細搭建步驟可參考文獻[7]、[8]，阿里云配置如下圖1所示。

3.3異構數據分析與整理

對手機APP和WEB系統的車源數據進行分析、整理，手機APP的車源數據主要有4個表（包括車輛表，車輛常用路線表，司機信息表，車輛司機對應信息表），而WEB系統只有1個表（車輛詳隋表），其數據庫部署在不同的網絡節點上，且有些數據字段類型、數據精度也不一致。

具體整理過程如下：

（1）整理車牌號字段。一般是省的簡稱+城市代號+5位車牌號，共7位。但是WEB系統中的字段長度是20，手機APP中的字段長度是12。數據字段太長，可能造成空間浪費，綜合考慮后車牌號字段是VARCHAR類型，設置長度為10。

（2）整理車輛載重字段。WEB系統中的字段類型是INT型，手機APP中是DOUBLE型。考慮到有些車輛登記信息上標明2位小數，比如6.50t，所以車輛載重字段設置類型為DOUBLE，長度10位，保留2位小數。

（3）其他數據字段整理過程類似，但同時考慮適當優化存儲結構。

（4）通過分析、整理、綜合后，選取雙方都含有實際參考價值的數據字段，在Hive數據倉庫中建立車源信息表，表結構如表1所示。

通過編寫Java程序將手機APP車源數據過濾到Hive數據倉庫中，然后再加載到WEB系統后臺數據庫中。同理，WEB系統數據也可以按相同方法加載到手機APP后臺數據庫中。這樣既實現了數據共享，同時也在Hive數據庫中整合了多個應用平臺車源數據，而且可以充分利用整合的異構數據進行分析和決策。具體框架結構圖如圖2所示。

4搭建異構數據整合系統

該系統主要采用Java開發語言、Hive數據倉庫和MySql數據庫。

首先，通過手機APP后臺車源數據整合，通過后臺管理人員按條件選擇性的將源數據加載到WEB系統中，建立了一個簡單的后臺數據導入功能界面，如圖3所示。

從功能界面可以看出，可以選擇某個源系統（這里選取的是手機APP）某一天發布的車源信息，還可以根據具體需求，比如車輛類型、車長等選擇性導入，加載到目標系統中去，從而實現多個系統之間數據資源共享，為企業接下來分析、決策提供更科學的依據。

5實驗結果

5.1手機APP數據導入WEB系統

通過導人功能，實現手機APP后臺車源數據在WEB系統中共享。比如某位司機在手機APP中發布的車輛信息，通過異構數據整合框架能夠顯示在WEB界面中，如圖4所示。

5.2 WEB系統數據導入手機APP

通過導入功能，實現WEB系統后臺車源數據在手機APP中共享。比如某位司機在WEB系統中發布的車輛信息，通過異構數據整合框架能夠顯示在手機APP中，如圖5所示。

5.3整合后的異構數據

通過整合兩個應用系統的數據不僅可以實現數據共享，而且還可以為企業提供穩定可靠的決策分析。比如整合2015年11月16日的車源數據，如圖6所示。

6結束語

本文分析了某物流企業的兩個應用系統數據，提出了一種基于Hive架構的異構數據整合方案。通過搭建異構數據整合框架，實現了該企業兩個應用系統的車源數據共享，同時在Hive數據倉庫中積累了整合后的車源數據，為企業下一步分析預測工作提供更加科學的依據。最后通過在一個應用系統發布的車輛信息可以在另外一個系統中查看，驗證了該框架的可行性。但是，通常物流企業的應用系統比較多，數據涉及范圍廣，這些問題有待進一步研究。