非關系數據庫在物資調度系統中的應用模型研究

王海豹，石宇良，張靖康，王 巍

（北京工業大學 北京 100022）

在數據量快速增長的云計算時期，數據顯然已成為資產。數據除了類型多樣的特性外，還出現了新的特性。①數據的量大。2010年，歐洲的各部門組織存儲的數據其容量總計接近11EB，美國的數據存儲量已經超過了16EB。在2011年全球1.8ZB的數據被創建和復制。而今數據每年都以TB級的增長，數據的存儲量將不斷刷新歷史記錄。②數據處理速度加快。每秒鐘亞馬遜S3存儲1 000億個數據對象[1]，face book每秒要處理約120萬張照片[2]，安徽移動的wap業務平均日訪問請求為6.5億條，You Tube每分鐘有48小時的視頻被上傳到該網站，其You Tube每個月的搜索次數是250億次[3]。

數據的劇增，對數據庫的存儲提出了更高的要求。當某個存儲設備出現故障時，業務不能受到其影響并繼續運行。然而，關系數據庫通過增加更高性能的存儲服務器進行擴展的過程中需要大量人工參與，甚至還會導致服務器停機、被替換的舊服務器資源浪費；通過分區或分片的方式擴展時，需要維護多個模式，還可能要修改應用程序，擴展的復雜性相當高[2]。數據的劇增，對短時間內處理大量數據的速度也提出了較高的要求。由于關系數據庫的事務一致性等本質原因，其大吞吐率性能受到限制，這使之前對小規模數據的處理方式需要重新思考。這時NoSQL數據庫在云計算中顯示了它的優勢。

1 NoSQL數據庫分析

1.1 NoSQL數據庫特性

由于SQL數據庫的連接、外鍵、觸發器等導致其在擴展性方面受到很大影響，快速讀寫大規模數據的瓶頸問題及處理大量增加的半結構化數據的劣勢，NoSQL逐漸顯現出它的優勢。NoSQL是指不使用關系數據模型的數據庫，具有以下特性：

1）高擴展性

大多數NoSQL數據庫都是開源的，可以直接從網上拿來使用。NoSQL分布式數據庫充分利用現有的廉價服務器來存儲數據。擴展時，只需要通過添加相關的硬件和廉價服務節點就能擴展其性能，增強存儲能力。

2）高讀寫性能

NoSQL數據庫的研發主要是針對大規模數據的處理。NoSQL數據庫能夠輕松應對每秒上萬次的讀寫請求，具有極高的并發讀寫性能。

3）高可用性和高容錯性

在一個節點失效時，將其對該節點上的數據的讀寫轉移到其他節點進行，避免了因服務器死機、重啟等導致數據丟失的情況。通過冗余存儲實現數據的多處備份，快速轉移失敗節點，節點間自動復制數據，動態平衡現有集群，數據存儲穩定的同時，也保證了應用系統不間斷地高速運行。

4）靈活的數據模型

NoSQL數據庫不需預先花費大量精力去設計數據庫模式。在NoSQL數據庫中，數據的結構改變時，隨時可增減相對應的字段，省去了大量的維護工作[4-5]。

1.2 HBase數據庫概述

NoSQL中的HBase數據庫是 Apache Hadoop的一個開源的面向列存儲的分布式數據庫，能夠對大規模數據提供隨機、實時讀寫訪問。HBase數據庫中的表是稀疏的鍵值映射表，表中數據默認按行鍵進行排序，表中的數據按時間戳存儲多個版本。

HBase的服務器體系結構遵從主從服務器架構，它由HBase Master服務器和HBase HRegion服務器集群組成；HMaster服務器負責管理用戶對表的增加、刪除、修改、查尋操作，管理HRegionServer的負載均衡，調整Region分布，在Region Split后，負責新Region的分配，在HRegionServer停機后，負責失效HRegionServer上的Regions的遷移。HRegion服務器負責處理客戶端的寫請求。由Zookeeper進行協調處理HBase集群運行期間可能遇到的錯誤，實現其高可靠性。通過增加HRegion服務器節點即達到線性擴展的目的。實現在廉價的硬件組成的集群里管理超大規模的數據。HBase通過Hadoop分布式文件系統存儲，利用MapReduce的并行計算模型，實現了數據存儲與并行計算的結合[6－8]。

2 物資調度系統需求分析

物資調度管理系統在平時對物資進行合理配置、科學管理和維護，在災害事件產生時，為災害事件的處置提供具體物資。其主要內容包括：

1）物資綜合查詢?？梢詮母鱾€角度查詢物資的信息、查詢倉庫信息，也可以查詢生產企業的產品情況及運輸企業的運輸能力等。具有方便快捷地查詢各部門下的物資儲備情況、查詢倉庫信息、查看各種突發事件的詳細信息、從所要物資種類迅速找到生產該類產品的生產企業。同時，用戶還可以自定義查詢物資的各種條件進行信息檢索。

2）事件與物資管理。建立物資與突發事件的對應關系，可以查看到歷史上各事件所用物資的種類、數量等信息，對物資調配人員在處理突發事件時，提供歷史數據的參考。

3）倉庫物資管理。該機能主要實現對儲備物資和倉庫進行管理，實現對倉庫、物資的增加、修改、刪除。

4）生產企業及生產能力管理。對物資的生產企業的生產能力、企業產品的平均庫存情況進行監督管理，以便在災害事件發生時，可以迅速組織生產，保證儲備物資不夠時的物資的供應。通過對應急物資生產能力企業信息的管理和監測，形成物資生產能力儲備。具體包括企業的現有生產能力、月存儲能力等基本信息。

5）物流企業管理。對運輸企業的物資運輸能力等進行全面把握，詳細記錄物流運輸企業的資產規模、營業狀況等信息。在災害發生時，可以很快地與相關運輸單位取得聯系，實現快速地組織運輸物資隊伍。

3 數據庫設計方案

在物資調度管理系統中，涉及物資的生產、存儲、運輸和使用。主要涉及的對象是生產企業、存儲物資的倉庫、物資、事件、物流企業。這些對象及對象之間的關系，無外乎是增加、刪除、修改、查尋操作。

在這個系統中，物資的存儲及流通產生大量的數據，為了達到高存儲、高并發的處理要求，我們在設計物資調度系統數據庫時，采用了支持高并發讀寫性能、具有龐大的水平擴展性的HBase列存儲數據庫。雖然HBase數據庫不支持表的連接操作，但這個缺陷可以在業務層編碼實現。物資調度系統的E－R圖如圖1所示。

圖1 物資調度系統E－R圖Fig.1 E－R diagram of the material dispatching system

由于NoSQL數據庫沒有連接操作，當對多個表進行連接操作時，需要在程序中分別查詢這多個表，再實現連接，某些簡單的連接操作可以在一個表中表現出來。根據E－R圖，設計的HBase數據庫[9－10]在物資調度中的方案如表1～5所示。

表1 事件信息表Tab.1 Event information

通過事件表，我們能夠對事件進行增、刪、改、查的管理。結合倉庫表和物資表，對事件分配相關物資進行管理；與物流企業表結合，還能調撥相應的運輸力量。

表2 物資信息表Tab.2 Material information

表3 倉庫信息表Tab.3 Warehouse information

表4 生產企業信息表Tab.4 Manufacturer information

根據物資信息表，可以實現對物資的基本信息增、刪、改、查的管理。查詢物資所存儲的倉庫及生產企業等信息。

通過此表可實現對倉庫基本信息的增、刪、改、查操作。聯合物資信息表，實現對存儲在該倉庫的各種物資的增、刪、改、查。

由于企業的各種類型產品的單價、月存儲能力、年生產能力的變化不頻繁，將這3種組合在一起，實現了對企業生產的物資信息的存儲。通過生產企業表，實現對生產企業的基本信息增、刪、改、查，及對生產企業的生產的物資產品的單價、月存儲能力、年生產能力的管理。

根據此表實現對物流企業信息的全面把握及對物流企業信息的管理。

4 結 論

通過分析NoSQL數據庫的特性及相關HBase數據庫的信息，并參照物資調度管理系統的需求，設計出了一套在HBase數據庫中存儲物資調度系統數據的表的結構方案。這個方案還有不足之處，如對3個及以上的字段的連接放在同一個單元里用字符分隔顯得不太合理，尤其存儲的是頻繁修改的數據，這方面還有待進一步研究。

表5 物流企業信息表Tab.5 Logistics enterprise information

[1]James Zhang.美國亞馬遜公司企業數據收集報告.[EB/OL]（2012-10-30）http://www.docin.com/p-245031314.html.

[2]中國電子商務研究中心.Face book主要數據業務盤點分析[EB/OL]. （2012-10-30）.http://b2b.toocle.com/detail--6042581.html.

[3]賽迪網.You Tube網站1萬億播放次數帶動廣告業務的增長 [EB/OL]（2012-10-30）.http://it.people.com.cn/h/2011/1225/c227888-3714244520.html.

[4]ADAM WIGGINS.SQL Databases Don't Scale[EB/OL]（2012-10-30）.http://adam.heroku.com/past/2009/7/6/sql_databases_dont_scale/.

[5]百度百科.NoSQL[EB/OL]（2012-10-30）.http://baike.baidu.com/view/2677528.htm.

[6]陸嘉恒.Hadoop實戰[M].北京:機械工業出版社，2011.

[7]Wbite T.Hadoop權威指南[M].周敏奇，王曉玲，金澈清，等譯.北京:清華大學出版社,2011.

[8]開源中國社區.分布式數據庫HBase[EB/OL]（2012-10-30）.http://www.oschina.net/p/hbase.