基于NoSQL數(shù)據(jù)庫的大數(shù)據(jù)查詢技術(shù)探討

梁紅穎 遼寧現(xiàn)代服務(wù)職業(yè)技術(shù)學(xué)院

前言：大數(shù)據(jù)時代的來臨，對現(xiàn)代人的生活方式產(chǎn)生了很大的影響。而NoSQL數(shù)據(jù)庫因其具有高性能、高可用、易擴展及數(shù)據(jù)模型靈活等優(yōu)勢在眾多互聯(lián)網(wǎng)公司應(yīng)用。而且NoSQL作為一種非關(guān)系型的數(shù)據(jù)庫存數(shù)在使用上已經(jīng)超過了關(guān)系型的數(shù)據(jù)庫，因此基于NoSQL數(shù)據(jù)庫的大數(shù)據(jù)查詢技術(shù)引起了各界的關(guān)注。

1.NoSQL數(shù)據(jù)庫的概念及相關(guān)理論

NoSQL泛指非關(guān)系型數(shù)據(jù)庫，是“Not Only SQL”的縮寫。由于數(shù)據(jù)在數(shù)據(jù)庫中存儲的方式為非關(guān)系型，和傳統(tǒng)數(shù)據(jù)庫中所使用的結(jié)構(gòu)化數(shù)據(jù)形式差異明顯。傳統(tǒng)數(shù)據(jù)庫中表與表間的關(guān)聯(lián)問題導(dǎo)致其性能受限，而NoSQL數(shù)據(jù)庫的不固定鍵值對結(jié)構(gòu)突破了性能上的局限，有效降低了數(shù)據(jù)庫的存儲、計算及查詢等各項操作在時空上的開銷。因此，NoSQL與傳統(tǒng)數(shù)據(jù)庫最關(guān)鍵的不同就是，NoSQL以非關(guān)系為核心，而傳統(tǒng)數(shù)據(jù)庫則以關(guān)系為核心。

1.1 CAP原理

CAP是“Consistency Availability Partition tolerance”的縮寫。CAP理論簡單來說就是指分布式系統(tǒng)具有一致性、可用性和分區(qū)容錯性三個特性，但是任何分布式系統(tǒng)只能同時滿足以上兩點，不能兼顧三者。其中的一致性（C）即所有的數(shù)據(jù)變動都是同步進行的，數(shù)據(jù)一致更新，可用性（A）指分布式系統(tǒng)具有良好的響應(yīng)性能，而分區(qū)容錯性（P）也可以稱為可靠性，如果分布式系統(tǒng)中有一個或幾個機器出現(xiàn)故障，而其他的機器還可以正常運行，因此具有良好的容錯性。

1.2 BASE思想

BASE思想主要強調(diào)基本的可用性，與ACID在單機環(huán)境中數(shù)據(jù)屬性不同，BASE是在分布式情況中數(shù)據(jù)的屬性。如果想要純粹的高性能，則須以一致性或是分區(qū)容錯性為犧牲。BASE思想的方案在性能上具有挖掘的潛力，主要實現(xiàn)有：按功能劃分?jǐn)?shù)據(jù)庫和共享分片。

2.NoSQL數(shù)據(jù)庫的類型

2.1 列存儲數(shù)據(jù)庫

該類數(shù)據(jù)庫的數(shù)據(jù)模型為采用列的形式存儲，同一列的數(shù)據(jù)將會被存放在一起。主要應(yīng)用于信息檢索系統(tǒng)和分布式的文件系統(tǒng)中。具有查找速度快、查詢效率高、可擴展性強、易于分布式擴展等優(yōu)勢。不足之處就是在功能上存在一定的局限性，例如沒有SQL查詢語言、沒有二級索引。

2.2 鍵值保存的數(shù)據(jù)庫

此類數(shù)據(jù)庫所采用的數(shù)據(jù)結(jié)構(gòu)主要是哈希表，哈希表由兩部分組成：指針和鍵值信息。鍵值保存的數(shù)據(jù)庫其數(shù)據(jù)模型為一系列的Key-Value鍵值對存儲，可以實現(xiàn)內(nèi)容緩存，適用于混合工作負(fù)載且需要擴展的數(shù)據(jù)集，可以進行快速查詢。不足之處在于存儲的數(shù)據(jù)缺少結(jié)構(gòu)化。

2.3 圖形數(shù)據(jù)庫

圖形數(shù)據(jù)庫通過使用靈活的數(shù)據(jù)模型，比較關(guān)注數(shù)據(jù)之間的關(guān)系。主要應(yīng)用于社交網(wǎng)絡(luò)、推薦系統(tǒng)中。圖形數(shù)據(jù)的建模、查詢都十分簡單。優(yōu)勢在于能夠利用圖形結(jié)構(gòu)的相關(guān)算法。不足之處是必須對整個圖做計算才可以得出結(jié)果，不易進行分布式的集群。

2.4 文檔型數(shù)據(jù)庫

文檔型數(shù)據(jù)庫的數(shù)據(jù)模板為形式化的文檔，對于半結(jié)構(gòu)和非結(jié)構(gòu)文檔則要以具體的形式進行保存。數(shù)據(jù)模型為一系列鍵值對，主要應(yīng)用于Web。此類數(shù)據(jù)庫具有豐富的查詢語言與索引機制，因此查詢性能較強。對于數(shù)據(jù)的結(jié)構(gòu)沒有嚴(yán)格的要求，不需要定義表結(jié)構(gòu)。不足之處在于此類數(shù)據(jù)庫不支持JOIN查詢與事物處理。

3.基于NoSQL框架的數(shù)據(jù)查詢技術(shù)特點分析

NoSQL框架的數(shù)據(jù)查詢技術(shù)與傳統(tǒng)關(guān)系型數(shù)據(jù)庫查詢技術(shù)相比，具有其獨特的特點，這是由適用于NoSQL框架的數(shù)據(jù)特點所決定的，主要包括以下幾個特點：（1）分布式的備份特點。NoSQL將高擴展性與高可用性作為目標(biāo)，如果想要達成這個目標(biāo)則需通過分布式的備份來實現(xiàn)。分布式能夠體現(xiàn)高擴展性，而備份則實現(xiàn)了高可用性。因此在整體上顯著提高了系統(tǒng)的容錯性能。（2）數(shù)據(jù)的海量性特點。隨著社交網(wǎng)絡(luò)的不斷發(fā)展與擴大，推動了傳感技術(shù)與移動設(shè)備的普及與應(yīng)用，尤其是現(xiàn)代化智能手機的興起，方便了人與人之間的交流與溝通，有關(guān)娛樂方面的信息呈現(xiàn)出爆炸式的增長態(tài)勢，例如微信、微博、手機游戲等的數(shù)據(jù)量已達TB、PB，甚至更高水平。（3）數(shù)據(jù)類型多元化特點。當(dāng)前多數(shù)的WEB應(yīng)用都需處理半結(jié)構(gòu)化或是非結(jié)構(gòu)化的數(shù)據(jù)，例如視頻、圖像、音頻等數(shù)據(jù)，而此類數(shù)據(jù)不適于存儲在像MySQL這類的關(guān)系型數(shù)據(jù)庫中，但是對于此類數(shù)據(jù)的查詢與儲量在非關(guān)系數(shù)據(jù)庫中往往能表現(xiàn)出較好的性能。

4.NoSQL數(shù)據(jù)庫的優(yōu)勢

4.1 NoSQL數(shù)據(jù)庫是可擴展性的關(guān)鍵

在數(shù)據(jù)庫發(fā)展過程中，從縱向到橫向的拓展變化推動了NoSQL的發(fā)展與應(yīng)用。NoSQL數(shù)據(jù)庫作為一種分布式橫向擴展技術(shù)，通過使用分布式節(jié)點集提供高度彈性拓展功能，用戶只要添加節(jié)點就可以進行對負(fù)載的動態(tài)處理。與縱向擴展做法相比，分布式橫向擴展的做法更加經(jīng)濟實惠。而且NoSQL數(shù)據(jù)庫多是開源技術(shù)，根據(jù)運行的服務(wù)器集群進行收費，在價格上更加便宜。

4.2 NoSQL數(shù)據(jù)庫是靈活性的關(guān)鍵

NoSQL數(shù)據(jù)庫數(shù)據(jù)為非關(guān)系型，不需依賴表與表之間的關(guān)系，就可以進行信息的存儲與組織。如采用文檔型數(shù)據(jù)庫獲取想要存儲的數(shù)據(jù)，以JSON的格式整合到文檔中。每個JSON文檔都能被應(yīng)用程序視為一個對象，而且JSON文檔能夠?qū)崿F(xiàn)提取跨越多個表的數(shù)據(jù)，并將數(shù)據(jù)匯集到一個文檔中，雖然聚合這些數(shù)據(jù)信息會存在信息重復(fù)的現(xiàn)象，但由于不用考慮存儲問題。因其數(shù)據(jù)模型靈活、發(fā)布產(chǎn)生的文檔簡便，而且讀取與寫入的性能高，所以應(yīng)用廣泛

4.3 NoSQL數(shù)據(jù)庫是大數(shù)據(jù)應(yīng)用程序的關(guān)鍵

現(xiàn)階段，通過第三方，就可以訪問和捕捉數(shù)據(jù)。包括用戶個人信息、用戶生產(chǎn)的內(nèi)容、地理位置數(shù)據(jù)、及其記錄數(shù)據(jù)等。企業(yè)通過大數(shù)據(jù)來推動關(guān)鍵任務(wù)型應(yīng)用程序，因為NoSQL數(shù)據(jù)庫適合現(xiàn)代的新型數(shù)據(jù)類型，所以很多企業(yè)正轉(zhuǎn)向該數(shù)據(jù)庫。大多數(shù)新型數(shù)據(jù)都是半結(jié)構(gòu)化或非結(jié)構(gòu)化，通過靈活的數(shù)據(jù)庫，很容易適應(yīng)新的數(shù)據(jù)類型，即便第三方數(shù)據(jù)供應(yīng)商的內(nèi)容結(jié)構(gòu)發(fā)生變化，也不會受到影響。

5.基于NoSQL數(shù)據(jù)庫的大數(shù)據(jù)查詢技術(shù)的具體應(yīng)用

以我國的鐵路網(wǎng)路售票系統(tǒng)為應(yīng)用對象，在對其進行系統(tǒng)設(shè)計和技術(shù)架構(gòu)環(huán)節(jié)時，從數(shù)據(jù)層、服務(wù)層、應(yīng)用層及展現(xiàn)層都可以體現(xiàn)大數(shù)據(jù)的優(yōu)勢與特點。數(shù)據(jù)層主要體現(xiàn)為當(dāng)購票者信息數(shù)據(jù)訪問系統(tǒng)時，可以通過Java的設(shè)計模式快速調(diào)度其實名制信息，結(jié)合Kettle對購票者的個人信息數(shù)據(jù)進行快速的調(diào)取與轉(zhuǎn)換，為應(yīng)用層的出票提供了有力的保障。服務(wù)層的重點在于工作流程可以對所有任何數(shù)據(jù)層快速調(diào)用，從而為應(yīng)用層提供如分析、統(tǒng)計、查詢等功能上的支持，為系統(tǒng)對售票信息的判斷、管理與推送提供便捷。展現(xiàn)層更多的是關(guān)注用戶的體驗。不僅能夠為用戶提供全面、準(zhǔn)確的快速訪問導(dǎo)航，還可以滿足系統(tǒng)自身的發(fā)展需要。即使在鐵路售票的高峰期，出現(xiàn)海量的訪問需求，也可以為用戶提供良好的購票體驗，有效避免了網(wǎng)站堵塞或崩潰現(xiàn)象的發(fā)生。與此同時，還實現(xiàn)了在升級與改造成本上的控制，通過充分利用大數(shù)據(jù)查詢技術(shù)優(yōu)勢對系統(tǒng)進行升級與改造，能夠避免過多使用高成本、高性能設(shè)備，降低了投入成本。

總結(jié)：綜上所述，當(dāng)前基于NoSQL數(shù)據(jù)庫的大數(shù)據(jù)查詢技術(shù)在眾多領(lǐng)域被廣泛應(yīng)用，為數(shù)據(jù)庫的發(fā)展和應(yīng)用提供了有力的技術(shù)保障。其在互聯(lián)網(wǎng)數(shù)據(jù)訪問需求方面具有明顯的優(yōu)勢，提高了數(shù)據(jù)的擴展能力與查詢速率。