分布式數(shù)據(jù)庫技術(shù)的應(yīng)用研究

摘要：隨著IT技術(shù)迅速發(fā)展，數(shù)據(jù)庫系統(tǒng)架構(gòu)經(jīng)歷了演進。為了解決相關(guān)部門的數(shù)據(jù)處理問題，以運營商網(wǎng)絡(luò)運行情況為例，對分布式數(shù)據(jù)庫技術(shù)加以研究，分析分布式數(shù)據(jù)庫技術(shù)在應(yīng)用時的不足之處，提出設(shè)置MPP+SharedNothing架構(gòu)、合理運用高效透明壓縮技術(shù)、實現(xiàn)混合式存儲、利用并行處理技術(shù)、加強智能索引等解決措施，從而體現(xiàn)分布式數(shù)據(jù)庫技術(shù)在整合分散數(shù)據(jù)內(nèi)容時的處理價值所在，并可增加在數(shù)據(jù)管理和應(yīng)用方面的指導(dǎo)。

關(guān)鍵詞：分布式數(shù)據(jù)庫技術(shù) 數(shù)據(jù)信息 數(shù)據(jù)內(nèi)容

ResearchontheApplicationofDistributedDatabaseTechnology

MAJinru

YinchuanUniversityofEnergy，Yinchuan，NingxiaHuiAutonomousRegion，750000China

Abstract：WiththerapiddevelopmentofITtechnology，databasesystemarchitecturehasundergoneevolution.Inordertosolvethedataprocessingproblemsofrelevantdepartments，thisarticletakestheoperationofoperatornetworksasanexample，studiesdistributeddatabasetechnology，analyzestheshortcomingsofdistributeddatabasetechnologyinapplication.Itproposes solutionssuchassettingupMPP+SharedNothingarchitecture，rationallyapplyingefficienttransparentcompressiontechnology，realizinghybridstorage，applyingparallelprocessingtechnology，strengtheningintelligentindexing，etc.，soastoreflecttheprocessingvalueofdistributeddatabasetechnologyinintegratingdisperseddatacontentandcanincreaseguidanceindatamanagementandapplication.

KeyWords：Distributed;Databasetechnology;DataInformation;Datacontent

為保證運營商網(wǎng)絡(luò)內(nèi)的數(shù)據(jù)信息能夠被合理地整合，相關(guān)人員需加強對數(shù)據(jù)傳輸情況的了解。當(dāng)前，多渠道內(nèi)的數(shù)據(jù)是呈現(xiàn)爆炸性增長狀態(tài)的，這對數(shù)據(jù)的分析、存儲和管理工作提出了更高的需求。對此，還需考慮大數(shù)據(jù)的分析場景，融入使用分布式數(shù)據(jù)庫技術(shù)到數(shù)據(jù)的處理環(huán)節(jié)，以整合多區(qū)域內(nèi)的數(shù)據(jù)信息，并保證大數(shù)據(jù)能夠順利地交換和整合。堅持以“高效低成本”的基本原則，增加大數(shù)據(jù)分析系統(tǒng)在運行期間的驅(qū)動力，以分布式的數(shù)據(jù)庫架構(gòu)手段，促使數(shù)據(jù)信息能夠增強自身的拓展能力。

1分布式數(shù)據(jù)庫

分布式數(shù)據(jù)庫系統(tǒng)會利用相對較小的計算機系統(tǒng)的組合方式，將每臺計算機都放在單獨的位置，使其中可能包含數(shù)據(jù)庫管理系統(tǒng)（DatabaseManagementSystem，DBMS），并實現(xiàn)對一份完整的副本拷貝，使計算機內(nèi)有屬于自己的數(shù)據(jù)庫。將處于不同位置上的眾多計算機進行連接，通過網(wǎng)絡(luò)構(gòu)建出一個具有全局性的、完整的且在邏輯上實現(xiàn)集中、在物理層面上實現(xiàn)分布的大型數(shù)據(jù)庫[1]。

2分布式數(shù)據(jù)庫技術(shù)的應(yīng)用措施

2.1設(shè)置MPP+SharedNothing架構(gòu)

通常情況下，分布式數(shù)據(jù)庫會在大規(guī)模并行處理（MassivelyParallelProcessing，MPP）技術(shù)的層面上整合各單元內(nèi)容，設(shè)置單元內(nèi)的存儲信息、計算信息和軟件資源，包括內(nèi)存、總線、操作系統(tǒng)、硬盤及其相關(guān)內(nèi)容[2]，展現(xiàn)出各個單元所具備的獨立性，利用自給和對等的方法，防止系統(tǒng)在運行期間各個單元出現(xiàn)單點的瓶頸[3]。

（1）結(jié)合分布式數(shù)據(jù)庫的應(yīng)用情況，以動態(tài)拓展的手段，整合單元內(nèi)容，并運用協(xié)同處理的方式落實系統(tǒng)所具備的相同任務(wù)，促使各個單元之間順利地進行信息的交互工作。以節(jié)點之間的連接，依靠互聯(lián)網(wǎng)，最終實現(xiàn)數(shù)據(jù)線信息的交互。這樣一來，各個單元之間需要根據(jù)本地的IP等情況，完成對區(qū)域內(nèi)資源的訪問。若存在異地的訪問情況，則需通過完全無共享（SharedNothing）這一架構(gòu)方式實現(xiàn)對數(shù)據(jù)內(nèi)容的平均分配，以實現(xiàn)數(shù)據(jù)的實時讀取，彌補Hadoop分布式文件系統(tǒng)（HadoopDistributedFileSystem，HDFS）的不足[4]。在確保每個節(jié)點上都有可處理的內(nèi)容后，排列節(jié)點存儲表，并實現(xiàn)對各區(qū)域內(nèi)資源的分布。如此，相關(guān)人員則可利用數(shù)據(jù)查詢、加載等方式了解各節(jié)點服務(wù)器的情況，以自動化的手段，為無線網(wǎng)絡(luò)個人用戶提供優(yōu)質(zhì)服務(wù)[5]。

（2）為了實現(xiàn)對本架構(gòu)中數(shù)據(jù)內(nèi)容的優(yōu)化分布，還需以MPP架構(gòu)為主，利用并行查詢的處理手段，在系統(tǒng)響應(yīng)多個任務(wù)時，可以通過數(shù)據(jù)的傳輸與優(yōu)化分布方式，避免系統(tǒng)中的數(shù)據(jù)在傳遞過程中出現(xiàn)吞吐量過少或延遲性多久的問題。根據(jù)計算節(jié)點、存儲、CPU等硬件資源，實現(xiàn)對數(shù)據(jù)內(nèi)容的橫向拓展，以保證系統(tǒng)在運用過程中業(yè)務(wù)的增長需求能夠得到滿足。而且，相關(guān)人員還需通過精細管理的方式實現(xiàn)對分布數(shù)據(jù)庫的調(diào)度，保證其能夠加強對數(shù)據(jù)流的管理。并且，在任務(wù)執(zhí)行過程中，可以對數(shù)據(jù)進行恢復(fù)、備份、清洗、壓縮等工作，以高效并行的處理方式，以MPP+SharedNothing架構(gòu)的手段，完成專用網(wǎng)絡(luò)、處理單元和商業(yè)通用網(wǎng)絡(luò)的協(xié)作與通信[6]。

（3）以此架構(gòu)展現(xiàn)出單元所具備的較高容錯性。確保某一單元內(nèi)的數(shù)據(jù)出錯，其他單元仍可正常工作，以展現(xiàn)出系統(tǒng)所具備的高可用性，使它可以順利地應(yīng)用于分布式數(shù)據(jù)庫的架構(gòu)環(huán)節(jié)，完成對高復(fù)雜度、大規(guī)模數(shù)據(jù)任務(wù)的處理。

2.2合理運用高效透明壓縮技術(shù)

利用高效透明壓縮技術(shù)，可以基于數(shù)據(jù)信息的分布和類型挖掘其規(guī)律，并幫助相關(guān)人員選擇最優(yōu)的壓縮手段，完成對數(shù)據(jù)庫級、表級和列級的設(shè)置，以靈活的壓縮選項，展現(xiàn)出壓縮比和平衡性能之間的關(guān)聯(lián)。

首先，其可以通過解壓和壓縮的方式實現(xiàn)對用戶信息的透明化處理，讓該部分內(nèi)容用于分布式數(shù)據(jù)庫的內(nèi)容排列過程中，以支持存儲的方式，生成有用的數(shù)據(jù)包，并保證其高透明度。這樣一來，相關(guān)人員則可運用相關(guān)性相對較高的同構(gòu)數(shù)據(jù)內(nèi)容開展壓縮工作，使其壓縮比率可以占據(jù)1/5或1/20左右，讓數(shù)據(jù)能夠存儲于數(shù)據(jù)庫中，并保證存儲空間可以節(jié)省50%～

90%。

其次，相關(guān)人員可以在了解壓縮條件下的數(shù)據(jù)情況保證該部分信息能夠降低對I/O的要求。以數(shù)據(jù)查詢、加載的方式，實現(xiàn)與傳統(tǒng)數(shù)據(jù)庫的比較，使當(dāng)前融入高效透明壓縮技術(shù)的數(shù)據(jù)庫比傳統(tǒng)數(shù)據(jù)庫的處理效率提高幾十倍甚至以上。

2.3實現(xiàn)混合式存儲

與以往的行存數(shù)據(jù)庫相比，當(dāng)前的分布式數(shù)據(jù)庫可以通過在磁盤中增加數(shù)據(jù)信息的方式，以按行和按例的混合手段，實現(xiàn)對數(shù)據(jù)內(nèi)容的高效存儲，以方便相關(guān)人員根據(jù)列或行的內(nèi)容對所需信息進行統(tǒng)計、查詢和分析，展現(xiàn)出數(shù)據(jù)的快速處理優(yōu)勢。所以，在當(dāng)前的分布式數(shù)據(jù)庫技術(shù)應(yīng)用后，相關(guān)人員可以將數(shù)據(jù)內(nèi)容應(yīng)用到多場景中，展現(xiàn)出其所具備的靈活性和響應(yīng)速度快的特點。

• 以按行或按列的方式，實現(xiàn)對數(shù)據(jù)內(nèi)容的存儲，保證相關(guān)人員可以根據(jù)表分區(qū)與各張表的情況及時與管理員對接，在系統(tǒng)端選擇相應(yīng)的數(shù)據(jù)格式。在完成壓縮方式和存儲方式的制訂工作后，可實現(xiàn)對數(shù)據(jù)內(nèi)容的靈活配置。例如：按照存儲歸檔的列進行數(shù)據(jù)壓縮，可混合云中的內(nèi)筒，進行融合，并打通公有云和私有云，結(jié)合該部分內(nèi)容進行分別存儲，共同提供對外的存儲服務(wù)，配合軟件與硬件設(shè)備，將敏感且重要的數(shù)據(jù)存儲在私有云中，而公有云內(nèi)則存儲隱私性不強的內(nèi)容設(shè)置。
• 相關(guān)人員還需根據(jù)語句的具體查詢方式，從磁盤內(nèi)完成對相關(guān)數(shù)據(jù)內(nèi)容的調(diào)閱，確保其可以運用行和列內(nèi)容的整理，節(jié)省I/O的開銷，以自動化的模式，完成對數(shù)據(jù)內(nèi)容的分析、處理和存儲工作，以提高數(shù)據(jù)查詢和響應(yīng)速度。
• 利用分布式數(shù)據(jù)庫所具備的獨特性，生成數(shù)據(jù)包，保證相關(guān)人員能夠基于海量的數(shù)據(jù)內(nèi)容完成對數(shù)據(jù)信息的計算、分析等工作。即便數(shù)據(jù)庫內(nèi)的數(shù)據(jù)量有所增加，系統(tǒng)仍可保障數(shù)據(jù)的可拓展性，從而及時完成對數(shù)據(jù)內(nèi)容的處理工作，不會因為數(shù)據(jù)形式的改變而出現(xiàn)存儲異常。

2.4利用并行處理技術(shù)

在分布式數(shù)據(jù)庫運行過程中，相關(guān)人員可以通過數(shù)據(jù)查詢和數(shù)據(jù)加載的方式了解其所具備的自動、高效處理性能。融入并行處理技術(shù)，利用智能算法增加多核資源內(nèi)容的適配性，以CPU資源的并行方式，保障用戶能夠通過數(shù)據(jù)庫完成對相關(guān)內(nèi)容的分區(qū)查詢，并保證數(shù)據(jù)在運行過程中不會出現(xiàn)問題。

首先，可以根據(jù)數(shù)據(jù)的特征與具體分布情況選擇合適的算法，實現(xiàn)對數(shù)據(jù)內(nèi)容的處理，相當(dāng)于可以通過并發(fā)運行與低效寫操作的方式實現(xiàn)對資源內(nèi)容的整理，并通過查詢操作，了解數(shù)據(jù)自適應(yīng)條件。

其次，相關(guān)人員可以通過分布式并行技術(shù)的使用，實現(xiàn)對系統(tǒng)內(nèi)資源信息的管控。以負載均衡的方式，實現(xiàn)對相關(guān)內(nèi)容的平衡與調(diào)度；利用并行處理的過程，讓用戶可以面向相同的數(shù)據(jù)庫系統(tǒng)完成對各節(jié)點工作內(nèi)容的調(diào)度；加強對查詢請求的分解，以制訂節(jié)點查詢方案。這樣一來，其可以結(jié)合不同節(jié)點內(nèi)所檢索到的數(shù)據(jù)內(nèi)容，生成查詢結(jié)果，并開展統(tǒng)一的匯總工作。待融入并行處理技術(shù)后，則可落實單個項目的查詢?nèi)蝿?wù)，使該部分內(nèi)容能夠在同一臺主機上進行分解，使多個CPU能夠進行并行運算。同時，相關(guān)人員也可以結(jié)合用戶的具體情況，使用戶的查詢?nèi)蝿?wù)進行分解，以多臺主機的形式，利用CPU完成運算。

例如：為了確保數(shù)據(jù)能夠在數(shù)據(jù)庫內(nèi)合理應(yīng)用，可以通過數(shù)據(jù)分辨的方式來夯實分布式數(shù)據(jù)庫技術(shù)的基礎(chǔ)。按照規(guī)定，將數(shù)據(jù)內(nèi)容分成多個片段，采用不同節(jié)點的存儲方式，保證用戶在數(shù)據(jù)查詢過程中能夠以并行的方式實現(xiàn)對不同節(jié)點上數(shù)據(jù)片段內(nèi)容的檢索，從而根據(jù)最終結(jié)果了解數(shù)據(jù)需要被集合或返回。又如：可以通過數(shù)據(jù)復(fù)制的方式，提高數(shù)據(jù)信息的可用性。將各分片的數(shù)據(jù)內(nèi)容復(fù)制到對應(yīng)的節(jié)點上，以展現(xiàn)出數(shù)據(jù)信息的可用性和可靠性，實現(xiàn)對數(shù)據(jù)內(nèi)容的同步存儲，以方便用戶針對于節(jié)點中數(shù)據(jù)的情況進行添加、修改、刪除等操作，從而確保數(shù)據(jù)庫中的內(nèi)容是一致的。

2.5加強智能索引

分布式數(shù)據(jù)庫所應(yīng)用的智能索引技術(shù)需建立在數(shù)據(jù)包的前提下，使相關(guān)人員可以在數(shù)據(jù)包進行加載時，以自動建立的方式開展信息統(tǒng)計和過濾活動，將粗粒度較高的數(shù)據(jù)進行處理，以智能索引的方式實現(xiàn)對數(shù)據(jù)內(nèi)容的描述，并利用高級信息與所描述內(nèi)容的聯(lián)系，實現(xiàn)對數(shù)據(jù)報需求的全面分析。

• 相關(guān)人員可以通過子查詢和多表連接的方式，在表中創(chuàng)建自動索引，使相關(guān)人員以無須手工維護和建立的方式進行工作，而是通過智能索引的方法，讓通過索引后的結(jié)果內(nèi)容不會出現(xiàn)膨脹的情況，待數(shù)據(jù)包完成建立以后，前面的數(shù)據(jù)包也不會受到影響。這樣一來，相關(guān)人員無需進行解包處理，就可實現(xiàn)對數(shù)據(jù)內(nèi)容的快速調(diào)閱，降低了I/O的速度。即便面臨復(fù)雜的查詢工作，相關(guān)人員也可通過各節(jié)點的有效調(diào)度與平衡方式，以并行處理的方式，實現(xiàn)對300TB有效數(shù)據(jù)量的處理。
• 根據(jù)系統(tǒng)所具備的并行計算能力，以自主查詢集群的方式，實現(xiàn)對150TB以內(nèi)數(shù)據(jù)量的有效調(diào)閱，以展現(xiàn)出交換機、網(wǎng)卡和節(jié)點內(nèi)筒的高效適用性。同時，生成數(shù)據(jù)庫網(wǎng)絡(luò)架構(gòu)，將千兆電口的網(wǎng)卡應(yīng)用于對外節(jié)點內(nèi)，讓用戶可以登入系統(tǒng)，并在監(jiān)控信息通訊層面上考慮數(shù)據(jù)的通信。部署54/36個節(jié)點，設(shè)置集群一和集群二，在每個節(jié)點內(nèi)配置1臺服務(wù)器，以保證集群內(nèi)的節(jié)點是對等的。這樣，相關(guān)人員可以通過對節(jié)點內(nèi)容的拆分，利用智能索引的方式，完成對數(shù)據(jù)的裝載、壓縮、計算、刪除等工作。

3 結(jié)語

綜上所述，分布式數(shù)據(jù)技術(shù)可以讓數(shù)據(jù)分散到多個節(jié)點，擴容數(shù)據(jù)庫，并能保持數(shù)據(jù)一致和實現(xiàn)數(shù)據(jù)同步。但在多個節(jié)點存在相同數(shù)據(jù)副本時，與單機數(shù)據(jù)庫相比，維護成本、系統(tǒng)復(fù)雜性較高。未來，在應(yīng)用分布式數(shù)據(jù)庫技術(shù)時，應(yīng)做好傳輸加密機權(quán)限控制，實現(xiàn)對分布式數(shù)據(jù)庫的性能優(yōu)化，從而推進該技術(shù)在云計算、大數(shù)據(jù)處理、物聯(lián)網(wǎng)等領(lǐng)域內(nèi)的廣泛應(yīng)用。

參考文獻

[1]王儒升.分布式數(shù)據(jù)庫在信息化管理系統(tǒng)中的應(yīng)用探析[J].電腦知識與技術(shù)，2023，19（35）：83-85.

[2]張子豪.分布式數(shù)據(jù)庫中事務(wù)協(xié)議與一致性協(xié)議的協(xié)同優(yōu)化[D].上海華東師范大學(xué)，2024.

[3]崔爽.中國場景推動分布式數(shù)據(jù)庫立新標[N].科技日報，2023-11-23（6）.

[4]李勇，唐國琴，羅瑯騰，等.云環(huán)境下海量GPS、視頻監(jiān)控數(shù)據(jù)存儲檢索研究[J].電力大數(shù)據(jù)，2022，25（5）：85-92.

[5]盧山.無線網(wǎng)絡(luò)優(yōu)化中大數(shù)據(jù)的應(yīng)用分析[J].中國新通信，2021，23（20）：68-69.

[6]侯曉東，王勐，周軒宇.分布式數(shù)據(jù)庫技術(shù)的現(xiàn)狀和發(fā)展方向[J].中國新通信，2020，22（8）：120.