實時監管系統中數據庫分段存取更新方法研究

朱琪 黎亞炎 付江泳 夏克愚 張良斌 黃文明

摘 要

針對本次大學生創新創業項目中的我們項目的數據庫存取查詢效率要求，近年來數據庫的一般使用方法對于本次設計使用的系統存在一些缺陷。為此，設計提出了一種適用的分段式數據庫實時存取方法。本次數據庫設計時，在通過數據庫請求數據方面有兩個主要請求方式，一個是通過遠程終端連接服務器并實時寫入位置信息，另一個是通過客戶端遠程連接數據庫進行數據的各種管理操作，通過對于本項目數據進入數據庫的不同的存取方式，時間等的不同要求，將第一個存取數據庫方式設置為通過一個依附于數據庫的控制端，使用控制端完成接收遠程終端傳輸的位置信息，并引入緩沖技術，在數據量突增是觸發報警并開啟雙倍緩沖，緩沖數據到指定數量后由控制端完成多個信息一次寫入數據庫的操作。另一個數據請求分支由于請求量小，因此直連到數據庫進行操作。實驗結果表明，所提方法對于數據庫的平均負荷量較一般直連負荷量低，存取性能優。

關鍵詞

數據分段式存取;實時;自動化

中圖分類號： TP393.09 ? ? ? ? ? ? ? ? ?文獻標識碼： A

DOI：10.19694/j.cnki.issn2095-2457.2020.15.006

數據庫是依照某種數據模型組織起來并存放二級存儲器中的數據集合。從發展的歷史看，數據庫是數據管理的高級階段，它是由文件管理系統發展起來的。當數據庫對遠程信息進行管理和操作時，選擇適用于數據存取，存取效率高的數據庫非常有必要，在本次項目對于數據的實時性和準確性有一定的要求，設計一款適合本次項目的配套數據庫存取方案顯得尤為重要，它能夠保持進入數據庫的數據在準確性的前提下，使得數據庫不因為大量的小數據片段的插入而導致數據庫負荷量過載，從另一方面也是保證了數據庫的安全可靠運行。

文獻[2]提出了一種基于信息流分析的數據庫存取方法，對于數據的進入進行語義上下文的分析，該控制方法雖然控制效果好，但對于本項目中對于角色的控制并不多，此種方法將增加數據庫負荷，其也需要驗證存取和系統日志，運行效率較低;文獻[3]提出了一種大規模數據庫實時自主控制的存取方法，其對于用戶控制和數據的高效穩定存取都做了很好的改善，但針對本次設計的系統所使用來說，其所使用的貝爾-拉帕丟拉模型的密級劃分對于此次少用戶的系統并不適用，反而導致對于用戶控制方面的判斷較多，影響運行效率。

根據以上文獻所提出的方法對于本次系統中所存在的不足，提出一種適用于實時大量小數據存取數據庫的存取控制方法，其對于角色控制并不深究，通過單次插入數據和批量插入數據的時空消耗對比實現了在實時系統中的分段批量插入數據，提高了運行效率，在控制端設置緩沖池，保證了數據的可靠性和當數據出現波動時的數據安全性。

1 分段式實時數據庫存取控制方法

1.1 項目場景

本次所開發的項目所需要的數據庫為實時存取效率高的數據庫，在遠程終端將位置信息發送到數據庫時，數據庫必須將位置信息實時記錄，在設計中必須避免因為數據庫負荷量過大而導致的數據丟失，嚴重還可導致數據庫停止工作此類問題，在設計過程中，因為項目所需要的數據庫必須穩定可靠，所以開發一款依附于數據庫運行的控制端顯得尤為重要。

1.2 分段式存取模型

分段式存儲模型在數據的存取上使用緩沖技術，將實時的數據緩沖分段進行存儲，在其控制機制中有緩沖池，其可以將接收到的數據暫時保存，當緩沖的數據量達到指定數量時，將開啟與數據庫的連接，然后使用一條sql語句將緩沖到的數據一次插入數據庫中，同時緩沖池也還在繼續工作，當插入完畢后，等待下一段數據緩沖完成，再次插入。當數據庫插入速度慢于數據接收速度時，此模型將會發送報警信息，并自動調整到雙倍緩沖數量，降低數據庫的負荷，根據數據庫中存取一次數據時間的消耗分析，在數據庫進行連接和斷開時消耗的時間占總時間的70%以上，所以在雙倍緩沖的情況下，在數據量不是劇增多倍時，可以有效地保護數據庫并保護數據。

此次模型的實現方式是設計依附于數據庫的控制端，控制端主要有以下幾點功能，其與數據庫隨時保持連接，并檢測數據庫的狀態，當數據庫有任何問題時都會將報警信息發送到客戶端、控制端接收遠程終端所發來的位置信息，并將其進行緩沖，后插入，緩沖在插入執行時若滿，則執行雙倍緩沖并報警。

2 實驗結果分析

2.1 測試環境

為了驗證此模型的有效性和實用性，需要進行相關的實驗分析，實驗將直連數據庫直接插入和設置控制端緩沖插入進行對比，在如圖所示的實驗拓撲環境下進行。

實驗測試環境如下數據庫所依存PC機處理器為Intel酷睿i7，主頻2.2GHz，物理內存為8G，硬盤500G。

2.2 數據插入測試

針對數據庫中插入數據的速度進行兩種連接方式的對比，實驗使用1條/秒、10條/秒、100條/秒， 1000條/秒的數據量進行測試，其中，控制端緩沖池的緩沖一倍數量為100。分別用兩種連接方式插入時數據庫和數據完整性對比如表1所示

分析數據量可得，在分段式存儲插入的情況下，緩沖并批量插入數據庫較直連插入數據庫有著很大的優勢，其最大限度地保護了數據的完整性和數據庫的安全性，具有可靠性，適用于實時大量數據插入處理項目中的數據庫配套使用。

3 結論

提出一種實用新型的實時監控系統中數據庫存取控制方法，在解決實時存取數據庫中插入時連接和斷開頻繁操作所產生的巨大時間消耗的問題上，分段式存取方式引入緩沖技術，將每次頻繁需要插入的數據進行緩沖整理，后批量插入，并在此基礎上加入數據接收量超常緩沖數量自動翻倍并報警的機制，使得在存取數據是保證了數據的完整性，同時也保證了數據庫的安全可靠運行。通過實驗數據表明，本文所提方法存取效率高，數據安全可靠，數據庫安全穩定運行。

參考文獻

[1]彭建華，李臣明，邱軍林，等.接收與處理分離的實時大數據處理模型[J].計算機科學與探索，2015%9（8）：906-913.

[2]Wu C，Zhu Q，Xu W，et a l A real-time geo-processing database engine linking calculations and storage for VGE.Annals of Gis，2015%21（4）：1-10.

[3]徐艷，董濤.大規模數據庫實時自主存取控制方法研究[J].科學技術與工程，2017：205-209.