基于大數(shù)據(jù)庫的大型管理信息系統(tǒng)優(yōu)化設(shè)計

臧飛 張豹

（中國電子科技集團公司第二十八研究所 江蘇省南京市 210000）

大型通信信息管理系統(tǒng)采用大數(shù)據(jù)庫技術(shù)，所需要用到的硬件設(shè)備要可以保證適用于本地區(qū)的通信網(wǎng)絡(luò)和通信管理局網(wǎng)，必須具備非常優(yōu)秀的適應(yīng)性，在一定范圍內(nèi)能夠做到聯(lián)網(wǎng)。一方面能夠保證信息的傳輸做到及時準(zhǔn)確傳達(dá)，另一方面還能根據(jù)實際需求對不同的信息資源進(jìn)行自動處理，做到分配合理，讓信息資源的轉(zhuǎn)換更加精準(zhǔn)高效，此外，還能為信息鏈路通信管理奠定良好的基礎(chǔ)，讓通信信息的管理更高效?；诖髷?shù)據(jù)庫的通信信息管理系統(tǒng)有助于信息資源合理選擇并實現(xiàn)自動調(diào)配，從而起到通信路由自動被選取的作用，與局域網(wǎng)保持管控同步的狀態(tài)，讓信息資源和硬件設(shè)備的管理變得優(yōu)化，數(shù)字信息鏈接完美。

1 大數(shù)據(jù)庫技術(shù)簡介

目前，大數(shù)據(jù)庫技術(shù)得到了快速發(fā)展，也變得更加完善，各種開源社區(qū)和公司均開發(fā)出各種功能完善、性能優(yōu)化的新型數(shù)據(jù)庫，以此來處理海量數(shù)據(jù)的傳輸、管理和存儲等方面的疑難問題?，F(xiàn)階段，應(yīng)用較為廣泛的大數(shù)據(jù)庫技術(shù)主要分成四類，包括內(nèi)存數(shù)據(jù)庫、列式數(shù)據(jù)庫、流式數(shù)據(jù)庫和鍵值數(shù)據(jù)庫等。具體如下：

1.1 內(nèi)存數(shù)據(jù)庫

在數(shù)據(jù)庫的內(nèi)存中直接完成全部數(shù)據(jù)的處理，通常數(shù)據(jù)庫會設(shè)置緩存機制，大部分的數(shù)據(jù)都能夠從外存到內(nèi)存的自動讀取操作，但是卻會使系統(tǒng)的自身性能得到一定的下降。因為內(nèi)存中數(shù)據(jù)的讀/寫均是以納秒為單位的，所以內(nèi)存數(shù)據(jù)庫有著極強的性能，最具代表性的內(nèi)存數(shù)據(jù)庫就是Spark。

1.2 列式數(shù)據(jù)庫

運用列族將數(shù)據(jù)完好儲存，把常用的數(shù)據(jù)放入同一列族，比如：在學(xué)生信息管理系統(tǒng)中，學(xué)生的姓名和學(xué)號查詢得較為頻繁，學(xué)生的專業(yè)很少查詢到，所以就可以將學(xué)生的姓名和學(xué)號放入同一列族中，而在另一列族中放入學(xué)生的專業(yè)。一般在分布式大數(shù)據(jù)的存儲過程中會用到這種類型的數(shù)據(jù)庫，最具代表性的列式數(shù)據(jù)庫是HBase。

1.3 流式數(shù)據(jù)庫

通常情況下，數(shù)據(jù)的價值伴隨時間的推移會逐步降低，所以運用使式數(shù)據(jù)庫能夠進(jìn)行流式計算。所謂的流式計算也即把不斷涌入的數(shù)據(jù)當(dāng)成數(shù)據(jù)流，它可以最大限度地將最新流入的數(shù)據(jù)進(jìn)行快速計算，且能得出結(jié)果，可以說是能做到實時計算，最具代表性的流式數(shù)據(jù)庫包括Storm 和Spark Streaming。

1.4 鍵值數(shù)據(jù)庫

鍵值數(shù)據(jù)庫運用得是哈希表的結(jié)構(gòu)，將某個指向特定數(shù)據(jù)的指針與一個特定的鍵相聯(lián)，這個鍵的功能是能夠?qū)崿F(xiàn)數(shù)據(jù)的查詢、刪除和添加等操作，這樣就可以使數(shù)據(jù)庫更加具備擴展性，讓整個信息管理系統(tǒng)的性能也更優(yōu)越，最具代表性的鍵值數(shù)據(jù)庫為MemcacheDB、Redis、Memcached 等。

2 基于大數(shù)據(jù)庫的大型管理信息系統(tǒng)硬件優(yōu)化設(shè)計

傳統(tǒng)的數(shù)據(jù)庫采用的是二維關(guān)系模型，這也是在數(shù)據(jù)信息管理中運用數(shù)據(jù)庫技術(shù)的標(biāo)志，采取數(shù)據(jù)結(jié)構(gòu)化存儲，其優(yōu)點為數(shù)據(jù)和程序具備擴充容易、高獨立性以及冗余比較低等。在隨后的互聯(lián)網(wǎng)技術(shù)發(fā)展中，出現(xiàn)了非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)，因此，傳統(tǒng)的二維關(guān)系模型滿足不了需求，需要不斷提升數(shù)據(jù)庫技術(shù)。本文研究的基于大數(shù)據(jù)庫的通信信息管理系統(tǒng)，下述為硬件優(yōu)化設(shè)計策略。

2.1 外部接口設(shè)計

基于大數(shù)據(jù)庫技術(shù)的網(wǎng)絡(luò)通信信息管理系統(tǒng)要能夠與其它系統(tǒng)聯(lián)系得非常緊密，因此，就需要對外部結(jié)構(gòu)進(jìn)行優(yōu)化設(shè)計，以此保證連接效果達(dá)到最優(yōu)化；在數(shù)據(jù)庫的運行狀態(tài)中，上下層網(wǎng)管的接口要重點考慮。其次，還需要設(shè)計光纜監(jiān)察模塊結(jié)構(gòu)、辦公文件接口和數(shù)據(jù)統(tǒng)計分析接口。當(dāng)然，這些接口可以同時支持 Correct、TCP、Web Service 以及實時共享數(shù)據(jù)等方式。

2.2 服務(wù)層

服務(wù)層中需要配備很多應(yīng)用服務(wù)器，其功能為處理通信系統(tǒng)中所有單元模塊所傳輸過來的數(shù)據(jù)信息，并且能夠邏輯性地分析這些數(shù)據(jù)信息。在信息管理系統(tǒng)運行時，需要能夠及時把通信需求轉(zhuǎn)變成數(shù)據(jù)庫信息服務(wù)的內(nèi)部要求，并且把分析結(jié)果快速上傳到另一個單元模塊進(jìn)行處理，實現(xiàn)具體的表現(xiàn)層，從而保證信息管理的整個過程是公開化、透明化的，所以將使整個通信信息管理系統(tǒng)更具人性化、科學(xué)化，實踐應(yīng)用也更有顯著的效果。

3 基于大數(shù)據(jù)庫的大型信息管理系統(tǒng)的軟件優(yōu)化設(shè)計

3.1 接入層點接入

在軟件設(shè)計時，接入層的信息傳輸方案與主通信層的信息傳輸技術(shù)方案應(yīng)該是相同的。在實際設(shè)計環(huán)節(jié)，這個要求是通信交換機和路由器相連的最基本保證。通常而言，交換器要用到3 臺，所以在與之對應(yīng)的局域網(wǎng)交換器中運用單元模塊進(jìn)行信息的傳輸和存儲功能。當(dāng)然，要根據(jù)實際的應(yīng)用場景設(shè)計對應(yīng)的接入層點，以通信交換器和路由器的連接要求為參考點，用到三臺交換器，并且硬件設(shè)備和系統(tǒng)也隨之變化，這能保證局域網(wǎng)內(nèi)部的數(shù)據(jù)信息更具有安全性，保證信息傳輸更加高效精準(zhǔn)。

3.2 數(shù)據(jù)開采軟件

在實際的數(shù)據(jù)信息傳輸中，數(shù)據(jù)開采一般是分成不同時期的，包括準(zhǔn)備時期、開采時期和敘述時期等。根據(jù)實際通信需求，采用多元化的方法，在查詢數(shù)據(jù)和開采數(shù)據(jù)時，也是要科學(xué)選擇。通常選擇的衡量標(biāo)準(zhǔn)是興趣度，當(dāng)然具體的標(biāo)準(zhǔn)還能夠深度細(xì)分，如簡潔性、實用性、創(chuàng)新性和準(zhǔn)確性等。數(shù)據(jù)開采軟件的設(shè)計時以實際應(yīng)用場景和通信需求為出發(fā)點，選擇科學(xué)的、合適的數(shù)據(jù)開采方式，特別是要能保證整個信息管理系統(tǒng)可以穩(wěn)定運行，選擇對應(yīng)的衡量標(biāo)準(zhǔn)，重視數(shù)據(jù)的實用性和精準(zhǔn)性，保證數(shù)據(jù)開采能夠高效進(jìn)行。

3.3 數(shù)據(jù)的獨立性

基于大數(shù)據(jù)庫的大型通信信息管理系統(tǒng)要想具備良好的適應(yīng)性，就需要使數(shù)據(jù)獨立性變得更強，可以從參數(shù)獨立性、視圖和存儲等三個方面進(jìn)行。

3.3.1 參數(shù)獨立性

把衡量標(biāo)準(zhǔn)和相關(guān)的算法等盡量都能在數(shù)據(jù)庫中進(jìn)行存儲，而不是在應(yīng)用程序中進(jìn)行固化，這就可以保證當(dāng)實際應(yīng)用場景出現(xiàn)變化時，僅僅通過修改相關(guān)的數(shù)據(jù)就能滿足新的需求。當(dāng)然，為了進(jìn)一步增加系統(tǒng)的適應(yīng)性，還能夠設(shè)計相關(guān)的界面，確保使用者不需要通過DBA 也能夠修改，這樣更加便捷。假設(shè)在應(yīng)用程序中將算法和標(biāo)準(zhǔn)進(jìn)行固化，一方面要把應(yīng)用程序進(jìn)行重新理解，修改應(yīng)用恒旭，還要把整個應(yīng)用程序展開重新編譯和重新安裝。

3.3.2 優(yōu)化視圖設(shè)計

之所以GQL Server 可以在不同的功能中有著很好的適用性，視圖是重點，視圖主要是用于創(chuàng)建動態(tài)表的靜態(tài)定義。在數(shù)據(jù)庫的應(yīng)用中，視圖是實際應(yīng)用和關(guān)系表之間的橋梁，它更能滿足實際應(yīng)用的需求，如果涉及到高級算法，視圖也需要進(jìn)行高級設(shè)計。在大型網(wǎng)絡(luò)信息管理系統(tǒng)中，各個板塊的子系統(tǒng)一般是多個開發(fā)人員進(jìn)行設(shè)計。運用視圖就能防止依賴于其它子系統(tǒng)的表，讓邏輯數(shù)據(jù)更加具備獨立性。如果子系統(tǒng)在邏輯上發(fā)生改變，依然能夠運用視圖得出不變的數(shù)據(jù)模式，這樣就不需要使應(yīng)用程序重復(fù)修改，提高開發(fā)系統(tǒng)的效率。信息管理系統(tǒng)中各部門需要處理不同的數(shù)據(jù)信息，一般會運用SQL 去獲取所需要的的數(shù)據(jù)集，優(yōu)化視圖就能防止每次使用這個數(shù)據(jù)集而去重新編寫負(fù)責(zé)的SQL 命令，使編寫應(yīng)用程序變得快捷簡化。此外，視圖使用能夠?qū)崿F(xiàn)數(shù)據(jù)的保密性，只能讓用戶看到自己所需的數(shù)據(jù)，其它部分的數(shù)據(jù)看不到。

3.3.3 存儲過程

相比于維護應(yīng)用程序，存儲過程更容易。在實際應(yīng)用中，計算方法、條件和查詢范圍都會有一定的變化，如果通過重新修改和安裝應(yīng)用程序則會加大工作量，而直接修改維護相應(yīng)的存儲過程，則比較高效。當(dāng)修改了信息管理系統(tǒng)的存儲過程，在首次調(diào)用此存儲過程的過程中，DBMS 能夠進(jìn)行自動編譯，這就變得更加靈活，降低工作量。

4 試驗測試與效果反饋

4.1 試驗準(zhǔn)備階段

為了讓試驗結(jié)果更有精準(zhǔn)性和科學(xué)性，把兩種不同的網(wǎng)絡(luò)通信信息管理系統(tǒng)用于同一試驗環(huán)境中進(jìn)行測試，這樣就能判定出兩種信息管理系統(tǒng)的實際應(yīng)用效果。在此環(huán)境中，要控制好試驗環(huán)境，防止出現(xiàn)其它因素干擾試驗結(jié)果，保證試驗結(jié)果的有效性。用控制變量法進(jìn)行試驗測試，兩種信息管理系統(tǒng)的變量因素都是一致的，讓整個試驗更具科學(xué)性和嚴(yán)謹(jǐn)性。

4.2 試驗結(jié)果反饋

基于大數(shù)據(jù)庫技術(shù)的網(wǎng)絡(luò)通信信息管理系統(tǒng)，相比于傳統(tǒng)的信息管理系統(tǒng)表現(xiàn)出更加高效、優(yōu)質(zhì)的試驗效果。同時，在試驗測試的不同階段，基于數(shù)據(jù)庫技術(shù)的網(wǎng)絡(luò)通信信息管理系統(tǒng)的數(shù)據(jù)信息管理效率始終都高于傳統(tǒng)的信息管理系統(tǒng)。在試驗測試初始時期，基于大數(shù)據(jù)庫技術(shù)的網(wǎng)絡(luò)通信信息管理系統(tǒng)的管理效率直接超過90%，在這個階段的傳統(tǒng)信息管理系統(tǒng)的管理效率只能達(dá)到70%。在隨后的測試中，基于數(shù)據(jù)庫技術(shù)的網(wǎng)絡(luò)通信管理系統(tǒng)還在不斷提高管理效率，最高能達(dá)到98%，即使管理效果有一定的波動，卻一直都是超過90%的狀態(tài)。傳統(tǒng)的信息管理系統(tǒng)卻一直是70%的管理效率的狀態(tài)，管理效率提升也并不明顯。根據(jù)上述結(jié)果反饋可知，基于大數(shù)據(jù)庫技術(shù)的網(wǎng)絡(luò)通信信息管理系統(tǒng)可以表現(xiàn)出水平非常高的管理效果，明顯優(yōu)于傳統(tǒng)的信息管理系統(tǒng)。

5 結(jié)束語

隨著人們的工作和生活的需求不斷提高，對信息管理系統(tǒng)的要求也越高，因此，加強對大型信息管理系統(tǒng)技術(shù)的研究是必需的。傳統(tǒng)的信息管理系統(tǒng)如果想要處理海量數(shù)據(jù)信息，且保證信息處理高效準(zhǔn)確，則要用到一系列的硬件設(shè)備，還需要眾多人員去維護信息和管理線路。因此，將大數(shù)據(jù)庫技術(shù)應(yīng)用到大型信息管理系統(tǒng)中，將能提升管理效率，保證數(shù)據(jù)信息的精準(zhǔn)性和高效性。