基于群體協(xié)同智能聚類的大數(shù)據(jù)存儲(chǔ)系統(tǒng)設(shè)計(jì)

劉先花

摘 要： 針對(duì)傳統(tǒng)基于PSO聚類的大數(shù)據(jù)存儲(chǔ)系統(tǒng)進(jìn)行數(shù)據(jù)聚類時(shí)容易陷入局部最佳解，收斂效率低，數(shù)據(jù)存儲(chǔ)性能差，設(shè)計(jì)一種基于群體協(xié)同智能聚類的大數(shù)據(jù)存儲(chǔ)系統(tǒng)。基于群體協(xié)同智能聚類系統(tǒng)的層次結(jié)構(gòu)，設(shè)計(jì)大數(shù)據(jù)存儲(chǔ)系統(tǒng)的層次模型，并依據(jù)群體協(xié)同智能聚類的特征，設(shè)計(jì)大數(shù)據(jù)存儲(chǔ)系統(tǒng)的體系結(jié)構(gòu)。該系統(tǒng)采用的群體協(xié)同智能聚類方法在PSO算法中融入多種群協(xié)同進(jìn)化的方案，避免出現(xiàn)局部最優(yōu)解問(wèn)題，將總體種群劃分成多個(gè)子種群，各子種群獨(dú)立進(jìn)化，對(duì)共享信息實(shí)施周期性調(diào)控，獲取最佳的數(shù)據(jù)聚類結(jié)果，提高數(shù)據(jù)聚類的效率和精度，增強(qiáng)大數(shù)據(jù)存儲(chǔ)性能。實(shí)驗(yàn)結(jié)果說(shuō)明所設(shè)計(jì)系統(tǒng)收斂性能高，并且具有較高的數(shù)據(jù)讀寫(xiě)性能和分析性能。

關(guān)鍵詞： 群體協(xié)同； 智能聚類； 大數(shù)據(jù)； 存儲(chǔ)

中圖分類號(hào)： TN911.1?34； TP391.72 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2017）23?0130?04

Abstract： The traditional large data storage system based on PSO clustering is easy to fall into the local optimal solution for data clustering， and has low convergence efficiency and poor data storage performance. Therefore， a large data storage system based on swarm collaboration intelligent clustering was designed. On the basis of the hierarchical structure of the swarm collaboration intelligent clustering system， the hierarchical model of the large data storage system was designed. According to the features of the swarm collaboration intelligent clustering， the system architecture of the large data storage system was designed. The swarm collaboration intelligent clustering method is used in the system to fuse the multi?population coevolution scheme into PSO algorithm to avoid the local optimal solution problem. The total populations are divided into several sub populations. Each sub?population is evolved independently to perform the periodic regulation for the shared information， get the best data clustering result， improve the efficiency and accuracy of data clustering， and enhance the large data storage performance. The experimental results show that the designed system has high convergence performance， high data read and write performance， and perfect analysis performance.

Keywords： swarm collaboration； intelligent clustering； large data； storage

0 引 言

隨著計(jì)算機(jī)網(wǎng)絡(luò)和數(shù)據(jù)庫(kù)技術(shù)的快速發(fā)展，當(dāng)前社會(huì)的信息化進(jìn)程逐漸加快，管理人員需要對(duì)海量信息實(shí)施決策。大數(shù)據(jù)存儲(chǔ)系統(tǒng)是基于數(shù)據(jù)分析輔助決策的策略。聚類是分析數(shù)據(jù)并從中采集有價(jià)值信息的合理方案，通過(guò)聚類能夠獲取全局的分布模式和數(shù)據(jù)屬性間有價(jià)值的關(guān)系，是一種重要的數(shù)據(jù)挖掘方法[1]。而傳統(tǒng)基于PSO聚類的大數(shù)據(jù)存儲(chǔ)系統(tǒng)進(jìn)行數(shù)據(jù)聚類時(shí)容易陷入局部最佳解，收斂效率低，數(shù)據(jù)存儲(chǔ)性能差。群體智能是一種高性能的計(jì)算機(jī)技術(shù)，具備生物系統(tǒng)高效的操作方案和特征，能夠有效處理大數(shù)據(jù)的全局優(yōu)化問(wèn)題。因此，本文設(shè)計(jì)基于群體協(xié)同智能聚類的大數(shù)據(jù)存儲(chǔ)系統(tǒng)，增強(qiáng)數(shù)據(jù)的存儲(chǔ)質(zhì)量。

1 群體協(xié)同智能聚類的大數(shù)據(jù)存儲(chǔ)系統(tǒng)

1.1 群體協(xié)同智能聚類系統(tǒng)的層次模型

基于層次模型，將群體協(xié)同智能聚類系統(tǒng)劃分成應(yīng)用層、任務(wù)層、功能層以及物理層[2]。通過(guò)4種方法實(shí)現(xiàn)四個(gè)層次，分別是應(yīng)用層的控制論方法、任務(wù)層的任務(wù)框架法、功能層的模型集成法以及物理層的GDISS描述語(yǔ)言法。

應(yīng)用層用于描述問(wèn)題求解活動(dòng)在群體協(xié)同智能聚類系統(tǒng)中的語(yǔ)義描述，對(duì)系統(tǒng)的環(huán)境、問(wèn)題以及用戶解決問(wèn)題的過(guò)程實(shí)施描述。應(yīng)用層可描述成：應(yīng)用層=<<環(huán)境>，<用戶>，<問(wèn)題描述>，<問(wèn)題求解過(guò)程表述>>。

任務(wù)層在計(jì)算機(jī)中實(shí)現(xiàn)對(duì)應(yīng)用層的描述，其可描述成：任務(wù)層=<<任務(wù)結(jié)構(gòu)>，<任務(wù)控制過(guò)程>>。

功能層是實(shí)現(xiàn)任務(wù)層的支撐結(jié)構(gòu)，由相應(yīng)的功能軟件構(gòu)成。采用模型集成法實(shí)現(xiàn)功能層，該方法中的復(fù)合模型由簡(jiǎn)單子模型構(gòu)成，為群體協(xié)同智能聚類系統(tǒng)的實(shí)現(xiàn)提供模型[3]。endprint

物理層用于描述群體協(xié)同智能聚類系統(tǒng)的計(jì)算機(jī)應(yīng)用實(shí)現(xiàn)，對(duì)功能層的實(shí)現(xiàn)實(shí)施支撐。

1.2 大數(shù)據(jù)存儲(chǔ)系統(tǒng)的層次模型

大數(shù)據(jù)存儲(chǔ)系統(tǒng)是群體協(xié)同智能聚類系統(tǒng)的關(guān)鍵部分，塑造數(shù)據(jù)存儲(chǔ)系統(tǒng)前需要明確用戶需求，再采用語(yǔ)義層將業(yè)務(wù)問(wèn)題映射成不同類型的分析模型以及挖掘模型，并通過(guò)系統(tǒng)內(nèi)的數(shù)據(jù)得到最終的解[4]。本文基于層次模型法和群體協(xié)同智能聚類系統(tǒng)的層次模型，將大數(shù)據(jù)存儲(chǔ)系統(tǒng)劃分成應(yīng)用層、功能層、語(yǔ)義層、設(shè)計(jì)層以及數(shù)據(jù)層，具體結(jié)構(gòu)如圖1所示。

（1） 應(yīng)用層是大數(shù)據(jù)存儲(chǔ)系統(tǒng)的頂層，是群體協(xié)同智能聚類系統(tǒng)的應(yīng)用層以及任務(wù)層在大數(shù)據(jù)存儲(chǔ)系統(tǒng)部件中的映射，可以進(jìn)行問(wèn)題的描述、劃分以及任務(wù)的分配[5]。問(wèn)題的描述以及劃分可得到合理的求解策略，任務(wù)劃分是得到不同決策人員需要處理的問(wèn)題。該層中的關(guān)鍵成員是用戶和問(wèn)題。

（2） 功能層是實(shí)現(xiàn)應(yīng)用層的支撐結(jié)構(gòu)，包括相關(guān)的功能軟件。其對(duì)應(yīng)于群體協(xié)同智能聚類系統(tǒng)功能層內(nèi)的相關(guān)功能，從大數(shù)據(jù)存儲(chǔ)系統(tǒng)中采集有價(jià)值的數(shù)據(jù)，并且對(duì)數(shù)據(jù)進(jìn)行發(fā)行，確保用戶實(shí)現(xiàn)數(shù)據(jù)的高效訪問(wèn)[6]。其是數(shù)據(jù)在數(shù)據(jù)存儲(chǔ)系統(tǒng)中同用戶工具間進(jìn)行交互的橋梁。

（3） 語(yǔ)義層是一種語(yǔ)義轉(zhuǎn)換過(guò)程，實(shí)現(xiàn)設(shè)計(jì)層的數(shù)據(jù)模型到功能層的業(yè)務(wù)轉(zhuǎn)換，將設(shè)計(jì)層的數(shù)據(jù)模型采用用戶可理解的業(yè)務(wù)術(shù)語(yǔ)進(jìn)行描述。群體協(xié)同智能聚類系統(tǒng)中的成員基于語(yǔ)義層中的語(yǔ)義轉(zhuǎn)換功能，對(duì)相關(guān)功能實(shí)施處理時(shí)，可采用常用的手段對(duì)底層數(shù)據(jù)模型實(shí)施處理。

（4） 設(shè)計(jì)層基于用戶需求，采用信息包圖設(shè)置主題內(nèi)容以及關(guān)鍵檢測(cè)指標(biāo)間的關(guān)系，通過(guò)數(shù)據(jù)模型的可視化描述塑造便于檢索的星形圖，實(shí)時(shí)響應(yīng)大數(shù)據(jù)系統(tǒng)用戶的檢索需求，基于數(shù)據(jù)和實(shí)體間的關(guān)聯(lián)性，塑造屬性化的數(shù)據(jù)模型，確保其可對(duì)信息包進(jìn)行全面和細(xì)微的描述。

（5） 數(shù)據(jù)層基于商務(wù)要求，通過(guò)系統(tǒng)控制事件的模式對(duì)數(shù)據(jù)實(shí)施組織。數(shù)據(jù)層對(duì)大數(shù)據(jù)存儲(chǔ)系統(tǒng)中的源數(shù)據(jù)進(jìn)行訪問(wèn)，實(shí)現(xiàn)源數(shù)據(jù)的提取、匯總等操作，其存儲(chǔ)被設(shè)計(jì)成可支持查詢的關(guān)系數(shù)據(jù)庫(kù)結(jié)構(gòu)。

1.3 大數(shù)據(jù)存儲(chǔ)系統(tǒng)的體系結(jié)構(gòu)

設(shè)計(jì)的基于群體協(xié)同智能聚類的大數(shù)據(jù)存儲(chǔ)系統(tǒng)體系結(jié)構(gòu)如圖2所示。

圖2描述的體系結(jié)構(gòu)定義了大數(shù)據(jù)存儲(chǔ)系統(tǒng)中的數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器、數(shù)據(jù)接口標(biāo)準(zhǔn)、語(yǔ)義變換方案、數(shù)據(jù)存儲(chǔ)系統(tǒng)接口、ETL以及應(yīng)用服務(wù)器等內(nèi)容。其中，數(shù)據(jù)存儲(chǔ)系統(tǒng)接口、應(yīng)用服務(wù)器以及數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器都采用數(shù)據(jù)存儲(chǔ)系統(tǒng)運(yùn)行規(guī)范實(shí)現(xiàn)數(shù)據(jù)的互通。ETL可采集不同類型數(shù)據(jù)源的外部以及內(nèi)部數(shù)據(jù)進(jìn)入數(shù)據(jù)存儲(chǔ)倉(cāng)庫(kù)。系統(tǒng)用戶采用數(shù)據(jù)存儲(chǔ)系統(tǒng)接口同數(shù)據(jù)存儲(chǔ)系統(tǒng)進(jìn)行互動(dòng)，數(shù)據(jù)存儲(chǔ)系統(tǒng)接口由數(shù)據(jù)挖掘應(yīng)用、語(yǔ)義變換方法、Web展示等應(yīng)用接口構(gòu)成。

2 群體協(xié)同的智能聚類方法

傳統(tǒng)PSO聚類算法在進(jìn)化時(shí)，容易出現(xiàn)局部最佳解問(wèn)題，使得算法過(guò)早終止，不能繼續(xù)進(jìn)化，算法收斂性能大大降低。為了提高海量數(shù)據(jù)的聚類效率，本文設(shè)計(jì)的大數(shù)據(jù)存儲(chǔ)系統(tǒng)采用群體協(xié)同智能聚類方法在PSO算法中融入多種群協(xié)同進(jìn)化的方案，避免出現(xiàn)局部最優(yōu)解問(wèn)題[7]，其將總體種群劃分成多個(gè)子種群，各子種群獨(dú)立進(jìn)化，對(duì)共享信息實(shí)施周期性調(diào)控。

將協(xié)同進(jìn)化思想融入粒子群算法內(nèi)，協(xié)同進(jìn)化將解空間內(nèi)的群體分割成多個(gè)子群體，各子群體用于描述求解問(wèn)題的子目標(biāo)，各個(gè)體用于描述求解問(wèn)題的一個(gè)解，全部子群體在對(duì)應(yīng)的解區(qū)域?qū)嵤┆?dú)立的局部檢索，相隔一段周期將檢索到的局部最佳解當(dāng)成可在差異子種群間傳輸?shù)墓蚕硇畔ⅰ?/p>

群體協(xié)同智能聚類方法是一種群體協(xié)同進(jìn)化的PSO算法，其將粒子數(shù)為[N]的種群劃分成[M]個(gè)子種群，各子種群采用規(guī)范的PSO算法實(shí)施局部檢索，在檢索時(shí)持續(xù)調(diào)整子種群內(nèi)部粒子的效率以及位置。如果進(jìn)化到第[R]（修正周期）代，則第一個(gè)子種群會(huì)獲取局部最佳解[Pg1，]并將該解傳遞給第二個(gè)子種群，用[Pg1]更新第二個(gè)子種群內(nèi)具有最低適應(yīng)度函數(shù)的粒子，此時(shí)第二個(gè)子種群實(shí)施[R]周期的進(jìn)化，獲取的局部最佳解是[Pg2。]再向第三個(gè)子種群傳遞[Pg2，]循環(huán)運(yùn)行上述過(guò)程。最終一個(gè)子種群向首個(gè)子種群傳遞[PgM。]每次迭代之前將即刻最佳位置反饋給后續(xù)子種群過(guò)程中，應(yīng)對(duì)即刻的局部最佳解[Pgi（i=1，2，…，M）]是否符合精度需求進(jìn)行分析，如果符合則終止進(jìn)化，否則繼續(xù)進(jìn)化[8]。各子種群的間隔是[R]代，相鄰種群間可進(jìn)行信息交互，循環(huán)進(jìn)化，直至算法停止，具體過(guò)程如圖3所示。

進(jìn)化達(dá)到修正周期[R]時(shí)，前各子種群向后續(xù)子種群反饋即刻的局部最佳解，后續(xù)子種群基于共享信息實(shí)施進(jìn)化，確保各子種群中的粒子處于最優(yōu)解位置，增強(qiáng)算法的收斂效率。該群體協(xié)同智能聚類方法可確保各子種群同不同子種群間基于少量的局部信息完成交互[9]，實(shí)現(xiàn)解區(qū)域中某個(gè)子區(qū)域的檢索，運(yùn)算代價(jià)小，并且子種群間的粒子變換能夠完成遠(yuǎn)距離的信息共享。

3 實(shí)驗(yàn)結(jié)果和分析

實(shí)驗(yàn)檢測(cè)數(shù)據(jù)集是Iris，實(shí)驗(yàn)分別采用基于PSO聚類算法的大數(shù)據(jù)存儲(chǔ)系統(tǒng)和本文設(shè)計(jì)的基于群體協(xié)同智能聚類的大數(shù)據(jù)存儲(chǔ)系統(tǒng)對(duì)Iris數(shù)據(jù)集實(shí)施檢測(cè)，分析兩種系統(tǒng)進(jìn)行大數(shù)據(jù)存儲(chǔ)時(shí)的性能優(yōu)劣。

3.1 系統(tǒng)收斂性能的對(duì)比

在相同的實(shí)驗(yàn)環(huán)境中，慣性權(quán)重[ω]隨迭代次數(shù)的提升而線性降低，原始值是1.0，線性降低到0.6，最高的降低速度[Vmax=0.4]，實(shí)驗(yàn)分別采用本文系統(tǒng)和PSO存儲(chǔ)系統(tǒng)對(duì)Iris數(shù)據(jù)庫(kù)內(nèi)的1 000組數(shù)據(jù)實(shí)施聚類，獲取兩個(gè)系統(tǒng)隨迭代次數(shù)提升的收斂性能對(duì)比曲線，如圖4所示。

從圖4中能夠得出，達(dá)到相同的聚類效果時(shí)，本文系統(tǒng)的收斂度最高，而PSO系統(tǒng)的收斂度低于本文系統(tǒng)，并且其適應(yīng)度函數(shù)未達(dá)到最高值，聚類質(zhì)量較差。

3.2 系統(tǒng)讀寫(xiě)性能分析

大數(shù)據(jù)存儲(chǔ)系統(tǒng)的存儲(chǔ)速度是用戶考慮的重點(diǎn)，實(shí)驗(yàn)對(duì)本文大數(shù)據(jù)存儲(chǔ)系統(tǒng)和基于PSO聚類算法的大數(shù)據(jù)存儲(chǔ)系統(tǒng)的讀寫(xiě)性能進(jìn)行檢測(cè)，結(jié)果如圖5和圖6所示。能夠看出，本文系統(tǒng)寫(xiě)入數(shù)據(jù)時(shí)的吞吐率和響應(yīng)時(shí)間都優(yōu)于PSO存儲(chǔ)系統(tǒng)，主要是因?yàn)閭鹘y(tǒng)PSO聚類算法存在容易陷入局部最佳解問(wèn)題，對(duì)數(shù)據(jù)的寫(xiě)入效率較低。而本文存儲(chǔ)系統(tǒng)采用的群體協(xié)同智能聚類算法融入多種群協(xié)同進(jìn)化的方案，避免出現(xiàn)局部最優(yōu)解問(wèn)題，具有較高的收斂效率，能夠?qū)崿F(xiàn)大數(shù)據(jù)的高效率寫(xiě)入操作。

3.3 系統(tǒng)數(shù)據(jù)分析性能檢測(cè)

為了檢測(cè)不同大數(shù)據(jù)存儲(chǔ)系統(tǒng)對(duì)數(shù)據(jù)的分析性能，實(shí)驗(yàn)面向MapReduce程序中的數(shù)據(jù)進(jìn)行分析，分別檢測(cè)本文系統(tǒng)和PSO系統(tǒng)對(duì)10列數(shù)據(jù)和20列數(shù)據(jù)在7 000萬(wàn)條數(shù)據(jù)中進(jìn)行數(shù)據(jù)分析的情況，數(shù)據(jù)量級(jí)在100 GB左右，結(jié)果分別如圖7和圖8所示。能夠看出，隨著數(shù)據(jù)量級(jí)的逐漸增加，相對(duì)于PSO系統(tǒng)，本文系統(tǒng)下的程序運(yùn)行時(shí)間更低，說(shuō)明本文系統(tǒng)可對(duì)數(shù)據(jù)進(jìn)行有效處理，具有較高的數(shù)據(jù)分析性能。

4 結(jié) 論

本文設(shè)計(jì)了基于群體協(xié)同智能聚類的大數(shù)據(jù)存儲(chǔ)系統(tǒng)，實(shí)驗(yàn)結(jié)果說(shuō)明，所設(shè)計(jì)系統(tǒng)收斂性能高，并且具有較高的數(shù)據(jù)讀寫(xiě)性能和分析性能，為增強(qiáng)大數(shù)據(jù)存儲(chǔ)的質(zhì)量和效率提供了保障。

參考文獻(xiàn)

[1] 錢(qián)曉東，曹陽(yáng).基于社區(qū)極大類發(fā)現(xiàn)的大數(shù)據(jù)并行聚類算法[J].南京理工大學(xué)學(xué)報(bào)（自然科學(xué)版），2016，40（1）：117?123.

[2] 崔建華.大數(shù)據(jù)環(huán)境下云存儲(chǔ)數(shù)據(jù)安全探析[J].信息安全與技術(shù)，2015，6（5）：31?33.

[3] 趙偉，周建輝.基于模糊C均值聚類算法的音樂(lè)噴泉智能識(shí)別[J].控制工程，2015，22（6）：1057?1062.

[4] 李甜甜，王智，宋杰.大數(shù)據(jù)存儲(chǔ)系統(tǒng)中負(fù)載均衡的數(shù)據(jù)遷移算法[J].中興通訊技術(shù)，2016，22（2）：28?32.

[5] 楊文暉，李國(guó)強(qiáng)，苗放.面向海量空間數(shù)據(jù)存儲(chǔ)的元數(shù)據(jù)管理機(jī)制[J].計(jì)算機(jī)應(yīng)用，2015，35（5）：1276?1279.

[6] 武霞，董增壽，孟曉燕.基于大數(shù)據(jù)平臺(tái)hadoop的聚類算法K值優(yōu)化研究[J].太原科技大學(xué)學(xué)報(bào)，2015，36（2）：92?96.

[7] 康杰華，羅章璇.基于圖形數(shù)據(jù)庫(kù)Neo4j的RDF數(shù)據(jù)存儲(chǔ)研究[J].信息技術(shù)，2015（6）：115?117.

[8] 冷泳林，申華，魯富宇.基于P?Rank的RDF有向圖的分布式存儲(chǔ)[J].重慶理工大學(xué)學(xué)報(bào)（自然科學(xué)版），2015，29（1）：91?95.

[9] 楊錫慧，林鵬，周?chē)?guó)強(qiáng).基于灰色關(guān)聯(lián)度聚類的協(xié)同過(guò)濾推薦算法[J].軟件導(dǎo)刊，2015，14（10）：29?34.endprint