依賴弱化與沖突協(xié)作檢測(cè)的數(shù)據(jù)質(zhì)量保證算法

謝天年，郝敬彬

(1.玉林師范學(xué)院 外語(yǔ)學(xué)院，廣西 玉林 537000；2.中國(guó)礦業(yè)大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，江蘇 徐州 221001)

0 引 言

在網(wǎng)絡(luò)大數(shù)據(jù)通信中，數(shù)據(jù)的依賴關(guān)系[1]及其程度嚴(yán)重制約數(shù)據(jù)質(zhì)量[2]的提升。同時(shí)，數(shù)據(jù)沖突[3]的動(dòng)態(tài)演變[4]使得檢測(cè)難度加大，導(dǎo)致數(shù)據(jù)質(zhì)量下降，上述問(wèn)題受到學(xué)術(shù)界和工業(yè)屆的廣泛關(guān)注。

文獻(xiàn)[5]基于秩2校正規(guī)則的修正擬牛頓算法擬合多輸出支持向量回歸算法的模型參數(shù)，保證了模型迭代的全局收斂性。文獻(xiàn)[6]研究了零開(kāi)銷(xiāo)系統(tǒng)軟錯(cuò)誤緩解中的數(shù)據(jù)依賴性和觸發(fā)器不對(duì)稱性。文獻(xiàn)[7]提出了基于等價(jià)類(lèi)的分布式環(huán)境多個(gè)函數(shù)依賴沖突檢測(cè)的方法。文獻(xiàn)[8]提出了一種可以克服金融數(shù)據(jù)依賴性的流水線市場(chǎng)數(shù)據(jù)處理體系結(jié)構(gòu)。文獻(xiàn)[9]研究了對(duì)數(shù)據(jù)質(zhì)量的感知真理估計(jì)和移動(dòng)群智剩余分享的設(shè)計(jì)方法。文獻(xiàn)[10]基于時(shí)間戳，研究了群智系統(tǒng)數(shù)據(jù)質(zhì)量評(píng)價(jià)的不確定性傳播機(jī)制。T. Zhu等基于狀態(tài)轉(zhuǎn)換圖及其關(guān)系矩陣，提出了交通狀態(tài)預(yù)測(cè)和沖突檢測(cè)機(jī)制[11]。文獻(xiàn)[12]提出了一種基于實(shí)體屬性和數(shù)據(jù)沖突的事實(shí)查找算法。

然而，現(xiàn)有的大數(shù)據(jù)網(wǎng)絡(luò)系統(tǒng)難以實(shí)時(shí)捕捉數(shù)據(jù)依賴關(guān)系，對(duì)于數(shù)據(jù)沖突的檢測(cè)與捕捉，也難以實(shí)現(xiàn)，從而使得數(shù)據(jù)質(zhì)量難以得到保證。因此，通過(guò)上述的討論與分析，本文從弱化網(wǎng)絡(luò)大數(shù)據(jù)依賴關(guān)系，數(shù)據(jù)沖突的擴(kuò)散與檢測(cè)出發(fā)，提出了一種實(shí)時(shí)、可靠和有效地?cái)?shù)據(jù)質(zhì)量保證算法。

1 網(wǎng)絡(luò)大數(shù)據(jù)依賴弱化機(jī)制

高密度覆蓋的移動(dòng)網(wǎng)絡(luò)所采集的數(shù)據(jù)存在較高的冗余度，對(duì)于數(shù)據(jù)質(zhì)量產(chǎn)生正負(fù)兩方面的影響。因此，本節(jié)基于機(jī)會(huì)多維網(wǎng)描述網(wǎng)絡(luò)大數(shù)據(jù)依賴關(guān)系。為了保持網(wǎng)的多維度與網(wǎng)絡(luò)大數(shù)據(jù)的依賴關(guān)系的一致性，對(duì)移動(dòng)網(wǎng)絡(luò)的高性能服務(wù)系統(tǒng)的數(shù)據(jù)處理問(wèn)題轉(zhuǎn)換為機(jī)會(huì)多維網(wǎng)的映射出入度置換問(wèn)題。

機(jī)會(huì)多維網(wǎng)中的每個(gè)節(jié)點(diǎn)表示一個(gè)網(wǎng)絡(luò)大數(shù)據(jù)集合文件。該文件用于描述網(wǎng)絡(luò)大數(shù)據(jù)流的基本信息及其數(shù)據(jù)依賴關(guān)系。網(wǎng)中每個(gè)節(jié)點(diǎn)的數(shù)據(jù)具有多維性，這些數(shù)據(jù)集合可在同一網(wǎng)的每個(gè)節(jié)點(diǎn)，甚至不同網(wǎng)的不同節(jié)點(diǎn)之間實(shí)現(xiàn)無(wú)縫數(shù)據(jù)轉(zhuǎn)交。這種跨平臺(tái)數(shù)據(jù)轉(zhuǎn)交是網(wǎng)絡(luò)大數(shù)據(jù)依賴性的抽象描述，如圖1所示。

圖1 機(jī)會(huì)多維網(wǎng)大數(shù)據(jù)架構(gòu)

圖1中，每個(gè)節(jié)點(diǎn)的大數(shù)據(jù)集合的描述包括以下基本元素：數(shù)據(jù)、數(shù)據(jù)類(lèi)型、機(jī)會(huì)權(quán)重、維度和維度轉(zhuǎn)換等。其中，機(jī)會(huì)權(quán)重和維度轉(zhuǎn)換捕捉網(wǎng)中所有大數(shù)據(jù)的數(shù)據(jù)信息及其依賴關(guān)系。圖1給出了3個(gè)異構(gòu)機(jī)會(huì)多維網(wǎng)BM1，BM2和BM3。BM1網(wǎng)包含了節(jié)點(diǎn)N11，N12和N13，同理，BM2網(wǎng)包含了節(jié)點(diǎn)N21，N22和N23，BM3網(wǎng)包含了節(jié)點(diǎn)N31，N32和N33。圖中實(shí)線箭頭表示機(jī)會(huì)驅(qū)動(dòng)權(quán)重趨勢(shì)，虛線箭頭表示可逆機(jī)會(huì)多維網(wǎng)融合。圖2給出了BM1與BM2的節(jié)點(diǎn)內(nèi)部以及不同網(wǎng)之間的映射關(guān)系和依賴趨勢(shì)。

圖2 數(shù)據(jù)依賴及其驅(qū)動(dòng)關(guān)系

每個(gè)多維網(wǎng)向外有多個(gè)驅(qū)動(dòng)方向和多個(gè)驅(qū)動(dòng)權(quán)重。根據(jù)式(1)和式(2)判斷數(shù)據(jù)依賴關(guān)系及其依賴程度H，按照式(3)和式(4)進(jìn)行多維網(wǎng)的融合與分割

(1)

其中，函數(shù)f( )用于獲取網(wǎng)絡(luò)的數(shù)據(jù)信號(hào)。x表示節(jié)點(diǎn)接收的信號(hào)。y表示節(jié)點(diǎn)轉(zhuǎn)發(fā)后的信號(hào)。t表示信號(hào)在網(wǎng)絡(luò)中的傳輸時(shí)間。v(x,y)表示同一個(gè)多維網(wǎng)內(nèi)節(jié)點(diǎn)轉(zhuǎn)發(fā)數(shù)據(jù)的依賴關(guān)系。h(x,y)表示不同多維網(wǎng)的節(jié)點(diǎn)轉(zhuǎn)發(fā)數(shù)據(jù)的依賴關(guān)系

(2)

其中，ρ表示機(jī)會(huì)驅(qū)動(dòng)權(quán)重，M表示活躍節(jié)點(diǎn)數(shù)

(3)

式(3)將來(lái)自不同多維網(wǎng)的信號(hào)fi(x)與fj(y)進(jìn)行融合，得到基于依賴關(guān)系H的網(wǎng)絡(luò)大數(shù)據(jù)函數(shù)關(guān)系

(4)

式(4)通過(guò)機(jī)會(huì)多維網(wǎng)的信號(hào)轉(zhuǎn)換，實(shí)現(xiàn)多維網(wǎng)的自適應(yīng)分割，并得到分割后的信號(hào)。

基于圖2所示的數(shù)據(jù)依賴關(guān)系，按照下述算法描述弱化網(wǎng)絡(luò)大數(shù)據(jù)的依賴強(qiáng)度。

輸入：大數(shù)據(jù)集合BM，節(jié)點(diǎn)數(shù)M，數(shù)據(jù)序列N

算法描述：

初始化BM向量；

While(1

計(jì)算ρi；

求解M個(gè)節(jié)點(diǎn)之間的依賴強(qiáng)度；

}

While(1

根據(jù)節(jié)點(diǎn)屬性和依賴關(guān)系分析BMj的機(jī)會(huì)趨勢(shì)；

根據(jù)機(jī)會(huì)趨勢(shì)確定數(shù)據(jù)依賴網(wǎng)；

基于ρ獲得子網(wǎng)分割規(guī)模X；

分割BMj為X個(gè)子網(wǎng)；

for(k=1,k

獲得第k個(gè)子網(wǎng)的起始點(diǎn)坐標(biāo)(x,y);

求得f(x)和f(y)；

求得融合點(diǎn)f(x,y)；

融合X個(gè)多維網(wǎng)；

}

}

2 沖突協(xié)作檢測(cè)的數(shù)據(jù)質(zhì)量改進(jìn)

網(wǎng)絡(luò)大數(shù)據(jù)依賴弱化后，數(shù)據(jù)沖突的檢測(cè)不能只考慮數(shù)據(jù)密度及數(shù)據(jù)間距。而是，將密度、間距與數(shù)據(jù)屬性、數(shù)據(jù)誤差和網(wǎng)絡(luò)擴(kuò)散方式相結(jié)合，基于多參數(shù)協(xié)作結(jié)合網(wǎng)絡(luò)數(shù)據(jù)擴(kuò)散區(qū)域及其拓?fù)浣Y(jié)構(gòu)，實(shí)現(xiàn)數(shù)據(jù)沖突協(xié)作檢測(cè)。

采用協(xié)作檢測(cè)方法獲取網(wǎng)絡(luò)大數(shù)據(jù)的多維網(wǎng)絡(luò)拓?fù)浼捌錂C(jī)會(huì)依賴趨勢(shì)，結(jié)合數(shù)據(jù)誤差和屬性，分析網(wǎng)絡(luò)大數(shù)據(jù)的沖突區(qū)域及其數(shù)據(jù)集合。具體過(guò)程描述如下：

(1)捕捉發(fā)生沖突的數(shù)據(jù)集合。

對(duì)來(lái)自多維網(wǎng)的大數(shù)據(jù)集合，檢測(cè)大數(shù)據(jù)流與原始數(shù)據(jù)流的一致性，并記錄出現(xiàn)不一致的數(shù)據(jù)流，同時(shí)捕捉這些數(shù)據(jù)及其沖突，詳見(jiàn)式(5)

(5)

其中，向量CN表示不一致數(shù)據(jù)集即發(fā)生沖突的數(shù)據(jù)集。向量CN表示可靠數(shù)據(jù)集即保持一致性的數(shù)據(jù)集。向量C表示捕捉了沖突的數(shù)據(jù)集。

(2)計(jì)算多維網(wǎng)發(fā)生沖突的數(shù)據(jù)間距及其依賴弱化。

對(duì)數(shù)據(jù)集向量C的任意元素Cd，設(shè)定該元素與向量中心元素的距離為(p-Lo(Cd))，函數(shù)L()表示數(shù)據(jù)元素的長(zhǎng)度，參數(shù)p表示向量的數(shù)據(jù)距離均值，則Cd的數(shù)據(jù)沖突距離詳見(jiàn)式(6)，結(jié)合式(4)得到?jīng)_突檢測(cè)后的數(shù)據(jù)依賴關(guān)系，如式(7)所示

(6)

其中，函數(shù)L(C)用于獲取向量C中的任意元素

(7)

(3)計(jì)算數(shù)據(jù)沖突的密度

(8)

式(8)可以求解數(shù)據(jù)沖突密度dc。其中Np-dd表示數(shù)據(jù)沖突的距離域。

(4)建立網(wǎng)絡(luò)大數(shù)據(jù)沖突擴(kuò)散模型

(9)

其中，NS表示數(shù)據(jù)沖突擴(kuò)散的距離域，可以準(zhǔn)確地獲取數(shù)據(jù)沖突擴(kuò)散范圍。數(shù)據(jù)沖突擴(kuò)散如圖3所示，其中有4個(gè)不一致性數(shù)據(jù)點(diǎn)，分別處于不同的數(shù)據(jù)流。整個(gè)網(wǎng)絡(luò)大數(shù)據(jù)依賴形成一個(gè)閉合的橢圓區(qū)域。其中，每個(gè)數(shù)據(jù)點(diǎn)按照依賴關(guān)系和強(qiáng)度，結(jié)合機(jī)會(huì)多維網(wǎng)拓?fù)洌M(jìn)行擴(kuò)散，有助于協(xié)作沖突檢測(cè)。

圖3 數(shù)據(jù)沖突擴(kuò)散的距離域演化

(10)

優(yōu)化后得到的改進(jìn)后數(shù)據(jù)向量BMI如下

3 實(shí)驗(yàn)結(jié)果分析

采用實(shí)驗(yàn)統(tǒng)計(jì)與仿真實(shí)驗(yàn)相結(jié)合的方法，對(duì)所提出的數(shù)據(jù)質(zhì)量改進(jìn)算法在網(wǎng)絡(luò)開(kāi)銷(xiāo)、算法執(zhí)行效率和數(shù)據(jù)質(zhì)量等方面進(jìn)行對(duì)比。因?yàn)椋崴惴ú捎昧藬?shù)據(jù)依賴弱化過(guò)程，在算法執(zhí)行復(fù)雜度方面重點(diǎn)分析該過(guò)程所增加的空間復(fù)雜度和時(shí)間復(fù)雜度。所提算法在進(jìn)行沖突檢測(cè)時(shí)采用了基于數(shù)據(jù)密度、距離和屬性等多參數(shù)相結(jié)合的協(xié)作算法，在算法網(wǎng)絡(luò)開(kāi)銷(xiāo)性能分析中重點(diǎn)分析該過(guò)程是否增加了網(wǎng)絡(luò)開(kāi)銷(xiāo)。網(wǎng)絡(luò)環(huán)境參數(shù)詳見(jiàn)表1。

表1 網(wǎng)絡(luò)環(huán)境參數(shù)

為了更好地驗(yàn)證所提算法的性能，圖4～圖7分別給出了所提算法記為BDW-CD與基于數(shù)據(jù)依賴驅(qū)動(dòng)的沖突檢測(cè)算法記為DD-CD基于數(shù)據(jù)沖突發(fā)生概率、子網(wǎng)復(fù)雜度和數(shù)據(jù)發(fā)生規(guī)模的變化下的算法執(zhí)行效率、網(wǎng)絡(luò)開(kāi)銷(xiāo)和數(shù)據(jù)質(zhì)量等方面的表現(xiàn)。

圖4 算法執(zhí)行效率

圖5 網(wǎng)絡(luò)開(kāi)銷(xiāo)

圖6 基于數(shù)據(jù)發(fā)生規(guī)模的數(shù)據(jù)誤差

圖7 基于子網(wǎng)規(guī)模的數(shù)據(jù)誤差

圖4給出了兩種算法的執(zhí)行效率表現(xiàn)，綜合了算法的時(shí)間復(fù)雜度和空間復(fù)雜度。橫坐標(biāo)是數(shù)據(jù)沖突發(fā)生概率。雖然，所提算法采用了數(shù)據(jù)依賴弱化機(jī)制，但該算法的空間復(fù)雜度增加很小，可以忽略不計(jì)，時(shí)間復(fù)雜度有所增加，但綜合表現(xiàn)還是優(yōu)于DD-CD。這是因?yàn)椋珼D-CD算法是以數(shù)據(jù)依賴關(guān)系進(jìn)行驅(qū)動(dòng)，這種驅(qū)動(dòng)屬于被動(dòng)驅(qū)動(dòng)，以增加時(shí)間復(fù)雜度為代價(jià)，實(shí)現(xiàn)沖突檢測(cè)。而且，所提算法能夠準(zhǔn)確感知數(shù)據(jù)沖突發(fā)生概率，調(diào)度數(shù)據(jù)依賴關(guān)系弱化進(jìn)度，在不增加算法復(fù)雜度的同時(shí)，準(zhǔn)確捕捉發(fā)生沖突的數(shù)據(jù)，具有較高的執(zhí)行效率。

網(wǎng)絡(luò)開(kāi)銷(xiāo)的表現(xiàn)如圖5所示，橫坐標(biāo)是多維網(wǎng)分割后的子網(wǎng)數(shù)，從1增加到5，步長(zhǎng)為1。多維網(wǎng)分割后的子網(wǎng)數(shù)的變大，將會(huì)導(dǎo)致網(wǎng)絡(luò)大數(shù)據(jù)傳輸復(fù)雜度的增加，路由控制難度有所增加，可以更好地驗(yàn)證算法的性能表現(xiàn)。對(duì)比發(fā)現(xiàn)，所提算法通過(guò)優(yōu)化于數(shù)據(jù)密度、距離和屬性等多參數(shù)相結(jié)合的協(xié)作算法執(zhí)行流程，根據(jù)圖3所示的數(shù)據(jù)沖突擴(kuò)散的距離域進(jìn)行實(shí)時(shí)演化，為不同的沖突數(shù)據(jù)點(diǎn)選擇最佳的擴(kuò)散趨勢(shì)和執(zhí)行方式。因此，網(wǎng)絡(luò)開(kāi)銷(xiāo)不僅沒(méi)有增加，反而有所降低。相比DD-CD算法，具有明顯的優(yōu)勢(shì)。

圖6和圖7對(duì)比了兩種算法的數(shù)據(jù)質(zhì)量與實(shí)際數(shù)據(jù)之間的誤差。其中，圖6的橫坐標(biāo)是數(shù)據(jù)發(fā)生規(guī)模的變化即數(shù)據(jù)發(fā)生節(jié)點(diǎn)的變化從10到100，步長(zhǎng)為10，逐步增加。圖7的橫坐標(biāo)是多維網(wǎng)分割后的子網(wǎng)數(shù)，從1增加到5，步長(zhǎng)為1。數(shù)據(jù)規(guī)模的增加，將增加網(wǎng)絡(luò)控制難度，使得數(shù)據(jù)沖突發(fā)生概率線性增加，可以有效地驗(yàn)證算法的數(shù)據(jù)質(zhì)量保證能力。從圖6中可以看出，所提算法采用的協(xié)作檢測(cè)方法，不僅可以實(shí)時(shí)獲取網(wǎng)絡(luò)大數(shù)據(jù)的多維網(wǎng)絡(luò)拓?fù)浼捌錂C(jī)會(huì)依賴趨勢(shì)，還具有結(jié)合數(shù)據(jù)誤差和屬性，分析網(wǎng)絡(luò)大數(shù)據(jù)的沖突區(qū)域及其數(shù)據(jù)集合的能力。

4 結(jié)束語(yǔ)

網(wǎng)絡(luò)數(shù)據(jù)通信過(guò)程中，因受到數(shù)據(jù)依賴性的干擾和數(shù)據(jù)沖突的制約，導(dǎo)致數(shù)據(jù)質(zhì)量嚴(yán)重下降。針對(duì)上述數(shù)據(jù)依賴和沖突問(wèn)題，提出了一種網(wǎng)絡(luò)大數(shù)據(jù)依賴弱化與沖突協(xié)作檢測(cè)的數(shù)據(jù)質(zhì)量保證算法。一方面，設(shè)計(jì)了一種動(dòng)態(tài)機(jī)會(huì)多維網(wǎng)，準(zhǔn)確闡明了網(wǎng)絡(luò)大數(shù)據(jù)的依賴關(guān)系，采用置換機(jī)會(huì)多維網(wǎng)的映射出入，實(shí)現(xiàn)網(wǎng)絡(luò)大數(shù)據(jù)依賴的弱化。另一方面，采用包括密度、間距與數(shù)據(jù)屬性、數(shù)據(jù)誤差和網(wǎng)絡(luò)擴(kuò)散方式等多參數(shù)，基于協(xié)作控制捕捉數(shù)據(jù)沖突擴(kuò)散區(qū)域，檢測(cè)數(shù)據(jù)沖突及其趨勢(shì)。仿真實(shí)驗(yàn)對(duì)比了所提算法與基于數(shù)據(jù)依賴驅(qū)動(dòng)的沖突檢測(cè)算法，結(jié)果表明在算法執(zhí)行效率、網(wǎng)絡(luò)開(kāi)銷(xiāo)和數(shù)據(jù)質(zhì)量等方面，所提算法具有明顯優(yōu)勢(shì)。