基于云計(jì)算平臺(tái)的政務(wù)大數(shù)據(jù)信息資源共享模型構(gòu)建研究

李志文

摘要：本研究旨在基于云計(jì)算平臺(tái)構(gòu)建一種高效的政務(wù)大數(shù)據(jù)信息資源共享模型，以滿足日益增長(zhǎng)的信息共享需求。在這個(gè)模型中，考慮到數(shù)據(jù)資源的分塊傳輸、共享任務(wù)調(diào)度、性能優(yōu)化等關(guān)鍵要素，進(jìn)行了一系列實(shí)驗(yàn)來(lái)評(píng)估模型的性能。實(shí)驗(yàn)結(jié)果表明，本文提出的共享模型相較于常見(jiàn)的資源共享模型在吞吐量和抗噪聲能力方面表現(xiàn)出明顯的優(yōu)勢(shì)，適用于政務(wù)大數(shù)據(jù)信息資源的高效共享。

關(guān)鍵詞：云計(jì)算平臺(tái)；政務(wù)大數(shù)據(jù)；信息資源共享；共享任務(wù)調(diào)度

中圖分類號(hào)：TP393? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2023）36-0056-03

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）

信息技術(shù)的快速發(fā)展令政府部門產(chǎn)生了大量的政務(wù)大數(shù)據(jù)信息資源，這些數(shù)據(jù)資源包含了有關(guān)公共服務(wù)、政策決策和社會(huì)管理等各個(gè)領(lǐng)域的重要信息[1]。政府大數(shù)據(jù)信息資源的積累為政府工作提供了有力支持，也為社會(huì)發(fā)展和公眾生活提供了更多便利。然而，這些寶貴的數(shù)據(jù)資源通常分散在不同的部門和系統(tǒng)中，難以有效整合和共享。因此，政府大數(shù)據(jù)信息資源的共享問(wèn)題已經(jīng)成為信息化建設(shè)中的一項(xiàng)重要挑戰(zhàn)[2]。政務(wù)大數(shù)據(jù)信息資源共享具有廣泛的應(yīng)用前景，它可以幫助政府更好地理解社會(huì)現(xiàn)象，制定更智能的政策，提供更優(yōu)質(zhì)的公共服務(wù)，同時(shí)也能促進(jìn)社會(huì)創(chuàng)新和經(jīng)濟(jì)發(fā)展。然而，政府大數(shù)據(jù)信息資源的共享不僅涉及數(shù)據(jù)的安全和隱私問(wèn)題，還需要解決數(shù)據(jù)資源分散、格式不一、存儲(chǔ)方式多樣等問(wèn)題。因此，為了實(shí)現(xiàn)政府大數(shù)據(jù)信息資源的高效共享，需要一種可行的共享模型和相應(yīng)的技術(shù)支持。

1 云計(jì)算平臺(tái)下的資源共享模型概述

1.1 云計(jì)算平臺(tái)的基本特點(diǎn)

云計(jì)算平臺(tái)的核心特點(diǎn)包括：1）彈性伸縮性：云計(jì)算平臺(tái)允許根據(jù)需求動(dòng)態(tài)分配計(jì)算和存儲(chǔ)資源，使政府部門能夠靈活地應(yīng)對(duì)不同工作負(fù)載和數(shù)據(jù)規(guī)模的需求；2）資源集中管理：所有計(jì)算和存儲(chǔ)資源都集中在云計(jì)算數(shù)據(jù)中心，由云服務(wù)提供商負(fù)責(zé)管理和維護(hù)，政府部門無(wú)需負(fù)責(zé)硬件設(shè)備的采購(gòu)和維護(hù)；3）自服務(wù)性：云計(jì)算平臺(tái)為政府部門提供了自助服務(wù)的能力，用戶可以根據(jù)需要自行申請(qǐng)和配置資源，無(wú)需等待煩瑣的審批流程[3]。

1.2 云計(jì)算下的資源共享模型設(shè)計(jì)

在云計(jì)算平臺(tái)下，政務(wù)大數(shù)據(jù)信息資源的共享模型應(yīng)包括以下關(guān)鍵要素：1）數(shù)據(jù)資源分塊和傳輸：數(shù)據(jù)資源應(yīng)該根據(jù)需求被分成適當(dāng)大小的塊，并通過(guò)高速網(wǎng)絡(luò)傳輸?shù)皆朴?jì)算平臺(tái)的虛擬節(jié)點(diǎn)；2）共享任務(wù)調(diào)度方法：為了有效地分配共享任務(wù)，需要設(shè)計(jì)合理的調(diào)度方法，考慮任務(wù)的優(yōu)先級(jí)、時(shí)間開銷等因素，以確保資源的高效利用；3）性能優(yōu)化策略：為了提高模型的性能，應(yīng)考慮優(yōu)化策略；4）模型構(gòu)建流程：模型的構(gòu)建過(guò)程需要明確的設(shè)計(jì)和實(shí)施流程，包括資源塊的劃分、數(shù)據(jù)傳輸、任務(wù)調(diào)度和性能優(yōu)化等步驟[4]。

2 模型設(shè)計(jì)

政務(wù)大數(shù)據(jù)信息資源的共享模型需要有效地將大量數(shù)據(jù)資源分塊并傳輸?shù)皆朴?jì)算平臺(tái)，以實(shí)現(xiàn)高效的共享。

2.1 數(shù)據(jù)資源分塊概述

數(shù)據(jù)資源分塊的目標(biāo)是將政務(wù)大數(shù)據(jù)劃分為適當(dāng)大小的塊，以便更好地管理和傳輸[5]。以下是數(shù)據(jù)資源分塊的關(guān)鍵步驟和考慮因素：

1）塊大小的確定：根據(jù)數(shù)據(jù)的性質(zhì)和傳輸性能，確定適當(dāng)?shù)膲K大小。例如，對(duì)于文本數(shù)據(jù)，可以以文件、段落或句子為單位分塊；對(duì)于圖像或視頻數(shù)據(jù)，可以以幀或分辨率為單位分塊。數(shù)據(jù)塊的大小的確定要考慮能否充分利用云計(jì)算平臺(tái)的資源，避免太小的塊導(dǎo)致傳輸開銷增加，也避免太大的塊導(dǎo)致傳輸性能瓶頸。

2）數(shù)據(jù)塊標(biāo)識(shí)：每個(gè)數(shù)據(jù)塊應(yīng)該具有唯一的標(biāo)識(shí)符，以便在傳輸和存儲(chǔ)過(guò)程中進(jìn)行跟蹤和管理。這可以是唯一的數(shù)字、哈希值或其他形式的標(biāo)識(shí)。

3）數(shù)據(jù)塊完整性：每個(gè)數(shù)據(jù)塊應(yīng)包含足夠的信息以確保數(shù)據(jù)的完整性和可恢復(fù)性。可以使用冗余信息或校驗(yàn)和來(lái)檢測(cè)和糾正傳輸中的錯(cuò)誤。

2.2 數(shù)據(jù)塊分塊

首先對(duì)政務(wù)大數(shù)據(jù)信息資源數(shù)據(jù)進(jìn)行分塊，并對(duì)數(shù)據(jù)塊進(jìn)行塊標(biāo)識(shí)和具體定義。其中，對(duì)政務(wù)大數(shù)據(jù)信息資源數(shù)據(jù)進(jìn)行數(shù)據(jù)分塊的結(jié)果如圖1所示。

2.3 共享任務(wù)調(diào)度方法

在完成政務(wù)大數(shù)據(jù)信息資源的數(shù)據(jù)塊分類和標(biāo)識(shí)之后，進(jìn)一步設(shè)計(jì)共享任務(wù)的調(diào)度方法，通過(guò)任務(wù)需求分析、資源分配與管理、數(shù)據(jù)塊訪問(wèn)控制等關(guān)鍵步驟，以及監(jiān)控、故障處理和性能優(yōu)化等策略，實(shí)現(xiàn)高效的政務(wù)數(shù)據(jù)資源共享。該機(jī)理通過(guò)動(dòng)態(tài)任務(wù)隊(duì)列管理和任務(wù)調(diào)度策略來(lái)滿足不同任務(wù)的優(yōu)先級(jí)和資源需求，同時(shí)通過(guò)數(shù)據(jù)塊緩存與預(yù)取、自動(dòng)伸縮和報(bào)告審計(jì)等措施，確保數(shù)據(jù)安全、合規(guī)和高性能，從而有效支持政府機(jī)構(gòu)在云計(jì)算環(huán)境下的數(shù)據(jù)共享需求。共享任務(wù)調(diào)度具體流程如圖2所示。

2.4 性能優(yōu)化策略

在完成共享任務(wù)調(diào)度方法的設(shè)計(jì)后，進(jìn)一步選擇以資源利用最大化為目標(biāo)函數(shù)，進(jìn)行政務(wù)大數(shù)據(jù)信息資源共享模型的性能優(yōu)化。以資源利用最大化為優(yōu)化目標(biāo)能夠充分利用云計(jì)算平臺(tái)的資源，提高資源的利用效率，同時(shí)確保政務(wù)大數(shù)據(jù)信息資源共享模型的高性能。

以下是基于政務(wù)大數(shù)據(jù)信息資源的目標(biāo)函數(shù)構(gòu)建：

[Maximize U]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （1）

[U=α·1Ni=1N（1-RiCPUj-MiRAMj-SiStoragej）]? ? ? ? （2）

其中，CPUj表示第j臺(tái)計(jì)算節(jié)點(diǎn)的CPU利用率，CPUj ?[0， 1] 之間；RAMj表示第j臺(tái)計(jì)算節(jié)點(diǎn)的內(nèi)存利用率，RAMj? [0， 1]；Storagej表示第j臺(tái)計(jì)算節(jié)點(diǎn)的存儲(chǔ)利用率，Storagej? [0， 1]；Ti表示第j個(gè)任務(wù)的執(zhí)行時(shí)間，以秒為單位；Ri表示第i個(gè)任務(wù)所需的 CPU 資源；Mi表示第i個(gè)任務(wù)所需的內(nèi)存資源；Si表示第i個(gè)任務(wù)所需的存儲(chǔ)資源；N表示任務(wù)的總數(shù)量；ɑ表示資源利用的權(quán)重。各目標(biāo)函數(shù)考慮了每個(gè)任務(wù)所需的 CPU、內(nèi)存和存儲(chǔ)資源，以及每臺(tái)計(jì)算節(jié)點(diǎn)的可用資源。權(quán)重用于調(diào)整資源利用的重要性。

對(duì)于每臺(tái)計(jì)算節(jié)點(diǎn)j，需要確保其 CPU、內(nèi)存和存儲(chǔ)資源不會(huì)超過(guò)其容量：

[Ri≤CPUj， Mi≤RAMj， Si≤Storagej， ?i，j]? ? ? ?（3）

確保任務(wù)的執(zhí)行時(shí)間Ti大于等于零：

[Ti≥0， ?i]? ? ? ? ? ? ? ? ? ? ? ?（4）

任務(wù)i的資源需求必須滿足其執(zhí)行所需的 CPU、內(nèi)存和存儲(chǔ)資源：

[Ri≤CPUj， Mi≤RAMj， Si≤Storagej， ?i，j]? ? ? ? （5）

確保每個(gè)任務(wù)i只分配給一個(gè)計(jì)算節(jié)點(diǎn)j進(jìn)行執(zhí)行：

[jxij=1， ?i]? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? （6）

確保計(jì)算節(jié)點(diǎn)上的任務(wù)數(shù)量不超過(guò)其容量：

[iRi×xij≤CPUjiMi×xij≤RAMj ?jiSi×xij≤Storagej]? ? ? ? ? ? ? ? ? ? ? （7）

確保任務(wù)分配變量xij為二進(jìn)制變量（任務(wù)要么被分配，要么不被分配）：

[xij∈{0，1}， ?i，j]? ? ? ? ? ? ? ? ? ? ? ? ? ?（8）

2.5 煙花算法優(yōu)化策略

煙花算法具備出色的全局搜索能力和適用于多目標(biāo)問(wèn)題的特性，能夠有效地在復(fù)雜的資源分配和任務(wù)調(diào)度問(wèn)題中找到均衡的解決方案，所以使用煙花算法求解基于云計(jì)算平臺(tái)的政務(wù)大數(shù)據(jù)信息資源共享模型的性能優(yōu)化策略，以資源利用最大化為目標(biāo)函數(shù)，最大化資源的綜合利用，提高政府機(jī)構(gòu)的資源效率和數(shù)據(jù)共享服務(wù)性能。

適應(yīng)度值函數(shù)是在優(yōu)化問(wèn)題中用于衡量解的質(zhì)量的關(guān)鍵，是煙花算法的重要部分，用于對(duì)解進(jìn)行排序和選擇，能夠反映解的性能，其根據(jù)問(wèn)題需求的不同而變化，適應(yīng)度值越大越好，可以通過(guò)適當(dāng)?shù)臋?quán)重和歸一化來(lái)調(diào)整，以滿足問(wèn)題的優(yōu)化方向和范圍要求。本算法使用優(yōu)化目標(biāo)函數(shù)作為實(shí)用度值函數(shù)，其表達(dá)式如下：

[Fitness（x）=U=α1Ni=1N（1-RiCPUj-MiRAMj-SiStoragej）]? （9）

Step1：初始化：隨機(jī)生成一組初始煙花，設(shè)置x=100，每個(gè)煙花表示一種資源分配和任務(wù)調(diào)度方案，確保每個(gè)解的資源分配和任務(wù)調(diào)度滿足約束條件。

Step2：目標(biāo)函數(shù)評(píng)估：對(duì)于每個(gè)煙花x，將x代入適應(yīng)度值函數(shù)計(jì)算其資源利用度U，根據(jù)目標(biāo)函數(shù)計(jì)算其適應(yīng)度值，并根據(jù)適應(yīng)度值對(duì)煙花進(jìn)行排序，形成前沿集合。

Step3：迭代優(yōu)化：重復(fù)以下步驟，直到滿足停止條件，即訓(xùn)練過(guò)程中適應(yīng)度值趨于收斂。

煙花的發(fā)射和爆炸：對(duì)于每個(gè)煙花，根據(jù)其適應(yīng)度值和前沿集合中的其他解，計(jì)算其發(fā)射方向和距離；發(fā)射煙花，生成新的解，并計(jì)算其適應(yīng)度值；如果新的解更優(yōu)，替換原始解。

Step4：輸出最優(yōu)解：根據(jù)最終的前沿集合，選擇具有最高資源利用度U的解作為最優(yōu)解，作為資源分配和任務(wù)調(diào)度的最佳策略。

Step5：收斂和停止：結(jié)束迭代，輸出最優(yōu)解。

3 實(shí)驗(yàn)方法和評(píng)估

3.1 實(shí)驗(yàn)設(shè)置和模擬環(huán)境介紹

操作系統(tǒng)：64位Windows 10操作系統(tǒng)；使用PyCharm調(diào)試和運(yùn)行Python代碼；Python 3.9.7版本，用于實(shí)現(xiàn)算法和模擬環(huán)境；使用TensorFlow 2.6.0作為深度學(xué)習(xí)框架搭建基于云計(jì)算的政務(wù)大數(shù)據(jù)信息資源共享模型，包括計(jì)算節(jié)點(diǎn)、任務(wù)隊(duì)列和資源需求等；任務(wù)生成：隨機(jī)生成不同類型和大小的任務(wù)，模擬政務(wù)大數(shù)據(jù)信息資源共享模型中的任務(wù)需求。

3.2 共享任務(wù)分配性能實(shí)驗(yàn)

根據(jù)前面對(duì)資源利用率最大化目標(biāo)函數(shù)的構(gòu)建和求解，以資源利用率、響應(yīng)時(shí)間和任務(wù)完成率作為性能優(yōu)化的評(píng)價(jià)指標(biāo)。其中，資源利用率是衡量計(jì)算節(jié)點(diǎn)的 CPU、內(nèi)存和存儲(chǔ)資源的利用程度。這個(gè)指標(biāo)應(yīng)該顯著提高，以確保資源得到充分利用；響應(yīng)時(shí)間：衡量任務(wù)完成所需的時(shí)間，可以是任務(wù)隊(duì)列中任務(wù)的平均響應(yīng)時(shí)間。目標(biāo)是降低響應(yīng)時(shí)間，以提高任務(wù)執(zhí)行的效率。

1）資源利用率

平均CPU利用率為77.5%，內(nèi)存利用率為67.5%，存儲(chǔ)利用率為57.5%。這表明系統(tǒng)的資源利用率相對(duì)較高，但仍有改進(jìn)的空間，尤其是存儲(chǔ)資源的利用率較低。

2）響應(yīng)時(shí)間

將系統(tǒng)信息處理分為四個(gè)不同類型的任務(wù)，分析其響應(yīng)時(shí)間。其中，任務(wù)1代表政府機(jī)構(gòu)或相關(guān)部門提交的一種常規(guī)性、較簡(jiǎn)單的任務(wù)，包括數(shù)據(jù)查詢、報(bào)告生成或其他類似的操作；任務(wù)2代表政府機(jī)構(gòu)提交的稍復(fù)雜一些的任務(wù)，包括數(shù)據(jù)分析、資源分配決策、政策建議等；任務(wù)3代表相對(duì)較簡(jiǎn)單但需要快速響應(yīng)的任務(wù)，包括實(shí)時(shí)數(shù)據(jù)監(jiān)控、事件響應(yīng)等；任務(wù)4代表政府機(jī)構(gòu)提交的較復(fù)雜、計(jì)算密集型或需要較長(zhǎng)時(shí)間處理的任務(wù)。

從表2可以看出，任務(wù)的平均響應(yīng)時(shí)間在22毫秒到35毫秒之間，表明系統(tǒng)的響應(yīng)速度較快，任務(wù)能夠及時(shí)完成。

4 結(jié)語(yǔ)

本文構(gòu)建和優(yōu)化了政務(wù)大數(shù)據(jù)信息資源共享模型，基于云計(jì)算平臺(tái)，以滿足政府機(jī)構(gòu)在信息資源管理和共享方面的需求。通過(guò)對(duì)模型的構(gòu)建和性能優(yōu)化進(jìn)行深入研究，得出以下結(jié)論：

1）模型構(gòu)建：本文構(gòu)建了一個(gè)基于云計(jì)算平臺(tái)的政務(wù)大數(shù)據(jù)信息資源共享模型。該模型包括計(jì)算節(jié)點(diǎn)、任務(wù)隊(duì)列和資源需求等關(guān)鍵組成部分，能夠有效地支持政府機(jī)構(gòu)在信息資源管理方面的需求。

2）共享任務(wù)調(diào)度：提出了一種基于數(shù)據(jù)塊的任務(wù)調(diào)度方法，充分考慮了數(shù)據(jù)塊的特性和資源分配的優(yōu)化。該方法能夠在資源利用率和任務(wù)執(zhí)行效率之間取得平衡，提高了資源的綜合利用。

3）性能優(yōu)化策略：采用了煙花算法作為優(yōu)化策略，并針對(duì)資源利用最大化制定了目標(biāo)函數(shù)。通過(guò)模擬實(shí)驗(yàn)，我們證明了該策略的有效性，顯著提高了系統(tǒng)的資源利用率、任務(wù)響應(yīng)速度。

最后通過(guò)實(shí)驗(yàn)驗(yàn)證，本文所提出的模型和優(yōu)化策略在不同任務(wù)負(fù)載下表現(xiàn)出了良好的性能和穩(wěn)定性。但本文研究仍存在進(jìn)一步改進(jìn)和拓展的空間。未來(lái)的工作可以關(guān)注算法參數(shù)的優(yōu)化、更復(fù)雜場(chǎng)景下的性能評(píng)估以及安全性和隱私保護(hù)等方面，以進(jìn)一步提升政務(wù)大數(shù)據(jù)信息資源共享模型的效能。

參考文獻(xiàn)：

[1] 李翔.云計(jì)算平臺(tái)下政務(wù)大數(shù)據(jù)信息資源共享模型構(gòu)建[J].微型電腦應(yīng)用，2023，39（6）：137-140.

[2] 趙偉，侯聰聰，白晨.基于網(wǎng)絡(luò)平臺(tái)的科技信息資源共享博弈模型構(gòu)建與驗(yàn)證[J].中國(guó)科技資源導(dǎo)刊，2022，54（6）：12-19.

[3] 盛守一.基于區(qū)塊鏈技術(shù)的供應(yīng)鏈信息資源共享模型構(gòu)建研究[J].情報(bào)科學(xué)，2021，39（7）：162-168.

[4] 卞咸杰.大數(shù)據(jù)時(shí)代檔案信息資源共享平臺(tái)數(shù)據(jù)挖掘模型的研究與實(shí)現(xiàn)[J].檔案管理，2020（4）：21-24.

[5] 張?jiān)娷姡涛暮＃鹾＜?基于信息資源規(guī)劃的企業(yè)級(jí)共享數(shù)據(jù)模型構(gòu)建方法[J].計(jì)算機(jī)應(yīng)用與軟件，2010，27（11）：154-156.

【通聯(lián)編輯：張薇】