面向大規(guī)模AI 數(shù)據(jù)流的接入算法和調(diào)度機(jī)制?

王季喜 陳慶奎

（上海理工大學(xué)光電信息與計(jì)算機(jī)工程學(xué)院 上海 200093）

1 引言

物聯(lián)網(wǎng)作為一種信息技術(shù)，其目標(biāo)就是通過傳感設(shè)備將現(xiàn)實(shí)世界中幾乎所有對象進(jìn)行網(wǎng)絡(luò)連接，從而實(shí)現(xiàn)萬物互聯(lián)互通［1］。隨著人們對科學(xué)的不斷探究，大規(guī)模終端設(shè)備的感知系統(tǒng)產(chǎn)生規(guī)模龐大的數(shù)據(jù)，物聯(lián)網(wǎng)進(jìn)入大數(shù)據(jù)時(shí)代［2～3］。近年來，人工智能［4］技術(shù)加速落地，人們開始運(yùn)用物聯(lián)網(wǎng)構(gòu)建新型智能感知系統(tǒng)。在“萬物智聯(lián)”時(shí)代，將智能計(jì)算任務(wù)向邊緣部署成為了人們的研究熱點(diǎn)。如在智能終端部署老人姿態(tài)識(shí)別的深度學(xué)習(xí)模型，對老人姿態(tài)進(jìn)行識(shí)別。目前，基于視頻、圖像的AI 任務(wù)不僅需要傳輸大量的數(shù)據(jù)，還需要較強(qiáng)的設(shè)備計(jì)算能力。為降低邊緣數(shù)據(jù)中心帶寬壓力，充分利用終端設(shè)備的計(jì)算能力，AI模型分層計(jì)算的方法被提出［5～6］。根據(jù)終端設(shè)備計(jì)算能力，將OpenPose 深度學(xué)習(xí)網(wǎng)絡(luò)模型［7］拆分為兩部分。其中，部署第一部分AI分層模型的智能終端對老人姿態(tài)視頻流預(yù)處理，提取視頻幀特征信息稱為AI 數(shù)據(jù)單元，同一前端設(shè)備基于時(shí)間序列上的AI 數(shù)據(jù)單元匯集成AI 數(shù)據(jù)流；GPU服務(wù)器利用第二部分AI分層模型對AI數(shù)據(jù)流進(jìn)行深入特征提取，從而識(shí)別老人姿態(tài)變化，對異常姿態(tài)進(jìn)行報(bào)警。

在老齡化日益嚴(yán)重的今天，對老人的異常姿態(tài)識(shí)別成為社會(huì)常態(tài)，AI 分層模型將被大量部署在智能終端。大規(guī)模AI 數(shù)據(jù)流涌入遠(yuǎn)端服務(wù)器集群將嚴(yán)重影響系統(tǒng)性能。為了充分發(fā)揮集群系統(tǒng)性能，提供可靠的并行AI 數(shù)據(jù)流接入服務(wù)，設(shè)計(jì)高效的AI數(shù)據(jù)流接入算法和調(diào)度機(jī)制變得格外重要。

2 相關(guān)工作

隨著人工智能的邊緣化，用于“邊緣計(jì)算”［8］的智能終端設(shè)備規(guī)模增加，大規(guī)模AI 數(shù)據(jù)流并發(fā)接入系統(tǒng)面臨諸多挑戰(zhàn)。在分布式“云計(jì)算”［9］中，為了實(shí)現(xiàn)計(jì)算任務(wù)的快速可靠完成，往往會(huì)涉及到“云計(jì)算”服務(wù)器負(fù)載均衡和計(jì)算任務(wù)調(diào)度問題。而邊緣接入服務(wù)器集群作為終端數(shù)據(jù)流向遠(yuǎn)端“云計(jì)算”服務(wù)中心匯集的中間通道，對數(shù)據(jù)流的響應(yīng)時(shí)間和可靠接入有著更高的要求，同樣面臨著任務(wù)遷移調(diào)度問題。

在任務(wù)遷移調(diào)度方面，目前有許多優(yōu)秀的解決方案。Cloudlet作為向移動(dòng)邊緣計(jì)算提供可持續(xù)性云服務(wù)的重要部分，其內(nèi)部任務(wù)的分配和調(diào)度是一項(xiàng)極具挑戰(zhàn)性的工作，文獻(xiàn)［10］設(shè)計(jì)一種啟發(fā)式負(fù)載均衡策略，考慮網(wǎng)絡(luò)帶寬和網(wǎng)絡(luò)延時(shí)的動(dòng)態(tài)變化，最小化任務(wù)完成時(shí)間和最大完工時(shí)間，提高云服務(wù)效率。Wang等［11］將“云計(jì)算”任務(wù)總完成時(shí)間和懲罰因子量化為適應(yīng)度函數(shù)，提出基于災(zāi)難性遺傳算法的任務(wù)調(diào)度算法，在滿足延遲的基礎(chǔ)上對云計(jì)算任務(wù)進(jìn)行調(diào)度。文獻(xiàn)［12］針對資源需求在時(shí)間和長度上的時(shí)變特性及云資源的動(dòng)態(tài)性和異構(gòu)性，提出一種在線強(qiáng)化學(xué)習(xí)的方法進(jìn)行前瞻性任務(wù)分配，以減少提交任務(wù)的響應(yīng)時(shí)間和最大完工時(shí)間，提高資源效率。文獻(xiàn)［13］將任務(wù)調(diào)度抽象為虛擬化技術(shù)下的虛擬機(jī)部署問題，通過三次指數(shù)平滑算法計(jì)算下一時(shí)期任務(wù)請求的資源需求，在此基礎(chǔ)上提出多目標(biāo)約束功耗模型和基于概率匹配的低功耗資源分配算法，提高了系統(tǒng)的實(shí)時(shí)響應(yīng)效率和穩(wěn)定性。文獻(xiàn)［14］通過度量到達(dá)特定機(jī)器的數(shù)據(jù)流包對CPU、內(nèi)存和網(wǎng)絡(luò)的利用率，同時(shí)考慮組成集群的主機(jī)的資源利用率，以降低數(shù)據(jù)流在線調(diào)度對流處理計(jì)算性能的影響。文獻(xiàn)［15］討論了一種具有響應(yīng)時(shí)間約束的大數(shù)據(jù)流在線調(diào)度策略，對系統(tǒng)穩(wěn)定性、響應(yīng)時(shí)間和資源利用進(jìn)行建模，有效地權(quán)衡了系統(tǒng)接入高穩(wěn)定性和可接受響應(yīng)時(shí)間之間的矛盾。童釗等［16］提出一種基于Q 學(xué)習(xí)的多目標(biāo)任務(wù)調(diào)度算法，利用Q-learning 自學(xué)習(xí)算法對任務(wù)進(jìn)行排序，對任務(wù)最早完成時(shí)間和計(jì)算成本進(jìn)行綜合考慮，以產(chǎn)生最小成本為目標(biāo)函數(shù)對任務(wù)進(jìn)行調(diào)度。

在前人研究的基礎(chǔ)上，本文設(shè)計(jì)區(qū)域動(dòng)態(tài)分組接入算法對AI 數(shù)據(jù)流進(jìn)行分組快速接入。同時(shí)，針對邊緣接入場景中AI 數(shù)據(jù)單元的動(dòng)態(tài)變化造成部分接入服務(wù)器資源“過負(fù)載”，進(jìn)而導(dǎo)致AI 數(shù)據(jù)單元發(fā)生嚴(yán)重丟包現(xiàn)象，本文設(shè)計(jì)并實(shí)現(xiàn)基于資源預(yù)測的AI 數(shù)據(jù)流遷移調(diào)度機(jī)制，有效解決AI 數(shù)據(jù)單元?jiǎng)討B(tài)變化帶來的系統(tǒng)問題，提高系統(tǒng)容錯(cuò)能力。

3 AI數(shù)據(jù)流接入系統(tǒng)設(shè)計(jì)

3.1 集群通信架構(gòu)

考慮到規(guī)模性數(shù)據(jù)流通信占用大量網(wǎng)絡(luò)帶寬，引起控制類消息發(fā)生嚴(yán)重?fù)矶拢疚牟捎门月房刂茩C(jī)制，通過專用物理端口將終端設(shè)備、接入服務(wù)器集群和GPU 計(jì)算集群進(jìn)行旁路連接進(jìn)行控制類消息通信。如圖1所示，針對不同的終端設(shè)備（用F1，F(xiàn)2，…，F(xiàn)n 標(biāo)識(shí)），在接入服務(wù)器（用R1，R2，…，Rn標(biāo)識(shí)）使用多端口實(shí)現(xiàn)并發(fā)數(shù)據(jù)流接入，并將并發(fā)數(shù)據(jù)流依照輪轉(zhuǎn)周期交給相應(yīng)的GPU 計(jì)算服務(wù)器（用G1，G2，…，Gn標(biāo)識(shí)）進(jìn)行計(jì)算。

圖1 集群通信架構(gòu)

3.2 AI數(shù)據(jù)流通信協(xié)議

在邊緣接入場景中，AI 計(jì)算任務(wù)往往需要滿足較高的實(shí)時(shí)性要求，這種高實(shí)時(shí)性要求的AI 任務(wù)處理不僅需要接入服務(wù)器物理上靠近智能終端，還需要低延遲的數(shù)據(jù)通信協(xié)議。UDP 傳輸協(xié)議采用無連接的通信方式，在大規(guī)模并行接入中顯得更加輕量高效，本文設(shè)計(jì)了基于UDP 消息的AI 數(shù)據(jù)流輕量化通信協(xié)議，以支持大規(guī)模AI 數(shù)據(jù)流并行通信功能。基于UDP消息的AI數(shù)據(jù)流通信協(xié)議包括兩種協(xié)議類型，一種是進(jìn)行AI 數(shù)據(jù)流傳輸?shù)南糜贏I 數(shù)據(jù)單元的數(shù)據(jù)封裝和傳輸；另一種是與并行接入系統(tǒng)有關(guān)的控制類型數(shù)據(jù)包，該類數(shù)據(jù)包用于實(shí)現(xiàn)并行接入系統(tǒng)的服務(wù)器資源負(fù)載信息匯集、服務(wù)器數(shù)據(jù)流接入信息同步和AI 數(shù)據(jù)流丟包重傳等功能。

如圖2 為本文設(shè)計(jì)的消息包格式，該設(shè)計(jì)對數(shù)據(jù)包結(jié)構(gòu)進(jìn)行自定義，保存了數(shù)據(jù)流的基本信息，便于系統(tǒng)進(jìn)行丟失數(shù)據(jù)包的重傳，以實(shí)現(xiàn)AI 數(shù)據(jù)流的可靠交付。

圖2 數(shù)據(jù)包協(xié)議格式

本文設(shè)計(jì)的控制類數(shù)據(jù)包如圖3 所示，通過旁路控制機(jī)制實(shí)現(xiàn)智能終端系統(tǒng)和接入服務(wù)器集群之間的控制消息傳輸。集群內(nèi)接入服務(wù)器定期向集群管理者發(fā)送資源負(fù)載同步包和數(shù)據(jù)流接入信息同步包，管理者解析對應(yīng)控制包，生成資源負(fù)載信息表和數(shù)據(jù)流接入信息表。其中，資源負(fù)載同步消息包括對應(yīng)服務(wù)器提供的接入端口地址Ser_Ip，端口帶寬負(fù)載Net_Load，端口AI 數(shù)據(jù)流占用內(nèi)存負(fù)載Mem_Load，CPU 利用率CPU_Load。數(shù)據(jù)流接入同步消息包括接入服務(wù)器各端口接收AI 數(shù)據(jù)流的源地址Src_Ip，以及AI數(shù)據(jù)流源端控制機(jī)制采用控制端口Ctr_Port。對于數(shù)據(jù)包丟失重傳控制包，其DATA 域指明發(fā)生丟包AI 數(shù)據(jù)單元相關(guān)信息以及待重傳數(shù)據(jù)包數(shù)量Rtr_Pkt_N，對應(yīng)Data 域中每兩個(gè)字節(jié)標(biāo)識(shí)一個(gè)丟失數(shù)據(jù)包在對應(yīng)AI 數(shù)據(jù)單元內(nèi)的分片編號(hào)，以使智能終端對丟失數(shù)據(jù)包進(jìn)行選擇重傳。

這種種原因標(biāo)明，利用Fizpatrick-Pathak皮膚分型來預(yù)測MED值是不可靠的，缺乏客觀依據(jù)。

圖3 控制包協(xié)議格式

3.3 數(shù)據(jù)流接入算法與調(diào)度機(jī)制

3.3.1 AI數(shù)據(jù)流資源模型

3.3.2 接入服務(wù)器資源負(fù)載模型

根據(jù)服務(wù)器接入信息，可獲得接入服務(wù)器Ri接收端口Pj理論最大接收速率為Vmax_Pj_Ri，接入服務(wù)器最大接收端口數(shù)量為num_port_Ri，接入服務(wù)器Ri接收端口Pj接入AI 數(shù)據(jù)流數(shù)目為Nreceived_Pj_Ri，接入服務(wù)器Ri最大內(nèi)存容量Mmax_Ri，在t時(shí)刻，接入服務(wù)器Ri的CPU資源利用率φC_Ri(t)由系統(tǒng)得出。通過式（3）可以計(jì)算出接入服務(wù)器Ri端口Pj網(wǎng)絡(luò)帶寬占用量，考慮通信干擾因素，由式（4）對端口帶寬占用量進(jìn)行平滑修正，修正因子δ為0.8。式（5）可以計(jì)算出接入服務(wù)器Ri全部接收端口總帶寬利用率。接入服務(wù)器Ri接收端口Pj接入AI 數(shù)據(jù)流內(nèi)存使用量由式（6）計(jì)算得出，由式（7）進(jìn)行平滑修正，修正因子?取0.8，最后由式（8）計(jì)算出AI 數(shù)據(jù)流對接入服務(wù)器Ri總內(nèi)存占用率。

3.3.3 區(qū)域動(dòng)態(tài)分組接入算法ADGA及其改進(jìn)

在大規(guī)模AI 數(shù)據(jù)流接入工作中，采用輪詢方式將AI 數(shù)據(jù)流接入邊緣服務(wù)器集群，服務(wù)器資源的動(dòng)態(tài)變化導(dǎo)致傳統(tǒng)輪詢方式較高延遲響應(yīng)問題。本文針對大規(guī)模AI 數(shù)據(jù)流接入請求，通過對接入服務(wù)器資源進(jìn)行分析，建立AI 數(shù)據(jù)流資源需求與接入服務(wù)器可用資源二分圖，尋找增廣路徑，設(shè)計(jì)區(qū)域分組動(dòng)態(tài)接入策略，將AI 數(shù)據(jù)流進(jìn)行分組接入。

采用常用圖表示方法表示二分圖為G={ }V1,V2,E，其中V1為集群接入服務(wù)器節(jié)點(diǎn)集，V2為請求進(jìn)行AI 數(shù)據(jù)流接入的智能終端節(jié)點(diǎn)集，E為兩個(gè)節(jié)點(diǎn)集內(nèi)節(jié)點(diǎn)之間的邊集，最初E=?。當(dāng)大量智能終端發(fā)送接入請求時(shí)，區(qū)域管理者解析接入請求包，獲得待接入AI 數(shù)據(jù)流數(shù)據(jù)單元Fk對接入服務(wù)器Ri端口帶寬占用量Buse_Fk_Ri及內(nèi)存占用量Muse_Fk_Ri。管理者查看集群資源負(fù)載信息表，獲得接入服務(wù)器Ri剩余端口帶寬Bleave_P_Ri和 內(nèi) 存 資 源Mleave_P_Ri。 若Buse_Fk_Ri

區(qū)域動(dòng)態(tài)分組接入算法核心在于二分圖的構(gòu)建和最大匹配的求解。假設(shè)集群接入服務(wù)器節(jié)點(diǎn)共n 臺(tái)，請求接入的智能終端共有m 個(gè)。構(gòu)建二分圖時(shí)，需要將所有請求接入的AI 數(shù)據(jù)流占用資源與所有服務(wù)器節(jié)點(diǎn)剩余資源進(jìn)行比較，建立終端與服務(wù)器之間的連接線，此過程時(shí)間復(fù)雜度最大為O（mn）。求解最大匹配過程中，對于每個(gè)接入服務(wù)器節(jié)點(diǎn)，都要查找其匹配邊，對于具有n 個(gè)接入節(jié)點(diǎn)的集群，匹配邊最壞查找情況即每次匹配都會(huì)查找一條增廣路徑，由二分圖構(gòu)建過程可知增廣路徑最大邊數(shù)為mn，則完成最大匹配求解最差時(shí)間復(fù)雜度為O（mn2）。根據(jù)算法最差時(shí)間復(fù)雜度可知，在大規(guī)模AI 數(shù)據(jù)流接入工作中，這種分配模式仍存在較大弊端。本文對請求AI 數(shù)據(jù)流接入的智能終端進(jìn)行分組，分組大小為K（K 為單個(gè)分組內(nèi)AI數(shù)據(jù)流數(shù)目），通過如下公式計(jì)算K值。

經(jīng)過改進(jìn)的區(qū)域動(dòng)態(tài)分組接入算法，當(dāng)接入服務(wù)器擁有較多可用資源時(shí)，將大規(guī)模AI 數(shù)據(jù)流接入請求進(jìn)行分組，每個(gè)分組用二分圖中V2的一個(gè)頂點(diǎn)表示，每個(gè)匹配邊表示將一組數(shù)據(jù)流接入請求分配給一臺(tái)接入服務(wù)器節(jié)點(diǎn)。

3.3.4 基于資源預(yù)測的AI數(shù)據(jù)流遷移調(diào)度

前文已對接入服務(wù)器CPU利用率、內(nèi)存利用率和端口帶寬利用率進(jìn)行分析建模，設(shè)φ_Rj(t)=(φC_Ri(t)，φM_Ri(t)，φN_Ri(t) )表示t時(shí)刻接入服務(wù)器Ri各資源利用率，定義接入服務(wù)器Ri資源總負(fù)載度為

在大規(guī)模AI 數(shù)據(jù)流并發(fā)接入模型中，當(dāng)智能終端設(shè)備進(jìn)行時(shí)間序列AI 數(shù)據(jù)流接入時(shí)，接入服務(wù)器的資源隨著數(shù)據(jù)流的接入發(fā)生波動(dòng)，可能導(dǎo)致服務(wù)器“過負(fù)載”現(xiàn)象，大大降低集群接入性能。針對接入服務(wù)器資源負(fù)載變化問題，防止資源負(fù)載突變產(chǎn)生負(fù)載誤差，本文基于加權(quán)平均的思想，采用二階差分指數(shù)平滑法對接入服務(wù)器資源負(fù)載情況進(jìn)行預(yù)測。使用二階差分指數(shù)平滑法進(jìn)行預(yù)測的計(jì)算過程如下：當(dāng)t 時(shí)刻資源負(fù)載標(biāo)準(zhǔn)差LSDt超過負(fù)載平衡閾值θ（θ取值0.1），觸發(fā)管理者數(shù)據(jù)流調(diào)度機(jī)制。由于對AI 數(shù)據(jù)流進(jìn)行接入時(shí)，區(qū)域動(dòng)態(tài)分組接入算法已經(jīng)基于服務(wù)器資源對數(shù)據(jù)流進(jìn)行了初分配，此處管理者選擇“過負(fù)載”接入服務(wù)器中資源占用較少的數(shù)據(jù)流遷移至“欠負(fù)載”接入服務(wù)器。可以通過式（20）～（24）計(jì)算遷入節(jié)點(diǎn)的可接受遷入數(shù)據(jù)流數(shù)量。其中，式（20）可以計(jì)算出接入服務(wù)器Ri單端口剩余帶寬，通過式（21）進(jìn)行平滑調(diào)整，調(diào)整因子u=0.8。式（22）可以計(jì)算出接入服務(wù)器Ri接收端口總剩余帶寬。式（23）計(jì)算出接入服務(wù)器Ri剩余內(nèi)存總量。最后，通過式（24）可以計(jì)算接入服務(wù)器Ri能接受遷移的AI數(shù)據(jù)流數(shù)目。

4 實(shí)驗(yàn)測試

4.1 實(shí)驗(yàn)環(huán)境

為驗(yàn)證本文接入算法和流調(diào)度機(jī)制性能，我們使用4 臺(tái)不同主機(jī)搭建邊緣接入服務(wù)器集群，其中1臺(tái)兼?zhèn)鋮f(xié)調(diào)者功能，詳細(xì)配置如表1所示。

表1 接入服務(wù)器配置信息

針對本文研究環(huán)境，經(jīng)過Nano 開發(fā)板預(yù)先進(jìn)行姿態(tài)行為視頻采集和預(yù)處理生成AI 數(shù)據(jù)流，每臺(tái)模擬機(jī)存儲(chǔ)300路不同的AI數(shù)據(jù)流，多線程進(jìn)行不同AI 數(shù)據(jù)流發(fā)送任務(wù)。每臺(tái)模擬機(jī)詳細(xì)配置信息如表2所示。

表2 模擬機(jī)配置信息

4.2 評(píng)估指標(biāo)

經(jīng)前期實(shí)驗(yàn)第一部分AI 分層模型采用27 層時(shí)，Nano 開發(fā)板可在輪轉(zhuǎn)周期為1s 內(nèi)完成圖像采集、AI 預(yù)處理和周期性發(fā)送任務(wù)。經(jīng)過分層模型預(yù)處理的AI 數(shù)據(jù)單元大小約為672KB，采用設(shè)計(jì)的AI 數(shù)據(jù)包大小，單個(gè)AI 數(shù)據(jù)單元將被封裝成945 個(gè)AI 數(shù)據(jù)包。假定發(fā)送數(shù)據(jù)單元周期數(shù)為T，單個(gè)周期數(shù)據(jù)單元并發(fā)量為N，通過對丟包率和各服務(wù)器資源負(fù)載度的分析，對本系統(tǒng)的調(diào)度機(jī)制性能進(jìn)行評(píng)估。

丟包率DPR 指連續(xù)發(fā)送周期T 內(nèi)AI 數(shù)據(jù)流丟包總量占數(shù)據(jù)流包總數(shù)的比例；接入服務(wù)器資源負(fù)載度Li由式（13）計(jì)算得出。對比管理者被觸發(fā)數(shù)據(jù)流遷移調(diào)度前后各服務(wù)器資源總負(fù)載度和AI 數(shù)據(jù)流丟包率，可以反映系統(tǒng)數(shù)據(jù)流遷移調(diào)度算法性能。

4.3 實(shí)驗(yàn)結(jié)果及分析

4.3.1 數(shù)據(jù)流接入響應(yīng)時(shí)間測試

在該實(shí)驗(yàn)中，本文選擇傳統(tǒng)最少連接數(shù)法、本文的區(qū)域動(dòng)態(tài)接入算法及其改進(jìn)算法，對比各算法對不同規(guī)模請求接入的平均響應(yīng)時(shí)間。如表3 為不同數(shù)據(jù)流接入請求時(shí)各算法平均響應(yīng)時(shí)間對比。

表3 不同接入請求量下各算法響應(yīng)時(shí)間對比

對比可以看出，在不同數(shù)量數(shù)據(jù)流并發(fā)請求接入時(shí)，采用最少連接數(shù)算法對數(shù)據(jù)流進(jìn)行接入，數(shù)據(jù)流接入請求平均響應(yīng)時(shí)間都遠(yuǎn)遠(yuǎn)大于本文的區(qū)域動(dòng)態(tài)分組接入算法及其改進(jìn)算法。在數(shù)據(jù)流接入請求數(shù)量為100 時(shí)，集群各接入服務(wù)器仍處于“欠負(fù)載”狀態(tài)。對于大量“欠負(fù)載”服務(wù)器，管理服務(wù)器執(zhí)行動(dòng)態(tài)分組算法效果并不明顯，由于在分配數(shù)據(jù)流接入請求時(shí)需要先對數(shù)據(jù)流進(jìn)行分組劃分，然后按分組進(jìn)行動(dòng)態(tài)接入，導(dǎo)致ADGA 改進(jìn)算法平均響應(yīng)時(shí)間略大于區(qū)域動(dòng)態(tài)分組接入算法。在數(shù)據(jù)流接入請求數(shù)量大于200 時(shí)，ADGA 改進(jìn)算法接入請求平均響應(yīng)時(shí)間明顯小于算法改進(jìn)前平均響應(yīng)時(shí)間，這是因?yàn)锳DGA 改進(jìn)算法不僅考慮服務(wù)器負(fù)載情況，并將流平均分配思想用于分組大小的計(jì)算，提高了服務(wù)器負(fù)載均衡程度，從而降低集群對規(guī)模性數(shù)據(jù)流接入請求的平均響應(yīng)時(shí)間。

4.3.2 數(shù)據(jù)流遷移調(diào)度實(shí)驗(yàn)

本文利用服務(wù)器集群單端口進(jìn)行數(shù)據(jù)流遷移調(diào)度實(shí)驗(yàn)，發(fā)送周期T 選取100。模擬機(jī)向集群管理者發(fā)送不同規(guī)模AI 數(shù)據(jù)流接入請求，計(jì)算采用資源預(yù)測的數(shù)據(jù)流調(diào)度前后各服務(wù)器資源負(fù)載信息，將數(shù)據(jù)流調(diào)度前后各服務(wù)器丟包率進(jìn)行對比。

如圖4和圖5所示，未采用數(shù)據(jù)流調(diào)度時(shí)，集群各服務(wù)器資源負(fù)載度存在明顯差異，特別是當(dāng)集群數(shù)據(jù)流并發(fā)量達(dá)到400 時(shí)，部分服務(wù)器資源負(fù)載度達(dá)到0.6，開始出現(xiàn)“過負(fù)載”現(xiàn)象，丟包現(xiàn)象明顯；采用基于資源預(yù)測的數(shù)據(jù)流調(diào)度算法之后，各服務(wù)器相互分擔(dān)數(shù)據(jù)流接入工作，集群各服務(wù)器資源負(fù)載度相對均衡，并未出現(xiàn)個(gè)別服務(wù)器“過負(fù)載”現(xiàn)象，丟包率明顯下降。當(dāng)集群數(shù)據(jù)流并發(fā)量達(dá)到500 時(shí)，基于資源預(yù)測的流調(diào)度方案可以使各服務(wù)器資源負(fù)載相對均衡，但AI 數(shù)據(jù)流總并發(fā)量超出了集群處理能力，部分服務(wù)器仍存在“過負(fù)載”現(xiàn)象。通過圖4 和圖5 可以看出，當(dāng)AI 數(shù)據(jù)流總并發(fā)量在集群可處理能力范圍內(nèi)時(shí)，基于資源預(yù)測的流調(diào)度方案可以更好地對集群服務(wù)器資源進(jìn)行均衡利用，避免單個(gè)服務(wù)器由于“過負(fù)載”出現(xiàn)集群性能瓶頸，從而提高系統(tǒng)AI數(shù)據(jù)流接入可靠性。

圖4 調(diào)度前各服務(wù)器資源負(fù)載度和數(shù)據(jù)流丟包率

圖5 調(diào)度后各服務(wù)器資源負(fù)載度和數(shù)據(jù)流丟包率

5 結(jié)語

在大規(guī)模AI 數(shù)據(jù)流接入過程中，進(jìn)行不同數(shù)量的數(shù)據(jù)流并發(fā)接入時(shí)，本文設(shè)計(jì)并實(shí)現(xiàn)的區(qū)域動(dòng)態(tài)分組接入算法對數(shù)據(jù)流接入請求平均響應(yīng)時(shí)間均低于傳統(tǒng)最少連接法。針對AI 數(shù)據(jù)單元?jiǎng)討B(tài)變化，設(shè)計(jì)并實(shí)現(xiàn)基于動(dòng)態(tài)資源預(yù)測的AI 數(shù)據(jù)流調(diào)度。在流動(dòng)態(tài)變化過程中，采用動(dòng)態(tài)資源預(yù)測的數(shù)據(jù)流調(diào)度機(jī)制可以有效解決接入服務(wù)器預(yù)期“過負(fù)載”現(xiàn)象，保證系統(tǒng)總并發(fā)量不變情況下，降低邊緣接入集群AI 數(shù)據(jù)單元丟包率，使系統(tǒng)資源得到高效利用。這對未來大規(guī)模智能終端數(shù)據(jù)進(jìn)行匯集接入具有重大實(shí)際意義。未來本文將對接入服務(wù)器集群動(dòng)態(tài)擴(kuò)展進(jìn)行研究，以使得集群規(guī)模自適應(yīng)AI數(shù)據(jù)流并發(fā)接入總量。