異構(gòu)環(huán)境下大數(shù)據(jù)傳輸能耗優(yōu)化的方法
——評(píng)《大數(shù)據(jù)處理平臺(tái)能耗優(yōu)化方法的研究》

許 立(河北北方學(xué)院附屬第一醫(yī)院)

伴隨著我國(guó)移動(dòng)互聯(lián)網(wǎng)、云計(jì)算和大數(shù)據(jù)等信息技術(shù)的快速崛起與發(fā)展，蜂窩網(wǎng)絡(luò)的覆蓋范圍越來(lái)越廣，使處理數(shù)據(jù)的計(jì)算機(jī)數(shù)量迅速增長(zhǎng)，移動(dòng)數(shù)據(jù)流量爆炸式增長(zhǎng)導(dǎo)致大數(shù)據(jù)系統(tǒng)產(chǎn)生高能耗問(wèn)題，引起我國(guó)政府和業(yè)界的高度重視。研究降低大數(shù)據(jù)系統(tǒng)的能耗，有助于降低異構(gòu)網(wǎng)絡(luò)部署和運(yùn)營(yíng)成本，提升頻譜有效性和能量有效性。將現(xiàn)有的綠色計(jì)算研究成果運(yùn)用于大數(shù)據(jù)處理平臺(tái)，有針對(duì)性地優(yōu)化基于中間件的能耗問(wèn)題。在異構(gòu)網(wǎng)絡(luò)環(huán)境下出于經(jīng)濟(jì)和環(huán)境方面的考慮，提升蜂窩網(wǎng)絡(luò)能量的有效性成為關(guān)鍵性能指標(biāo)，為有效解決異構(gòu)網(wǎng)絡(luò)中大量基站部署導(dǎo)致的網(wǎng)絡(luò)能耗激增問(wèn)題，還要研究異構(gòu)網(wǎng)絡(luò)中的能量有效干擾管理、負(fù)載均衡技術(shù)問(wèn)題。為解決大數(shù)據(jù)環(huán)境下的無(wú)線通信數(shù)據(jù)傳輸能耗過(guò)大問(wèn)題，需要研究異構(gòu)環(huán)境下大數(shù)據(jù)傳輸能耗優(yōu)化的方法，如將無(wú)線傳輸節(jié)點(diǎn)任務(wù)分配到網(wǎng)絡(luò)節(jié)點(diǎn)中，在源節(jié)點(diǎn)和目的節(jié)點(diǎn)尋找合適的路徑，進(jìn)行數(shù)據(jù)轉(zhuǎn)發(fā)，并選擇簇頭節(jié)點(diǎn)和制定通信協(xié)議。還可以在多重網(wǎng)絡(luò)異構(gòu)環(huán)境下，對(duì)大數(shù)據(jù)傳輸?shù)哪芎倪M(jìn)行優(yōu)化設(shè)計(jì)，采用新的海量網(wǎng)絡(luò)數(shù)據(jù)傳輸能耗控制優(yōu)化方法，以降低大數(shù)據(jù)傳輸系統(tǒng)的開(kāi)銷(xiāo)，從而提升大數(shù)據(jù)處理平臺(tái)傳輸?shù)谋Ｕ嫘浴?/p>

為此，由宋杰撰寫(xiě)的《大數(shù)據(jù)處理平臺(tái)能耗優(yōu)化方法的研究》一書(shū)，有助于異構(gòu)環(huán)境下大數(shù)據(jù)傳輸能耗優(yōu)化的方法研究。該書(shū)是作者近年來(lái)在大數(shù)據(jù)領(lǐng)域的科研成果，重點(diǎn)圍繞大數(shù)據(jù)處理平臺(tái)中的能耗優(yōu)化方法進(jìn)行深入研究，提出縮減節(jié)點(diǎn)的等待時(shí)間，以減少空閑能耗這一優(yōu)化方法。作者首先從大數(shù)據(jù)處理平臺(tái)和能耗優(yōu)化研究?jī)蓚€(gè)方面進(jìn)行了綜述，然后對(duì)評(píng)價(jià)模型和核心技術(shù)展開(kāi)論述。在模型層面和技術(shù)層面分別介紹了如何建立大數(shù)據(jù)處理平臺(tái)能耗模型、求解最小能耗值、主流NoSQL數(shù)據(jù)庫(kù)系統(tǒng)、能耗基準(zhǔn)測(cè)試方法及測(cè)試結(jié)果，以及通過(guò)優(yōu)化資源分配和任務(wù)調(diào)度策略消除資源瓶頸和減少資源等待；通過(guò)優(yōu)化數(shù)據(jù)布局策略提高節(jié)點(diǎn)并行性和減少節(jié)點(diǎn)間等待，從而最終達(dá)到降低大數(shù)據(jù)處理平臺(tái)能耗的目的。最后，探討了大數(shù)據(jù)處理平臺(tái)能耗優(yōu)化思路、方法和途徑，闡述了面向大數(shù)據(jù)處理算法的能耗優(yōu)化方法。讀者通過(guò)該書(shū)能更加深入了解大數(shù)據(jù)處理平臺(tái)的核心技術(shù)、能耗優(yōu)化等前沿性學(xué)術(shù)問(wèn)題，可以幫助讀者更加有效地構(gòu)建平臺(tái)和對(duì)現(xiàn)有平臺(tái)進(jìn)行改進(jìn)，對(duì)開(kāi)展大數(shù)據(jù)和綠色計(jì)算領(lǐng)域的交叉研究具有重要的科學(xué)意義和廣泛應(yīng)用前景。

作者首先對(duì)大數(shù)據(jù)處理平臺(tái)做了一些描述，分別介紹了大數(shù)據(jù)分析、云計(jì)算、分布式系統(tǒng)和分布式計(jì)算等概念，然后介紹了能耗優(yōu)化研究的進(jìn)展情況，闡述了能耗研究的層次、能耗優(yōu)化方法、集群環(huán)境下的能耗優(yōu)化方法、數(shù)據(jù)庫(kù)系統(tǒng)能耗優(yōu)化方法等問(wèn)題，并對(duì)研究現(xiàn)狀進(jìn)行了細(xì)致分析。其次，論述了大數(shù)據(jù)處理平臺(tái)的能效度量模型。在介紹了相關(guān)工作之后闡述了能效模型、能效測(cè)量方法、能效計(jì)算方法和能效極值分析，并對(duì)單機(jī)實(shí)驗(yàn)和集群環(huán)境實(shí)驗(yàn)進(jìn)行了分析。第三，論述了大數(shù)據(jù)處理平臺(tái)的能耗基準(zhǔn)測(cè)試與分析，具體闡述了數(shù)據(jù)模型、測(cè)試用例、能耗模型、能耗分析方法、能耗測(cè)量方法等基準(zhǔn)測(cè)試方法。通過(guò)實(shí)驗(yàn)環(huán)境分析、基準(zhǔn)能耗比較分析和等待能耗分析等實(shí)驗(yàn)分析，得出大數(shù)據(jù)處理平臺(tái)的能耗優(yōu)化方法。最后，論述了大數(shù)據(jù)處理平臺(tái)的資源比模型、普適的資源和能效模型優(yōu)化等問(wèn)題，闡述了優(yōu)化大數(shù)據(jù)處理平臺(tái)能耗的任務(wù)分發(fā)算法和數(shù)據(jù)布局算法，并對(duì)大數(shù)據(jù)處理算法能耗優(yōu)化研究進(jìn)行了展望。

在異構(gòu)環(huán)境下采用無(wú)線傳感器網(wǎng)絡(luò)技術(shù)的大數(shù)據(jù)傳輸和調(diào)度，使得大數(shù)據(jù)傳輸?shù)靡陨钊氚l(fā)展，但是大數(shù)據(jù)傳輸信道遭受到了多種干擾從而產(chǎn)生信道失衡，這樣造成的能量消耗極大，因此，采用能耗優(yōu)化模型設(shè)計(jì)有助于大數(shù)據(jù)傳輸節(jié)能。傳統(tǒng)大數(shù)據(jù)傳輸能耗均衡模型建設(shè)，一般采用自適應(yīng)均衡、信道均衡和大數(shù)據(jù)傳輸能耗均衡三種算法。在異構(gòu)環(huán)境下，通過(guò)大數(shù)據(jù)傳輸信道線性與非線性均衡器進(jìn)行能耗預(yù)測(cè)，通過(guò)優(yōu)化均衡配置提升大數(shù)據(jù)傳輸效率。但是，在大數(shù)據(jù)傳輸能耗均衡配置過(guò)程中，采用這三種計(jì)算法導(dǎo)致計(jì)算開(kāi)銷(xiāo)過(guò)大、抗干擾性能差和能量開(kāi)銷(xiāo)無(wú)法合理控制，還需要進(jìn)一步優(yōu)化算法和改進(jìn)能耗模型設(shè)計(jì)。作者提出了一種更加先進(jìn)的大數(shù)據(jù)傳輸能耗優(yōu)化模型設(shè)計(jì)，那就是基于自適應(yīng)負(fù)載均衡控制、異構(gòu)環(huán)境下的能耗模型，通過(guò)大數(shù)據(jù)傳輸信道模型設(shè)計(jì)和自適應(yīng)負(fù)載均衡控制算法，進(jìn)行大數(shù)據(jù)傳輸信道均衡設(shè)計(jì)以降低傳輸能耗；通過(guò)仿真實(shí)驗(yàn)進(jìn)行性能測(cè)試，實(shí)現(xiàn)了大數(shù)據(jù)高效均衡調(diào)度和傳輸，從而實(shí)現(xiàn)了能耗開(kāi)支小和信道均衡性高的目的。

為建構(gòu)異構(gòu)環(huán)境下的大數(shù)據(jù)傳輸系統(tǒng)和多徑信道模型，作者認(rèn)為采用 BPSK調(diào)制碼元的分布設(shè)計(jì)可以很好優(yōu)化大數(shù)據(jù)傳輸信道和降低能耗開(kāi)銷(xiāo)，大數(shù)據(jù)傳輸信道模型設(shè)計(jì)為很好完成異構(gòu)環(huán)境下的大數(shù)據(jù)傳輸能耗優(yōu)化提供了基礎(chǔ)。在異構(gòu)環(huán)境下大數(shù)據(jù)傳輸信道均衡設(shè)計(jì)和能耗優(yōu)化控制模型設(shè)計(jì)過(guò)程中，采用自適應(yīng)負(fù)載均衡控制算法可以大大降低大數(shù)據(jù)傳輸能耗。作者為此通過(guò)仿真實(shí)驗(yàn)與結(jié)果分析來(lái)驗(yàn)證這種算法的實(shí)效性，測(cè)試出本算法在大數(shù)據(jù)傳輸能耗優(yōu)化中的優(yōu)越性能，從而大幅度降低了發(fā)射功率和傳輸能耗。這種基于自適應(yīng)負(fù)載均衡控制的大數(shù)據(jù)傳輸信道模型和能耗優(yōu)化模型設(shè)計(jì)，以及采用的自適應(yīng)負(fù)載均衡控制算法，實(shí)現(xiàn)了大數(shù)據(jù)的均衡調(diào)度和高效傳輸。還可以采用實(shí)用有效的改進(jìn)算法，以降低海量數(shù)據(jù)的傳輸能耗問(wèn)題，通過(guò)建立異構(gòu)環(huán)境下大數(shù)據(jù)傳輸能耗優(yōu)化模型和大數(shù)據(jù)傳輸信道模型，對(duì)網(wǎng)絡(luò)數(shù)據(jù)節(jié)點(diǎn)能耗進(jìn)行計(jì)算，選取合適節(jié)點(diǎn)對(duì)網(wǎng)絡(luò)數(shù)據(jù)和大數(shù)據(jù)傳輸信道進(jìn)行參數(shù)設(shè)計(jì)，從而實(shí)現(xiàn)大數(shù)據(jù)均衡調(diào)度和高效傳輸，以降低大數(shù)據(jù)傳輸能耗的問(wèn)題。