面向大數(shù)據(jù)應(yīng)用的分布式服務(wù)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)

王海濱

摘要：隨著互聯(lián)網(wǎng)時(shí)代的來臨，數(shù)據(jù)化時(shí)代的不斷推進(jìn)，現(xiàn)代社會(huì)對(duì)信息數(shù)據(jù)的重視程度愈發(fā)提高，如何更加高效、高速的處理海量信息數(shù)據(jù)，為用戶提供更加優(yōu)質(zhì)的服務(wù)是許多互聯(lián)網(wǎng)企業(yè)必須要思考的問題，而采用分布式處理方式既能夠緩解運(yùn)營商的主機(jī)壓力又能夠?yàn)橛脩籼岣吒觾?yōu)質(zhì)的服務(wù)，故該文圍繞著面向大數(shù)據(jù)應(yīng)用的分布式服務(wù)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)這一主題進(jìn)行闡述，希望能夠以此為大數(shù)據(jù)處理方面的研究提供一份參考資料。

關(guān)鍵詞：大數(shù)據(jù);分布式服務(wù)平臺(tái);設(shè)計(jì)與實(shí)現(xiàn)

中圖分類號(hào)：G642? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2021）15-0067-02

當(dāng)下隨著互聯(lián)網(wǎng)技術(shù)的不斷成熟，我們可以從互聯(lián)網(wǎng)上找到諸多的信息數(shù)據(jù)，而如何從這龐雜的數(shù)據(jù)中找到我們所需要的，如何提升用戶的使用體驗(yàn)，是許多互聯(lián)網(wǎng)公司提升自身核心競(jìng)爭力的關(guān)鍵點(diǎn)之一，同時(shí)搭建屬于企業(yè)自身的大數(shù)據(jù)應(yīng)用平臺(tái)也是許多互聯(lián)網(wǎng)公司努力奮斗的目標(biāo)，故本文圍繞著面向大數(shù)據(jù)應(yīng)用的分布式服務(wù)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)這一主題進(jìn)行了詳細(xì)陳述，具體陳述如下。

1 大數(shù)據(jù)技術(shù)

目前有關(guān)大數(shù)據(jù)尚無明確定義，但來自麥肯錫研究所對(duì)于大數(shù)據(jù)的解釋是現(xiàn)如今較為被認(rèn)可的說法之一，該研究所認(rèn)為大數(shù)據(jù)是一種海量數(shù)據(jù)的集合，其數(shù)據(jù)總量非常龐大，根本不是可以依靠少量計(jì)算機(jī)就能夠進(jìn)行處理的數(shù)據(jù)量，其具有數(shù)據(jù)總量龐大、類型豐富、數(shù)據(jù)價(jià)值密度低的特點(diǎn)。在信息技術(shù)全球化的當(dāng)下，大數(shù)據(jù)的價(jià)值堪比工業(yè)時(shí)代煤炭的價(jià)值，對(duì)于現(xiàn)代企業(yè)而言大數(shù)據(jù)技術(shù)是非常富有價(jià)值的，通過對(duì)這些“煤炭”的挖掘可以為諸多服務(wù)企業(yè)提供精準(zhǔn)銷售，也可以讓許多中小企業(yè)、傳統(tǒng)企業(yè)通過大數(shù)據(jù)技術(shù)實(shí)現(xiàn)企業(yè)轉(zhuǎn)型。總而言之隨著時(shí)代的不斷進(jìn)步，未來大數(shù)據(jù)技術(shù)的不斷成熟，其對(duì)于經(jīng)濟(jì)社會(huì)的價(jià)值體現(xiàn)會(huì)愈發(fā)明顯，愈發(fā)重要。

2 國內(nèi)外有關(guān)大數(shù)據(jù)應(yīng)用管理的相關(guān)研究

隨著大數(shù)據(jù)時(shí)代的來臨，許多企業(yè)已經(jīng)意識(shí)到大數(shù)據(jù)的重要性從而著手對(duì)大數(shù)據(jù)管理應(yīng)用進(jìn)行研究，其中Google、Oracle、Microsoft等企業(yè)更是已經(jīng)有了一定的研究成果并投入到實(shí)際應(yīng)用當(dāng)中，如由Google企業(yè)開發(fā)的一款名為Map Reduce的計(jì)算模型，其就能夠?qū)Υ髷?shù)據(jù)進(jìn)行有效處理，且算模型因其出色的高容錯(cuò)率、高擴(kuò)展性等優(yōu)點(diǎn)受到眾人的追捧，而脫胎于Map Reduce的Hadoop則更是因?yàn)槠淠軌蚋咝У奶幚泶髷?shù)據(jù)作為當(dāng)時(shí)處理研究大數(shù)據(jù)的主要途徑，對(duì)整個(gè)學(xué)術(shù)界和大數(shù)據(jù)市場(chǎng)產(chǎn)生了極大的沖擊，被廣泛用作搭建大數(shù)據(jù)管理的基礎(chǔ)平臺(tái)，但隨著科學(xué)技術(shù)的不斷發(fā)展，Hadoop又因?yàn)楣芾泶髷?shù)據(jù)而造成的計(jì)算機(jī)系統(tǒng)高延遲問題而被分布式內(nèi)存中的Key-Value存儲(chǔ)所淘汰，總而言之，大數(shù)據(jù)管理系統(tǒng)在當(dāng)下是十分受人矚目的，且已經(jīng)取得了一定的研究成果，但目前仍然還有著許多的難關(guān)需要不斷的克服，但無論如何大數(shù)據(jù)的外來發(fā)展與應(yīng)用的前景依舊是十分光明的。

3 大數(shù)據(jù)應(yīng)用平臺(tái)結(jié)構(gòu)設(shè)計(jì)

為了使各企業(yè)能夠從大數(shù)據(jù)中及時(shí)地找出自己所需要的數(shù)據(jù)，同時(shí)也為了緩解服務(wù)器的壓力，設(shè)計(jì)大數(shù)據(jù)管理應(yīng)用平臺(tái)時(shí)可以采用分布式結(jié)構(gòu)，通過將數(shù)據(jù)集群進(jìn)行分解，不斷分?jǐn)傇诟髯蛹荷系倪@一結(jié)構(gòu)達(dá)到搭建大數(shù)據(jù)應(yīng)用管理平臺(tái)的目的。從結(jié)構(gòu)角度分析可將Hadoop/Spark作為整個(gè)大數(shù)據(jù)分布式服務(wù)平臺(tái)的核心技術(shù)，通過REST協(xié)議實(shí)現(xiàn)各服務(wù)器之間的溝通交流，其基本結(jié)構(gòu)如圖1所示。從數(shù)據(jù)存儲(chǔ)的角度來看，將數(shù)據(jù)的儲(chǔ)存使用分布式儲(chǔ)存方式，將一個(gè)大的數(shù)據(jù)集群，分門別類地存放于子存儲(chǔ)系統(tǒng)當(dāng)中，在通過子存儲(chǔ)系統(tǒng)將這些數(shù)據(jù)提供給諸多用戶使用，達(dá)到實(shí)現(xiàn)優(yōu)化整個(gè)大數(shù)據(jù)平臺(tái)的存儲(chǔ)查看的效果。通過使用分布式存儲(chǔ)方式的形式，將整個(gè)大數(shù)據(jù)應(yīng)用平臺(tái)通過將各數(shù)據(jù)進(jìn)行整合分析，使各企業(yè)能夠充分使用企業(yè)內(nèi)部的各存儲(chǔ)設(shè)備，達(dá)到存儲(chǔ)設(shè)備的最大使用率，并方便各企業(yè)對(duì)諸多數(shù)據(jù)進(jìn)行分析研究找出其內(nèi)在價(jià)值，從而根據(jù)數(shù)據(jù)所提供的消息展開有針對(duì)性的營銷策略。

4 系統(tǒng)功能設(shè)計(jì)

對(duì)于搭建一個(gè)可靠的大數(shù)據(jù)應(yīng)用平臺(tái)而言光靠合理的結(jié)構(gòu)是不能夠滿足市場(chǎng)的需求的，其不僅需要合理的結(jié)構(gòu)體系，還需要滿足有能夠服務(wù)于大數(shù)據(jù)應(yīng)用平臺(tái)的功能，具體功能需求如下：

（1） 應(yīng)用注冊(cè)模塊：以注冊(cè)Eureka Server為例，當(dāng)大數(shù)據(jù)系統(tǒng)正式應(yīng)用后，用戶通過客戶端進(jìn)行注冊(cè)此時(shí)注冊(cè)信息會(huì)上傳至各子服務(wù)器，存放著注冊(cè)信息的子服務(wù)器又會(huì)向Eureka Server發(fā)送信號(hào)，而Eureka Server會(huì)以30s為周期對(duì)這些注冊(cè)信息進(jìn)行處理和儲(chǔ)存。同時(shí)在不同的Eureka Server之間則通過數(shù)據(jù)間的交互復(fù)制完成信息的同步。且為了防止因Eureka Server出現(xiàn)問題而導(dǎo)致數(shù)據(jù)丟失，Eureka還設(shè)立了一份保險(xiǎn)裝置，即提供了客戶端緩存機(jī)制，這樣即使所有的Eureka Server全部出現(xiàn)問題，數(shù)據(jù)全部丟失，客戶端所緩存的信息依舊可以使用其他服務(wù)的API。

（2） 路由網(wǎng)關(guān)模塊：路由網(wǎng)關(guān)的核心是一系列的filters，如Authentication、Load Shedding，當(dāng)客戶端前的用戶向大數(shù)據(jù)應(yīng)用平臺(tái)發(fā)起申請(qǐng)時(shí)，路由網(wǎng)關(guān)首先會(huì)檢測(cè)該用戶是否有權(quán)限進(jìn)行申請(qǐng)?zhí)幚恚粲新酚删W(wǎng)關(guān)就會(huì)自動(dòng)將該申請(qǐng)發(fā)送至對(duì)應(yīng)的服務(wù)地址上，進(jìn)行專項(xiàng)處理，若無權(quán)限則會(huì)拒絕該申請(qǐng)，自動(dòng)將頁面返回登錄界面。同時(shí)如果服務(wù)有集群則進(jìn)行負(fù)載均衡，默認(rèn)是輪詢的方式。

（3） 訪問控制模塊：是整個(gè)服務(wù)平臺(tái)對(duì)各用戶的訪問進(jìn)行控制管理的一個(gè)模塊，對(duì)訪問用戶的身份進(jìn)行驗(yàn)證，進(jìn)行授權(quán)。對(duì)每個(gè)點(diǎn)擊登錄的用戶返回一個(gè)JWT網(wǎng)頁令牌給用戶，實(shí)現(xiàn)給予用戶權(quán)限和身份識(shí)別，從而實(shí)現(xiàn)無狀態(tài)、分布式的Web應(yīng)用授權(quán)，從而對(duì)用戶的訪問進(jìn)行處理驗(yàn)證。

（4） 用戶和服務(wù)模塊：系統(tǒng)需要分別開放一個(gè)restful接口，讓用戶和第三方通過post、delete、put、post等操作指令獲取所需要的數(shù)據(jù)信息，從而達(dá)到實(shí)現(xiàn)操作和管理的目的，且這兩者是有所區(qū)別的，前者是通過讓用戶進(jìn)行主動(dòng)搜索尋找到用戶自身所需要的數(shù)據(jù)資源，后者是將對(duì)應(yīng)的大數(shù)據(jù)信息傳送至第三方服務(wù)。

（5） 服務(wù)質(zhì)量模塊：這一模塊是為了保障用戶在使用大數(shù)據(jù)服務(wù)時(shí)能夠有一個(gè)優(yōu)質(zhì)的使用體驗(yàn)，從而增加用戶二次使用概率的一個(gè)模塊。傳統(tǒng)模式下BIO用戶每發(fā)起一次搜索，每點(diǎn)開一個(gè)連接，服務(wù)器都需要對(duì)應(yīng)地創(chuàng)造一個(gè)單獨(dú)的線程進(jìn)行維護(hù)回應(yīng)，這對(duì)服務(wù)器產(chǎn)生了較大的壓力，也造成了許多不必要的資料浪費(fèi)，對(duì)用戶的回應(yīng)效率也較慢，導(dǎo)致了用戶的體驗(yàn)較差。因此在搭建服務(wù)質(zhì)量模塊時(shí)可以使用Netty，這是一個(gè)基于Reactor設(shè)計(jì)模式事件驅(qū)動(dòng)模型的網(wǎng)絡(luò)編程框架。使用NIO模式的用戶避免了每點(diǎn)開一個(gè)鏈接就會(huì)產(chǎn)生一個(gè)新的線程的情況，可以只使一個(gè)線程就能夠應(yīng)對(duì)多個(gè)鏈接，極大的增加了回應(yīng)用戶的效率，減少了資源的浪費(fèi)。

（6） 第三方服務(wù)模塊：為了符合市場(chǎng)需求，大數(shù)據(jù)應(yīng)用平臺(tái)的設(shè)計(jì)必然要有著第三方服務(wù)模塊，就如七牛云存儲(chǔ)，除了本身提供的資源存儲(chǔ)管理服務(wù)，現(xiàn)還有這第三方支付服務(wù)，如銀聯(lián)、支付寶、微信等。

5 系統(tǒng)實(shí)現(xiàn)與應(yīng)用

為了實(shí)現(xiàn)系統(tǒng)的搭建和應(yīng)用，除了要完成上述內(nèi)容以外還要完成前后端分離和系統(tǒng)緩存一致性，才能真正實(shí)現(xiàn)大數(shù)據(jù)應(yīng)用的分布式服務(wù)平臺(tái)搭建。

5.1 前后端分離技術(shù)實(shí)現(xiàn)

一個(gè)成熟的，搭建完善的大數(shù)據(jù)應(yīng)用平臺(tái)其前端和后端必然是分離的，這已經(jīng)成了互聯(lián)網(wǎng)界項(xiàng)目開發(fā)的標(biāo)準(zhǔn)模式，前后端分離不僅可以為之后的平臺(tái)結(jié)構(gòu)優(yōu)化、多端化服務(wù)打下良好的基礎(chǔ)，還因?yàn)閷?duì)于大數(shù)據(jù)應(yīng)用平臺(tái)而言最佳的結(jié)構(gòu)形式是分布式結(jié)構(gòu)，而采用前后端分離更加方便這種結(jié)果的搭建，同時(shí)也是的開發(fā)人員能夠全力投入到更加適合自身的工作之中，做到術(shù)業(yè)有專攻，提升平臺(tái)的搭建速度和質(zhì)量。故在進(jìn)行前后端分離時(shí)，前端可以采用Vue，以單向數(shù)據(jù)流的狀態(tài)管理模式進(jìn)行構(gòu)建，后端則用Spring Cloud系列的技術(shù)對(duì)服務(wù)進(jìn)行分模塊開發(fā)，而前后端對(duì)外則使用統(tǒng)一網(wǎng)關(guān)的形式提供接口，將前端的接口通過mock數(shù)據(jù)源轉(zhuǎn)接到后端的接口即可完成前后端分離的實(shí)現(xiàn)。

5.2 保障系統(tǒng)緩存一致性實(shí)現(xiàn)

因?yàn)榇髷?shù)據(jù)應(yīng)用平臺(tái)搭建結(jié)構(gòu)模式采用的是分布式模式，其數(shù)據(jù)整體具有較強(qiáng)的實(shí)時(shí)性，而為了優(yōu)化用戶體驗(yàn)，使得大數(shù)據(jù)應(yīng)用系統(tǒng)能夠?yàn)轭櫩吞峁└痈咝А?yōu)質(zhì)的服務(wù)，還需要保障系統(tǒng)緩存的一致性，而要做到這一點(diǎn)還需要注意以下內(nèi)容：1）要設(shè)計(jì)一個(gè)內(nèi)存隊(duì)列保存對(duì)數(shù)據(jù)的操作;2）及時(shí)清除服務(wù)器中不必要的緩存，避免這些緩存侵占過多的服務(wù)器資源，需要注意的是在需要更新數(shù)據(jù)庫時(shí)需要優(yōu)先刪除緩存在進(jìn)行更新;3）優(yōu)化整體操作、整體運(yùn)行，刪除無意義的、重復(fù)的操作;4）同步等待緩存更新完成，從分布式存儲(chǔ)系統(tǒng)中讀取最新數(shù)值，再寫入緩存中;5）若用戶進(jìn)行數(shù)據(jù)請(qǐng)求時(shí)，等待的時(shí)間過長則需要對(duì)舊值進(jìn)行清理，保證緩存的一致性，以免請(qǐng)求發(fā)生沖突。

6 結(jié)束語

綜上所述，隨著互聯(lián)網(wǎng)時(shí)代的來臨，數(shù)據(jù)的價(jià)值愈發(fā)被人們所重視，我們身邊的大多數(shù)信息都已經(jīng)數(shù)據(jù)化，我們?cè)诰W(wǎng)上可以接觸愈來愈多的信息數(shù)據(jù)，而將這些海量的數(shù)據(jù)信息進(jìn)行統(tǒng)籌規(guī)劃實(shí)際應(yīng)用，挖掘出這些信息潛在價(jià)值就是面向大數(shù)據(jù)應(yīng)用平臺(tái)搭建的目的。故本文介紹了大數(shù)據(jù)技術(shù)，分享了國內(nèi)外有關(guān)大數(shù)據(jù)應(yīng)用管理的相關(guān)研究，設(shè)計(jì)了面向大數(shù)據(jù)應(yīng)用的分布式服務(wù)的結(jié)構(gòu)設(shè)計(jì)、功能設(shè)計(jì)以及前后端分離，并保障了系統(tǒng)緩存的一致性，以求能夠?qū)崿F(xiàn)大數(shù)據(jù)應(yīng)用平臺(tái)的搭建。

參考文獻(xiàn)：

[1] 楊秋鴻，潘曉衡，趙鐵柱，等.面向大數(shù)據(jù)應(yīng)用的分布式服務(wù)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[J].東莞理工學(xué)院學(xué)報(bào)，2020，27（1）：34-38.

[2] 董佩.大數(shù)據(jù)環(huán)境下面向電信行業(yè)數(shù)據(jù)管理平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[D].漳州：閩南師范大學(xué)，2016.

[3] 趙冰峰.面向集成應(yīng)用的不動(dòng)產(chǎn)信息服務(wù)平臺(tái)設(shè)計(jì)與實(shí)現(xiàn)[D].徐州：中國礦業(yè)大學(xué)，2017.

[4] 吳東堯.面向大數(shù)據(jù)的分布式數(shù)據(jù)流處理引擎設(shè)計(jì)與實(shí)現(xiàn)[D].北京：中國科學(xué)院大學(xué)，2012.

[5] 安秀成.一個(gè)基于WINDOWS NT平臺(tái)的分布式面向?qū)ο髷?shù)據(jù)庫管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[D].遼寧：東北大學(xué)，1998.

【通聯(lián)編輯：代影】