大數(shù)據(jù)平臺(tái)的自動(dòng)化運(yùn)維及監(jiān)控技術(shù)分析

盧穎

摘要：大數(shù)據(jù)技術(shù)的發(fā)展和大數(shù)據(jù)平臺(tái)的應(yīng)用，使很多行業(yè)的工作發(fā)生了翻天覆地的變化。在營(yíng)銷(xiāo)監(jiān)控工作中，通過(guò)基于大數(shù)據(jù)平臺(tái)構(gòu)建營(yíng)銷(xiāo)監(jiān)控自動(dòng)化運(yùn)維系統(tǒng)，不僅可以實(shí)現(xiàn)高效的數(shù)據(jù)搜索和存儲(chǔ)，更還可以實(shí)現(xiàn)高效的數(shù)據(jù)庫(kù)管理、監(jiān)控及數(shù)據(jù)分析與處理。可以說(shuō)，大數(shù)據(jù)平臺(tái)為行業(yè)發(fā)展提供了很大的先導(dǎo)性，是提高服務(wù)質(zhì)量與經(jīng)濟(jì)效益的有效助力。故而有必要對(duì)大數(shù)據(jù)平臺(tái)的營(yíng)銷(xiāo)監(jiān)控自動(dòng)化運(yùn)維展開(kāi)深入研究。

關(guān)鍵詞：大數(shù)據(jù)平臺(tái);營(yíng)銷(xiāo)監(jiān)控;自動(dòng)化運(yùn)維

引言

隨著科學(xué)技術(shù)的飛速發(fā)展，信息技術(shù)的更新和復(fù)制提供了大量的數(shù)據(jù)，為社會(huì)各階層的信息技術(shù)發(fā)展提供了機(jī)遇，并作為一個(gè)機(jī)會(huì)將繼續(xù)這樣下去。增加詞的記述和定義、以及信息的記述、“大數(shù)據(jù)”這個(gè)詞在很多人中都提到了字段。因此，作為集成的全球應(yīng)用平臺(tái)，數(shù)據(jù)管理、業(yè)務(wù)管理、數(shù)據(jù)庫(kù)訪問(wèn)控制等，提高業(yè)務(wù)效率和服務(wù)質(zhì)量，降低運(yùn)營(yíng)成本。從海量數(shù)據(jù)的概念、特征和業(yè)務(wù)度量入手，分析了知識(shí)監(jiān)控方法與知識(shí)監(jiān)控方法相結(jié)合的一些重要因素。高質(zhì)量的數(shù)據(jù)管理和維護(hù)集中在大型數(shù)據(jù)庫(kù)的理論基礎(chǔ)上。

1自動(dòng)化運(yùn)維技術(shù)概述及大數(shù)據(jù)平臺(tái)的應(yīng)用優(yōu)勢(shì)

一個(gè)企業(yè)經(jīng)營(yíng)與發(fā)展離不開(kāi)對(duì)系統(tǒng)的運(yùn)營(yíng)維護(hù)，運(yùn)維工作對(duì)企業(yè)發(fā)展戰(zhàn)略的制定、經(jīng)營(yíng)管理重心的選擇有著重要作用，是管理層做出重大抉擇的重要依據(jù)，也是系統(tǒng)穩(wěn)定運(yùn)行的重要保障。運(yùn)維工作較為復(fù)雜，工作量巨大，尤其是互聯(lián)網(wǎng)企業(yè)，系統(tǒng)24h運(yùn)轉(zhuǎn)，數(shù)據(jù)規(guī)模龐大，涉及各個(gè)領(lǐng)域，且相互之前存在影響，需要投入大量的人力、物力。自動(dòng)化運(yùn)維可以將IT運(yùn)維工作中日常性的、重復(fù)性的、程序性的工作自動(dòng)化，將人工執(zhí)行轉(zhuǎn)化為系統(tǒng)自動(dòng)化執(zhí)行，并對(duì)各項(xiàng)數(shù)據(jù)進(jìn)行整合和邏輯分析，總結(jié)出發(fā)展趨勢(shì)，為企業(yè)提供更好的幫助。基于大數(shù)據(jù)平臺(tái)的自動(dòng)化運(yùn)維，結(jié)合了大數(shù)據(jù)技術(shù)的整合、分析能力，使IT運(yùn)維工作得到了升華。自動(dòng)化運(yùn)維應(yīng)用大數(shù)據(jù)技術(shù)能夠提高運(yùn)維流程的可控性，滿(mǎn)足企業(yè)的個(gè)性化需求，讓企業(yè)決策層能夠更加清晰、直觀的看到公司的業(yè)務(wù)流程，加強(qiáng)他們對(duì)公司的把握能力。同時(shí)，大數(shù)據(jù)平臺(tái)下的自動(dòng)化運(yùn)維也能提高運(yùn)維工作的透明度，有助于系統(tǒng)版本的疊加，更能清晰的分辨出其中的問(wèn)題，為優(yōu)化提供方便。自動(dòng)化運(yùn)維與大數(shù)據(jù)平臺(tái)相結(jié)合，還能減少人為因素造成的失誤，加強(qiáng)信息傳遞、處理的速度，提高運(yùn)維工作的整體效率。另外結(jié)合監(jiān)控技術(shù)，充分發(fā)揮大數(shù)據(jù)技術(shù)的優(yōu)點(diǎn)，還能對(duì)數(shù)據(jù)和工作記錄進(jìn)行實(shí)時(shí)記錄和跟蹤，做到及時(shí)預(yù)警、及時(shí)應(yīng)對(duì)，讓運(yùn)維工作更加輕松、靈活。

2大數(shù)據(jù)平臺(tái)的自動(dòng)化運(yùn)維及監(jiān)控技術(shù)分析

2.1大數(shù)據(jù)建模技術(shù)與存儲(chǔ)技術(shù)

只有對(duì)分布、多源與異構(gòu)數(shù)據(jù)整合問(wèn)題進(jìn)行有效處理，才能夠真正實(shí)現(xiàn)大數(shù)據(jù)的統(tǒng)一管理與存儲(chǔ)，大大提高數(shù)據(jù)信息處理的效率。現(xiàn)階段在數(shù)據(jù)建模方面的研究，人們更加側(cè)重于層次、關(guān)系網(wǎng)狀聯(lián)通和對(duì)象的面向性的討論，其在大數(shù)據(jù)建模方法形式的具體應(yīng)用，能直觀地呈現(xiàn)出大數(shù)據(jù)管理面臨的難題。大數(shù)據(jù)統(tǒng)一建模具體步驟為立足于大數(shù)據(jù)特征總結(jié)歸納、明確關(guān)系、抽象化地處理各類(lèi)數(shù)據(jù)信息，這樣才能夠確保大數(shù)據(jù)建模的合理性與完整性。其中，大數(shù)據(jù)的根本信息、協(xié)調(diào)聯(lián)動(dòng)機(jī)制信息及功能性問(wèn)題信息，是經(jīng)大數(shù)據(jù)分析后被定義的三類(lèi)關(guān)鍵信息。大數(shù)據(jù)的不同特征會(huì)影響分類(lèi)聚合的成效，針對(duì)頂層數(shù)據(jù)信息的結(jié)構(gòu)而言，非結(jié)構(gòu)化與結(jié)構(gòu)化之間具有很大的區(qū)別，相關(guān)人員需要滿(mǎn)足進(jìn)行數(shù)據(jù)研究工作的要求。針對(duì)自動(dòng)化運(yùn)維模型的接口，統(tǒng)一接口的綜合構(gòu)成直接決定著所有分類(lèi)索引、樹(shù)形索引及存儲(chǔ)索引，相關(guān)人員可借助該接口實(shí)現(xiàn)對(duì)多源大數(shù)據(jù)的關(guān)聯(lián)與管理。且自動(dòng)化運(yùn)維管理平臺(tái)的功能主要包括企業(yè)設(shè)備資產(chǎn)管理、數(shù)據(jù)中心定期巡檢等，這不僅能夠?yàn)槠髽I(yè)的運(yùn)維管理提供必要的支撐，還能夠有效提高運(yùn)行效率、節(jié)省運(yùn)維成本。

2.2自動(dòng)化運(yùn)維模型的接口

它對(duì)不同類(lèi)型分類(lèi)索引之間統(tǒng)一接口的整體配置起著決定性的作用，保存的索引和索引那棵樹(shù)。用戶(hù)可以創(chuàng)建一個(gè)多源的管理和溝通：管理系統(tǒng)更新項(xiàng)目平臺(tái)“樂(lè)”包括數(shù)據(jù)中心的日常檢查、業(yè)務(wù)設(shè)備的管理等，為企業(yè)日常服務(wù)提供可靠的支持，提高業(yè)務(wù)效率，并將其降到最低限度。在面向目標(biāo)的設(shè)計(jì)過(guò)程中，本文提出并描述了信息服務(wù)系統(tǒng)面向的幾個(gè)行業(yè)。一些過(guò)程和計(jì)算算法的大量數(shù)據(jù)很難完全轉(zhuǎn)換或集成到數(shù)據(jù)庫(kù)函數(shù)中。因此，需要從一些功能中提取數(shù)據(jù)，并用傳統(tǒng)的分析工具和軟件進(jìn)行分析。但是，分析和分析任務(wù)的數(shù)量正在逐漸增加，需要擴(kuò)大或增加新的服務(wù)器。但是服務(wù)器比因特網(wǎng)貴。網(wǎng)格配置將有助于降低系統(tǒng)成本。計(jì)算網(wǎng)格的目的是在不同的計(jì)算機(jī)之間分配任務(wù)，完成不同的任務(wù)，從而有效地提高生產(chǎn)率。降低系統(tǒng)的總成本。

2.3自動(dòng)化運(yùn)維功能

大數(shù)據(jù)平臺(tái)的營(yíng)銷(xiāo)監(jiān)控自動(dòng)化運(yùn)維主要具備以下幾項(xiàng)功能：1）可有效采集數(shù)據(jù)文件的傳輸狀態(tài)數(shù)據(jù)，當(dāng)出現(xiàn)數(shù)據(jù)流斷點(diǎn)，且斷點(diǎn)時(shí)間>系統(tǒng)設(shè)定值范圍時(shí)，會(huì)自動(dòng)發(fā)出報(bào)警信息;2）可自動(dòng)比對(duì)分析采集到的數(shù)據(jù)文件信息，包括文件大小、文件字段名稱(chēng)、文件明細(xì)記錄數(shù)、文件字段長(zhǎng)度等，當(dāng)比對(duì)結(jié)果>系統(tǒng)設(shè)定值范圍時(shí)，會(huì)自動(dòng)發(fā)出報(bào)警信息;3）可實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)中心的ETL調(diào)度系統(tǒng)的性能狀態(tài)，當(dāng)系統(tǒng)表現(xiàn)出不穩(wěn)定性或是出現(xiàn)掛死的問(wèn)題，且>系統(tǒng)設(shè)定值范圍時(shí)，會(huì)自動(dòng)發(fā)出報(bào)警信息;4）可在OGG系統(tǒng)升級(jí)期間采集各系統(tǒng)的狀態(tài)數(shù)據(jù)，并根據(jù)超時(shí)時(shí)間發(fā)出系統(tǒng)不可用的報(bào)警信息;5）可自動(dòng)比對(duì)分析停電、客服等數(shù)據(jù)實(shí)時(shí)性較高的模塊對(duì)應(yīng)表數(shù)據(jù)的最新記錄時(shí)間與當(dāng)前時(shí)間，當(dāng)其時(shí)間差>系統(tǒng)設(shè)定值范圍時(shí)，會(huì)自動(dòng)發(fā)出報(bào)警信息;6）可實(shí)時(shí)監(jiān)測(cè)營(yíng)銷(xiāo)監(jiān)控系統(tǒng)數(shù)據(jù)庫(kù)的表空間，當(dāng)其快要達(dá)到臨界值時(shí)，會(huì)自動(dòng)發(fā)出報(bào)警信息;7）可實(shí)時(shí)監(jiān)測(cè)指標(biāo)數(shù)據(jù)的庫(kù)表信息和庫(kù)表結(jié)構(gòu)等，當(dāng)庫(kù)表結(jié)構(gòu)發(fā)生變更和調(diào)整操作時(shí)，會(huì)自動(dòng)發(fā)出報(bào)警信息，并自動(dòng)生成變更操作記錄;8）可根據(jù)用戶(hù)的自定義自動(dòng)生成各種指標(biāo)數(shù)據(jù)報(bào)告;9）可基于營(yíng)銷(xiāo)監(jiān)控業(yè)務(wù)規(guī)則配置相關(guān)故障預(yù)案，以實(shí)現(xiàn)智能預(yù)測(cè)和預(yù)防。

2.4數(shù)據(jù)質(zhì)量管理體系

自動(dòng)化運(yùn)維需要管理不同系統(tǒng)、多層鏈路關(guān)系中的數(shù)據(jù)，非常復(fù)雜，且要保證數(shù)據(jù)信息的完整性、唯一性、真實(shí)性、準(zhǔn)確性、合法性、及時(shí)性，需要與大數(shù)據(jù)平臺(tái)相結(jié)合，建立數(shù)據(jù)質(zhì)量監(jiān)控管理平臺(tái)。數(shù)據(jù)質(zhì)量管理平臺(tái)要以系統(tǒng)定義為標(biāo)準(zhǔn)，對(duì)系統(tǒng)采集的數(shù)據(jù)進(jìn)行重新整合和管理，統(tǒng)一校對(duì)、統(tǒng)一處理，保證數(shù)據(jù)信息的一致性。數(shù)據(jù)質(zhì)量管理體系要實(shí)現(xiàn)數(shù)據(jù)集中化管理，要滿(mǎn)足多系統(tǒng)的數(shù)據(jù)處理需求，提供標(biāo)準(zhǔn)的數(shù)據(jù)接口，供各個(gè)分支系統(tǒng)調(diào)用，實(shí)現(xiàn)數(shù)據(jù)共享，提高數(shù)據(jù)傳遞的速度和完整性，實(shí)現(xiàn)基礎(chǔ)數(shù)據(jù)的統(tǒng)一管理。數(shù)據(jù)質(zhì)量管理體系與大數(shù)據(jù)平臺(tái)相結(jié)合，能建立智能算法程序，實(shí)現(xiàn)自動(dòng)化處理。通過(guò)智能算法程序，可以科學(xué)設(shè)定基礎(chǔ)指標(biāo)閥值和預(yù)警規(guī)則，對(duì)自動(dòng)化運(yùn)維平臺(tái)采集到的數(shù)據(jù)信息，進(jìn)行多個(gè)維度的比對(duì)和分析，條件處理一系列自動(dòng)化計(jì)算操作，根據(jù)運(yùn)維對(duì)象的特性和狀態(tài)，生成多種形式的圖表。并且要根據(jù)程序設(shè)定的數(shù)據(jù)鏈路狀態(tài)條件，獲取數(shù)據(jù)鏈路性能狀態(tài)值，實(shí)時(shí)監(jiān)控系統(tǒng)運(yùn)行情況，并及時(shí)發(fā)出異常狀態(tài)警告。

結(jié)語(yǔ)

總而言之，當(dāng)前大數(shù)據(jù)平臺(tái)已滲透到人們生產(chǎn)、工作及生活的各個(gè)方面，在新時(shí)代背景下，大數(shù)據(jù)平臺(tái)的應(yīng)用也不斷深入。各領(lǐng)域充分利用基于大數(shù)據(jù)平臺(tái)的自動(dòng)化運(yùn)維技術(shù)與監(jiān)控技術(shù)，不僅能夠提高自身的運(yùn)營(yíng)效益與可靠性，還能夠更加高效、高質(zhì)地處理自身發(fā)展中產(chǎn)生的海量數(shù)據(jù)，從而促進(jìn)自身的可持續(xù)發(fā)展。

參考文獻(xiàn)：

[1]王曉天.基于虛擬化技術(shù)的云數(shù)據(jù)中心構(gòu)建及自動(dòng)化運(yùn)維管理[J].軟件工程，2020，23（11）：27-29.

[2]沈曉慧，廖永行，童惠祺.自動(dòng)化運(yùn)維管理系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].通訊世界，2020，27（6）：134-135.

[3]王二輝，周高強(qiáng)，李英杰，等.基于大數(shù)據(jù)平臺(tái)的自動(dòng)化運(yùn)維及監(jiān)控技術(shù)研究[J].通訊世界，2020，27（1）：158-159.

國(guó)網(wǎng)河北省電力有限公司饒陽(yáng)縣供電分公司 ?河北衡水 ?053900