摘要:文章先分析了大數據時代下企業信息化建設趨勢,隨后介紹了面向大數據分析的企業信息化解決方案,包括解決方案平臺體系結構、解決方案軟件架構,希望能給相關人士提供有效參考。
關鍵詞:大數據分析;企業信息化;解決方案
一、引言
在企業信息化發展中通常面臨著大數據分析需求所形成的發展挑戰,合理創建信息化處理方案是企業實現信息化發展的主要渠道。為此需要綜合考慮大數據分析相關技術以及數據存儲需求,借助分析數據處理以及海量存儲技術,面向大數據分析合理創建企業信息化處理方案,把企業海量信息數據順利轉化成價值信息,為企業決策提供有效參考依據,為后期信息化建設奠定良好基礎。
二、大數據
大數據作為某種龐大數據集,單純利用人工方法不能順利展開數據分析計算,數據借助特定方法可以聯合構成多樣化數據結構。相關數據結構可以為部分存在大數據分析需求的企業以及機構提供數據分析參考依據。大數據內某部分信息價值存在不確定性和不穩定性,而在海量信息內所提取數據具有較高價值[1]。
三、大數據分析技術特征
大數據并非以龐大的數據量為核心,其重點在于針對海量信息實施系統分析、研究和計算操作。在對相關數據信息進行綜合處理基礎上,挖掘出數據背后所隱藏的各種價值信息,提取有用信息。在社會信息技術持續發展中,不同企業、研究領域在實際發展中對大數據依賴性相繼提升,并形成更多數據信息。基于此條件下,數據所存在的四種特性也產生明顯變化,對于相關數據信息價值判斷,主要由數據分析方法所決定。大數據分析技術在具體應用中主要包括以下幾種方法:可視化分析、數據挖掘、分析預測、語言引擎、文件管理。可視化分析作為大數據的基礎分析方法,可以通過圖形方式呈現出數據特性,并針對數據特性實施綜合對比分析,用戶可以在數據內部發現某些關聯特征。數據挖掘涉及多樣類型算法,深入研究數據集組成結構,借助有效運算方法在海量信息數據內提取價值信息。大數據分析所涉及數據量較為龐大,借助數據挖掘手段可以于短時間內快速實現數據分析處理功能,優化提升數據應用價值。預測分析則是在數據挖掘基礎上提取存在某種聯系的數據信息,相關數據類型存在一定差異,按照數據類型要求建設具體模型,引入各種新型數據,針對未來事情發展實施準確預測。數據管理和數據質量會直接影響大數據分析結果。在數據分析中,針對高質量數據源實施有效的數據分析管理后,可以順利提取各種價值信息[2]。
四、大數據分析技術
(一)云儲存
數據存儲方式會直接影響數據存儲成本和數據分析成本。為此需要系統研究數據存儲需求。通過大數據技術和云儲存技術全面融合可以提升數據存儲效率。云儲存技術屬于云平臺內的分布式存儲架構。各種數據管理以及分布式存儲主要以數據中心為核心實施。聯系角度差異針對數據中心實施合理劃分,可以把數據中心分成三種結構形式,分別是混合結構、服務器為核心以及交換機為核心的結構模式[3]。
(二)數據分析模型
模型庫子系統涵蓋模型庫管理系統以及模型庫兩部分內容,按照模型復雜性具體可以細分成復雜模型以及簡化模型,按照模型結構可分成組合模型以及單一模型。模型類型多樣,系統決策需要聯系現實需求復雜的確定選擇廣義模型或單獨模型開展分析工作。結合大數據分析過程實施科學判斷,數據量大且結構復雜,簡單分析組合模型,短期內無法實現數據分析功能。為此大數據分析中,想要進一步優化模型庫,需要健全模型參數,保證模型滿足數據分析要求,通過擴大模型數量,優化組合模型實現數據分析目標[4]。
(三)資源彈性調度
結合大數據形成特性分析,大數據的分析需求具體可以分成非周期性和周期性需求兩種形式。其中周期性需求會在特定時間段內重復出現。為此需要提前準備好數據處理資源,滿足數據分析需求。非周期性需求不存在固定時間周期,大部分事情存在突發性特征,為此需要彈性分配不同資源。面對企業中的海量信息,利用云計算技術能夠針對大數據實施統一管理規劃,并借助MAPREDUCE模型實施數據的批量分割處理,借助云計算質量服務協議,全面優化提升服務質量[5]。
五、大數據時代下企業信息化建設趨勢
(一)數據分析能力提升
在企業信息化發展中,大部分企業初步形成一體化系統平臺,全面集成各種信息資源,相關系統平臺可以充分滿足企業中的日常業務活動需求,但在企業設備檢測、內部運行以及綜合管理中所形成海量信息呈現出一種指數級增加趨勢,信息網絡的數據交換、分析處理能力、信息存儲、網絡信息傳輸、信息互動以及信息呈現等方面無法滿足企業新時期發展目標,使企業信息化過程中遇到全新挑戰。為此需要企業信息化準確把握新時期發展需求,不斷創新發展。
信息時代下,企業在經營發展中所面臨龐大業務信息量需要企業進一步提升自身數據分析水平。傳統模式下,單純對幾臺服務器設備進行升級改造擴大空間存儲容量的方法已經無法滿足新時期劇烈增加的數據分析和存儲需求,為此需要全面提升數據分析平臺整體擴展性,優化整體容錯能力。因為企業計算資源持續增長,為有效減少硬件成本投入,平臺應該支持合理創建異構環境,如此能夠幫助充分利用各種閑置計算資源。除此之外,數據分析過程需要盡量拉近和數據的距離,幫助控制數據傳輸所形成時間成本。
(二)關聯聚合復雜數據
對于企業內部各種復雜業務活動信息,需針對多樣類型的信息數據實施全面整合,強化不同數據內在聯系。企業日常經營生產中所形成的大數據信息包含生產信息、運營信息以及管理信息等內容,除此之外,還包含ERP一體化管理系統以及協同辦公平臺、圖片視頻以及地理信息、日志等信息數據。相關數據信息除了結構化數據之外,同樣涵蓋各種半結構信息以及非結構性數據,不同部門對于信息內容類型、信息查詢處理性能以及處理頻率等方面具有不同要求,為此需要系統分析平臺針對多樣形式異構數據源進行綜合集成,準確提取相關數據信息,并從中對實體和關系進行有效提取,針對多樣的數據信息實施全面聚合后并進行數據整理關聯,對各種數據信息按照相同結構定義實施有效儲存。從整個行業發展層面分析,數據模型定義不合理,核心數據管理不足,不同系統數據擁有不同規范標準,無法實現全面集成共享,增加了數據挖掘的難度,削弱數據應用實效性。
(三)海量信息篩選
各種價值信息通常會隱藏在海量信息數據內。而企業的信息采集一致性、完整性以及實時性等方面無法進一步滿足數據時代管理要求,采集準確性以及采集效率有待提升,企業中的各種價值數據分布于海量信息內,比如監控視頻,在持續監控中,其中的價值設計可能僅占幾秒鐘。為此便需要企業中的數據分析平臺針對各種價值信息進行全面采集,做好數據分析工作,同時對其中的噪聲信息實施有效過濾,把數據傳送至分析、存儲設備當中,進一步改善數據信息價值密度。
(四)高時性處理數據信息
企業不同業務活動中形成各種類型數據信息,其中實時性數據信息以及準實施性數據信息快速增長,進一步超出傳統形式的事務性數據,為此需要企業中的信息系統形成良好的實時分析處理以及高速處理能力,更好支持各項決策設計制定。此外,對于規模飛速擴大的信息數據,相關分析處理系統應該針對各種復雜分析查詢活動實施快速響應,對企業各個不同部門的業務分析訴求進行動態響應,更好應對不斷變化的業務數據環境,針對需求變化進行系統分析,合理控制數據準備時間,提高數據分析速率。
(五)數據信息可視化處理
企業在日常生產管理中面臨多種類型數據信息,不同數據關系較為復雜,而現有信息化對策無法將海量信息內在聯系直觀、準確呈現出來,企業決策層無法合理利用數據信息開展各項業務活動,為此需要借助可視化手段處理相關信息,針對大數據技術實施可視化改革,準確反映出企業日常經營生產活動所呈現出來的不同數據狀態,對企業生產管理問題以及發展趨勢進行準確分析,迎合企業管理層發展要求。
為了合理應對企業相關信息數據的全面增長趨勢,應該深入分析企業內不斷增長的數據信息總量,面向大數據分析合理創建企業信息化處理方案,充分滿足企業不斷增加的處理訴求。
六、大數據分析為指導的企業信息化建設
(一)平臺體系架構
此次研究中面向大數據分析,進一步提出企業信息化建設方案,聯系大數據四種特性實施合理設計,結合大數據的海量數據特征,設計信息化方案中,可以設計分布式存儲,為進一步控制信息存儲成本,充分利用現有存儲設備以及服務器集群,構建分布式存儲系統,針對海量信息實施分布式存儲。結合多樣數據類型特征,實施非結構化、半結構化和結構化數據分析、集成。聯系大數據的低價值密度特征,實施數據信息采集中率先做好數據分析工作,將其中各種無用數據和噪聲信息去除,隨后把數據信息傳送至分析、存儲設備內,注重提升數據整體價值密度。結合傳統事務性數據的時變性以及實時性特征,選擇具有較強實時性的在線分析數據開展系統分析,準確捕捉整個數據變化特征,構建實時有用信息。
以大數據分析為核心功能信息系統內,為避免數據分析系統內滲透其他噪聲,實施數據采集中,需要針對繁雜的信息數據實施全面分析、過濾,突出數據分析功能,提升數據整體價值密度。結束有效信息采集工作后,借助云計算平臺設置專門的資源池進行虛擬計算和存儲,對應存儲分析方式離不開存儲技術和分布式分析技術的有效支持,針對相關信息數據實施合理存儲,按照并行處理策略開展算法調度以及任務管理工作,加強數據信息的監控和調度,系統用戶可以利用WEB瀏覽器、專門客戶端、無線終端以及各種設備訪問檢索數據分析結果。
大數據分析為技術支持的信息系統構建過程,利用虛擬技術和云計算打造專門的存儲模塊與分析整理模塊,為激發各個企業價值資源,提升資源利用率,可以利用虛擬機技術,迎合時代要求,設置先進服務器設備,打造服務器集群,使相關計算資源實現虛擬化發展,優化設備綜合利用率,激發出設備價值。為改善機械設備所導致的信息丟失和遺漏問題,可以利用分布式結構為基礎的冗余存儲系統針對多樣形式信息數據實施有效存儲,提升數據信息可靠性,借助高性能軟件幫助改善老舊硬件故障概率,提升設備利用率。面對企業生產經營中所形成的海量信息數據,為進一步改善表內較低的結構化查詢效率問題,可以借助列存儲為基礎的數據管理取代傳統模式關系型數據庫,支持大數據集實施全面、高效管理。
為形成合理開發環境,需全面優化設備應用性能,提升計算功能,應用具有較高通用性的并行算法MAP-REDUCE創建并行處理系統,面向多樣信息實施有效處理,按照不同數據節點把數據信息細化分解為多種項目,并將同一項目分解到多種機械設備內同步操作,優化計算分析效率,可以進一步細分成算法調度以及綜合管理兩部分,其中算法調度是對現有各種類型實現算法進行合理調用。項目管理主要針對多種任務實施并行管理、科學調度以及過程控制。主要利用HADOOP技術基礎架構,通過HBASE系統管理海量數據信息,通過HADOOP分布式系統充當存儲系統,虛擬機選擇UBUNTU系統,設置MAP-REDUCE并行編程模型。HADOOP設置為主從架構,將相關數據信息進一步分解為不同數據模塊,分別在各個存儲節點中進行合理存儲。集群由一定量DATANODES以及NAMENODE構成。NAMENODE充當中心服務器,負責對文件系統名字存儲空間以及客戶的文件訪問活動實施有效管理,NAMENODE負責對不同節點信息存儲實施有效管理。
(二)方案軟件架構
大數據分析為基礎在企業內部創建信息系統和軟件架構中,可以將多種類型信息數據直接傳送到企業多樣部門系統內,包括生產管理、人力資源和財務處理等系統內。此外,不同業務系統于實際運行中同樣會形成不同類型數據信息,各種基礎數據和多樣數據信息借助過濾集成層實施抽取、轉化、清洗、語義分析以及集成后,借助挖掘分析層內優化仿真、信息挖掘等手段搜尋各種價值信息,同時借助相應方法展現給廣大用戶。基礎數據層通常面向企業內部不同業務系統數據信息,涵蓋不同傳感器所采集的活動信息以及視頻監控系統所采集的基礎信息。相關數據來源較廣,擁有多樣化的數據類型,除了各種結構化信息數據,同時還涵蓋在線檢測設備以及傳感器設備所采集的音頻、視頻和圖像等非結構化信息。
應用系統層涵蓋符合企業經營管理活動的多種業務系統,分為資產管理、物料管理、人力資源管理、經營生產管理以及財務管理等系統組成。相關管理系統在對各種基礎數據進行實際應用中,容易形成新型數據,而多種類型數據信息聯合基礎信息共同傳輸至過濾集成層內實施全面集成和有效過濾。
過濾集成層為了提升數據信息質量和數據可信性,會對多種數據信息實施格式轉化以及徹底清洗,對分析層數據進行深入挖掘中,需要對海量信息數據內所蘊含的知識、信息進行準確解釋和分析,過濾集成層還需要針對不同異構數據源的采集數據實施全面集成以及有效抽取,合理提取實體數據以及內在聯系,經過關聯、聚合處理后選擇標準定義結構對相關數據信息實施有效存儲。大數據技術的分析模式會隨數據持續增加呈現出動態變化,為此需要合理修正數據集成技術和數據抽取技術。為此合理創建行業本體庫,選擇以語義理解為基礎的設計抽取模型,開發設計統一數據接口,并將相關信息傳輸至數據分析挖掘層內開展數據挖掘以及數據分析。
信息挖掘分析層可以針對企業海量數據內提取所需知識以及價值信息,數據平臺需要針對不同部門業務活動特征以及系統管理需求針對各種信息數據實施綜合分析。因為大數據技術主要以數據的實時處理為基礎,利用機器學習算法提升數據處理實時性和信息處理準確性。構建云計算分析系統,按照流處理和批處理兩種方式實施數據挖掘分析,高效處理大數據。
數據呈現和數據訪問層則是借助合理方法把集成、抽取、分析數據結果展現在用戶面前,確保用戶可以通過最短時間得到最具價值的信息,這也是企業實現信息化發展的主要目的。對于大量的數據分析結果,不同分析結果之間存在一種復雜聯系,為了預防錯誤方法對用戶的不當引導,需要融入可視化技術,聯系數據需求應用空間信息流、歷史流以及標簽云等方法,把大數據分析結果利用可視化手段為廣大用戶展示出真實、生動的形象,方便用戶認識和理解,為了進一步加深用戶對于最終數據處理結果的認可度,利用數據起源技術全面分析相關數據信息,追蹤溯源,引領用戶開展逐層分析,為科學決策提供有效幫助和科學指導。
七、結束語
綜上所述,此次研究中促進數據高效存儲技術以及信息高性能處理技術全面融合,整合數據挖掘和數據分析技術,面向大數據分析合理創建信息化解決措施,為企業科學決策提供有效參考,為企業信息化發展打好基礎。
作者單位:劉磊? ? 中國海洋石油集團有限公司
參? 考? 文? 獻
[1]范敏.大數據背景下中小制造業企業信息化轉型的機遇與挑戰[J].企業改革與管理,2021(24):35-36.
[2]胡偉航.集團型企業檔案信息化建設面臨的挑戰及應對策略[J].城建檔案,2021(12):48-49.
[3]盧山,王依寒.建筑企業信息化探討——以某建筑企業信息化建設為例[J].工程經濟,2021,31(12):40-43.
[4]張詠梅.淺談大數據分析模式下加油站設備全生命周期智能管理[J].中國信息化,2021(06):83-84.
[5]黃梅.大數據背景下中小企業數據資源有效管理的對策研究[J].商場現代化,2020(10):102-104.