大數(shù)據(jù)背景下計算機信息處理技術發(fā)展研究

摘 要：本文以大數(shù)據(jù)背景為核心的計算機處理技術發(fā)展分析，從技術趨勢、技術優(yōu)勢及技術發(fā)展載體等多個方面進行內容探究，并從技術優(yōu)化及技術應用的角度，提出大數(shù)據(jù)容器化與容器編排、數(shù)據(jù)湖與數(shù)據(jù)倉庫搭建及大數(shù)據(jù)分布式計算框架建設等基礎策略，以期提升大數(shù)據(jù)在計算機信息技術發(fā)展中的應用有效性。

關鍵詞：大數(shù)據(jù)；計算機；信息處理技術；發(fā)展水平

中圖分類號：TP311文獻標識碼：A文章編號：2095-9052（2024）05-0181-03

引言

現(xiàn)今，大數(shù)據(jù)技術應用為計算機信息處理技術的發(fā)展指明新的方向。新時期大數(shù)據(jù)技術的發(fā)展，將逐步基于計算機信息處理技術的性能、可靠性及安全性等特征，實現(xiàn)對技術水平、技術適用性及技術成果轉化能力的提升，促使大數(shù)據(jù)技術能在更多場景得到廣泛應用，實現(xiàn)對計算機處理技術及大數(shù)據(jù)技術發(fā)展?jié)摿﹄p向提升。

一、大數(shù)據(jù)背景下計算機信息處理技術發(fā)展趨勢

（一）低功耗與小型化

近年來，依托大數(shù)據(jù)技術應用的計算機處理技術發(fā)展，逐漸面向低功耗、小型化進行技術創(chuàng)新。在大數(shù)據(jù)技術應用的早期階段，由于硬件系統(tǒng)設備相對較為繁雜，加之大數(shù)據(jù)技術應用系統(tǒng)生態(tài)尚未完善，導致計算機設備性能相對較低。而基于多設備并聯(lián)的數(shù)據(jù)信息處理模式，也會提升設備耗電量及系統(tǒng)功耗，降低設備使用壽命。譬如，傳統(tǒng)的服務器HDFS分布式文件系統(tǒng)對計算機設備功耗要求超過1500瓦，計算機設備在高負載情況下系統(tǒng)發(fā)熱較為嚴重，促使硬件系統(tǒng)設備使用壽命大幅縮短。最近幾年，依托GlusterFS的Hadoop的HBase、Apache Cassandra、MongoDB等數(shù)據(jù)庫系統(tǒng)應用，則極大地降低計算機系統(tǒng)功耗，使單一計算機設備功耗在800瓦左右即可滿足設備基本使用需求，并能延長設備使用壽命［1］。同時，部分系統(tǒng)的兼容性設計，也讓設備體積進一步減小，滿足多種不同條件下的大數(shù)據(jù)技術應用需求。例如，企業(yè)級移動NAS數(shù)據(jù)存儲系統(tǒng)，實際體積僅為傳統(tǒng)計算機設備的一半，充分提升對設備應用的便攜性。

（二）多路徑協(xié)同與技術多元融合

多路徑協(xié)同技術概念的運用，為大數(shù)據(jù)技術融合發(fā)展提供重要的技術保障。所謂多路徑協(xié)同是指在數(shù)據(jù)處理過程中，同時使用多條路徑來處理數(shù)據(jù)，以提高數(shù)據(jù)處理的效率和準確性、魯棒性，進一步強化設備性能及計算機設備復雜數(shù)據(jù)運算能力。多路徑協(xié)同主要基于數(shù)據(jù)分割、數(shù)據(jù)合并、數(shù)據(jù)校驗、數(shù)據(jù)糾錯及數(shù)據(jù)整合五項流程進行數(shù)據(jù)處理。其中，多路徑協(xié)同的技術融合，先利用數(shù)據(jù)分割將具有相同數(shù)據(jù)信息屬性的數(shù)據(jù)內容進行分割，再利用并行處理將數(shù)據(jù)統(tǒng)一進行歸類，每個單元與線程均能處理不同類別的數(shù)據(jù)信息內容［2］。而后，再利用數(shù)據(jù)合并將提升數(shù)據(jù)信息結構的完整性，按照計算機數(shù)據(jù)處理指令，對數(shù)據(jù)信息進行平均值、最大值等數(shù)據(jù)內容的計算。若數(shù)據(jù)信息存在一定的誤差，則需要利用數(shù)據(jù)校驗與糾錯，針對數(shù)據(jù)信息內容進行驗證，提升數(shù)據(jù)精度。所以，多路徑協(xié)同的技術多元融合，讓大數(shù)據(jù)技術不再獨立基于計算機單一模塊功能進行系統(tǒng)管理，而是能采用集成化設計思路將計算機設備中不同模塊的功能進行優(yōu)化，使其能基于統(tǒng)一數(shù)據(jù)處理指令進行運行。以此，滿足大數(shù)據(jù)技術的應用需求。

（三）交叉數(shù)據(jù)加密與信息安全管理

數(shù)據(jù)信息加密與數(shù)據(jù)安全，逐漸成為近階段大數(shù)據(jù)技術應用發(fā)展的關鍵。其中，基于交叉數(shù)據(jù)價值的信息安全管理技術，則是計算機處理技術發(fā)展中對大數(shù)據(jù)技術應用提供的重要安全保障。交叉數(shù)據(jù)加密一般面向存儲型XSS、反射型XSS、DOM-based XSS提供數(shù)據(jù)安全加密支持。譬如，反射型XSS主要是攻擊者通過將惡意腳本作為URL參數(shù)或請求數(shù)據(jù)的一部分發(fā)送給Web應用程序，應用程序將該數(shù)據(jù)反射到響應中，用戶在訪問特定URL時會執(zhí)行攻擊腳本，從而，盜取相應的數(shù)據(jù)信息。交叉數(shù)據(jù)加密，則可運用輸入驗證的信息過濾、轉義輸入、HTTP Only標志、CSP及最小權限原則五項基礎流程針對安全風險進行控制，促使攻擊者無法獲取相應的數(shù)據(jù)信息，通過針對攻擊腳本信息進行數(shù)據(jù)標記。隨著計算機信息處理安全管理技術的發(fā)展，大數(shù)據(jù)技術在計算機系統(tǒng)中的運用逐漸面向安全化管理發(fā)展，有效解決系統(tǒng)應用、程序應用、數(shù)據(jù)應用與技術應用的安全風險問題，為計算機處理技術發(fā)展及大數(shù)據(jù)技術的運用提供切實的安全保障。

二、基于大數(shù)據(jù)背景下計算機信息處理技術優(yōu)勢

（一）數(shù)據(jù)信息高效化處理

在大數(shù)據(jù)應用的早期階段，計算機處理技術主要在數(shù)據(jù)存儲、數(shù)據(jù)傳輸?shù)确矫婢哂幸欢ǖ膬?yōu)勢，在高負載的數(shù)據(jù)處理條件下，計算機峰值性能較差問題，對于大數(shù)據(jù)技術的應用形成部分限制。近年來，計算機中央處理器、圖像處理器、內存、存儲設備性能的提升，進一步破除數(shù)據(jù)運算的性能限制，促使大數(shù)據(jù)技術能基于計算機處理技術應用，滿足數(shù)據(jù)分析、數(shù)據(jù)整合與云計算等多個方面需求。譬如，在大數(shù)據(jù)技術應用的早期階段，計算機單通道內存帶寬僅為10GB/s。當前，計算機服務器單通道內存的數(shù)據(jù)傳輸帶寬，則達到120GB/s以上。由此可見，計算機處理技術的高速發(fā)展，為大數(shù)據(jù)技術應用提升高效化處理支持。正是在高性能計算設備的影響下，使利用設備冗余性能開展數(shù)據(jù)計算的邊緣計算技術得到廣泛普及，為大數(shù)據(jù)技術發(fā)展夯實基礎。

（二）大數(shù)據(jù)技術功能的拓展

以往，大數(shù)據(jù)技術應用主要面向大型企業(yè)級客戶提供技術支持。隨著技術的進一步更迭，計算機處理技術應用成本的下降，讓大數(shù)據(jù)技術應用逐步的面向中小型企業(yè)級用戶及個人用戶進行開放，促使大數(shù)據(jù)技術能在教育、醫(yī)療、交通管理、社會保障、商業(yè)服務等多個領域發(fā)揮核心技術優(yōu)勢，有效拓展大數(shù)據(jù)技術的應用功能，使其能在更多層面為行業(yè)、經(jīng)濟及社會發(fā)展等提供支持。此外，計算機處理技術對于部分個性化服務的支持，也進一步提升大數(shù)據(jù)技術功能的適用性，使其能滿足不同形式下的技術應用需求。譬如，利用計算機處理技術的個性化服務支持，面向圖像繪制提供高性能圖像處理計算，提升圖像繪制信息密度及信息內容完整性［3］。大數(shù)據(jù)背景下的計算機處理技術應用，能夠充分提升各類數(shù)據(jù)應用的廣泛性，為未來大數(shù)據(jù)技術內容的發(fā)展延伸提供充分的技術保障。

三、新時期大數(shù)據(jù)背景下計算機處理技術發(fā)展載體

（一）技術創(chuàng)新發(fā)展生態(tài)

發(fā)展高新技術產(chǎn)業(yè)，推進高新技術創(chuàng)新，是我國構建產(chǎn)業(yè)新生態(tài)的重要戰(zhàn)略布局。國外部分發(fā)達國家也將大數(shù)據(jù)技術、計算機處理技術等作為發(fā)展先進技術的內在支撐。技術創(chuàng)新發(fā)展生態(tài)的形成，對于計算機處理技術發(fā)展形成內在驅動力，讓計算機處理技術迭代周期進一步縮短。譬如，我國企業(yè)級中央處理器龍芯3A5000、3A6000等國產(chǎn)處理器芯片在國內市場的應用，迫使Intel至強Gold處理器與AMD EPYC霄龍服務器處理器相應提升設備性能，并促使Intel與AMD逐漸面向企業(yè)級處理器中端設備市場邁進，打破傳統(tǒng)模式下國外計算機設備巨頭僅向高端服務器市場提供硬件設備支持的格局。由此可見，技術創(chuàng)新發(fā)展生態(tài)的形成，對于促進計算機處理技術的發(fā)展起到推進作用，使服務器端的企業(yè)級計算機設備，能為大數(shù)據(jù)技術的應用提供更高水平的技術支持。

（二）產(chǎn)業(yè)發(fā)展資源支持

計算機處理技術應用需要大量的經(jīng)濟資源、市場資源及技術資源支持。根據(jù)某國外計算機設備設計制造巨頭于2022年第四季度公布的財報數(shù)據(jù)。該企業(yè)僅Q1季度與Q2季度研發(fā)總投入超過62億美元。由此可見，計算機處理技術的發(fā)展，需要大量的資源投入。我國在計算機處理技術的應用方面，為突破國外技術封鎖，進一步基于政策扶持與產(chǎn)業(yè)建設，推進計算機處理技術的應用發(fā)展，并重點面向企業(yè)提供大數(shù)據(jù)計算開發(fā)與應用支持，促使計算機技術發(fā)展對于大數(shù)據(jù)技術的兼容能力不斷提升。所以，產(chǎn)業(yè)發(fā)展資源的支持，決定計算機處理技術發(fā)展水平與發(fā)展?jié)摿Γ瑫r對大數(shù)據(jù)技術應用產(chǎn)生潛在影響。從未來計算機處理技術的發(fā)展趨勢來看，依托大數(shù)據(jù)技術的獨立模塊開發(fā)，逐漸成為產(chǎn)業(yè)發(fā)展的新內容。對于更好提升計算機處理技術水平及技術適用性奠定良好根基。

四、大數(shù)據(jù)背景下計算機信息處理技術發(fā)展應用路徑

（一）大數(shù)據(jù)容器化與容器編排

大數(shù)據(jù)容器化與容器編排是現(xiàn)代應用部署與管理的重要技術內容之一，有助于簡化應用的開發(fā)、部署、維護與擴展，對于拓展大數(shù)據(jù)技術在計算機設備中的應用功能具有一定的幫助。其中，容器、Docker及容器編排是實現(xiàn)容器化的基礎。首先，容器是輕量級的、獨立的執(zhí)行環(huán)境，主要內容包括應用程序、其依賴項與配置。容器技術允許將應用程序及其所有依賴項封裝在一個容器。從而，使應用程序在不同的環(huán)境中具有一致的運行方式。其次，Docker在大數(shù)據(jù)容器化方面的運用，允許開發(fā)人員將應用程序與環(huán)境打包成容器鏡像，進一步幫助提升內容兼容性，使其不同鏡像可以在各類計算機主機上進行運行，確保應用程序的一致性與可移植性［4］。最后，容器編排則需要運用Kubernetes、Docker Swarm及Apache Mesos等拓展環(huán)境與容器編排平臺提供支持，進一步滿足大數(shù)據(jù)的應用需求。譬如，針對Kubernetes容器編排平臺的應用程序部署、拓展與管理，則能面向用戶提供自動負載均衡、容器伸縮、自動修復、滾動升級、服務發(fā)現(xiàn)與配置管理。以此提升技術應用有效性與功能的豐富性。

（二）計算機數(shù)據(jù)湖與數(shù)據(jù)倉庫搭建

數(shù)據(jù)湖與數(shù)據(jù)倉庫是兩種用于存儲與管理數(shù)據(jù)的不同方法，其中，數(shù)據(jù)倉庫在特定環(huán)境及結構性數(shù)據(jù)存儲方面具有一定的優(yōu)勢，能基于固定模式進行數(shù)據(jù)信息檢索、查詢與數(shù)據(jù)應用，并能利用ETL流程為大數(shù)據(jù)技術運用提供數(shù)據(jù)清洗、提取、轉換及加載等相關支持，實現(xiàn)對各類數(shù)據(jù)信息應用的準確性及時效性。數(shù)據(jù)湖則更傾向于動態(tài)化的數(shù)據(jù)信息存儲，能針對不同種類的數(shù)據(jù)進行結構化、半結構化與非結構化的數(shù)據(jù)處理，并可以采用原始數(shù)據(jù)查詢的方式進行數(shù)據(jù)處理，極大地提升大數(shù)據(jù)技術中數(shù)據(jù)信息內容的應用靈活性，可以為企業(yè)建立動態(tài)化數(shù)據(jù)管理、分析模型，能為非固定環(huán)境下數(shù)據(jù)處理提供多方面支持。所以，在計算機數(shù)據(jù)庫與數(shù)據(jù)倉庫的搭建方面，要根據(jù)大數(shù)據(jù)技術應用需求及數(shù)據(jù)信息的使用需求，有針對性地進行技術內容的篩選，確保各類技術的運用能發(fā)揮計算機信息處理的核心優(yōu)勢，使大數(shù)據(jù)技術應用水平能得到穩(wěn)步提升。

（三）大數(shù)據(jù)分布式計算框架建設

分布式計算框架的建設，同樣對大數(shù)據(jù)技術應用提供核心技術支持。分布式計算框架是用于處理大規(guī)模數(shù)據(jù)與執(zhí)行分布式計算任務的軟件工具、平臺。基礎數(shù)據(jù)框架的設計，允許任務分解成多個子任務，并在多臺計算機上并行執(zhí)行。從而，進一步提高計算性能、可伸縮性與容錯性。目前，較為常用的大數(shù)據(jù)分布式計算框架主要包括Apache Hadoop、Apache Spark、Apache Flink、Apache Storm及HPC集群計算等。其中，不同的分布式計算框架技術特點及技術需求各不相同。以Apache Hadoop及Apache Spark為例。Apache Hadoop是開源的分布式計算框架，主要用于批量處理任務與大規(guī)模數(shù)據(jù)存儲。基于系統(tǒng)程序的Hadoop分布式文件系統(tǒng)及MapReduce分布式數(shù)據(jù)處理系統(tǒng)，對系統(tǒng)程序運行提供支持，同時，Hadoop生態(tài)系統(tǒng)對SQL查詢、數(shù)據(jù)流編程、列式數(shù)據(jù)庫等組件的運用，也大幅提升分布式計算框架的運行效率［5］。Apache Spark則是快速且通用的分布式計算引擎，能在流處理、機器學習及圖計算任務等方面提供技術支持。Apache Spark的高級API，實現(xiàn)對Spark SQL、MLlib及GraphX的有效運用，充分簡化分布式計算任務的開發(fā)，為大數(shù)據(jù)技術應用提供技術保障。

（四）計算機大數(shù)據(jù)存儲技術

計算機大數(shù)據(jù)存儲技術與消費級計算機設備數(shù)據(jù)存儲的技術邏輯基本一致，但技術內容截然不同。計算機大數(shù)據(jù)存儲技術，一般采用分布式文件系統(tǒng)、NoSQL數(shù)據(jù)庫、時間序列數(shù)據(jù)庫、內存數(shù)據(jù)庫、對象存儲等多種存儲方式及技術內容提供支持。從數(shù)據(jù)存儲方式與平臺建設的角度來看，計算機大數(shù)據(jù)存儲技術能針對各類數(shù)據(jù)信息的類型、數(shù)據(jù)特征及數(shù)據(jù)模塊信息進行數(shù)據(jù)顆粒的打磨，根據(jù)數(shù)據(jù)內容的差異對其進行歸類，相比于消費級計算機的設備存儲，計算機大數(shù)據(jù)存儲并非粗暴地將數(shù)據(jù)信息分布存儲于各個數(shù)據(jù)模塊，而是在各個不同類型的存儲介質及設備中加入單獨的數(shù)據(jù)存儲信息映射模塊，使其能直接通過數(shù)據(jù)特征進行數(shù)據(jù)信息的抓取。計算機大數(shù)據(jù)存儲技術在數(shù)據(jù)安全、數(shù)據(jù)傳輸速度、數(shù)據(jù)存儲持久性及數(shù)據(jù)可用性等方面具有諸多優(yōu)勢，能為大數(shù)據(jù)技術提供更多形式的數(shù)據(jù)信息存儲支持。因此，計算機大數(shù)據(jù)存儲技術的運用，讓固態(tài)硬盤、氦氣硬盤及機械硬盤等各類不同存儲介質，能實現(xiàn)一體化數(shù)據(jù)信息并聯(lián)，充分提升數(shù)據(jù)信息存儲的穩(wěn)定性，為數(shù)據(jù)信息的應用與管理做好充分的技術鋪墊。

結語

綜上所述，計算機信息處理技術的發(fā)展，為大數(shù)據(jù)技術應用提供多方面支持。大數(shù)據(jù)技術的普及，也為計算機信息處理能力及處理技術的創(chuàng)新提供幫助，進一步實現(xiàn)技術發(fā)展的多元互補與多元融合。依托大數(shù)據(jù)時代的計算機信息處理技術發(fā)展，勢必要以提升數(shù)據(jù)信息處理能力、數(shù)據(jù)安全性及數(shù)據(jù)傳輸效率等作為主要的技術方向，充分滿足大數(shù)據(jù)技術應用需求，為大數(shù)據(jù)的技術創(chuàng)新及計算機信息處理技術水平的提升提供充分的技術保障。

參考文獻：

［1］魏蓉.大數(shù)據(jù)背景下計算機信息處理技術研究［J］.信息與電腦（理論版），2020，32（02）：207-208.

［2］曲濱鵬，繆佳，朱麗娜.大數(shù)據(jù)背景下的計算機信息處理技術應用與實踐［J］.電子技術與軟件工程，2020（01）：109-110.

［3］郭航航，袁初曉.大數(shù)據(jù)時代背景下計算機信息處理技術分析［J］.信息與電腦（理論版），2020，32（01）：23-25.

［4］董春龍.大數(shù)據(jù)時代背景下計算機信息處理技術［J］.電子技術與軟件工程，2019（24）：121-122.

［5］牟琪.淺談大數(shù)據(jù)背景下的計算機信息處理技術應用與實踐［J］.網(wǎng)絡安全技術與應用，2019（11）：65-66.