大數(shù)據(jù)時代計(jì)算機(jī)信息處理技術(shù)研究

陳云

摘? ?要：大數(shù)據(jù)時代的快速發(fā)展給計(jì)算機(jī)信息處理技術(shù)帶來極大的機(jī)遇和挑戰(zhàn)，要充分認(rèn)識到大數(shù)據(jù)時代計(jì)算機(jī)信息處理技術(shù)的重要性和特點(diǎn)。文章探討和分析大數(shù)據(jù)時代下的計(jì)算機(jī)信息采集技術(shù)、存儲技術(shù)和安全技術(shù)，構(gòu)建適宜的網(wǎng)絡(luò)平臺和數(shù)據(jù)庫結(jié)構(gòu)，實(shí)現(xiàn)對數(shù)據(jù)信息的高效采集和數(shù)據(jù)庫鏈接。并研究和分析數(shù)據(jù)存儲算法，構(gòu)建低冗余度、高可靠性的海量數(shù)據(jù)存儲系統(tǒng)，同時運(yùn)用計(jì)算機(jī)信息安全技術(shù)構(gòu)建復(fù)雜的安全信息系統(tǒng)，確保計(jì)算機(jī)信息處理技術(shù)在生產(chǎn)生活、各行各業(yè)的便捷安全應(yīng)用。

關(guān)鍵詞：大數(shù)據(jù);計(jì)算機(jī)信息處理技術(shù);采集;存儲;安全

1? ? 大數(shù)據(jù)和計(jì)算機(jī)信息處理技術(shù)概述

大數(shù)據(jù)以多元化的形式而存在，通過對海量數(shù)據(jù)的挖掘可以采集獲取龐大的數(shù)據(jù)組，體現(xiàn)出大量、高速、多樣、價值的特征，并以云計(jì)算的分布式處理、分布式數(shù)據(jù)庫、云存儲、虛擬化技術(shù)為支撐和依托，其核心在于為客戶挖掘數(shù)據(jù)中蘊(yùn)藏的價值，而非軟、硬件的簡單堆砌，對網(wǎng)絡(luò)架構(gòu)和數(shù)據(jù)處理能力也帶來極大的挑戰(zhàn)，對于降低成本、提高效率、開發(fā)新產(chǎn)品、業(yè)務(wù)決策有極其重要的作用[1]。

2? ? 大數(shù)據(jù)時代計(jì)算機(jī)信息處理技術(shù)應(yīng)用分析

2.1? 計(jì)算機(jī)信息采集技術(shù)

計(jì)算機(jī)信息采集技術(shù)通過搜索引擎獲取所需的信息數(shù)據(jù)，利用搜索引擎提供的分類目錄完成常規(guī)搜索、高級搜索，在龐大資源庫的支撐下完成圖像、音視頻的自動操作，極大地提高了用戶信息查詢的準(zhǔn)確性。然而隨著網(wǎng)絡(luò)信息資源的不斷增長，傳統(tǒng)的搜索引擎暴露出滯后性，為此要開發(fā)和利用適應(yīng)不同人群需求的主題搜索引擎技術(shù)，在互聯(lián)網(wǎng)上收集各種信息，通過網(wǎng)頁中的超文本鏈接進(jìn)行網(wǎng)頁訪問、網(wǎng)頁分析，提取新的URL，將鏈接添加至訪問控制列表，并將網(wǎng)頁存儲于數(shù)據(jù)庫之中。相關(guān)的算法主要包括深度優(yōu)先算法、廣度優(yōu)先算法、啟發(fā)式搜索算法、正則表達(dá)式等，通過對采集信息的過濾和預(yù)處理，能夠較好地提高信息采集的效率和準(zhǔn)確度，避免信息采集的URL的死循環(huán)和采集不完全的問題[2]。

在搭建信息采集架構(gòu)的過程中，大數(shù)據(jù)時代下的計(jì)算機(jī)信息采集技術(shù)采用模塊化的架構(gòu)設(shè)計(jì)方式，主要包括有以下模塊：（1）頁面采集模塊，是計(jì)算機(jī)信息采集技術(shù)的核心和關(guān)鍵，主要采集互聯(lián)網(wǎng)中基于用戶和結(jié)構(gòu)處理的相關(guān)信息，基于相關(guān)協(xié)議進(jìn)行頁面資源的訪問和下載等自動操作，從網(wǎng)絡(luò)中選取指定目的數(shù)據(jù)源網(wǎng)址，進(jìn)行檢測、分析和預(yù)處理，高效地采集更多有用信息。（2）頁面分析模塊，主要對指定的URL進(jìn)行解析，分析頁面節(jié)點(diǎn)的基本配置、采集內(nèi)容頁的字段設(shè)置、采集列表頁的信息等，并進(jìn)行信息采集的有效排序，解析頁面中的超鏈接URL。（3）信息提取模塊，重點(diǎn)檢查、分析模塊傳遞的URL，實(shí)時獲取頁面內(nèi)容，包括分頁區(qū)域的列表、副標(biāo)題、內(nèi)容、圖片等信息，并對重復(fù)鏈接和訪問鏈接中的URL進(jìn)行信息過濾。（4）內(nèi)容提取模塊，依循URL地址進(jìn)行信息排序和整合，通過數(shù)據(jù)庫索引的方式快速、便捷地提取數(shù)據(jù)信息，過濾無須采集的格式文件，并進(jìn)行數(shù)據(jù)庫緩存的實(shí)時更新。（5）鏈接解析模塊，主要進(jìn)行采集頁面和內(nèi)容的分析和處理，包括關(guān)鍵字和摘要的分析處理等工作，即將HTML中的內(nèi)容轉(zhuǎn)換為文本信息并自動解析到所下載的內(nèi)容中，為數(shù)據(jù)信息的存儲奠定基礎(chǔ)。（6）內(nèi)容過濾，在信息采集的過程中，存在用戶不想瀏覽的內(nèi)容，為此還可以進(jìn)行頁面內(nèi)容的凈化和過濾，提高數(shù)據(jù)采集的效率和有效性。（7）數(shù)據(jù)庫，主要采用MySQL數(shù)據(jù)庫，通過標(biāo)準(zhǔn)化的SQL數(shù)據(jù)庫語言進(jìn)行數(shù)據(jù)信息的高效靈活性訪問。

2.2? 計(jì)算機(jī)信息存儲技術(shù)

隨著人們對計(jì)算機(jī)應(yīng)用的逐漸增多，數(shù)據(jù)量不斷增大，計(jì)算機(jī)信息存儲技術(shù)開始進(jìn)入人們的視野，然而傳統(tǒng)的DAS，NAS，SAN等專用存儲系統(tǒng)存在應(yīng)用上的局限性，盡管能夠?yàn)榭蛻籼峁┝己玫姆?wù)性能，然而也存在擴(kuò)展性差、價格高、不易維護(hù)等缺陷。為此要應(yīng)用一種適用于大規(guī)模數(shù)據(jù)存儲的高性能編碼策略，構(gòu)建低冗余度、高可靠性的高效、綠色存儲系統(tǒng)，吸納數(shù)據(jù)消冗技術(shù)和糾刪碼可靠性增強(qiáng)技術(shù)，采用海量數(shù)據(jù)存儲架構(gòu)，提高計(jì)算機(jī)信息處理技術(shù)的應(yīng)用效果。

2.2.1? 典型存儲系統(tǒng)的應(yīng)用

（1）磁盤陣列存儲系統(tǒng)—RAID5。該存儲系統(tǒng)無須進(jìn)行數(shù)據(jù)備份操作，只需將各個數(shù)據(jù)分塊及其產(chǎn)生的奇偶校驗(yàn)信息數(shù)據(jù)存儲于各分條的磁盤之中，并將各分塊的奇偶校驗(yàn)信息存儲于不同的分條上，并容許更多列隨機(jī)刪除錯的編碼方法引入到磁盤陣列的設(shè)計(jì)和應(yīng)用之中。（2）海量數(shù)據(jù)存儲系統(tǒng)—HDFS。其是大型的分布式文件系統(tǒng)，位于所有核心技術(shù)的底層，由一個元數(shù)據(jù)管理節(jié)點(diǎn)和多個數(shù)據(jù)存儲節(jié)點(diǎn)構(gòu)成，元數(shù)據(jù)管理節(jié)點(diǎn)負(fù)責(zé)管理系統(tǒng)的元數(shù)據(jù)，數(shù)據(jù)存儲節(jié)點(diǎn)負(fù)責(zé)處理客戶端的讀寫請求，執(zhí)行數(shù)據(jù)塊的創(chuàng)建、復(fù)制、刪除等操作，元數(shù)據(jù)管理節(jié)點(diǎn)與若干個數(shù)據(jù)存儲節(jié)點(diǎn)進(jìn)行通信鏈接、指令發(fā)送和信息反饋，為不同應(yīng)用服務(wù)提供海量數(shù)據(jù)存儲功能，主要是通過文件的流式讀應(yīng)用方式處理TB級、PB級的大文件存儲，實(shí)現(xiàn)對文件的一次性寫、多次讀的自動訪問操作，適用于大文件的操作和移動計(jì)算，可以有效提高網(wǎng)絡(luò)系統(tǒng)的吞吐量，減少網(wǎng)絡(luò)的擁堵現(xiàn)象。（3）海量數(shù)據(jù)存儲文件系統(tǒng)—WAS。該系統(tǒng)主要包括有Stream層、Partition層、Front-End層，其中：Stream層負(fù)責(zé)文件分塊的管理與復(fù)制;Partition層作為鏈接Stream層和Front-End層的中間層，解析上層數(shù)據(jù)，并進(jìn)行存儲系統(tǒng)的緩存處理;Front-Ends包括若干個無狀態(tài)的服務(wù)器，由一份分塊存儲信息的劃分表組成，能夠指向?qū)?yīng)定位服務(wù)器，獲悉讀取文件的存儲位置信息。（4）其他編碼冗余策略文件系統(tǒng)。RAID技術(shù)是一種新型的存儲技術(shù)，通過組織若干個磁盤進(jìn)行協(xié)調(diào)工作，有效提高磁盤子系統(tǒng)的性能及可靠性。同時，Pahoehoe文件系統(tǒng)是完全利用糾刪編碼的云存儲文件系統(tǒng)，有效降低了成本，實(shí)現(xiàn)數(shù)據(jù)的高可靠性。

2.2.2? 基于復(fù)制策略的可靠性增強(qiáng)技術(shù)

數(shù)據(jù)復(fù)制策略能夠有效提高計(jì)算機(jī)信息的可靠性，通常采用多副本策略進(jìn)行數(shù)據(jù)傳輸和存儲，有效提高系統(tǒng)的并行訪問數(shù)量，提高大規(guī)模客戶端的訪問效率，具體包括：順序放置策略和隨機(jī)放置策略，順序放置策略是將文件對象副本按照一次的次序進(jìn)行分別放置，隨機(jī)放置策略是將副本隨機(jī)放置在系統(tǒng)的存儲節(jié)點(diǎn)之中。同時，該技術(shù)主要采用靜態(tài)復(fù)制策略和動態(tài)復(fù)制策略，靜態(tài)復(fù)制策略設(shè)置相對簡單，然而無法根據(jù)系統(tǒng)的負(fù)載情況進(jìn)行副本變化，極易導(dǎo)致存儲資源的浪費(fèi)。動態(tài)復(fù)制策略則考慮了用戶需求、系統(tǒng)存儲空間、內(nèi)部網(wǎng)絡(luò)負(fù)載情況等因素，實(shí)現(xiàn)動態(tài)化的管理。

2.3? 計(jì)算機(jī)信息安全技術(shù)

計(jì)算機(jī)網(wǎng)絡(luò)表現(xiàn)出開放性、互聯(lián)性和多樣性的特點(diǎn)，極易受到黑客、惡意軟件的攻擊，為此要關(guān)注和加強(qiáng)計(jì)算機(jī)網(wǎng)絡(luò)信息的安全和保密，具體策略包括：（1）物理安全策略。主要進(jìn)行計(jì)算機(jī)系統(tǒng)、網(wǎng)絡(luò)服務(wù)器、打印機(jī)等硬件和通信鏈路的保護(hù)，對用戶身份及使用權(quán)限進(jìn)行驗(yàn)證，確保合法用戶在權(quán)限內(nèi)進(jìn)行正確的操作。同時，要建立和完善信息安全管理制度，確保計(jì)算機(jī)信息網(wǎng)絡(luò)的安全。（2）訪問控制策略。采用入網(wǎng)訪問控制策略進(jìn)行網(wǎng)絡(luò)安全保護(hù)，通過用戶名識別及驗(yàn)證、用戶口令的識別及驗(yàn)證、用戶賬號的缺省限制檢查等方式，進(jìn)行用戶的入網(wǎng)訪問控制，并實(shí)施對網(wǎng)絡(luò)用戶權(quán)限的控制，進(jìn)行網(wǎng)絡(luò)用戶的分類。另外，還可以采用防火墻控制策略，并在網(wǎng)絡(luò)邊界建立相應(yīng)的網(wǎng)絡(luò)通信監(jiān)控系統(tǒng)，有效隔離內(nèi)部和外部網(wǎng)絡(luò)，確保計(jì)算機(jī)網(wǎng)絡(luò)的安全。信息加密策略也是不可或缺的重要方法，通過加密算法實(shí)現(xiàn)計(jì)算機(jī)信息的加密。入侵檢測技術(shù)也是一種高效、主動性的安全保護(hù)技術(shù)，有效提高網(wǎng)絡(luò)信息安全的完整性。數(shù)字簽名技術(shù)則可以有效解決網(wǎng)絡(luò)通信中的偽造、抵賴、篡改、冒充等問題。

3? ? 結(jié)語

綜上所述，大數(shù)據(jù)時代的計(jì)算機(jī)信息處理技術(shù)體現(xiàn)出不可比擬的優(yōu)勢，要充分、合理地運(yùn)用計(jì)算機(jī)信息采集、存儲、安全技術(shù)和策略，為社會各行各業(yè)提供技術(shù)和安全支撐，突顯計(jì)算機(jī)信息處理技術(shù)的應(yīng)用價值，不斷推進(jìn)計(jì)算機(jī)信息處理技術(shù)的持續(xù)發(fā)展和提升。

[參考文獻(xiàn)]

[1]翁春榮.大數(shù)據(jù)背景下計(jì)算機(jī)信息處理技術(shù)的缺陷及對策分析[J].計(jì)算機(jī)產(chǎn)品與流通，2019（9）：24，58.

[2]張文娟，任曉霞.基于大數(shù)據(jù)時代計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)中人工智能的應(yīng)用解析[J].電子測試，2019（18）：67-68.

Research on computer information processing technology in big data era

Chen Yun

（Shaoyang University， Shaoyang 422000， China）

Abstract：The rapid development of the era of big data brings great opportunities and challenges to computer information processing technology， must fully understand the importance and characteristics of computer information processing technology in the era of big data. This paper explores and analyzes the computer information collection technology， storage technology and security technology， construct a suitable network platform and database structure to achieve efficient collection of data information and database link? under the era of big data. And data storage algorithms are researched and analyzed， builds low-redundancy， high-reliability mass data storage systems， and uses computer information security technology to build complex security information systems to ensure that computer information processing technology is convenient and safe in all walks of life application.

Key words：big data; computer information processing technology; acquisition; storage; security