基于大數據的計算機信息處理技術研究

摘 要 文章在大數據技術的基本概念和應用 計算機信息處理技術的發展和應用 數據隱私和安全等方面進行了探討和分析 首先介紹了大數據技術的基本概念 特點和發展歷程 重點闡述了大數據技術在各個領域的應用情況 包括醫療 金融 教育 農業等領域 以及應用案例 接著介紹了計算機信息處理技術的發展歷程和應用情況 包括計算機視覺 自然語言處理 機器學習等領域的技術應用案例其次討論了大數據技術的數據隱私和安全問題 分析了數據隱私和安全問題的成因和影響 并提出了保護數據隱私和安全的策略和方法 最后介紹了國內外有關數據隱私和安全的法律和政策 以及大數據技術在數據隱私和安全方面的發展趨勢

關鍵詞 大數據 計算機信息處理 信息處理技術

中圖法分類號TP311 ?文獻標識碼A

１ 引言

隨著大數據時代的到來，基于大數據的計算機信息處理技術越來越受到關注。大數據的處理涉及數據采集、數據存儲、數據處理、數據分析和數據應用等多個環節。大數據技術對云計算技術的高速發展產生直接影響，所以只有加大對大數據技術和計算機處理技術研究的力度，才能夠幫助我們國家獲得更好、更長足的發展［１］ 。

２ 數據采集技術

２．１ 傳感器數據采集

傳感器是大數據時代中最重要的數據源之一，它可以獲取實時數據，如環境溫度、濕度、光照強度、氣壓等。傳感器的數據采集可以通過無線傳感器網絡（ＷＳＮ）、藍牙低功耗（ＢＬＥ）、ＺｉｇＢｅｅ 等技術實現。無線傳感器網絡是一種分布式的傳感器網絡，它可以將傳感器的數據集中到一個中心節點進行處理和分析。藍牙低功耗和ＺｉｇＢｅｅ 技術則可以將傳感器數據傳輸到移動設備上，實現實時的數據監測和控制。

２．２ 日志數據采集

日志數據是服務器和網絡設備產生的重要數據源之一，包括系統日志、應用程序日志、網絡日志等。日志數據采集可以通過開源的工具， 如Ｌｏｇｓｔａｓｈ，Ｆｌｕｅｎｔｄ，ｒｓｙｓｌｏｇ 等實現。這些工具可以收集不同設備中的日志數據，然后將數據存儲到中心存儲庫中并進行分析和處理。

２．３ 社交媒體數據采集

社交媒體數據采集的方法有多種，主要可以分為以下幾類。其中，ＡＰＩ 接口是訪問社交媒體平臺數據的一種常用方式。使用ＡＰＩ 接口采集數據可以提高采集的效率和準確性，因為數據可以直接從平臺的數據庫中獲取，不過，ＡＰＩ 接口采集需要具備一定的編程技能并且有些平臺可能限制了ＡＰＩ 接口的使用。爬蟲是一種自動化程序，可以通過模擬用戶行為從社交媒體平臺上爬取數據。爬蟲采集的優點是可以采集到更全面、細致的數據，但同時也需要考慮到爬蟲的合法性和可能對平臺造成的影響。人工采集是通過手動搜索、瀏覽社交媒體上的內容，并對其進行數據記錄和整理。人工采集的優點是可以采集到更精細、具體的數據，但同時也需要考慮到人力成本和采集效率的問題。第三方工具可以幫助用戶快速采集社交媒體數據，并對其進行數據分析和可視化。第三方工具的優點是可以提高采集效率和數據分析能力，但需要注意第三方工具的數據來源和數據準確性。不同的采集方法有其各自的優缺點，在選擇采集方法時，需要根據采集目的、采集數據的特點和平臺政策等因素進行權衡和選擇。

３ 數據存儲技術

大數據的存儲需要滿足高性能、高可用和高容量等要求，目前主要的數據存儲技術包括關系型數據庫、ＮｏＳＱＬ 數據庫和分布式文件系統。

３．１ 關系型數據庫

關系型數據庫是傳統的數據存儲技術，其具有嚴格的數據結構、高可靠性、數據一致性和ＡＣＩＤ 事務特性等優點。關系型數據庫的代表產品有Ｏｒａｃｌｅ，ＭｙＳＱＬ，ＰｏｓｔｇｒｅＳＱＬ 等，這些數據庫可以支持大數據的存儲和管理。

３．２ ＮｏＳＱＬ 數據庫

ＮｏＳＱＬ（Ｎｏｔ ｏｎｌｙ ＳＱＬ）數據庫是一種非關系型數據庫，其設計思想是為了解決大規模數據的存儲和處理問題。相較于關系型數據庫，ＮｏＳＱＬ 數據庫具有更高的擴展性、更靈活的數據模型和更高的性能。

ＮｏＳＱＬ 數據庫通常采用分布式的方式存儲數據，如ＨＢａｓｅ，Ｃａｓｓａｎｄｒａ，ＭｏｎｇｏＤＢ 等。這些數據庫具有高可用性、高性能、自動化數據分片等特點，適用于海量數據存儲和處理。

３．３ 分布式文件系統

分布式文件系統是一種基于網絡的文件系統，通過將文件分布在多個節點上來實現其高可用性和高性能。Ｈａｄｏｏｐ Ｄｉｓｔｒｉｂｕｔｅｄ Ｆｉｌｅ Ｓｙｓｔｅｍ（ＨＤＦＳ）是一個分布式文件系統的代表產品，它是Ｈａｄｏｏｐ 生態系統的一部分，適用于大數據存儲和處理。ＨＤＦＳ 的設計思想是將文件劃分成多個塊，然后將這些塊存儲在不同的節點上，通過分布式的方式實現其高可用性和高性能。

４ 數據處理技術

在明確大數據發展機遇的基礎上，需要正確認識數據處理技術面臨的挑戰，首先則是需要在數據挖掘領域持續深入［２］ 。

４．１ 數據清洗

數據清洗是大數據處理的第一步，其目的是去除數據中的噪聲和不良數據，以保證后續數據處理結果的準確性。數據清洗通常采用ＥＴＬ （ Ｅｘｔｒａｃｔ?Ｔｒａｎｓｆｏｒｍ?Ｌｏａｄ）工具來實現，如Ａｐａｃｈｅ ＮｉＦｉ，Ｐｅｎｔａｈｏ，Ｔａｌｅｎｄ 等。

４．２ 數據轉換

數據轉換是將數據從一種格式轉換為另一種格式的過程，其目的是滿足數據分析和建模的需要。數據轉換通常采用ＥＴＬ 工具來實現，ＥＴＬ 工具可以將數據從不同的數據源中提取出來，并轉換成適合分析和建模的格式。

４．３ 數據分析

數據分析是大數據處理的重要環節，其目的是從海量數據中發現有價值的信息和規律。數據分析通常采用數據挖掘、機器學習等技術，如分類、聚類、關聯規則挖掘、預測等。

數據分析有著悠久的歷史，從早期的統計分析，到現在的大數據時代，數據分析一直在發展變化。數據分析正在不斷深入發展，出現了更多的專業的數據分析工具和技術，如數據挖掘、機器學習、大數據技術等。隨著計算機技術的發展，計算機的處理能力不斷提升，數據分析的處理速度也在節節攀升，可以在短時間內處理大量的數據，支持更快速準確的數據分析。隨著云計算技術的應用，數據可以從不同的高效的途徑獲取，從而可以實現更靈活的數據分析。數據分析的技術也在不斷發展，加上計算機技術和云計算技術的應用，將為數據分析注入新的活力，推動其變得更加完善。在此情況下，合理有序地儲存信息就成為信息處理技術分析中的重要環節，通過有序地對信息進行排查，能夠不斷優化信息儲存技術。

４．４ 數據建模

數據建模是指將現實世界中的實體和關系轉化為計算機可處理的數據模型，其通常使用圖形化的方法進行表示和分析。數據建模在數據分析和軟件開發中扮演著重要的角色，可以幫助我們更好地理解和管理數據，從而更有效地實現業務目標。數據建模是指從數據中提取有用信息，并對數據進行分析，且建立數學模型，以提供有用的信息和幫助決策。數據建模的主要技術有統計分析、機器學習、深度學習等。統計分析是指利用統計學的知識和方法，對數據進行分析，以提取有用的信息。機器學習是一種人工智能技術，可以使計算機學習發現數據中的規律，從而使其能夠自動完成任務，而不需要人工干預。深度學習是一種機器學習技術，它使用多層神經網絡建模，可以從數據中提取復雜的特征，從而提高模型的準確性。隨著人工智能技術的發展，數據建模技術也在不斷發展。越來越多的企業在應用深度學習、自動化機器學習等技術，以提高數據分析的效率和準確性。未來人工智能技術將繼續發展，數據建模技術也將繼續深入發展，從而更好地提取有用信息，為企業提供更有效的決策支持。

５ 數據應用技術

大數據的應用主要包括數據可視化、數據挖掘、機器學習、深度學習等多個領域。

５．１ 數據可視化

數據可視化是將數據以圖形化的方式展示，讓人們更加直觀地理解數據。數據可視化可以幫助人們發現數據中的規律和趨勢，從而做出更明智的決策。常用的數據可視化工具包括Ｔａｂｌｅａｕ，Ｐｏｗｅｒ ＢＩ，Ｄ３．ｊｓ等。數據可視化是將復雜的數據以易于消費者理解的形式展示，從而快速獲取信息。近年來數據可視化的發展相當迅速，主要受到了大數據技術的推動。隨著大數據技術的發展，數據可視化的功能不斷增強，可以實現更加精細的數據可視化，使用戶更方便地獲取和理解數據。數據可視化的軟件也在不斷更新，以滿足用戶對可視化效果的需求，使可視化效果更加精致、生動。數據可視化在跨領域的應用范圍不斷擴大，如互聯網、金融、教育、醫學等，已成為不可或缺的一部分，有助于更好地洞察業務、產品、市場信息。隨著技術的發展，數據可視化將會越來越重要，支持更加強大的可視化效果，跨越更多領域，為用戶提供更豐富的信息可視化服務。

５．２ 數據挖掘

數據挖掘是從大量數據中挖掘出有價值的信息和規律的過程，通常采用統計學、機器學習等方法。數據挖掘的應用場景包括市場營銷、金融風險控制、醫療診斷等領域。常用的數據挖掘工具包括Ｗｅｋａ，ＲａｐｉｄＭｉｎｅｒ，ＫＮＩＭＥ 等。數據挖掘是一種從大量信息中自動發現有用知識的技術，近幾年來得到了快速發展，并在全球范圍內得到廣泛應用，在日益激烈的市場競爭中，數據挖掘發揮著重要作用。近年來，數據挖掘技術已發展成一個多學科交叉領域，涉及數據庫系統、機器學習、智能系統等眾多學科。隨著數據量的不斷增加，數據挖掘技術也在不斷深入發展和完善，成為企業智能決策的重要支撐。深度學習技術在數據挖掘中得到了廣泛應用，結合大數據平臺，實現了更加深入的數據挖掘，提高了挖掘的效率和準確度，并且可以實現自動化的挖掘和分析，減少了人工干預，提高了數據挖掘的效率，可以更有效地發現有用的信息。云計算技術也為數據挖掘提供了支持，可以使用云技術實現數據挖掘的分布式處理，提高數據挖掘的效率和準確度。數據挖掘將繼續發展，不斷完善和改進，以滿足企業對信息處理和決策分析的需求，并將挖掘出的有用信息用于智能化的決策，使企業更加活躍，進一步提升企業的競爭力。

５．３ 機器學習

機器學習是一種基于數據和統計學方法的人工智能技術，其目的是通過訓練模型來自動識別和預測數據中的規律和趨勢，利用統計學和數學方法，讓計算機從數據中學習，模擬人類思考的過程，做出決策與預測。機器學習的發展趨勢一直在不斷提高，越來越多的領域和行業開始采用機器學習技術，以解決復雜的問題，提高數據統計效率和準確性［３］ 。機器學習的應用場景包括自然語言處理、圖像識別、智能推薦等領域。常用的機器學習框架包括ＴｅｎｓｏｒＦｌｏｗ，Ｋｅｒａｓ，ＰｙＴｏｒｃｈ 等。

５．４ 深度學習

深度學習（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）是一種機器學習的技術，它利用多層神經網絡以及一些新的學習算法（如深度馬爾可夫模型）、自動特征提取以及神經網絡等來解決機器學習問題。深度學習無需人工設計特征，可以自動從原始數據中學習到潛在的特征，從而解決傳統機器學習解決不了的問題。深度學習在各個領域的應用正在蓬勃發展，如計算機視覺、自然語言處理、自動駕駛、網絡安全等，它們的應用范圍在不斷拓展，深度學習的應用正改變著我們的生活。在計算機視覺領域，深度學習可以用來識別圖像中的物體（如車輛、行人等），對圖像進行分類、定位和識別，并可以用來檢測圖像中的異常現象。深度學習在自然語言處理領域，可以實現文本分類、問答、語義分析等功能。在自動駕駛中，深度學習可以做路徑規劃、車輛檢測和跟蹤、道路檢測等。在網絡安全領域，深度學習可以用來識別網絡中的惡意活動，以及檢測暴力破解攻擊。作為機器學習的分支之一，深度學習在各個領域的應用正在蓬勃發展，其應用正在改變我們的生活，為我們帶來了許多便利，也為我們打開了一扇新的大門，給人們帶來了更多有用的信息和服務。

６ 數據隱私和安全

大數據的應用涉及用戶隱私和數據安全等，需要采取相應的措施來保護用戶隱私和數據安全。

６．１ 數據隱私

數據隱私是指個人的敏感信息在未經許可的情況下被收集、使用、存儲和傳播的風險。保護數據隱私的方法包括數據加密、隱私保護技術、數據脫敏等。數據隱私的保障措施是指保護用戶的個人隱私數據不受未經授權的訪問、使用、復制或披露。近年來，隨著信息技術的發展，數據隱私的保護措施也在迅速演化。數據隱私的保護措施首先涉及法律上的保護。國家制定的數據隱私法規，加強對個人信息的保護，嚴格限制對個人信息使用，以及確定未經授權的訪問、使用、復制或披露的懲罰措施，為數據隱私的保護提供了強有力的法律保障。比如，加密技術可以保護用戶的個人隱私數據，使其不受未經授權的訪問、使用、復制或披露。新時代背景下公司發展計算機處理技術并不是為了存儲網絡數據資源，其根本目的是對獲取的大數據進行分析與整合，從中獲取數據價值，為公司帶來經濟效益［４］ ，因此保障數據隱私安全可以極大地增加用戶信心，帶來巨大收益。

６．２ 數據安全

數據安全是指數據在存儲、傳輸、處理等環節不受未授權訪問、篡改、破壞等風險的影響。保護數據安全的方法包括數據備份、數據加密、訪問控制等。數據安全保障措施一般包括認證與授權、訪問控制、數據加密、容災備份與恢復、安全審計與日志、安全管理等。認證與授權是數據安全的基礎，要求被訪問數據的合法使用者必須進行身份驗證，然后在授權的基礎上確定其訪問權限，以確保數據的有效性和安全性。訪問控制是維護數據安全的關鍵，可以采用角色訪問控制（ＲＢＡＣ）、策略基礎訪問控制（ＰＢＡＣ）等方式，限制不同類型用戶的訪問行為，以減少惡意攻擊對數據的破壞。數據加密是保護數據安全的有效措施，可以使用對稱加密、非對稱加密、哈希加密等技術，將數據加密，防止非法訪問者竊取數據。容災備份與恢復也是一項重要的安全措施，可以在數據受損或意外丟失時，使用備份數據進行恢復，以避免數據損失或泄露。安全審計與日志是防范數據安全事件的重要措施，可以定期對系統訪問行為進行審計，并記錄詳細的日志，以便及時發現安全漏洞和可疑行為。

數據安全的發展趨勢主要有３ 點：一是智能安全，利用機器學習、深度學習等技術，實現安全管理自動化，增強安全防護能力；二是認知安全，采用識別技術實現人與機器的智能識別，及時發現安全威脅；三是區塊鏈安全，利用區塊鏈技術實現數據安全傳輸，提高數據安全性。

７ 結束語

隨著大數據時代的到來，大數據技術已成為計算機信息處理的重要工具。本文從大數據的概念和特點、大數據技術的分類、數據處理技術的發展和應用、數據隱私和安全等方面進行了論述，大數據技術的研究和應用具有重要意義。在實際應用中，需要根據不同的需求選擇合適的大數據技術，并對其進行合理的使用和管理。此外，需要加強對大數據技術的研究和培訓，提高技術人員的專業水平，以更好地應對未來的挑戰和機遇。大數據技術已成為計算機信息處理領域中的重要分支，其發展和應用已經深刻地改變了人們的生活和工作方式。隨著技術的不斷發展，大數據技術將會進一步完善和發展，為人們帶來更多的機遇和挑戰。本文總結了大數據技術的發展現狀和未來趨勢，提出了加強大數據技術的研究和培訓、提高技術人員的專業水平，以更好地應對未來的挑戰和機遇的建議。通過分析大數據技術的發展現狀和未來趨勢，強調了在實際應用中需要根據不同需求選擇合適的大數據技術，并對其進行合理的使用和管理。

參考文獻：

［１］ 周金付．大數據下的計算機信息處理技術探討［Ｊ］．數字技術與應用，２０２２，４０（１２）：７?９．

［２］ 科爾侖．基于大數據時代背景下計算機信息處理技術研究［Ｊ］．電子測試，２０２１（２２）：１３２?１３４．

［３］ 楊東慧．基于大數據的計算機信息處理技術分析［Ｊ］．信息與電腦（理論版），２０２０，３２（２４）：２４?２６．

［４］ 王亮，左文濤．基于大數據時代視域下的計算機信息處理技術研究［Ｊ］．通訊世界，２０１９，２６（１１）：１４５?１４６．

作者簡介：

黃大剛（１９８２—），本科，助教，研究方向：計算機與科學技術。