通信及互聯網技術在數據管理中的應用研究

賀志朋

摘要：大數據背景下，越來越重視數據的管理。通信技術特別是移動通信技術的應用，成為數據管理的重要工具，彌補了傳統的通信技術不足，在數據的收集、上傳中發揮重要作用，使數據管理對象范圍明顯擴大到了個人，實現個人數據的收集、傳輸、定制、查詢。互聯網技術高性能計算、分布式存儲技術為數據分析、存儲提供了途徑，互聯網中的多線程并發、數據預讀傳輸等技術方便了數據的傳輸，互聯網還可開展以云安全、虛擬防火墻、入侵檢測、流量過濾、虛擬機自動擴展等為代表針對數據管理綜合服務。文章概述了通信及互聯網技術在數據管理中應用領域現狀和發展方向。

關鍵詞：互聯網技術；通信；數據管理

進入21世紀以來，人類社會信息技術飛速發展，以互聯網為代表的各種信息技術不斷涌現，并深入到人類社會的生產、生活、工作、學習之中，成為人類不可或缺的助手。各類信息充分交融、匯集，使數據滲透至每一個行業和職能領域，成為重要的職能要素，人類正進入大數據時代。大數據背景下，越來越重視數據的管理，數據管理是大數據時代的核心工作，包括數據的收集、處理、分析、價值挖掘等。數據管理水平的提高，反過來又深深影響通信、互聯網技術，本研究就通信及互聯網技術在數據管理中應用領域現狀、發展方向進行概述。

1 大數據背景下的數據管理

大數據時代下，數據正呈現爆炸式增長，這些數據具有量大、類型繁多、價值密度低、速度快時效高等特征。大數據時代對數據管理提出了更高的要求，主要體現在以下幾個方面：（1）信息收集、處理速度加快，對信息收集、處理能力提出了更高的要求，大量應用專業的技術，如數據收集工具，信息專業與計算機行業高度融合。（2）信息共享更加方便，這要求信息系統、管理專業人員更重視團隊合作，重視節點之間的通信，開發、利用更先進的與共享有關的能力，如即時通信、云端數據存儲與共享。（3）大數據下，更為重視數據的挖掘，重視互聯網中海量信息的挖掘，信息管理涉及的行業更加廣泛，信息管理在醫療衛生、行業發展、企業戰略分析等領域作用越來越突出。總而言之，大數據背景推動了數據管理領域的發展，數據管理的發展離不開通信、互聯網技術的應用，對后兩者提出了更高的要求，三者的融合程度進一步提高。

2 通信技術在數據管理中的應用

前文提到為實現大數據背景下的數據管理，便需要更為高效、先進的通信技術，重視節點之間的通信，開發、利用更先進的與共享有關的能力。目前，與數據管理有關的通信技術，以微信、網絡電話等為代表。在中國手機網民的數量己超過7億人，移動網絡與互聯網的融合明顯增強，移動互聯網通信極大地推動了數據管理發展，并成為數據管理的重要工具，彌補了傳統的通信技術不足。需注意的是，移動通信技術也產生了海量的數據，如個人的網絡瀏覽數據、健康信息等，這推動了更多的數據服務業務發展。以健康數據管理服務為例，移動通信技術實現了數據的收集、上傳，使數據管理對象范圍明顯擴大到了個人，節約了數據收集的成本。移動通信技術也使數據管理的形式發生了明顯改變，移動通信使用者開始成為數據管理服務的使用者，移動通信工作者能夠通過移動通信技術發出指令，實現數據的收集、傳輸、定制、查詢等工作。

3 互聯網技術在數據管理中的應用

近年來，IP數據網、互聯網、電信網、電視網等信息網絡的融合步伐明顯加快，產生了許多新的數據管理需求，推動數據管理發展。產生了許多新的網絡內容，但這些網絡內容包裝、傳送、操作、終端存在一定的差異，各有優劣，如電信、電視網絡信息傳輸速度快，互聯網盡管應用十分廣泛，但可分配地址少、信息傳輸速度慢，不同網絡的融合推動了通信技術的發展，實現了優勢互補。目前已有利用互聯網實現遠距離控制電視網絡的技術，多網融合，能夠保障高話務場景下的通信，克服網絡載波擴容、增加應急通信車等傳統手段負荷不足的缺陷。當前，多網融合的技術儲備基本成熟，有關的數學、物理學、材料科學、行為科學、計算機編程等方面都發展迅速，以碼分多址（Code Division MultipleAccess，CDMA）技術、WiFi技術、LTE技術為代表的融合技術，豐富了多網融合的形式。以WiFi為例，具有較高的頻帶使用率，接入承載能力較好，成本低，安裝便捷，非常適合大量用戶移動終端接入，在無線傳感控制、遠程環境監測、遠程視頻監控等領域具有極高的應用價值，固線、無線技術的融合，有效實現了移動設備的數據管理，可實現多點、遠程數據傳輸、遠程干預。

大數據時代下對數據管理的需求明顯提高，數據的計算量明顯增大，互聯網是實現高性能計算的途徑之一。基于互聯網的高性能計算，可以連接世界范圍內的不同地區的計算機，分配計算任務，實現高性能計算，理論上可以實現成千上萬臺計算機共同計算。這種體系下，每個計算機都分配出處理器容量，如SETl@hom，Folding@home計劃，互聯網高性能計算主要用于宇宙物理學、大數據統計、遙感數據處理等領域。當前，云計算技術飛速發展，成了基于互聯網的網絡數據分析的典范。網絡下高性能計算技術，根據節點能力，自適應分配不同大小的數據，進行“異構”計算，能極大地提高計算效率，甚至可利用移動計算設置。

互聯網也為數據管理提供了豐富的應用途徑，以云存儲為典型的代表，這是一種分段式的數據存儲技術，海量的數據以分段的形式存儲在單獨的文件中，數據庫則負責管理這些文件的索引，采用系統可快速定位讀取數據文件，對于海量的數據而言，非常方便，使用者可根據數據的容量，不斷增加網絡中的計算機單元、存儲節點進行擴容。分布式的數據存儲將業務數據、元數據分開管理，將業務數據儲存在廉價的工作節點上、將數據存儲容量擴展，適合存儲海量數據的互聯網企業、電信業務等企業。分布式數據存儲技術以云存儲為核心，商業化的云存儲技術己得到應用，如Amazon公司的簡單服務、Google公司推出的“Google storage”等項目，國內百度云盤、QQ云盤等。以Amazon公司的簡單服務為例，這是一個強大的、可伸縮的、可靠的、按需使用的分布式存儲系統，用戶可以將程序調用所需要的相片、影像等文檔數據資料直接存儲到S3上，相當于第三方硬盤驅動，實際上分布式存儲系統散布在各個地理位置許多機器上的存儲空間中，后者提供虛擬化存儲服務。目前為止，其內部原理尚未被公開。

互聯網中的數據傳輸，可采用多線程并發、數據預讀傳輸技術，進行并行檢索，傳輸，利用網絡帶寬、服務器處理能力，預讀與緩存數據，能夠極大地提高數據傳輸效率。對于數據的組織，互聯網可采用金字塔技術結合索引，在服務器I/O、網絡帶寬使用與客戶端處理方面，可有效地提高效率。需注意的是，對于部分數據的處理，需要進行分類、變化、融合等處理，若采用集群處理，需要優化空間才能實現數據調度。

基于互聯網的數據管理服務還包括云安全、虛擬防火墻、入侵檢測、流量過濾、虛擬機自動擴展等，這些服務都為數據管理提供了便利。可以為第三方應用提供大吞吐的API存儲接口，可用于互聯網數據用戶提供數據接口，極大地拓展了數據管理服務內容。

4結語

通信及互聯網技術的發展推動了數據管理的發展，通信、互聯網技術與各行各業的融合程度上升，產生了大量的數據管理服務，通信及互聯網技術為數據的收集、傳輸、存儲提供了解決方案。