大數據時代背景下檔案管理探討

魏濤

【摘要】本文首先介紹了在當今大數據背景下，存儲與復制材料資料，從實體到數據信息的轉變到管理資料數據的方式等這些方面皆有大數據有關技術的引入與幫助；然后解釋了參考大數據技術方向和具體內容來管理資料數據的方法和注意事項。

【關鍵詞】重要性；大數據之應用；資料數據管理；方法

一、引入大數據相關技術在資料分析中是不可或缺的

2012年5月29日，國家土地管理有關部門公布了國家首批近百個智慧城市試點，所謂智慧城市，很大一方面就是指應用新技術在大數據背景下革新管理和統計數據資料，然后合理規劃和發展城鄉建設，提高人民生活水平，促進城鎮發展達到一定的成績。這也說明國家非常重視該方面的建設與運用和重要性，國家也在穩步推行和鼓勵該型城市的發展，推行聰明城市、聰明建設等方向，運用大數據等新型方法方式等等。之所以被稱作智慧城市，就是要遵循以下幾個原則，分別是：多用數據少用資源、多用數據多干活、多用數據少犯錯誤等原則。

（一）現在電子文件急需大數據技術做支撐。當今時代背景下，電子文件增長迅速，應對這些大量的電子類文件，我國長期以來往往采用直接鑒定的方式，但這種方式往往已經不能適應時代的需求，將受到嚴重的挑戰。相關人員逐一鑒定每一份文件的原始文件有些不太現實了，所以此方面也向我們提出了更高的要求。此后，有人提出宏觀鑒定的方法。但困難的是無法快速的篩選出有價值的有用的文件類型與種類和具體內容。還有怎么對這些電子文件進行快速分類是個棘手的問題，怎樣保存有用的文件也是個重要的問題。

為了解決上述問題，檔案工作者除了革新管理方法之外，還可以應用大數據的相關技術，創新式大膽使用最新的方式方法。在通常的設備設施上安裝升級數據傳感器，就可以海量的接受和處理數據，擴大儲存數據的存量。這個量級的大小可以達到每天TB，甚至每天PB的大小，是非常可觀的。

（二）大數據技術同樣需要應用于非電子類文件的處理與應用。大數據包括很多種類，其中有結構化數據和半結構化數據類型，當然還有非結構類型的數據。非結構型數據的應用目前有大幅增長的趨勢，尤其是在互聯網普遍應用的今天。至 2012 年末，非結構類型的數據已經超過一般，并有增長的趨勢。同時，數據不是單獨存在的。長期以來，人們對資料文件管理采用的是有關系類型的資料庫，IOE是最有代表性的之一：（I指IBM的硬件設施，O指Oracle的資料庫，E指EMC的存放方式）的方法，這同樣適用于檔案資料的管理行業，這種模式，指IOE似乎有些不能適應當今大數據處理的方式方法，顯得有些力不從心。這是因為大數據處理不僅僅指的是數據數量巨大，數據類型繁多，同時文件的數量也是空前的數不勝數，不再是隨隨便便幾個簡單的文件了，這就對傳統技術提出了挑戰。為此，怎樣處理文件相關系統層存下的元數據是一個問題，如果處理不好，會直接影響文件的處理效果和硬件的性能。為了應對快速增加的非結構化數據資料，相關資料工作人員在進行電子或非電子資料處理應用時出現了很大的問題，但當下基于應用大數據相關技術數據庫的優勢，如SQ L等數據處理方法不僅僅可以處理簡單的相關數據，同樣也應用于空間數據資料、數據流、圖形等相關方面，并且基本應用于相關內容的存下結構能夠在一個系統中處理十億等級別資料的相關數據，并且還不能類似于以前常用的存儲那樣遇見的原始數據處理的麻煩，大數據相關技術作為相關工作人員處理非結構化的電子或非電子資料的麻煩提出了解決方法。

二、檔案管理運用大數據的策略

（一）資料數據需要備份復制和統一管理。依據計劃，灃東大數據產業園區將會實行數據的大規模統一化集中吸收發出、深度的整理處理、逐步變成國家政務材料幕后整理與復制中心。當前，中國聯通公司、中國移動公司和中國電信公司三大通信商家和國家人口數量數據產生與復制（古城西安）中心，這個例子對檔案資料管理部門及相關人員提供了很大的啟發。當今前檔案中心采取的是資料用電子設備備份，這樣既安全又方便。

（二）要積極尋找和尋求大數據相關技術公司。爭取與它們合作，從而積極發明開展適合資料檔案分析整理的工具技術。大數據相關技術內容涉及很廣，很寬泛，包括很多方面，如果某個行業想要應用大數據相應技術，就要打破傳統思想，不要受專業限制的束縛，積極尋求合作，尤其是和大公司合作專業大數據業務，避免許多事。比如一家石油相關的公司，采油探油是他們的特長，但是對石油行業也有不懂的方面，到最后不得不請來一位北京大學的博士，他既懂石油，又知道未來發展的前景，最終構成了三方合作三足鼎立的狀況，如果缺少開放、協同創造，共同創新的思想，想達到這樣的目的，得到這樣的結果太難了。

三、檔案處理用大數據相關技術一定要有明確的目標和標準

在運用大數據相關技術時，在整理和處理相關檔案數據時，一定要清楚自己需要什么，需要在數據中提取什么，否則就是純屬浪費時間和精力來處理數據。因此，首先要定義使用大數據的目標和標準，此后再找到合適的工具技術來處理數據、分析數據。

【參考文獻】

[1]張欣.解讀大數據時代下檔案管理的價值提升[J].理論觀察，2014（01）：108-109.