高校檔案物聯網大數據處理平臺的構建方案研究*

張　倩（南京藝術學院綜合檔案室，江蘇南京，210013）

?

高校檔案物聯網大數據處理平臺的構建方案研究*

張倩
（南京藝術學院綜合檔案室，江蘇南京，210013）

［摘要］文章借鑒大數據技術發展理念和物聯網環境建設的基本原理，通過考察高校檔案物聯網環境中的大數據源特征和處理流程，試圖探尋物聯網與大數據等處理技術的“跨界”融合途徑，提出高校檔案物聯網大數據處理平臺的設計重點與主要功能模塊的構建方案。

［關鍵詞］大數據高校檔案物聯網信息系統

［分類號］G271

隨著信息產業的飛速發展，高校檔案業界即將迎來“檔案Web3.0”時代。步入Web3.0時代，在高校檔案物聯網環境下，檔案數據采集將呈爆炸式增長，特別是檔案大數據源的處理和運用，將成為創建高校智慧檔案館（室）不可或缺的服務手段。考慮到現階段大數據技術在高校檔案物聯網領域應用的緊迫性和相對滯后，本文借鑒大數據技術發展理念和物聯網環境建設的基本原理，通過考察高校檔案物聯網環境中的大數據源特征和處理流程，試圖探尋物聯網與大數據等處理技術的“跨界”融合途徑，提出高校檔案物聯網大數據處理平臺的設計重點與主要功能模塊的構建方案。

1　檔案物聯網與大數據的內在關系

1.1物聯網是大數據的孕育之母。通過考察可以發現，物聯網生成的子系統不斷增加，數據源規模日益膨脹，大數據由此應運而生。實踐還告訴我們，物聯網世界的本質就是數據。物聯網既是數據源的“產房”，也是大數據的孕育之母。借助物聯網技術，不僅可使高校檔案物理環境中的信息實現數據化，而且這些數據均具有大數據的特征，即：數據體量大（Volume）、數據處理速度快（Velocity）、數據類型繁多（Variety）、數據蘊藏價值高（Value），是供高校檔案管理機構開發增值服務的豐富“寶藏”［2］。

1.2大數據是物聯網的助力之神。大數據技術提供對終端設備的智能化控制和智能化交互，將引領高校檔案物聯網向智能物聯網方向發展，使高校檔案物聯網擁有更加廣闊的發展空間。實踐探索表明，創建具有云計算功能的大數據處理平臺，運用大數據技術對檔案物聯網生成的數據源作采集、存儲、過濾、篩選和可視化處理，既是高校檔案物聯網建設的核心任務，也是高校智慧檔案館（室）創新數據化運作機制、增強智能化關聯與預測功能、提升個性化服務水平的重要手段。

1.3物聯網與大數據是“聯姻”之體。物聯網與云計算、大數據無論在技術概念上，還是在技術內涵上，都存在著極強的關聯性與共生性。若將檔案物聯網看作是處于前端的傳感器與網絡設備，具有云計算功能的檔案大數據處理平臺則是發揮核心作用的應用系統，促進三者技術優勢的融合，是提升高校檔案信息智能化服務水平的關鍵所在［3］。因此，高校檔案管理機構在推進檔案物聯網建設的過程中，不僅要積極引入物聯網技術，而且要注重與云計算、大數據等處理技術進行“聯姻”。

2　檔案物聯網環境中的大數據源分析技術

2.1檔案物聯網環境中大數據源的主要特征

（1）數據規模的海量性。海量性（Volume）是大數據源的4V特征之一，物聯網則是最能體現這一特點的應用領域。例如，在檔案物聯網環境中，每件檔案及其相關設備都被附加了可跟蹤其位置的標簽或芯片，這些裝置實時生成的日數據量不僅能以指數級增長，而且能創造出眾多的“數據海”。因此，構建檔案物聯網并依托大數據技術對檔案大數據源進行收集、存儲、分析處理和應用，這既是對高校檔案管理機構改造傳統管理模式的艱巨挑戰，也是跟上Web3.0發展步伐的重大機遇。

（2）數據處理的高速性。數據處理速度（Velocity）是決定物聯網成敗的重要支撐條件之一，大數據分析技術的最大優勢就在于其能夠快速“提純”出有價值的信息。例如，在檔案物聯網環境中，檔案大數據處理平臺的傳感器、控制器等智能處理設備每天都會高速、動態生成大量的數據，不僅TB級以上的日數據增長量將呈常態化，而且以流（Stream）的形式產生的實時監控數據規模量將更為驚人。因此，高校檔案管理機構應當高度關注檔案物聯網建設的重要性和緊迫性，著力加快云計算和大數據技術落地進程，以利促進檔案物聯網大數據源的開發與利用。

（3）數據類型的異構性、多態性和顆粒性。“大數據源”是海量數據+復雜類型的數據，其數據生成方式的多樣化是造成物聯網大數據源極具復雜性的重要原因之一。例如，在檔案物聯網環境中，種類繁多、結構不同、功能各異的傳感器、非接觸式射頻識別標簽等感知設備生成的文本數據和圖像、音頻、視頻等多媒體數據，既有異構的、非結構化和有噪聲的數據，又有靜態數據和動態數據。這些不同類型數據構成的檔案物聯網“大數據源”，具有明顯的異構性、多態性和顆粒性（數據通常帶有位置、時間、行為和環境等信息）特征，其對檔案大數據源的處理與開發利用造成了極大的難度。因此，高校檔案管理機構必須重視檔案物聯網大數據源的處理平臺建設，尤其要采取將錯誤數據檢測與冗余信息處理等方法相結合的措施，讓非結構化數據轉換成結構化數據，以優化高校檔案物聯網的大數據智能處理機制。

2.2檔案物聯網環境中大數據源的處理流程

遵循檔案信息大數據“生成、傳輸、處理和應用”的四項基本原則，我們可以把高校檔案物聯網大數據處理平臺的技術構架分為“感知識別、網絡樞紐、管理服務和綜合應用”四大層階［4］。這種技術模型構造的高校檔案物聯網，以大數據源的集成與應用為核心對象，其處理流程可歸結為：數據采集、數據存儲、數據分析和數據應用等四大運作環節。其中，數據的采集和存儲是基本功能，數據智能化分析和處理是大數據技術的精髓所在。

（1）感知識別層大數據的采集與遴選。

感知識別層位于物聯網四階次模型的最底層，是所有上層結構的重要基礎。在這一層階中，其采集的數據是檔案物聯網集成大數據源的主要“原料”，后續各種應用都將通過提取存儲在“原料庫”（數據庫）中的各類數據才能實現。檔案物聯網感知識別層如同人體的皮膚和五官，其作用主要是通過裝置在檔案庫區環境中各類物體上的射頻識別、全球定位系統、傳感器、二維碼等信息傳感設備（“觸手”），對檔案數據進行采集、識別、篩選和存儲，并由檔案物理環境“全息式感知系統”來構建大數據源集成庫（智能數據庫）。

在檔案物聯網環境中，采集到的數據因其具有異構性、多態性與顆粒性等特征，其中很可能存在較多受過干擾的錯誤數據，必須依靠大數據技術對原始數據進行“去偽存真”和“去粗取精”。感知識別層的遴選流程與措施：一是對采集的異源、異構數據進行識別分類；二是對噪聲數據進行去噪處理；三是對數據設置時空標志；四是與歷史數據進行比對；五是建立大數據資源存儲庫。

（2）網絡樞紐層大數據的傳輸與交互。

網絡樞紐層在檔案物聯網四層模型中的主要功能是：“鏈接”感知識別層和管理服務層。這一層階如同人體的神經中樞和大腦，其作用主要是：通過數據接入技術（包括個人網、局域網、廣域網等傳遞網絡的融合），將下層（感知識別）經過加工處理的數據高效、穩定、安全地調度輸送到上層（管理服務），并由數據交互功能模塊構建“智能交互”的檔案大數據源共享系統。需要指出的是：大寬帶是處理極端高速關鍵數據的基本要求，也是實現高效消化和處理大型數據集的基礎［4］。因此，對于構建“智能交互”的檔案大數據源共享系統而言，首先要確保帶寬能夠滿足數據高速流動的要求。此外，高校檔案物聯網感知識別層的節點眾多，如果直接將實時采集的海量感知數據傳輸至綜合應用層，不僅會占用數據資源庫，而且會導致網絡擁塞甚至癱瘓。因而，采用基于云計算的分布式系統作為檔案物聯網大數據源的基礎架構，可為網絡樞紐層提供足夠的數據傳輸與存儲能力，進而實現高校檔案數據“物物相連”的智能交互之目的。

（3）管理服務層大數據的組織與整合。

管理服務層位于感知識別層和網絡樞紐層之上、綜合應用層之下，是檔案物聯網大數據處理平臺進行智慧管理的“數據資源供應站”。檔案物聯網感知識別層生成的海量數據，經過網絡樞紐層傳輸匯聚起來后，需在管理服務層進行組織與整合方可利用。因而，管理服務層承擔的主要功能是：應用數據檢索、數據挖掘和機器學習等大數據處理技術，對下層生成并傳輸過來的海量數據進行組織與整合（有針對性地進行數據挖掘、實時分析、模型預測等），并通過提供智能檢索手段來便利數據的有效挖掘與利用。需要強調的是，將大規模動態且可能是模棱兩可的數據高效、可靠地組織與整合起來，并能導出可理解的內容，這是建立高校檔案物聯網的要務之一。

（4）綜合應用層大數據的可視化與智能化。

無論采用任何技術，應用是決定其成敗的關鍵。只有有應用需求的數據才是有價值的數據，只有生成服務模式各異的多樣性數據應用才是高校檔案物聯網大數據源的最終價值體現。綜合應用層處于檔案物聯網四階次模型中的最上層，是提供檔案大數據服務的“數據應用指揮部”。這一層的核心功能有二：一是將管理服務層提煉出來的數據結果，進行可視化處理；二是建立多樣性應用模式，提供智能化應用。即運用可視化技術以圖文并茂的方式輸出分析與預測的數據結果，并由大數據的匹配機制提供智能化應用。值得指出的是，構建高校檔案物聯網，實現檔案大數據源應用的可視化與智能化，這既是推進高校檔案管理手段轉型升級的內在要求，也是創建高校智慧檔案館（室）的明智選擇。

3　高校檔案物聯網大數據處理平臺的設計重點與主要功能模塊

3.1設計重點一：創建檔案文件智能追溯模塊。

在傳統的文書處理模式下，檔案文件從生成到存檔或銷毀的各個環節都需要人工參與記錄，檔案管理部門因缺乏獲得文件流轉過程的實時信息，故而無法做到對每份文件的實時監控與管理，即使收到了記錄資料，在時間上往往也存在延遲，且對出現的誤差更是無法及時追溯，嚴重影響到歸檔文件的真實性、完整性和有效性。解決這一難題的出路何在？

筆者通過深入考察和研究，提出的建議方案是：在高校檔案物聯網大數據處理平臺中建立“檔案文件智能追溯模塊”。即應用非接觸式射頻識別、近場通信、二維碼等物聯網技術，將每一份（件）實體檔案都“植入”電子標簽或芯片，檔案文件智能追溯系統就可實現“一檔一碼”的精細化檔案質量控制和檔案大數據源的開發與利用。

在高校檔案物聯網大數據處理平臺中建立“檔案文件智能追溯模塊”后，傳統的檔案文件從生成到存檔或銷毀的各個環節的信息生成及其生命周期管理（ILM）模式將被徹底顛覆，不僅數據化檔案文件在每個環節上產生的實時信息都可自動寫入標簽或芯片之中，而且檔案文件智能追溯系統可隨時監測、定位、追蹤數據化檔案文件在各個節點的流轉情況，并可全程跟蹤每份數據化檔案文件的去向。值得一提的是，檔案文件智能追溯系統除了具有接收檔案文件實時與精準的優點，還可提前控制檔案的數量與形態，有利于降低或規避意外風險。

3.2設計重點二：創建檔案倉儲智能管理模塊

面對與日俱增的實體檔案，特別是在海量數據化檔案的壓力之下，高校檔案管理機構如何找到實體檔案與海量數據化檔案實時、高效、安全的對接捷徑？

筆者通過深入考察和研究，提出的建議方案是：借鑒倉儲管理（Warehouse Management）的理念與方法，在高校檔案物聯網大數據處理平臺中建立“檔案倉儲智能管理模塊”。

鑒于現代高校檔案倉儲管理的目的不僅是保管，更多是利用，對倉儲管理的重點也不再僅僅著眼于檔案保管的安全性，更多關注的是如何提高倉儲運作的效率與效益，因此，高校檔案管理機構應根據檔案倉儲業務的核心內容，為檔案物聯網大數據處理平臺的“檔案倉儲智能管理模塊”設置如下技術支持功能：

一是檔案出入庫的智能作業。在高校檔案物聯網大數據處理平臺中，應借助RFID、NFC、二維碼等物聯網技術來創建“檔案倉儲智能管理模塊”，讓檔案物聯網大數據處理平臺在無需人工物理接觸實體檔案的情況下，就可做到“感知”全庫檔案的種類、數量以及儲位等詳細的屬性信息，以達到實體檔案出入庫智能作業之目的。

二是檔案統計與盤點的智能作業。在高校檔案物聯網大數據處理平臺中建立“檔案倉儲智能管理模塊”后，可將RFID標簽等感知設備安裝在庫房智能密集架上，檔案管理人員只需手持“讀寫器”走過智能密集架，檔案物聯網大數據處理平臺就可通過倉儲智能管理系統在幾十米的范圍內精準測定實體檔案的位置、類別、保管期限等屬性信息，且可將采集的實體檔案數據通過“讀寫器”與管控平臺對接，自動記錄和告知檔案管理人員有關實體檔案丟失或放錯位置等方面的詳細信息，并迅速完成庫房實體檔案的統計與盤點作業。

三是檔案在線利用的智能作業。在高校檔案物聯網大數據處理平臺中建立“檔案倉儲智能管理模塊”后，附有電子標簽或芯片的實體檔案被放置在智能集成管理架上，其所放物理位置的感知編碼與檔案物聯網大數據處理平臺中的庫位編碼信息相一致，因此，運用庫位感知編碼技術，檔案物聯網大數據處理平臺不僅可通過倉儲智能管理系統快速鎖定實體檔案，而且能實現在線辦理自助借出與歸還的智能作業，特別是檔案被查詢和利用過程中的所有移動路徑，都會被自動詳細記錄在標簽或芯片之中。此外，檔案物聯網大數據處理平臺還可通過對倉儲智能管理系統中相關歷史數據的分析，提出優化庫房布局和實體檔案科學排列的建議方案，并可預測用戶借閱行為，以有針對性地研發可增值的檔案產品和服務。

3.3設計重點三：創建檔案環保智能監控模塊

筆者研究發現，將物聯網技術應用于環境監測領域，不僅是最早提出、最為普及的先進模式，而且這項技術的智能化水平已達到較高程度。因此，應用以傳感網為代表的環保監控技術，在高校檔案物聯網大數據處理平臺中建立“檔案環保智能監控模塊”，既可使高校檔案庫區環境監測盡早獲得成熟技術的支持與保障，又可依據管控平臺全天候、大規模、連續性的實時監測結果來不斷完善處置檔案環境變化所需的應對預案。

例如，對溫濕度控制，檔案物聯網大數據處理平臺可通過環保智能監控系統和感知節點部署的“智能恒溫器”，不間斷地測量檔案庫房和展廳內各個區域的溫濕度，自動制定溫濕度設定的最佳預案，并指導“智能恒溫器”根據需要自動調整溫濕度；檔案管理人員則只需用智能手機的相關APP就能監控全局。應用這一技術，既可徹底擺脫人工每日查看溫濕度計進行記錄的繁瑣勞作，又可有效地避免人為因素造成的誤差或判斷失誤。此外，檔案物聯網大數據處理平臺對環保智能監控系統實時采集的全方位（7×24小時）監測數據，可以進行大數據智能分析，分析環境質量發展趨勢及其變化規律，生成各類可視化統計圖表，按需發布監測結果。

3.4設計重點四：創建檔案設備智能監控模塊

確保檔案管理機構設備的安全運作，也是一項不可輕視的重要工作。近幾年，高校檔案管理機構購置的現代化設備迅速增多，依靠人工方式記錄并統計這些設備的運轉及維修養護信息，不僅需要耗費大量的精力，而且不可能做到實時、精確。

筆者通過研究提出的建議方案是：引入物聯網技術，在高校檔案物聯網大數據處理平臺中建立“檔案設備智能監控模塊”。目前，這一技術的運用，已在許多領域廣為普及且簡便易行。即：只需檔案管理人員在每臺（件）設備上都裝上感知標簽或芯片，檔案設備智能監控系統就可立即鎖定設備的安放位置、工作性能、使用狀態等，并可隨時提供監控的運行參數。

檔案設備智能監控模塊的核心作用在于：通過實時監測特別是對運行參數的統計分析，可進一步理解并掌握設備的運行規律，進而提供以下技術支持功能：一是可以依據設備運行產生的大數據，將其工作性能調整到最佳運行狀態；二是可以提出設備合理調配的使用方案，最大化地提高資產利用效率；三是可以及時獲知設備部件的故障點，迅速準確地通知管理人員進行維修；四是可以科學安排設備的養護，及時更換老化的設備。

3.5設計重點之五：創建檔案數據信息流智能預警模塊

與傳統的人工安全防范措施相比，檔案物聯網大數據處理平臺依托感知、識別、通信、定位等先進技術，對高校檔案數據信息流的安全管控將更加及時有效，特別是綜合防范能力將大為提高。只要為實體檔案及其存放設施（設備）安置的“傳感器”設定標準參數并啟動實時監控，一旦有某項數值超標，檔案數據信息流智能預警系統就可立即發出警告信號，還可自動實施應急預案設定的安全措施。

筆者認為，在高校檔案物聯網大數據處理平臺中建立檔案數據信息流智能預警模塊，依托其“大數據高速處理引擎”進行安防監控預警分析，不僅僅對檔案信息具有可靠的安防預警作用，還可對高校檔案物聯網環境中大數據源進行深層次開發與應用。即運用采集的數據資源，創建“高校檔案物聯網大數據預警信息庫”，并依托歷史數據與實時數據的全方位分析比較機制，構建自動刪除重復數據、重點保存和分析突發性異常數據等智能化的功能，有利于挖掘其更重要的預測預警作用。例如，通過對高校檔案物聯網大數據預警信息庫的開發與應用，可以深入剖析大規模的網絡數據外流流量，并對出現反常態的數據外流流量（指向此前未知的目標，可能就是數據外泄的信號）進行預測預警。

4　結束語

關注IT技術發展，積極學習和應用計算機、互聯網等IT領域的科技成果，盡快承接物聯網、云計算和大數據等新技術在高校檔案領域落地，既是創建高校智慧檔案館（室）的內在要求和重大機遇，也是推動高校檔案服務業態轉型升級的發展方向和有效之舉。毋庸諱言，我國的高校智慧檔案館（室）建設尚面臨著知識儲備、物質條件等方面的挑戰與制約。但是，筆者深信在不久的未來，傳統型高校檔案館（室）將被塑造成為集建筑物自動化（BA）、通信自動化（CA）、辦公自動化（OA）、安全保衛自動化（SAS）、消防自動化（FAS）等多功能于一體的“智慧殿堂”，極具人性化的舒適環境和智能服務的功能，成為人們流連忘返的上佳去處。

*本文為2015年度江蘇省檔案局科技項目“高校檔案大數據智能處理平臺的構建方案研究”（項目編號：2015-18）研究成果之一。

參考文獻

［1］朗為民.大話物聯網［M］.北京：人民郵電出版社，2011：40.

［2］鮑亮，李倩.實戰大數據［M］.清華大學出版社，2014：100.

［3］張禮立.大數據時代的云計算敏捷紅利［M］.北京：清華大學出版社，2013：17.

［4］郎為民.漫話大數據［M］.北京：人民郵電出版社，2014：23.

張倩，女，南京大學檔案學碩士，南京藝術學院綜合檔案室主任，副研究館員。主要研究方向為檔案信息化建設。

Research on the Construction Scheme of IOT Big Data Archival Processing Platform in Colleges and Universities

Zhang Qian
（Comprehensive Archives Office of Nanjing University of the Arts，Jiangsu，Nanjing，210013）

Abstract：Referring to the principle of IOT environment construction and the idea of the development of big data technology，this paper investigates big data source characteristics and treatment process of University Archives in the environment of Internet of things，and attempts to explore the approach of IOT and big data processing techniques of "crossover" fusion and put forward the design of key and the main function module of processing platform for big data of Environment of Internet of things.

Keywords：Big data；University Archives；Internet of things；Information System

［作者簡介］