基于大數據技術的大型儀器設備共享平臺探究

孫 歆，卓榮慶

（浙江傳媒學院網絡數據中心，杭州 310018）

0 引言

儀器設備是高校開展教學和科研的物質基礎，隨著近年來中央、省市加大經費投入，高校大型儀器設備數量呈逐年上升趨勢。2015 年教育部辦公廳發布了《關于加強高等學校科研基礎設施和科研儀器開放共享的指導意見》［1］，在意見中明確指出，單臺50 萬元以上設備列入大型儀器管理辦法，建設科研設施與儀器開放共享在線服務平臺，將符合開放條件的科研設施與儀器的有關信息按照統一標準及要求報送至國家網絡管理平臺，對擬新建設施和新購置儀器開展查重評議工作，避免資源重復建設。建立大型儀器設備共享平臺可以讓設備管理者的管理工作從粗放式向精細化、安全化、智能化管理轉變［2］，從而提高整個儀器設備的管理水平。但是平臺在實際使用中經常會存在以下問題：①平臺基礎數據需要人工進行導入導出，造成設備儀器管理平臺數據與科研、財務、資產等業務系統經常無法準確對應。如新建或報廢的設備信息在資產系統中維護，而大型儀器設備平臺中的數據無法及時更新，可能會出現設備已報廢但系統中還是可預約狀態的情況。②隨著設備數量的增加和用戶使用頻率的加深，系統報表分析處理速度大大減慢，傳統的系統架構已逐漸不能滿足用戶需求。③平臺只是單單從設備使用角度來進行建設，無法對后續設備采購及決策提供數據支撐。

本文從統一數據標準、數據整合的角度出發，運用當前先進的大數據技術，探索基于大數據技術的大型儀器共享決策平臺建設，對于提高師生滿意度，增強實驗室服務人員的管理壓力和降低管理人員的決策難度具有較為重要的意義。

1 研究現狀及啟示

ETL（Extract Transform Load）從字面上看就是將業務系統數據經過抽取、清洗、轉換之后加載到數據倉庫的過程。將ETL技術運用于高校的信息系統中，其主要目的是將校內分散、零亂、標準不統一的數據整合為統一的數據標準平臺。大數據技術中最為經典的是其4 V特征，即數據巨大（Huge Volume）、數據類型繁多（Variety）、信息處理速度快（Velocity）、價值密度低（Value），4 V特征很好地描述了整個大數據的數據層次特征。本文認為這兩種技術對于高校的真正價值在于其促進了信息技術產業與高校業務的深度融合，有利于打破部門之間的“信息孤島”，實現全校部門信息的數據鏈共享，為各個部門的規劃、協同發展提供數據上的支持和前瞻性的預測［3］。

圍繞儀器設備系統以及大數據技術應用，國內外研究人員做了一系列的相關研究。在儀器設備系統建設方面，賀錦等［4］設計了一套B/S 架構的大型儀器管理系統；王文君等［5］對大型儀器設備共享平臺使用現狀進行了分析；胡鵬飛等［6］設計了高校分析測試中心的大型儀器共享平臺。在大數據應用方面，Gu等［7］提出了以物聯網和大數據技術實現廢舊電氣設備管理的技術框架；陸琳睿等［8］分析了運用大數據思維對高校設備儀器創新管理的支持；Lu等［9］提出了基于云的大數據分析制造設備通用系統架構；陳京［10］提出用大數據技術來促進教育裝備信息化建設。

上述研究人員主要是從系統平臺的功能或技術角度闡述如何構建大型儀器設備平臺，而對大型儀器共享平臺中的業務數據如何與其他系統整合共享，以此來提高儀器設備使用效率提及較少。而大型儀器共享平臺建設應該是整個校園信息化建設的重要一環，大型儀器共享平臺與其他部門的業務系統之間應該是緊密聯系，數據應該是互聯互通。所以，從實際的數據處理角度出發，提出了大型儀器共享平臺數據處理模型，以此來提高整個平臺的使用效率。

2 基于大數據技術的大型儀器設備共享平臺數據處理模型

為了解決上述提出的問題，本文從數據共享融合的角度出發，提出了基于大數據技術的大型儀器設備共享平臺數據處理模型。如圖1 所示，整個數據處理過程可以分為數據整合、數據標準化管理、數據存儲與調取3 個部分。

圖1 大型儀器設備共享平臺數據處理模型

2.1 數據整合

我院從2007 起開始進行校內數據中心建設，2012年起，根據教育部發布的高校管理信息標準［11］，結合學校的自身情況，形成了一套自主的校內數據標準。在進行數據整合時，首先從制度上遵循“誰生產數據，誰負責數據”的原則，對大型儀器共享平臺中用到的數據進行權威源界定，比如平臺中的實驗室管理人員工號、姓名字段在人事、教務、科研、財務、一卡通系統中都會存在，但人事系統是全校教職工的源頭系統，所以工號、姓名數據的唯一來源應由人事系統產生，權威源的界定保證了數據的唯一性。將數據字段定義完成以后，使用ETL工具（如ODI，KETTLE等）將數據抽取到標準庫中，準備進行數據的預處理［12］。

2.2 數據標準化管理

源數據抽取到標準庫以后，首先將數據進行質量檢查，檢查的內容主要包括：①數據的完整性。數據屬性完整性、數量完整性、字段完整性。②數據的準確性。枚舉正確性、格式準確性、取值范圍準確性。③數據的唯一性。主鍵唯一性、其他屬性字段唯一性。④數據的一致性。數據類別一致性、數據標識一致性、內容描述一致性。⑤數據的及時性。數據插入及時性、數據更新及時性、數據刪除及時性。對源數據質量檢查無誤以后，將源頭數據字段與標準庫表中的字段進行標準化映射，形成標準表，這些標準表構成了數據中心標準庫。以大型儀器設備共享平臺中的資產設備數據為例：相關的標準表包括GXZC0501（儀器設備基本數據子類）、GXZC0502（儀器設備附件子類）、GXZC0503（儀器設備管理子類）、GXZC0504（精密貴重儀器設備使用子類）、GXZC0505（儀器設備維修子類）、GXZC0506（儀器設備報損、報廢子類）。

2.3 數據存儲與調用

在模型存儲結構方面，采用了Hadoop 技術的HDFS分布式文件系統［13］，該系統采用典型的主/從系統架構，HDFS服務器集群架構中包含名稱節點（Name Node）和多個數據節點（Name Node）［14］。名稱節點作為核心處理服務器，負責管理文件系統的命名空間以及客戶端對文件的訪問，服務器集群中的數據節點負責處理客戶端的讀/寫請求以及數據塊的創建、刪除等操作，HDFS架構在設計時充分考慮了數據的可靠性和安全性以及高可用性。當數據源生成標準化數據以后，就被復制分發到不同的存儲節點中。模型中采用了Apache 的Sqoop 來進行傳統關系型數據庫和Hadoop之間的數據傳輸工作，其可以將關系型數據庫如（Mysql，Oracle等）導入Hadoop 的HDFS 中，也可以將HDFS數據導回關系型數據庫。Apache Flume同樣是一個分布式、可靠和高可用性的海量日志采集、聚合和傳輸系統，其可以采集文件，socket 數據包等各種形式源數據，又可以將采集到的數據輸出到HDFS、HBASE、HIVE、KAFKA等眾多外部存儲系統中。在該模型中通過Hadoop 的API 和Flume 將非結構化數據（如視頻、音頻、圖像、網絡日志等）傳輸到HDFS 中存儲，大型儀器設備共享平臺可直接接入大數據存儲平臺對平臺基礎數據進行調取。依托大數據Hadoop 的海量數據存儲和快速計算能力，在數據呈現方面，實驗設備管理人員可以快速查看儀器設備使用及預約情況，實現儀器設備的集中管理。除此之外，還可以對平臺產生的儀器管理數據進行科學分析，對重復購置的儀器設備以及設備利用率低下的設備實現預警，推送給管理層相關人員，為今后的設備采購提供數據決策依據。大型儀器設備共享平臺還可以根據用戶的使用偏好和行為習慣，基于聚類算法或者主題模型［15］等，形成相同類型的用戶畫像，為使用平臺的教師學生進行個性化推薦服務。

3 基于大數據技術的大型儀器設備共享平臺建設

3.1 建設原則

大型儀器共享平臺在建設時，應該遵循以下原則：①解決獨立分散的儀器共享的難題，改善當前儀器利用率低的情況。②設備平臺基礎數據自動從其他相關業務系統同步，減輕高校實驗管理人員的工作量，避免手工導入導出而產生的誤操作。③最大程度滿足實驗室使用者和管理者的需求，實現實驗室相關工作的全過程管理，實時監控儀器運行狀態和生成統計信息，并將儀器設備信息定期上報國家網絡平臺。

3.2 功能實現

如圖2 所示，平臺系統整個功能模塊分為數據中心對接、大型儀器管理、數據分析統計、國家網絡平臺上報4 個部分。

圖2 大型儀器設備共享平臺功能模塊圖

3.2.1 數據中心對接模塊

系統平臺必須遵循校內統一的數據標準，開發統一的數據接口，實現數據的交換與共享，同步資產設備、一卡通、科研、財務、教職工以及學生基本數據信息，以保證數據的權威性和準確性。基本信息在平臺中無需再次注冊，以降低實驗室系統管理人員的維護復雜度。平臺系統還接入統一身份認證服務，認證服務采用OAuth2.0、CAS、RestFul API 等多種認證方式以提高應用系統的安全性。

3.2.2 大型儀器管理模塊

（1）人員授權管理。人員管理符合高校科研管理特點，同步科研系統中的科研人員數據到大型儀器管理平臺，人員授權與科研經費、培訓、預約信息等多方面進行關聯，對不滿足條件的人員進行權限控制。

（2）儀器設備管理。從國有資產系統中同步儀器設備的基本信息，避免二次人工錄入，同時進行數據的聯動，當設備儀器狀態發生改變時（如新建、位置變更、維修、報廢等），系統進行同步更新。系統還應支持按照功能、學院歸屬等多種分類標簽查看，以滿足使用者的多樣化需求。

（3）預約管理。預約管理包括自主預約和送樣預約管理［16］。自主預約可以讓用戶方便快捷了解當前儀器的預約狀態，合理選擇空閑時間進行設備預約。送樣預約是根據每臺儀器設備技術特點，根據不同用戶設定不同的送樣時間，并且用戶可以實時了解自己的樣品測試狀態進度，測試結果可通過在線傳輸方式，師生不必再次線下取樣。用戶在預約使用儀器設備時，可選擇應用于哪一類項目，方便后期對實驗成果和儀器設備運行狀態進行整體的分析和匯總。

（4）財務報銷管理。報銷管理與數據中心財務標準庫數據進行對接，儀器使用完成產生收費數據以后，儀器負責人通過經費代碼對收費信息進行確認和鎖定，系統自動生成對應的報銷信息并推送至財務系統，財務系統定期處理完成后向儀器管理系統返回成功狀態，即可完成整個報銷工作。該流程實現了在儀器管理平臺中自動完成儀器設備使用的報銷工作，大大簡化線下報銷單報銷的方式，也減輕了實驗人員與財務人員的工作量。

（5）服務評價管理。系統提供用戶對設備及管理人員進行打分評價的功能，用戶可直接對管理人員的綜合服務、儀器狀態等多方面進行打分評價，打分評價也是后期進行用戶數據挖掘的重要數據來源之一。

（6）門禁管理。系統與校數據中心一卡通標準庫進行數據整合，數據對接后可以將用戶進入實驗室的權限與一卡通狀態以及儀器預約情況進行關聯，實現了只有預約或者授權的用戶才可通過門禁進入所在實驗室，以此來保護貴重儀器的正常運轉。

（7）視頻監控管理。系統與校數據中心視頻監控數據進行對接，可實時查看實驗室內的視頻監控信息，系統管理人員可以掌握實驗室動態，管控實驗全過程，保障儀器設備開放安全性。

3.2.3 數據分析統計模塊

為讓實驗設備管理人員直觀方便了解儀器設備使用情況，系統生成折線圖，柱狀圖和餅狀圖等多種表現類型，用戶可根據儀器設備的使用機時、次數、測樣數、使用收費等多指標多時段進行統計查詢分析比對，為績效考核提供數據基礎。此外，系統還增加設備使用分析指標，與資產、采購系統進行整合，為科學購買儀器設備，避免設備的重復購置提供數據參考。

3.2.4 國家網絡平臺對接

系統還與國家科技部網絡管理平臺和省大型儀器管理平臺進行對接，根據其數據標準規范，開發相應的對接接口，獲取國家平臺的用戶注冊、預約請求信息，并向其推送儀器的服務成效等數據。

4 結語

本文運用大數據技術設計的大型儀器設備共享平臺在校內進行了應用實踐。實踐證明該系統可以最大限度滿足實驗室使用者和管理者的需求，實現儀器設備數據的全生命周期管理，提高設備儀器的共享效率，讓管理工作從粗放式向精準化、安全化、智能化轉變，為領導管理者提供數據決策服務，平臺的建設為學校建設國內一流、國際知名高水平傳媒大學目標提供有力的技術支撐。