非結構數據平臺在教學實踐中應用*
——以傳奇數字資源云服務平臺為例

鐘 慶

（廣州大學 實驗中心，廣東廣州 510006）

引言

承載信息描述的數據大體可分為結構化數據和非結構化數據兩類[1]。其中，結構化數據是經過嚴格標引后的數據，即按規(guī)定數據組織格式與語法來組織，一般以二維表形式存在，包括元數據記錄、數據庫表中的描述數據等[2]；非結構數據則指長短不定、組織格式各異的多樣化數據，包括郵件、視頻、Word文檔等。

據估算，當前超過 80%的數據為非結構數據[3]。如何合理有效地管理、利用非結構數據，已成為數據處理中較為重要的問題。特別是由于多媒體數據量巨大，除了會占據數據庫大部分容量，還會使維護和應用的效率大幅度下滑，這成為了制約中小型數據庫系統(tǒng)發(fā)展的難題。在這樣的背景下，建設非結構數據平臺顯得尤為重要。

一 非結構數據的現狀和問題

1 非結構數據的現狀

由于非結構數據體量巨大、結構多樣等特點，如何進行集成整理，從而有效地呈現在終端用戶面前，成了研究的熱點。更加智能化的IT管理技術，包括海量存儲、知識挖掘、智能檢索、信息增值開發(fā)等，被廣泛運用于非結構數據的集成、存儲、發(fā)布等方面[4]。當前，較熱的技術研究方向主要有：

①數據集采，即對非結構數據進行關鍵詞（包括標題、關鍵詞、作者等核心信息）提取處理。當前，已建有許多開源數據庫來解決數據集采問題。如POI利用HSSF、XSSF以及HWPF等結構，完成對包括Microsoft Excel、Word、PPT等主流格式文檔的信息讀取和改寫的功能[5]；PDFBox利用JAVA，達成PDF文檔的處理、提取、集成功能[6]。

②中文分詞技術。我國非結構數據的絕大內容是以中文進行撰寫、編輯或命名的，現在主流的算法分為：利用字符串匹配進行分詞方法、基于統(tǒng)計理論的分詞方法和運用形象理解的分詞方法[7]。當前，中國較為成熟的中文分詞技術為ICTCLAS、IKAnalyzer以及Paoding等。

③全文檢索技術。該技術不同于早期外部特征的簡單檢索，全文檢索技術基于全文，不僅能將文檔全部納入檢索范圍，還能提供檢索詞所在的位置，提高了檢索效率和準確度。當前，較為成熟的全文檢索技術有Lucene、Solr等。

2 高校教育現實需要

2000年，教育部組織專門研究小組起草制定了《教育資源建設技術規(guī)范》，依據教育資源建設實際確定了教育資源的內容，包括媒體素材、題庫、試卷素材、課件與網絡課件、案例、文獻資料、常見問題解答、資源目錄索引、網絡課程等九類[8]。教學中常見的數據為電子實驗報告、演示文稿、音視頻文件等，這類數據均無法用數字或統(tǒng)一的結構表示，均為非結構數據。不同于一般非結構數據，高校數據還兼有內容復雜、分類較細等特點，而高校數據使用的現實要求又需要數據庫的系統(tǒng)化、及時化。因此，利用非結構開發(fā)技術，建立一個高彈性、高可擴展性、高可靠性的非結構化數據中心，用以提高教學和辦公效率，顯得尤為必要。

二 非結構數據平臺整體構架

1 整體構架設計

基于廣州大學的數據特點，非結構化數據平臺整體構架包含非結構化數據中心（支撐PAAS平臺）和非結構化數據應用平臺（業(yè)務服務SAAS平臺）兩大部分，具體框架設計如圖1所示。

圖1 非結構化數據平臺整體架構圖

非結構化數據平臺定位于對視頻、音頻、文檔、圖片等非結構化數據進行統(tǒng)一存儲、統(tǒng)一計算、統(tǒng)一服務，作為支撐平臺為傳奇數字資源應用平臺和其它智慧校園資源信息化系統(tǒng)提供數據和服務；數據主要包括原始數據、轉換數據、基本屬性、描述屬性、行為屬性等；服務主要包括電子身份認證、上傳、分發(fā)、轉碼、流媒體、檢索、備份、數據清洗、監(jiān)控、調度等。非結構化數據應用平臺定位于學校數字資源的官方應用、圈子應用、個人應用和移動應用，提供官方資源，課程的收集、管理、發(fā)布、運維，圈子資源的管理、共建、共享以及個人資源的管理、分享、交互。應用平臺主要包括：數字資源門戶系統(tǒng)（多終端門戶群）、IPTV系統(tǒng)、資源在線編輯系統(tǒng)、素材資源制作系統(tǒng)、資源中心管理系統(tǒng)、資源維護系統(tǒng)、個人資源交互系統(tǒng)、校際資源交換接入系統(tǒng)、開放式在線學習系統(tǒng)、用戶管理系統(tǒng)等。

2 非結構化數據平臺構架設計

建立學校非結構化數據平臺，可以實現對視頻、音頻、文檔、圖片等非結構化數據資源的集中存儲，同時具備統(tǒng)一的數據標準來完善對非結構化數據的管理，滿足集中管理的需求，提高管理效率。學校的非結構化數據平臺構架建設主要包含三個層面：物理存儲層、業(yè)務邏輯層和接入層，分別負責數據存儲、數據管理、數據集采導出，平臺的架構設計如圖2所示。

圖2 非結構化數據平臺架構圖

①物理存儲層：通過存儲的構架陣列，形成合理有效的存儲陣列和備份，主要解決學校異構存儲設備的整合，構建存儲中心主要存儲DNS和NAS，形成有效的物理存儲平臺。

②業(yè)務邏輯層：是非結構化數據平臺的核心部分，主要負責處理接入層的應用請求。業(yè)務邏輯層主要涵蓋電子身份認證、流媒體、檢索、轉碼、監(jiān)控、上傳、數據清洗、分發(fā)、備份及調度等業(yè)務。業(yè)務邏輯層可以根據實際使用需求更改設置，拓展系統(tǒng)業(yè)務。

③接入層：是非結構化數據中心的表現層，主要提供標準的API接口，協(xié)助應用認證、上傳、多終端播放、下載、檢索、轉碼、統(tǒng)計分析及監(jiān)控。

通過三層系統(tǒng)構架，本研究從物理和管理兩層面完成了非結構化數據平臺的框架設計，構建了集約化非結構數據框架。立足于教學實踐，從硬件和軟件兩方面來建立非結構數據平臺，可形成從數據采集到存儲、管理再到共享的一體化服務系統(tǒng)。

三 非結構數據平臺的應用情況

1 平臺應用簡介

非結構數據平臺部署在校園網內，由此完成校內數據交流和管理互通。普通師生用戶創(chuàng)建賬戶后，通過校內IP即可登陸，方便快捷。

平臺主界面涵蓋熱點、站點、公告、推薦等多個模塊，信息分類明晰。針對使用點擊較多的實踐課程、公開課資料，系統(tǒng)采用熱點推薦的方式進行數據推廣共享。平臺配備關鍵詞檢索功能，通過搜索欄關鍵詞檢索，即可搜出關聯(lián)視頻。

系統(tǒng)內置視頻播放、文檔編輯可執(zhí)行程序，師生登陸平臺即可在線觀看視頻、編輯文檔，最大程度地實現非結構數據的實時調用。特別是在線視頻播放功能，在微格教學評估、學生學習反思等實踐學習方面具有很強的實用價值。

圖3 在線視頻播放截圖

當前系統(tǒng)大致實現了非結構數據分類管理、關鍵詞檢索和視頻文檔在線觀看編輯等師生所亟需的功能，通過校園 IP，師生利用職工號、學號申請賬號即可登陸，且賬號一一對應，管理較為便利；依托校內高速網絡框架，在節(jié)約流量的同時，也保證了數據交互的快速準確。

2 平臺應用流程

廣州大學針對非結構數據平臺的管理包括來源、管理、使用三個方面，核心思想為將“來”、“管”、“用”三者融會貫通，把握用戶審核機制，通過管理流程設計，確定相關用戶權限，保證數據標準易用。通過圖 4的應用流程設計，本研究將非結構數據的來源、管理和使用有機串聯(lián)起來，能有效管控數據、管理用戶。

①數據來源：非結構化數據平臺涵蓋微格教學等實踐教學視頻、教師的教學材料、學生的學習素材、外購、網絡下載及本地資源、第三方系統(tǒng)資源等資料，支持的數據類型如表1所示。當前，系統(tǒng)數據總量呈穩(wěn)步上升趨勢，現還拓展了正版軟件庫、圖片RAW格式等數據兼容性。

②系統(tǒng)管理：系統(tǒng)管理是系統(tǒng)的中堅環(huán)節(jié)，負責數據的安全有序存儲、系統(tǒng)的穩(wěn)定運行，具有不可或缺的作用。整個系統(tǒng)采用系統(tǒng)自動管理分流與管理員人工監(jiān)察相結合的機制。非結構數據平臺設立專職管理員，制定專職負責制，保障平臺的平穩(wěn)運行。系統(tǒng)通過后臺設置，提供不同類別用戶權限設置功能，可實現不同欄目、不同數據的指定使用。系統(tǒng)還新添了工作流管理功能，即設定一個工作流為“上傳—編輯—初審—終審—發(fā)布”，便可以對相關欄目進行整體操作，使得資源管理員的職責劃分更為明確清晰，提高了管理效率。

圖4 非結構化數據應用平臺應用流程示意圖

表1 支持數據表

③數據使用：非結構數據平臺從使用者角度出發(fā)，將師生使用的便捷性和多樣性作為努力重心。非結構數據平臺數據接口采用標準API接口，除了完成基礎的校級交互，還支持各應用系統(tǒng)接入數據中心。目前，已經實現了語言實驗系統(tǒng)、微格實驗系統(tǒng)、非編實驗系統(tǒng)、課件錄播系統(tǒng)與非結構數據平臺的無縫連接。

通過“來”、“管”、“用”三者協(xié)調發(fā)展，在保證非結構數據平臺的平穩(wěn)運行、數據安全的同時，也能讓系統(tǒng)使用者最大限度地使用數據、處理數據，達到教學、管理的雙重作用。

四 非結構數據平臺的應用效果與展望

1 應用效果

經過兩年的發(fā)展，非結構化數據平臺現可提供資源的上傳、檢索、瀏覽、評論及下載等、無插件播放、B/S架構素材資源制作等諸多功能，也開發(fā)了包括Windows、Linux系統(tǒng)下的終端軟件以及IOS、Android移動系統(tǒng)下的終端應用。

截至2017年底，廣州大學師生在非結構化數據平臺的注冊人數已達到近3萬人，約占全校師生總人數的近90%，系統(tǒng)的月累計活躍人次日創(chuàng)新高。2017年全年月累計活躍人次直方圖如圖5所示，可以看出：非結構化數據平臺的使用量逐步提高，用戶認知度不斷增強。

圖5 2017年全年月累計活躍人次直方圖

非結構化數據平臺的數據量增幅巨大，一年內平臺的非結構數據量由原先的 10T增長至20T。數據量的不斷增多，體現了非結構化數據平臺處于不斷充實、完善的狀態(tài)，逐漸形成了系統(tǒng)化的非結構數據體系。2017年全年，平臺上的教學實踐視頻達10T，時長超過30000個小時，用戶點擊量累計超萬次，有效推動了實踐教學的發(fā)展。

系統(tǒng)的管理與應用有固定的使用途徑和應用人群，便利了師生的日常生活，輔助了教學實踐的開展，符合非結構化數據平臺構建的預期目標。

2 應用展望

針對當前非結構化數據平臺存在的數據量日益增加、檢索壓力日漸增大等現狀，學校可以借助人工智能相關手段（如語音識別、場景識別、人臉識別、圖片OCR、文檔識別等），對視頻、音頻、圖片、文檔進行深層智能感知，使師生用戶通過應用端便捷地檢索到非結構化數據的內容，故提高了用戶檢索的精準度和使用效率。與此同時，學校也可以借助大數據相關技術，有針對性地進行數據分析、數據挖掘，為師生用戶提供個性化應用服務；甚至還可以與學校已有的結構化數據平臺進行融合，為其它業(yè)務系統(tǒng)提供數據服務，助力學校信息化的提升。

四 結語

廣州大學立足于實踐教學實際，新建了校級非結構化數據平臺，通過“來”、“管”、“用”一體化管理流程，對音視頻、音頻、圖片、文檔等非結構化數據進行了集中管理，輔助了高校實踐教學，可以減輕教師、學生和行政管理人員的負擔，有利于提高學校的教學和管理效率。

[1]馬惠芳.非結構化數據采集和檢索技術的研究和應用[D].上海:東華大學,2013:1-52.

[2]韋琳,袁泉,霍劍青,等.E-learning非結構化數據管理系統(tǒng)的構建與實現[J].中國科學技術大學學報,2010,(6):623-628.

[3]胡珊珊.面向云存儲的非結構化數據存儲研究與應用[D].廣州.廣東工業(yè)大學,2014:1-56.

[4]鄧遠超,戴躍洪,羅中先,等.基于.Net技術的銷售管理系統(tǒng)的研究與開發(fā)[J].礦山機械,2006,(9):108-110.

[5]Steinbeck C, Han Y, Kuhn S, et al. The Chemistry Development Kit (CDK): An open-source Java library for chemo and bioinformatics[J]. Journal of Chemical Information and Computer Sciences, 2003,(2):493-500.

[6]龔漢明,周長勝.漢語分詞技術綜述[J].北京機械工業(yè)學院學報,2004,(3):52-55.

[7]余勝泉,朱凌云.教育資源建設技術規(guī)范簡介[J].中小學信息技術教育,2002,(7):80-84.