教育統計歷史數據的信息化管理設計

■ 成都 馮媚

編者按：隨著信息技術的發展，大數據時代的來臨，數據無論在工作還是在生活中發揮的作用越來越大。教育行業統計多年來積淀了大量的歷史數據，如何讓這些躺著的數據醒過來更好地為教育決策咨詢服務，筆者在工作中做出了嘗試。本文詳細地論述了筆者開發統計平臺，盤活歷史數據的案例，包括平臺開發工具的選擇，數據管理功能模塊設計，用戶權限設置等，供同行們參考。

作為教育部縱向組織管理的兩大統計，事業統計和經費統計已有數十年的歷史。累計經年的統計工作，積淀下大量珍貴的歷史數據，如實反映了國民教育變遷發展的歷史足跡。在教育事業發展和信息技術革新的雙重推動下，事業統計和經費統計從報表設計到指標解釋、從采集軟件到存儲系統，都一直處于變化和發展狀態。雖然這是統計事業發展的必然，但卻給我們使用歷史數據卻帶來了諸多困難。

統計工作最終目的是提供數據服務，為教育監管與宏觀決策做好全面、及時、準確的數據支撐。實際工作中教育統計部門經常需要提供五年、十年甚至更長時期的歷史數據，如何快捷方便地查詢使用存儲在各種“古董級”軟件中的歷史數據，成為亟待解決的難題。

由于統計軟件更新換代頻繁，且各版本之間不兼容，而通常我們使用的電腦僅能安裝最近幾年的統計軟件系統，久遠的歷史數據就無法通過統計系統查詢獲取，只能直接對數據庫操作。這需要統計人員必須既熟悉報表業務又熟悉各種數據庫語言，而且即便這樣，多年數據在短時間查詢處理，極易發生誤差。

隨著社會發展，各政府部門、學術機構、公益組織乃至公民個人對教育官方的數據服務需求多年來呈直線上升趨勢，歷史數據應用困難的問題日益突出。為此我們教育統計部門開始尋找一種統籌性解決辦法，以期徹底解決快速準確地處理歷史數據的問題。隨著計算機和互聯網技術的發展，數據倉庫、算法電路、數據清洗、圖像識別、云計算、網頁加密等領域的新成果，使我們可以利用全新的軟件系統對海量的歷史數據進行統籌管理，實現自定義查詢，快捷準確地提取歷史數據。于是，我們對數據查詢平臺的建設需求方案進行了整體設計。

首先，統計平臺整體要求采用當今最流行網絡開發平臺工具J2EE（Java 2 Platform,Enterprise Editi on）開發。J2EE 界面風格新穎，BS 結構，具有后臺管理、程序優化、管理級別權限分配、訪問賬號分配等基本功能。軟件功能隨教育部口徑和數據結構變化而變化，軟件易升級和修改。統計平臺使用范圍為三級，分別是市級教育行政部門、區縣級教育行政部門和全市各類學校(單位)。

平臺主要包含三項功能模塊

1.數據管理：對2003 年以來的歷史數據庫進行清洗調整,形成標準數據庫格式，供查詢系統調用：數據導入功能，能對未來數據進行標準化管理，實現各種查詢功能：有數據接口，能與市教育局其它數據庫對接。

2.數據查詢：經清洗的數據庫，分事業統計、經費統計報進行數據查詢。查詢功能包括基表查詢、綜表查詢、自定義查詢，重點實現跨年度同指標的歷史數據查詢。

3.用戶權限管理：按平臺操作管理權限分為超級用戶和普通用戶；按對數據訪問范圍分為市級、縣級和學校級用戶。

數據管理

具體來說，數據管理包括歷史數據庫清洗和數據常規管理維護。數據按重要性分類管理：系統所有數據均按標準格式儲存，分為三部分：基礎數據庫、工作數據庫、綜合查詢數據庫。其中基礎數據庫平時為只讀狀態（需文件簇級加密管理），只有超級用戶才能在輸入密碼后進行基礎數據庫的導入和維護；工作數據庫為平時接收或輸入的數據，可自由查詢和更改的臨時數據。超級用戶可以把工作數據庫中的部分或全部數據轉入基礎數據庫。綜合查詢數據庫是利用基礎數據庫和工作數據庫生產的各中間過程表為主，一旦生成可永久保存。

1.歷史數據庫清洗是將歷史數據按統一的數據庫格式進行梳理，清洗過程中每張基表增加2 個機動指標，便于單獨賦值，方便數據篩選。

具體為：

（1）將2003 年以來的全國教育事業統計系統和全國教育經費統計系統的數據庫通過專業的數據清洗和整合工具，進行逐校的清理整合。該數據清洗與整合工具需支持Visual FoxPro、MS SQL Server、DB2、Oracle、MySQL等多種數據庫形式。

（2）整合過程中需堅持“求同存異”原則，必須忠實原始數據，保證不同年份的同一學校名稱一致，同一報表同一指標項名稱屬性一致，不同學校、不同指標項按一定規則賦名留存。通過整合清理，確保歷年歷項數據之間的聯系，妥善處理指標變更、學校合并拆分等數據異常情況，為跨年跨表的歷史數據查詢統計做基礎。

2.數據常規管理維護包括：

（1）能直接導入教育事業統計、經費統計基表數據庫數據(Visual FoxPro 或者SQL 數據庫)，有基礎數據DBF 導出功能，并能將市本級、高新開發區等無單獨行政區劃的區域學校數據從總數據中分離,且此操作可逆；能讀入圖片格式報表，導入到數據庫管理；能讀入Excel表，并轉換成數據庫格式。

（2）數據管理與維護工具需要具備友好的用戶界面，流暢的用戶體驗，有新建不同格式數據庫表功能，使用超級用戶能對基礎數據進行修改。

查詢系統

1.查詢的數據源為歷史數據和未來數據

首次建設開發的數據包括教育事業統計數據、教育經費統計數據等，事業統計包括普通中小學基礎教育報表、職業技術培訓和中等職業教育基礎報表，包含二維表約68 個（41+27），經費統計基表12 個，每年包含的統計數據項近4 000 個。

2.查詢內容

通過軟件實現基表查詢、綜表查詢、動態查詢，查詢界面采用單視窗多圖并列顯示，對各中間步驟生成的臨時查詢數據表以及最終生成的結果數據表，均可自由選定區域進行復制、公式計算、打印和Excel 導出等操作，并可根據多條件綜合分析需求生成各種分析圖表。

（1）基表查詢：按照教育部事業統計、經費統計基表查詢功能設置，對基表的篩選條件進行擴充，除了“區縣名稱”“學校類別”“學校辦別”“城鄉類別”，增加“鄉鎮類別”，以及兩個機動指標。

（2）綜表查詢：參照教育部事業統計、經費統計軟件的綜表表樣進行固定格式查詢,增加對綜表每個數據分區縣和分鄉鎮過錄查詢功能；自動生成我們每年固有的統計資料匯編數據信息表；自動生教育公網數據公報；自動生成報統計局固定格式報表；自動生成城鄉均衡、現代化監測數據表等教育行政部門需要的固定格式數據表。

（3）動態查詢：分基表提數和綜表提數查詢。查詢界面能點擊選擇所有表樣，查詢數據值可以定位到任意報表的不同主欄和賓欄單元格。窗口可以同時打開三個以上表樣，以便選擇所要查詢的指標，選擇指標的同時確定篩選條件(能實現多個條件通過“或”、“與”、“不等于”、“大于”、“小于”等方式篩選查詢)，指標間可以進行公式定義，通過軟件自動生成查詢數據信息表（包含計數、求和等）。

查詢結果能以表格、圖形等多種形式展現。

權限設置

系統根據使用權限分為超級用戶和普通用戶，超級用戶能查詢管理系統，并對基礎數據進行修改；普通用戶只有查詢使用功能。

普通用戶分為學校級、區縣級、市級三級；系統權限由市級統一管理。市級管理員可對下級用戶的數據可視范圍和功能使用范圍做靈活配置。當前配置要求如下：

“查詢”模塊中學校級只能查詢本校數據，區縣級只能查詢管轄范圍學校數據及匯總數據，市級可以查詢所有數據。

平臺除了滿足各項查詢管理功能外，還需要具有

1.穩定性:軟件平臺優化，運行穩定，遠程訪問客戶端兼容各種主流瀏覽器和操作系統，遠程訪問穩定，不死機，能允許3 000 個用戶同時訪問服務器，并發6%。

2.保密性：系統對數據庫要有加密措施，確保數據在網絡上的安全。

3.操作方便：有簡單易懂的軟件使用說明書，軟件客戶端易安裝，兼容性強，系統操作界面友好，經簡單培訓使用人員就能輕松上手。

歷史數據整合平臺在設計上幾近完美，但在具體建設過程中卻遇到很多困難。由于涉及到2 000 多所學校，十多年的基表數據，清洗起來異常困難，加上不少學校更名，逐一核對建立關聯，費時費力。為了方便開發，我們對清洗數據庫要求進行了簡化，由原來的全部統一改為分段統一，這樣避免了某些年份統計報表庫結構變化大帶來的清洗困難。

實施過程中服務商在平臺開發中的難題及解決方法

1.數據清洗

數據庫包含Visual Fox Pro、SQL Server 多個版本，以及對應的數據庫結構，其指標名稱、指標屬性、指標增減，經過十多年的歷史演變，變化比較多，這直接導致數據清洗整合難度大，服務商采用自身的核心技術產品DCI 進行數據清洗與整合工具，對各科目歷年數據進行清洗，努力提高清洗效率和準確性。

2.數據安全

在數據查詢需要做到靈活性、高效率和安全性兼顧，安全不僅僅要考慮數據查詢的過程安全也包括數據轉移的行為安全性，服務商參考數據鐵籠建設思路，對數據進行加密，在保證數據管理安全的情況下也監管了數據訪問行為的安全，在數據流出數據中心遠程邊界時能確認是誰在操作相關數據，數據去向可追蹤。

3.查詢效率

因為數據牽涉的科目和年份維度較多，且系統要支持數據大容量、高并發，為保證數據查詢效率，康賽參考Oracle 分區技術,改善查詢性能，對分區對象的查詢可以僅搜索自己關心的分區，提高檢索速度同時均衡I/O，可以把不同的分區映射到磁盤以平衡I/O，改善整個系統性能。

總結

平臺現已開發完成，設計的大部分功能都已實現，尤其是動態查詢功能，使我們快速準確查詢到幾年歷史數據成為現實，提高了統計服務效率。但要開發出盡善盡美的數據整合平臺不是一蹴而就的事，還需要在使用過程中不斷完善。如何建立教育基礎信息數據庫，使教育統計數據不再通過人工填報產生，而是隨著業務產生，這樣的數據將更加準確、更加及時，這是未來教育統計發展變革方向，也是我們教育統計行業奮斗的目標。