基于云平臺的數(shù)據(jù)處理系統(tǒng)開發(fā)

方奇超,劉華金

基于云平臺的數(shù)據(jù)處理系統(tǒng)開發(fā)

方奇超,劉華金

浙江越秀外國語學院, 浙江 紹興 312000

數(shù)據(jù)處理系統(tǒng)主要是加工和整理各種數(shù)據(jù)信息，計算出相關的分析指標，在各行業(yè)中應用廣泛。本系統(tǒng)處理的是高校招生數(shù)據(jù)，以Citrix技術和云平臺為依托，彌補了傳統(tǒng)C/S結構的不足。整個數(shù)據(jù)處理流程包括數(shù)據(jù)預處理、數(shù)據(jù)轉換、生成新生數(shù)據(jù)、數(shù)據(jù)加工、數(shù)據(jù)統(tǒng)計等，全面實現(xiàn)招生數(shù)據(jù)的處理工作。在用戶友好度方面，本系統(tǒng)提供了自定義規(guī)則功能，包括分班規(guī)則自定義、學號流水號的順序自定義等，使用戶的操作更加方便。

數(shù)據(jù)處理系統(tǒng); 云平臺; 數(shù)據(jù)轉換; 數(shù)據(jù)統(tǒng)計

數(shù)據(jù)處理系統(tǒng)（Data processing system）是指通過計算機處理數(shù)據(jù)信息而構建的系統(tǒng)[1]。該系統(tǒng)的功能主要是加工和整理數(shù)據(jù)信息，并經(jīng)過計算得出相關分析指標，使信息形式更容易被人們所接受，最后在數(shù)據(jù)庫中儲存已經(jīng)處理的信息。數(shù)據(jù)庫是系統(tǒng)的核心節(jié)點，計算與儲存工作都在數(shù)據(jù)庫中完成，常用的數(shù)據(jù)庫有Mysql、Oracle等。云平臺（Cloud platforms）則是一種開放型的共享平臺，允許已經(jīng)寫好的程序在“云”里運行，或是提供相應的云服務，或兩者皆是[2]。基于云平臺的數(shù)據(jù)處理系統(tǒng)，能夠有效提高系統(tǒng)運行效率，降低投入的成本。Sotiriadis等將“軟件即服務”、“附著服務”等云平臺核心理念引入到數(shù)據(jù)處理系統(tǒng)開發(fā)中，有效提高了數(shù)據(jù)處理系統(tǒng)的服務效率[3]。Shafiq SI等借助云平臺Hadoop的分布式文件系統(tǒng)和分布式并行計算框架，構建海量數(shù)字圖像數(shù)據(jù)處理系統(tǒng)，實現(xiàn)海量數(shù)字圖像信息數(shù)據(jù)的挖掘和處理[4]。本文以基于云平臺的招生數(shù)據(jù)處理系統(tǒng)為例，對高校招錄取數(shù)據(jù)的轉換與統(tǒng)計進行介紹，并實現(xiàn)該系統(tǒng)。

1 系統(tǒng)設計

1.1 系統(tǒng)實現(xiàn)技術

高校招生數(shù)據(jù)處理系統(tǒng)的主要功能是轉換錄取數(shù)據(jù)并進行相關的統(tǒng)計，軟件系統(tǒng)采用C/S結構，系統(tǒng)開發(fā)語言為pb10.0。傳統(tǒng)C/S結構在部署程序方面有著較高的成本，用戶使用系統(tǒng)要安裝客戶端軟件，當系統(tǒng)更新后，還需要重新安裝客戶端[5]。因此，此次設計使用新型客戶端服務器技術Citrix，并將服務器部署在云平臺上面，形成一種基于云服務器的網(wǎng)絡計算模式。Citrix本身有客戶端與服務器端，但客戶端軟件安裝于服務器中，因此用戶無需下載和安裝客戶端，而是通過網(wǎng)頁登錄即可訪問系統(tǒng)，由此達到了統(tǒng)一部署和版本控制的目標[6]。Citrix服務器可以根據(jù)用戶填寫的登錄信息，有效識別用戶身份并控制權限，大幅降低服務器與客戶端的流量，并提高了系統(tǒng)訪問效率及安全性。

1.2 系統(tǒng)功能模型和數(shù)據(jù)模型

基于云平臺的招生數(shù)據(jù)處理系統(tǒng)需要實現(xiàn)錄取數(shù)據(jù)的接收與轉換，同時生成新生數(shù)據(jù)，然后統(tǒng)計分析新生數(shù)據(jù)。由于招生業(yè)務階段性比較強，整個操作過程環(huán)環(huán)相扣，按照這一特性設計系統(tǒng)功能，使系統(tǒng)功能部署與招生業(yè)務順序相一致，用戶操作更加方便。系統(tǒng)功能模型如圖1所示。本系統(tǒng)的核心是處理錄取數(shù)據(jù)，考慮到招生業(yè)務存在多階段，每一階段的數(shù)據(jù)內容和構成有所不同，因此系統(tǒng)需要按照不同階段，歸納分析相關的業(yè)務數(shù)據(jù)。系統(tǒng)數(shù)據(jù)模型如圖2所示。

圖 1 系統(tǒng)功能模型圖

圖 2 系統(tǒng)數(shù)據(jù)模型圖

2 系統(tǒng)實現(xiàn)

2.1 數(shù)據(jù)預處理

招生數(shù)據(jù)處理系統(tǒng)首先需要對高考錄取平臺的錄取數(shù)據(jù)進行接收，這一步驟為數(shù)據(jù)預處理。系統(tǒng)從高考錄取平臺下載dbf文件，并根據(jù)格式與數(shù)據(jù)的對應關系儲存到系統(tǒng)中，為后續(xù)數(shù)據(jù)處理奠定基礎。數(shù)據(jù)預處理的操作步驟如下：首先系統(tǒng)對招生錄取數(shù)據(jù)進行讀取，其中主存儲數(shù)據(jù)為t_tdd.dbf，選擇該文件之后，系統(tǒng)會自動在文件列表中顯示其余的dbf文件。其次系統(tǒng)對數(shù)據(jù)進行合成，根據(jù)上一步驟所獲得的數(shù)據(jù)情況，將所有數(shù)據(jù)按照dbf文件標準實施匯總操作，形成一個大數(shù)據(jù)表，然后生成新生通知書號。

2.2 數(shù)據(jù)轉換

由于錄取數(shù)據(jù)的編碼規(guī)則與校內系統(tǒng)有所不同，因此需要按照雙方對應關系進行一定的數(shù)據(jù)轉換，才能使錄取數(shù)據(jù)在校內系統(tǒng)正常使用。轉換操作主要分成兩個階段：第一階段形成專業(yè)對應關系，包括學院名稱和專業(yè)號、專業(yè)名稱相對應；第二階段進行專業(yè)轉換操作，可以根據(jù)專業(yè)名稱進行轉換，或者根據(jù)專業(yè)號進行轉換，本系統(tǒng)按照專業(yè)號進行轉換，由于錄取數(shù)據(jù)的專業(yè)名稱定義可能與校內定義有所不同，因此還要根據(jù)專業(yè)號更新相應的專業(yè)名。

2.3 生成新生數(shù)據(jù)

按照錄取數(shù)據(jù)的后續(xù)用途不同以及迎新數(shù)據(jù)要求，本系統(tǒng)的新生數(shù)據(jù)包含如下：（1）新生的基本信息；（2）新生的錄取成績；（3）監(jiān)護人信息；（4）新生的戶口信息；（5）新生的社會關系信息。系統(tǒng)接收到這些信息之后，在一個大數(shù)據(jù)表中進行匯總，然后根據(jù)數(shù)據(jù)主題的不同實施拆分操作，將各種數(shù)據(jù)信息編入到相應數(shù)據(jù)表中，以便后續(xù)的數(shù)據(jù)處理及導出。新生數(shù)據(jù)庫生成之后，可校驗各種數(shù)據(jù)，確保數(shù)據(jù)接收與轉換不會發(fā)生錯誤。

2.4 數(shù)據(jù)加工

當新生數(shù)據(jù)庫生成之后，相關數(shù)據(jù)的關鍵字段依然是錄取通知書號，而校內系統(tǒng)主要以學號作為身份識別手段，因此還需要進行數(shù)據(jù)加工。學號生成序列通常是以班級作為依據(jù)的，因此首先要進行分班。新生的分班通常要遵循一定規(guī)則，例如成績好的學生要平均分配到各班，同一專業(yè)下的男女生分配也要均勻。為使用戶操作方便，本系統(tǒng)使用自定義分班規(guī)則，即用戶可以按照實際需求對分班規(guī)則進行自定義。但分班時可能會出現(xiàn)特殊情況，例如某個專業(yè)里只有兩位女生，則需要將她們分在一個班內，使女生之間有所照應，這種情況下用戶動態(tài)設置就難以實現(xiàn)，只能體現(xiàn)在程序代碼之中。同時本系統(tǒng)具備數(shù)據(jù)校驗功能，可以實時校驗分配情況，確保分班結果的正確性。分學號則是以分班為基礎，為每一位新生分配獨一無二的學號。本系統(tǒng)的學號信息共有10位數(shù)字，其中前4位數(shù)字是招生的年份，中間2位數(shù)字是招生的類型，最后4位數(shù)字是流水號。在本系統(tǒng)中，流水號生成的順序也可以自定義，從而使用戶可以按照實際情況對流水號生成方式進行及時調整。

2.5 數(shù)據(jù)統(tǒng)計

統(tǒng)計招生信息是學校招生工作的一個重點。當編制新一年的招生計劃時，需要按照上一年招生結果實施調整，因此在招生數(shù)據(jù)處理系統(tǒng)中，數(shù)據(jù)統(tǒng)計模塊必不可少。本系統(tǒng)的統(tǒng)計功能可以覆蓋所有的招生數(shù)據(jù)，包括招生計劃執(zhí)行情況統(tǒng)計、新生基本情況統(tǒng)計、按專業(yè)分類人數(shù)綜合統(tǒng)計、各錄取類別新生人數(shù)統(tǒng)計、各專業(yè)高考投檔分、平均分統(tǒng)計、報到率、生源地、民族等。此外，本系統(tǒng)還能統(tǒng)計多年份數(shù)據(jù)，只要對當前年份或歷史年份進行設置，即可實現(xiàn)相應的統(tǒng)計報表，這樣使用戶歸檔操作更加方便，同時還能為報考指南等相關宣傳手冊提供數(shù)據(jù)。

3 討論

近年來，基于云平臺的數(shù)據(jù)處理系統(tǒng)越來越受到學界關注，并引起學界廣泛討論。張麗勇針對當前內河航運中船舶吃水存在的諸多問題，提出一種基于云平臺及超聲波技術的船舶吃水實時檢測系統(tǒng)，可以實時監(jiān)測和處理異常數(shù)據(jù)，并對船舶吃水數(shù)據(jù)進行分割，從而獲得準確的船舶吃水數(shù)據(jù)[7]。范磊等提出以云數(shù)據(jù)、云計算為核心的農業(yè)大數(shù)據(jù)分析云平臺設計方案，其中云數(shù)據(jù)采用分布式數(shù)據(jù)處理方式，以更好地處理多源異構數(shù)據(jù)，云計算由提供模糊控制等算法的基礎運算層和提供生產(chǎn)銷售等分析模型的分析模型庫組成[8]。李潔珊等提出了一種基于Open Stack的輸電線路數(shù)據(jù)云平臺架構，共分數(shù)據(jù)采集層、數(shù)據(jù)中心層、應用層、接入層四個層次，充分利用Open Stack技術靈活性、松耦合、開源性的優(yōu)勢，提供實施簡單、可大規(guī)模擴展的云計算管理平臺，實現(xiàn)了云主機、云硬盤、對象存儲及關系型數(shù)據(jù)庫等服務[9]。從總體情況看，基于云平臺的數(shù)據(jù)處理系統(tǒng)相關研究雖然取得了一定進展，但還需要進一步創(chuàng)新研究方向，才能使數(shù)據(jù)處理系統(tǒng)在各領域得到更好的應用。

4 結論

在云計算和大數(shù)據(jù)技術的快速發(fā)展下，傳統(tǒng)的數(shù)據(jù)處理系統(tǒng)有更多的開拓和創(chuàng)新途徑。本系統(tǒng)基于云服務器實現(xiàn)網(wǎng)絡計算，采用先進的Citrix技術，有效彌補了傳統(tǒng)C/S結構的不足。整個招生數(shù)據(jù)處理流程包括數(shù)據(jù)預處理、數(shù)據(jù)轉換、生成新生數(shù)據(jù)、數(shù)據(jù)加工、數(shù)據(jù)統(tǒng)計等，都能在Citrix技術的支持下有效實現(xiàn)。在用戶友好度方面，本系統(tǒng)提供了自定義規(guī)則功能，包括分班規(guī)則自定義、學號流水號的順序自定義等，使用戶的操作更加方便。

[1] Combrinck M.Using representative synthetic data to analyze effects of filters when processing full waveform airborne TEM data[J].ASEG Extended Abstracts, 2018,47(1):1-15

[2] Anureet A, Bikrampal K, Kaur B. An Effective Technique to Decline Energy Expenditure in Cloud Platforms[J]. International Journal of Modern Education and Computer Science (IJMECS), 2018,10(2):54-62

[3] Sotiriadis S, Nik B, Euripides GM,Virtual machine cluster mobility in inter-cloud platforms[J].Future generations computer systems, 2017,74(6):179-189

[4] Shafiq SI, Szczerbicki E, Sanin C.Manufacturing data analysis in internet of things/internet of data (IoT/IoD) scenario[J].Syed imran shafiq edward szczerbicki cesar sanin, 2018,49(3):1-16

[5] 陳澤堃,李強,逯峻雨.一種弱C/S架構的計算遷移模型的設計與實現(xiàn)[J].計算機應用研究,2018(5):1421-1425

[6] Rachna G. Citrix powers mobility driven work spaces[J]. Voice & data: the business of communications, 2015,22(6):28-39

[7] 張麗勇.基于云平臺的船舶吃水實時檢測系統(tǒng)數(shù)據(jù)處理技術[J].艦船科學技術,2016(24):91-93

[8] 范磊,李鳳利,鄭國清,等.農業(yè)企業(yè)集團大數(shù)據(jù)分析云平臺設計及應用[J].河南農業(yè)科學,2018(5):155-160

[9] 李潔珊,趙志勤.基于Open Stack的輸電線路數(shù)據(jù)云平臺架構設計[J].機電工程,2018(1):79-82

Development of Data Processing System Based on Cloud Platform

FANG Qi-chao, LIU Hua-jin

312000,

Data processing system mainly processes and collates various data information, calculates relevant analysis indicators, and is widely used in various industries. This system deals with the enrollment data of colleges and universities. It relies on Citrix technology and cloud platform to make up for the shortcomings of traditional C/S structure. The whole data processing process includes data preprocessing, data conversion, generation of new data, data processing, data statistics and so on, which comprehensively realizes the processing of enrollment data. In terms of user friendliness, the system provides the function of customization rules, including the customization of shift rules and the sequence customization of school number, which makes the operation of users more convenient.

Data processing system; cloud platform; data conversion; data statistics

C931.9

A

1000-2324(2019)03-0438-03

10.3969/j.issn.1000-2324.2019.03.017

2018-04-12

2018-06-02

2016年浙江省教育廳大學生思想政治教育專項課題(Y201635073);紹興市哲學社會科學研究“十三五”規(guī)劃2019年度重點課題(135477)

方奇超(1977-),男,碩士,助理研究員,主要研究方向為思政教育與就業(yè)創(chuàng)業(yè)指導. E-mail:357614559@qq.com