基于Hadoop平臺的評價系統設計與實現

周寧寧，李愛群，鐘蘇陽

(南京郵電大學 計算機學院，江蘇 南京 210023)

0 引 言

評價是科學研究和社會現實中經常出現的課題。評價系統的設計是評價領域里重要的研究內容。一個合理的評價系統不僅要求評價結果客觀和科學，而且要易于擴展和維護，具有較強的實用性。

長期以來，人們在評價系統方面進行了大量的研究，并提出了適應于各種應用領域的評價系統。部分研究側重于討論相關領域的評價影響因素等。例如，徐妍[1]研究了財務系統中的評價指標，主要通過對項目資本金比例、建設期、資金使用計劃等基礎數據的選取，對提高財務評價指標融資前后計算準確性的影響及靜態評價指標、動態評價指標等財務指標差異進行對比分析。張璐等[2]研究了國內企業管理創新方法智能評價系統。文中使用多案例研究方法,案例間對比分析,得出了漸進式管理創新方法選擇的機理和概念模型。蒙文英[3]研究了網絡課程資源平臺學習評價系統，主要探索如何使線上學習與面對面教學深度融合以及在信息化教學背景下,混合學習模式對學生學習評價的策略。也有學者從評價系統的技術設計角度對評價系統進行了研究。例如，鄧政策等[4]研究了基于移動終端的高校教學督導評價系統，該系統采用基于B/S-C/S相結合的體系結構，利用移動終端實現了教學評價。吳陳等[5]采用MVC設計模式,結合Java Web等技術設計實現了在線教學評價系統。但隨著大數據時代的到來，大量出現的非結構化、半結構化的數據給傳統評價系統帶來了新的挑戰。此外，評價系統的核心是評價規則的選擇，很多學者也對此進行了深入研究。例如，采用模糊理論[6-9]、灰度理論[10-11]等評價規則。這些評價規則在眾多評價領域都得到了廣泛的應用，但評價結果往往存在一定的主觀性。因此，探索新的更為客觀和合理的評價規則仍然十分重要。

文中在Hadoop分布式系統上，設計并實現了一個基于SSM框架的評價系統。同時，將處理模糊信息的中介數學系統引入到評價規則中，提出了基于中介真值程度的單維度和多維度綜合測度模型。系統采用接口編程技術，可以接入并修改功能模塊，增強了系統的可擴展性和維護性，同時，基于中介真值程度的評價規則的運用，使評價結果更為科學和客觀。

1 基于Hadoop平臺的評價系統體系結構

1.1 系統技術體系結構

大數據環境下，數據產生快速、數據量巨大，數據種類繁多，為了滿足不同應用的需求，同時考慮系統的可擴展性，該系統的設計綜合考慮了以下因素：

(1)適用性：系統在開發前，為了滿足不同的需求，應增強系統的擴展性，從而使系統具有良好的適用性。

(2)先進性：為了保證系統在未來也可以使用，系統的開發技術和設計需要足夠先進。

(3)易用性：一個系統的好壞與系統的易用性有直接的關系。為了確保不同用戶能夠快速掌握并方便使用，要求系統更加容易上手，操作簡單。

(4)可靠性：系統應該能夠保證長時間的正常運行。

(5)安全性：系統能夠抵御外界的惡意侵害，為整個系統提供保護，保證系統的正常運作。

評價系統的技術體系結構如圖1所示。

圖1 評價系統的技術體系結構

整個系統基于SSM(SpringMVC+Spring+Mybaties)技術，不但可以有效地提高系統的開發效率，而且具有很好的安全性、穩定性和健壯性，并且層次分明，便于維護和功能擴展。

表現層使用了SpringMVC框架，實現了視圖控制分離。首先，用戶向瀏覽器發送一條命令，這條命令會被SpringMVC的DispatcherServlet前端控制器攔截，并進行處理，返回view給客戶端。業務層采用Spring框架，該層提供如事務處理等擴展功能，并提供控制反轉和依賴注入，實現對Bean的管理，能夠很好地粘合表示層和持久層，完美地實現了業務代碼的高效分離。持久層采用Mybaties框架，可以實現數據表與類之間的映射關系，可以像操作對象一樣使用表，而Mybaties提供的緩存機制在一定程度上緩解了服務器頻繁讀取數據庫的壓力。最底層是Hadoop大數據系統，原始數據會存放在HDFS中，并使用MapReduce對該數據進行分析，結果可以保存在HDFS中，需要的話，也可以通過Sqoop軟件等方式傳到Mysql數據庫中，持久層也需要從數據庫中獲取數據。

1.2 系統功能體系結構

系統采用JSP進行開發設計，配合Hadoop+MapReduce數據存儲和分析,采用Apache Tomcat作為服務器的支持，使整個系統的界面更加美觀，應用更加靈活。系統各模塊的體系結構如圖2所示。

圖2 系統各模塊的體系結構

該系統主要由接口模塊、上傳文件模塊、數據評價模塊、分布式存儲和處理模塊、規則模塊、結果分析模塊組成。為了符合Spring的編程規范，系統的擴展性，系統的所有功能都采用接口的方式進行實現。

接口模塊：為了提高系統的拓展性和靈活性，該系統提供兩種接口方式。第一種是系統的功能接口，把功能業務提取出來，業務的具體實現通過該接口的實現類完成需求，這樣，當業務本身需求變更時，不需要修改現有的代碼，減少了對系統的影響。第二種是給其他功能模塊的拓展接口，通過該接口可以接入其他功能模塊，從而在不修改當前代碼的情況下，拓展系統的功能。

上傳文件模塊：該模塊也被設計成接口形式，是為了針對不同的數據類型，文件上傳后將對數據進行統一存儲，方便以后的使用和管理。針對部分半結構化數據，該模塊將提供輸入數據中屬性的功能。

規則模塊：該模塊對數據評價中的所有規則進行處理，可以針對目前的評價維度，制定相應的規則，并組成規則集，供用戶選擇，也可以自己制定規則。該模塊也被設計成接口形式，可以接入外界的規則模塊。

數據質量評價模塊：該模塊是系統的核心模塊，該模塊包括所有的數據質量的評價維度規則和程序運行的參數。

分布式存儲和處理模塊：該模塊主要采用Hadoop中的分布式文件系統(HDFS)對數據進行存儲，HDFS有高容錯性，可部署在廉價的硬件上，具有很高的吞吐量，并提供MapReduce對大數據進行處理和分析。MapReduce是一種編程模型，能夠提高整體的處理能力。

結果分析模塊：該模塊的主要功能是展示結果。通過Hadoop中的MapReduce對數據進行處理，需要將處理后的數據進行分析，生成分析報告，將結果反饋給用戶。

2 基于中介真值程度度量的評價規則

2.1 中介數學簡介

中介原則[12]是由朱梧槚、肖奚安于20世紀80年代提出,并以自創的中介邏輯演算系統(medium logic)作為推理工具，建立了以中介公理集合論(medium axiomatic set)[13]為主要內容的中介數學系統。

中介數學系統中記P為一謂詞(概念或性質)，x為任一變元，P(x)表示變元x完全具有性質P。符號“╕”稱反對對立否定詞，讀為“對立于”,把謂詞P的反對對立面記為╕P，則P與╕P就抽象地表示了一對反對對立概念；符號“～”稱模糊否定詞，反映了對立物在轉化過程中“非此非彼”或“亦此亦彼”的中介狀態，模糊否定詞“～”的語義深刻地反映了模糊性；“P”是真值程度詞，刻畫了兩個命題之間的差異。

2.2 基于中介真值程度的測度模型

史蒂文斯[14]在1951年曾給評價下了這樣的定義：“從廣義而言，評價是根據法則給事物分派數字。”這一定義概括了物理評價、社會評價和心理評價的共性。從該定義可以看出，評價包括三個要素：事物的屬性、數字和規則。

因此，首先根據具體應用確定數據的評價維度，建立利用距離比率函數[15]基于中介真值程度的單維度測度模型；在此基礎上，根據具體的應用，確定各維度的權重，利用距離比率和函數[16]建立基于中介真值程度度量的多維度綜合測度模型。

2.2.1 單維度測度模型

定義謂詞P(x(i,j))表示第i個數據j維指標優秀，則相應的╕P(x(i,j))表示該數據該維度指標差，～P(x(i,j))表示該數據該維度指標中等，+P(x(i,j))表示該數據該維度指標特別優秀，╕+P(x(i,j))表示該數據該維度指標特別差。某維度指標數值區域與其對應謂詞的真值之間的對應關系如圖3所示。

圖3 單維度指標數值區域與評價等級的對應關系

其中各個邏輯區間的確定，可以根據具體應用設定。一種方法是根據行政定義確定，其主要思想是：通常在一次評價中，大概期望有固定比例的通過，在通過的這部中，又期望有一部分比例的優秀，一部分比例的中等。因此，首先根據行政性指定的比例來確定各分界分數，即確定所給的數值區域與其對應謂詞的真值之間的關系。例如，對某個維度，假設參加評價的數為n，有比例B的數據合格，則定義：n*B個數據為～P(x(i,j))、P(x(i,j))、+P(x(i,j)),n*B*(1-B)個為P(x(i,j))、+P(x(i,j)),n*B*(1-B)2為+P(x(i,j)),n*(1-B)*B為╕P(x(i,j)),n*(1-B)*(1-B)為╕+P(x(i,j))。以此來確定特別優秀、優秀、中等、差和特別差各等級對應關系，以及相應的αF-εF、αF、αF+εF、αT-εT、αT、αT+εT。

選取距離比率函數h(x(i,j))作為單維度指標的測度函數，根據圖3，可以得到相應的距離比率函數h(x(i,j))，如下式：

h(x(i,j))=

(1)

h(x(i,j))大于1，說明該數據第j個指標超優秀；h(x(i,j))等于1，說明該數據第j個指標優秀；h(x(i,j))介于0到1之間，說明該數據第j個指標中等，越接近于1，表明該數據第j個指標越接近優秀，越接近于0，表明該數據第j個指標越接近差；h(x(i,j))等于0，說明該數據第j個指標差；h(x(i,j))小于0，說明該數據第j個指標超差。

2.2.2 多維度綜合測度模型

設數據i，其n個指標集合為X(i)=[x(i,j)]1×n，其中0≤j≤n,對應的n個指標的權值為d(j)。對于n個指標的綜合評價，首先根據具體應用，確定各個指標的權值為d(j)(0≤j≤n),然后選取加權距離比率和函數hn-T(x(i))作為數據i的n個指標的綜合評價測度函數，如式(2)：

(2)

hn-T(x(i))的數值越大，表明該數據n個指標的綜合評價越優秀。

3 在學生成績評價中的應用

Hadoop是一個開發和運行處理大規模數據的軟件平臺，是Apache的一個用Java語言實現的開源軟件框架，在大量計算機組成的集群中對海量數據進行分布式計算。Hadoop框架中最核心的設計就是HDFS和MapReduce。HDFS提供了海量數據的存儲,MapReduce提供了對數據的計算。

hive是基于Hadoop的一個數據倉庫工具，可以將結構化的數據文件映射為一張數據庫表，并提供簡單的SQL查詢功能，可以將SQL語句轉換為MapReduce任務運行。其優點是學習成本低，可以通過類SQL語句快速實現簡單的MapReduce統計，不必開發專門的MapReduce應用，十分適合數據倉庫的統計分析。

實驗中，首先根據某校教務系統自動化生成學生表數據1 105 082條，以文件格式存儲在Hadoop的HDFS文件系統中。使用數據倉庫工具hive自動生成MapReduce任務，數據如表1所示。

根據實際情況,給出一般的行政定義:取參考人數的60%及格，即B=60。同時根據每門課程的參考人數以及相應的考試成績，確定所給成績的數據區域與特優、優秀、中等、差和特差各等級的對應關系。

一般方法中，成績的綜合評價是通過單項成績的簡單相加來產生總分排名衡量的。一般方法的綜合評價結果見表2。

表1 某高校計算機科學與技術專業學生5門課程的期末考試成績

表2 根據n門課程總分的排名

續表2 根據n門課程總分的排名

設定每門課程的權值。為了與一般方法進行比較，設定所有課程(高等數學、大學英語,數據結構、操作系統和高級程序設計語言)的權值均為1，所得的每位同學各門課程的總真值程度和平均真值程度如表3所示。

表3 按總真值程度排名

從表3中可以看出，學號為“xxxxxx68”和學號為“xxxxx121”的總分是相同的，都為421分。根據一般的評價方法，這兩位學生的成績優秀程度相同，即為相同的排名(第5名)。然而從每門課程的分數排名來比較這兩名學生，學號為“xxxxxx68”的學生偏科嚴重，而學號為“xxxxx121”的學生各門課程都比較優秀，因此，以簡單的單項分數相加排名來評定學生的成績無法體現出這點,是不全面的。學號為“xxxxx121”的學生排名(排名為第4)高于學號為“xxxxxx68”的學生(排名低于12)。原因是學號為“xxxxxx68”的學生的課程非常優秀，即該課程成績真值程度均大于1(例如高等數學和操作系統)，而有的課程成績卻比較差，該課程成績真值程度均幾近于0(例如大學英語和數據結構)。從上面的分析可知，基于中介真值程度的評價規則更為合理和科學。

4 結束語

在Hadoop分布式系統上，設計并實現了一個基于SSM框架的數據評價系統。該系統采用接口編程，可以接入擴展的功能模塊，增強了系統的可擴展性，而且將整個系統的所有功能都分成單獨的模塊，修改時只需要修改相應的模塊，增強了系統的維護性。系統提供了基于中介真值程度的評價規則，提出采用距離比率函數對單維度進行評價、采用加權距離比率和函數實現n維綜合評價的測度模型，在學生成績評價中的應用結果表明該規則更為合理和科學。