CMMI度量和分析過程域在高校評教系統(tǒng)中的應(yīng)用研究

吳亞軍

江蘇教育學(xué)院如皋分院 如皋高等師范學(xué)校 江蘇如皋 226500

1 引言

從我國高等學(xué)校教育發(fā)展的客觀要求來看，建立一套健全的科學(xué)化、規(guī)范化和制度化的教育教學(xué)質(zhì)量監(jiān)控與評價系統(tǒng)是高校教育教學(xué)自身發(fā)展的客觀要求，是確保高校教育教學(xué)質(zhì)量必不可少的環(huán)節(jié)。本質(zhì)上，由于教學(xué)因素的多樣性、教學(xué)內(nèi)容的可擴(kuò)展性、專業(yè)內(nèi)涵的復(fù)雜性，導(dǎo)致客觀評價標(biāo)準(zhǔn)的模糊性。教學(xué)質(zhì)量監(jiān)控和評價需依賴一套科學(xué)的質(zhì)量標(biāo)準(zhǔn)體系，用于檢測高校教育的規(guī)律性、統(tǒng)一性和可度量性。

我國的高校教育信息化評教起步時間不長，對于高校的信息化評價方法和評價指標(biāo)的研究較少，缺乏系統(tǒng)和科學(xué)的體系以及量化的指標(biāo)框架。高校現(xiàn)有的監(jiān)督測評研究較為零散，因此迫切需要建設(shè)教育教學(xué)監(jiān)督測評的體系和度量方法，對高等教育信息化水平、發(fā)展進(jìn)程、存在的問題進(jìn)行量化的反映與評價，以便更清楚地了解高等教育信息化的現(xiàn)狀，研究高等教育信息化發(fā)展的規(guī)律[1]。

2 基于CMMI度量和分析過程域的評教系統(tǒng)建立要點

CMMI全稱是Capability Maturity Model Integration，即系統(tǒng)工程和軟件工程的成熟度模型集成，是由美國國防部與卡內(nèi)基—梅隆大學(xué)和美國國防工業(yè)協(xié)會共同開發(fā)和研制的。CMMI是一套融合多學(xué)科的、可擴(kuò)充的模型集合，其研制的初步動機(jī)是為了利用兩個或多個單一學(xué)科的模型實現(xiàn)一個組織的集成化過程改進(jìn)[2]。

MA PA（Measurement and Analysis Process Area， 度量和分析過程域）是CMMI模型的一個過程域，它的目的是開發(fā)和維持一個用于支持組織信息需要的度量能力。在CMMI系統(tǒng)里，這個過程域包括：2個SG（Specific Goal，具體目標(biāo)），有8個SP（Specific Practice，具體實踐）；2個GG（Generic Goal，通用目標(biāo)），1個GG2通用目標(biāo)有10GP（Generic Practice，通用實踐），1個GG3通用目標(biāo)有2GP[3]。

在這些目標(biāo)和實踐里，作為度量和分析的框架系統(tǒng)，將其運用在教育教學(xué)的評測系統(tǒng)中，考慮可摘取采用的MA要點：1）詳細(xì)說明度量和分析的目的，使其與已標(biāo)識的信息需要和目的一致；2）詳細(xì)說明度量、數(shù)據(jù)采集、存儲機(jī)制、分析技術(shù)及報告和反饋機(jī)制；3）實現(xiàn)數(shù)據(jù)的采集、存儲、分析和報告；4）提供可用于作出可靠決策的客觀結(jié)果，并采取適當(dāng)?shù)募m正行動。

將度量和分析活動與教學(xué)活動的其他過程集成，并支持：1）客觀的教學(xué)計劃和估計；2）按已制定的教學(xué)計劃和目的跟蹤實際的性能；3）標(biāo)識和解決與過程相關(guān)的問題；4）提供將度量合并到未來的附加過程中去的基礎(chǔ)；5）度量能力可以集成到單獨的教學(xué)項目中或者集成到其他組織級功能中（比如質(zhì)量保證）；6）度量活動剛開始集中在單課程。然而，在處理系級或者院校級信息需要方面，度量能力是很有用的，課程教學(xué)可以把特定的課程相關(guān)數(shù)據(jù)和結(jié)果存放在課程專用的倉庫中。當(dāng)數(shù)據(jù)在課程之間廣泛共享時，數(shù)據(jù)要存儲在院校級評教度量倉庫中。

MA過程域的關(guān)鍵要點在對應(yīng)高等教育信息化綜合評價系統(tǒng)時，出發(fā)點考慮的是一個立方體結(jié)構(gòu)，將嚴(yán)謹(jǐn)?shù)腃MMI的科學(xué)模型中剝離MA過程域的要點運用在評教系統(tǒng)上，需將具體的過程域內(nèi)的活動和具體目標(biāo)以及通用目標(biāo)轉(zhuǎn)換成評價系統(tǒng)的框架，然后可將國內(nèi)高校評教的重點關(guān)注指標(biāo)如教學(xué)態(tài)度、教學(xué)內(nèi)容、教學(xué)方法、教學(xué)手段、教學(xué)內(nèi)容的組織、語言表達(dá)、課堂管理、教學(xué)效果衍生開來，作為實踐與目標(biāo)中的具體指標(biāo)。

計量教學(xué)目的與教學(xué)活動，提供計量的評價結(jié)果，制度化一個已管理的過程，制度化一個已定義的過程等，是高校評價系統(tǒng)的方式與方法，但也完全可與CMMI MA的具體目標(biāo)與通用目標(biāo)映射。所以，引入該科學(xué)模型的度量和分析過程域作為高校的科學(xué)評教系統(tǒng)，是完全具有探索意義的[3]。CMMI度量圖如圖1所示。

3 過程域與教學(xué)度量監(jiān)督評測系統(tǒng)的映射

圖1 CMMI度量圖

SG指的是在執(zhí)行或?qū)崿F(xiàn)某一個過程域的時候需要達(dá)到的目標(biāo)，即過程域的目標(biāo)。SP指的是執(zhí)行或?qū)崿F(xiàn)某一個過程域的時候需要執(zhí)行的所有實踐活動，即過程域的實踐活動。

在MA里，SG1是協(xié)調(diào)度量和分析活動：度量的目的和活動要與已標(biāo)識的信息需要和目的相一致。在CMMI模型里，這是個特定目標(biāo)下的特定實踐，在建立高校評度量監(jiān)督與評測系統(tǒng)目標(biāo)時，可遵照其模型中的本意，運用在評測系統(tǒng)中，提前考慮詳細(xì)說明度量和分析規(guī)程的必要準(zhǔn)則。還同時考慮有關(guān)評測數(shù)據(jù)采集和存儲規(guī)程的約束。在專注于度量規(guī)格說明、數(shù)據(jù)采集或數(shù)據(jù)存儲之前，詳細(xì)說明要進(jìn)行的基本分析通常是很重要的。

SP 1.1 建立度量目的：建立和維護(hù)從已標(biāo)識的信息需要和目的導(dǎo)出的度量目的。在評測系統(tǒng)中，可以裁減為度量的目的來源，可以是教學(xué)管理、課程大綱、傳授技術(shù)等方面的需要，度量的信息需要和目的來源可包括：對應(yīng)的教學(xué)計劃、教學(xué)質(zhì)量監(jiān)督，對教師和其他同行、學(xué)生的訪談，已建立的管理目的、教學(xué)大綱、教學(xué)技術(shù)、教案準(zhǔn)備、外部的教學(xué)基準(zhǔn)、教學(xué)改進(jìn)計劃、授課學(xué)時、關(guān)于監(jiān)督的課程信息、關(guān)于學(xué)生授課滿意度量表、可追蹤性及其有關(guān)信息。對應(yīng)的子實踐分別為：1）將信息需要和目的文檔化；2）對信息需要和目的進(jìn)行優(yōu)先級排序；3）將度量目的文檔化、評審和更新；4）必要時，為細(xì)化和澄清信息需要和目的提供反饋；5）維護(hù)度量目的與已標(biāo)識的信息需要和目的之間的可跟蹤性。

SP 1.2 詳細(xì)說明度量：詳細(xì)說明度量來處理度量目的，通常使用派生度量的例子。這里可以采用具體教學(xué)指標(biāo)量表來代替，如[4]：1）每周課程學(xué)習(xí)所投入的時間；2）學(xué)習(xí)開始前對課程的興趣；3）教師激發(fā)學(xué)生興趣的效果；4）教師對學(xué)生學(xué)習(xí)的支持（如郵件、約見、電話等形式）；5）課程對智力的挑戰(zhàn)；6）課程學(xué)習(xí)收獲；7）教師對不同性別、能力等學(xué)生的尊重；8）學(xué)生建設(shè)性評論。

派生度量通常表示為比率、復(fù)合指標(biāo)或其他累計度量。它們通常比用于產(chǎn)生它們的基本度量有更加量化的可靠性和有意義。

SP 1.3 詳細(xì)說明數(shù)據(jù)采集和存儲規(guī)程：詳細(xì)說明如何獲得和存儲度量數(shù)據(jù)。模型中過程域的本實踐可直接采用，主要為高校信息化建設(shè)相關(guān)采集方法的詳細(xì)規(guī)格說明，有助于確保合適地采集正確的數(shù)據(jù)。還可能進(jìn)一步幫助澄清信息需要和度量目的，適當(dāng)?shù)刈⒁獯鎯蜋z索規(guī)程，有助于確保數(shù)據(jù)在將來是可用的和可訪問的。

SP 1.4 詳細(xì)說明分析規(guī)程：詳細(xì)說明如何分析和報告度量數(shù)據(jù)。預(yù)先指定分析規(guī)程，確保執(zhí)行了適當(dāng)?shù)姆治龊蛨蟾鎭硖幚硪盐臋n化的度量目的。這個方法還提供了對數(shù)據(jù)是否按事實采集的檢查。評價系統(tǒng)中典型的工作產(chǎn)品相似，為分析規(guī)范和規(guī)程、數(shù)據(jù)分析工具。在子實踐中，通常要考慮的問題包括：1）選擇可視化顯示和其他展示工具，比如餅圖、條形圖、直方圖、散點圖或表格等；2）選擇適當(dāng)?shù)拿枋鼋y(tǒng)計學(xué)，比如算術(shù)平均值、中值或模式（教學(xué)評測量表）；3）當(dāng)不可能或不必要檢查每個數(shù)據(jù)元素時，關(guān)于統(tǒng)計采樣準(zhǔn)則的決策；4）關(guān)于如何在缺少數(shù)據(jù)元素時進(jìn)行分析決策；5）選擇適當(dāng)?shù)姆治龉ぞ摺?/p>

評價進(jìn)行度量和分析的準(zhǔn)則包括：1）遺漏的或已標(biāo)記為不一致的數(shù)據(jù)量是否超出指定閾值；2）在采樣中是否存在有偏見的選擇（比如只調(diào)查感到滿意的）；3）最終用戶來評價滿意度，或者只評價不成功項目；4）度量數(shù)據(jù)是可重復(fù)的（比如在統(tǒng)計上是可靠的）；5）已經(jīng)滿足統(tǒng)計假設(shè)（比如關(guān)于數(shù)據(jù)的分布或關(guān)于合適的度量刻度）。

在度量和分析過程域MA里，SG2提供度量結(jié)果：提供度量結(jié)果以處理已標(biāo)識的信息需要和目的。在高校的評測系統(tǒng)中，映射為進(jìn)行度量和分析的主要原因是教學(xué)的需要和目的。基于客觀證據(jù)的度量結(jié)果，有助于監(jiān)督教學(xué)質(zhì)量、完成教學(xué)大綱計劃、教學(xué)任務(wù)、知識體系的掌握和創(chuàng)新性，作出正確的管理和技術(shù)決策以及采取適當(dāng)?shù)募m正行動。

SP 2.1 采集度量數(shù)據(jù)：獲得特定的度量數(shù)據(jù)。

SP 2.2 分析度量數(shù)據(jù)：分析和解釋度量數(shù)據(jù)。

SP 2.3 存儲數(shù)據(jù)和結(jié)果：管理和存儲度量數(shù)據(jù)、度量規(guī)格說明和分析結(jié)果。

這里的子實踐需要強(qiáng)調(diào)的是評審數(shù)據(jù)，確保數(shù)據(jù)的完備性、完整性、準(zhǔn)確性和及時性，使存儲的內(nèi)容僅被適當(dāng)?shù)男〗M和個人使用，防止不適當(dāng)?shù)厥褂脭?shù)據(jù)和相關(guān)信息的例子，包括對數(shù)據(jù)存取進(jìn)行控制，并教育人們適當(dāng)?shù)厥褂脭?shù)據(jù)。不適當(dāng)?shù)厥褂玫睦影ǎ?）將提供的保密信息泄露；2）基于不完全的、過時的語境或易誤解的信息，對信息作出錯誤解釋；3）將度量用于不適當(dāng)?shù)卦u價人員或項目的性能；4）對特定的個人進(jìn)行片面的評價。

在評測系統(tǒng)中，評教管理者、評教主體和評教客體之間存在明顯的信息不對稱。管理者和評價操作人員一方面要注意引導(dǎo)參與評測的教員或?qū)W生，正確認(rèn)識并掌握評價標(biāo)準(zhǔn)；另一方面要幫助他們做出自己的判斷，不受其他因素的干擾。

SP 2.4 交流結(jié)果：給所有有關(guān)的項目相關(guān)人員報告度量和分析活動的結(jié)果。鑒于評教結(jié)果具有一定的私密性，管理者在反饋評教結(jié)果信息時可以采取比較謹(jǐn)慎的方式，根據(jù)教師和學(xué)生對評估結(jié)果關(guān)心側(cè)重點的不同，有區(qū)別地進(jìn)行反饋。學(xué)生評教結(jié)果如果不能及時反饋給學(xué)生，勢必會使學(xué)生產(chǎn)生懈怠與厭煩情緒。從權(quán)利與義務(wù)的對等原則來看，學(xué)生提出擴(kuò)大自己信息知情權(quán)的要求也是合理的。

在高校的評價體系中，還可將模型的通用目標(biāo)引入加以應(yīng)用。通用目標(biāo)指的是在完成一系列過程域具體目標(biāo)之前首先需要達(dá)到的目標(biāo)。可以通俗地理解為通用目標(biāo)就是“為（具體）目標(biāo)而（制定的）目標(biāo)”。

GG2概念為制度化一個已管理過程：將該過程制度化為一個已管理過程。可將其下的10個通用實踐轉(zhuǎn)換為評價系統(tǒng)的通用實踐：GP 2.1 建立一個院校級教學(xué)管理方針；GP 2.2計劃該過程；GP 2.3 提供資源；GP 2.4 分配職責(zé)；GP 2.5培訓(xùn)人員；GP 2.6 管理配置；GP 2.7 標(biāo)識和引入有關(guān)的教職人員；GP 2.8 監(jiān)督和控制該過程；GP 2.9 客觀地評價符合性；GP 2.10 由校領(lǐng)導(dǎo)評審狀態(tài)。

GG3概念為制度化一個已定義過程：將該過程制度化為一個已定義過程。可將其下的2個通用實踐轉(zhuǎn)換為評價系統(tǒng)的通用實踐：GP 3.1 建立一個已定義過程，建立和維護(hù)已定義的度量和分析過程的描述；GP 3.2 采集改進(jìn)信息，根據(jù)教學(xué)計劃和執(zhí)行度量和分析過程的情況，采集教學(xué)教案、度量結(jié)果以及教學(xué)改進(jìn)信息，以便院校級在今后的使用過程中進(jìn)行改進(jìn)。

通過映射比對，可以看出CMMI模型的度量和分析過程域，絕大部分的具體目標(biāo)與具體實踐和高校的評價系統(tǒng)是可對應(yīng)的，并且在評測和度量的框架中，要求的通用目標(biāo)和通用實踐考慮得更為全面和細(xì)致，對單科的教學(xué)評測和高校整體的組織評測都有很強(qiáng)的借鑒意義。

4 SG1協(xié)調(diào)度量和分析活動的SP在評教系統(tǒng)中的運用

由于評價具有導(dǎo)向功能，高校在教學(xué)效果評價中關(guān)注什么，教師也就會在教學(xué)過程中注重什么。這種以教師為中心，以課堂教學(xué)為主要內(nèi)容的評價，必然導(dǎo)致教師僅僅在如何改善講授方法和技巧上下功夫，力求語言流暢，重點突出，融會貫通。如何在關(guān)注教學(xué)目標(biāo)達(dá)成的同時，對教學(xué)效果進(jìn)行客觀的評價，并且立足于教學(xué)對學(xué)生思維能力、分析能力、創(chuàng)新能力的有效質(zhì)量指標(biāo)評測，即對學(xué)生各種能力的形成進(jìn)行評測？這將打破舊的評價標(biāo)準(zhǔn)，通過對學(xué)生學(xué)習(xí)的興趣激發(fā)，課程中的聯(lián)動，對課程的評價納入教學(xué)質(zhì)量的管理中來。

本部分提出對課程教學(xué)效果、質(zhì)量的度量。引用度量模型中的效率指標(biāo)，轉(zhuǎn)變?yōu)榇_定相關(guān)學(xué)生評教中的教學(xué)質(zhì)量的測試方法，并以客觀的方式解釋測量結(jié)果。

4.1 統(tǒng)計公式說明

Amin=MIN(Ai),(i=1～n)，表示Amin是A1, A2, … ,An中最小的一個值。

4.2 滿足度公式說明

1）基本滿足度公式。基本滿足度采用測量值與期望值相比較的形式，其基本形式為：其中，Y為教學(xué)效果指標(biāo)滿足度，X為教學(xué)效果指標(biāo)度量值，R為教學(xué)效果指標(biāo)期望值。對不同的教學(xué)效果指標(biāo)，有時滿足度小于1時，表示滿足學(xué)生的教學(xué)期望，且越小越好；有時大于1時，表示滿足學(xué)生的教學(xué)期望，且越大越好。應(yīng)此，為了方便對度量進(jìn)行評價，進(jìn)而有了歸一化滿足度，使得對于度量值有了統(tǒng)一的評價。

2）歸一化滿足度公式。按照教學(xué)效果指標(biāo)的目標(biāo)類型的不同，效果目標(biāo)表現(xiàn)為3種不同的方式。其中，Rmin為期望的教學(xué)效果指標(biāo)最小值；Rmax為期望的教學(xué)效果指標(biāo)最大值；X為效率指標(biāo)度量值，Y為效率指標(biāo)歸一化滿足度。

①期望值為Rmax的情況：

效率指標(biāo)歸一化滿足度的取值范圍被規(guī)范到-1～1之間。當(dāng)歸一化滿足度大于等于0時，表示該指標(biāo)滿足用戶的效率目標(biāo)，且越接近1，滿足的程度越高；當(dāng)歸一化滿足度指標(biāo)值小于0時，表示該指標(biāo)不滿足用戶的效率目標(biāo)，且越接近-1，不滿足的程度越高；而當(dāng)歸一化滿足度等于0時，表示指標(biāo)正好滿足用戶的效率目標(biāo)。

然而，評價的取值范圍被規(guī)范到-1～1之間，并不易于理解，所以有了以下的滿足度評價公式。

3）滿足度評價公式：

其中，E為滿足度評價，為100分值。60分以下為不合格，60～70分為合格，70～80分為中，80～90分為良，90～100為優(yōu)。以此采用學(xué)生評教方式對教學(xué)滿意度進(jìn)行測評。

5 結(jié)論

CMMI模型的度量和分析過程域經(jīng)過改良，是適用于高校信息化評測系統(tǒng)的。可借鑒模型中度量和分析內(nèi)容的合理因素，完善我國高校學(xué)生評教指標(biāo)系統(tǒng)。

1）確定高校評測系統(tǒng)的度量目的，以各個指標(biāo)的代入，以培養(yǎng)學(xué)生的學(xué)習(xí)能力等主體能力為目標(biāo)，考核具體的教學(xué)活動，確定考核方法和指標(biāo)。對高校常見的考核手段和量表等采集方式作了更規(guī)范的數(shù)據(jù)采集、存儲和分析，并定義了度量和過程。

2）明確了采集和分析的度量數(shù)據(jù)，管理和存儲數(shù)據(jù)，并報告度量結(jié)果，可規(guī)范促進(jìn)者的行為評價。對教學(xué)組織形式合理性評價、師生關(guān)系評價、作業(yè)及考試環(huán)節(jié)評價、課程教材與資料的作用評價、學(xué)生學(xué)習(xí)投入和效果的自我評價也給出可借鑒的制定目標(biāo)實踐。

3）詳細(xì)說明評價分析結(jié)果以及進(jìn)行度量和分析活動的實用性準(zhǔn)則，評價分析結(jié)果的實用性的準(zhǔn)則在具體的子實踐中都有包括。

4）評價進(jìn)行度量和分析的準(zhǔn)則包括：遺漏的或已標(biāo)記為不一致的數(shù)據(jù)量是否超出指定閾值，在采樣中是否存在有偏見的選擇（比如只調(diào)查感到滿意的）；學(xué)生來評價教學(xué)的滿意度，或者只評價教學(xué)質(zhì)量較差的課程，來確定整體的學(xué)校教學(xué)水平。度量數(shù)據(jù)是可重復(fù)的（比如在統(tǒng)計上是可靠的），已經(jīng)滿足統(tǒng)計假設(shè)（比如關(guān)于數(shù)據(jù)的分布或關(guān)于合適的度量尺度）。

5）結(jié)果：能及時提供；是可理解的；用于制定決策，執(zhí)行其工作的成本比它所提供的效益要少。

因此，將度量和分析過程域運用于高校信息化評測系統(tǒng)的方法是切實可行的。

[1]朱桂娟.教育信息化水平測評方法研究[J].科技進(jìn)步與對策,2004(5):127-129.

[2]Capability Maturity Model? Integration: Version 1.1(SWCMMI)[M].Pittsburgh, PA: CMU/SEI,2002.

[3]Ahern D M,等.CMMISM精華：集成化過程改善實用指南[M].1版.周伯生,等,譯.北京:電子工業(yè)出版社,2001.

[4]陳曉端.美國大學(xué)學(xué)生評價教學(xué)的理論與實踐[J].比較教育研究,2001(2):29-32.

[5]GB/T 16260.2.軟件工程 產(chǎn)品質(zhì)量,第2部分:外部度量(ISO/IEC TR9126-2:2003)[S].北京:中國標(biāo)準(zhǔn)出版社,2006.