基于過程管理的大創(chuàng)訓(xùn)練項(xiàng)目評價研究

喻秋山

（長江大學(xué) 物理科學(xué)與光電學(xué)院，湖北 荊州 434023）

基于過程管理的大創(chuàng)訓(xùn)練項(xiàng)目評價研究

喻秋山

（長江大學(xué) 物理科學(xué)與光電學(xué)院，湖北 荊州 434023）

現(xiàn)行大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練項(xiàng)目評價體系存在輕過程、重立項(xiàng)、評價主體模糊和成果轉(zhuǎn)化率低等不足，不利于訓(xùn)練項(xiàng)目的健康發(fā)展。為提高項(xiàng)目訓(xùn)練的實(shí)施效果，應(yīng)分別從立項(xiàng)選題、過程實(shí)施和項(xiàng)目結(jié)題等過程中優(yōu)選評價指標(biāo)，采用德爾菲法賦予權(quán)重，建立過程管理導(dǎo)向的評價指標(biāo)體系，同時建議配合使用分類制定結(jié)題標(biāo)準(zhǔn)等措施來推進(jìn)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練項(xiàng)目和評價體系的建設(shè)。對比試驗(yàn)的結(jié)果表明過程管理導(dǎo)向的評價指標(biāo)體系相較于傳統(tǒng)評價體系在創(chuàng)新人才培養(yǎng)和科研成果形成方面有更好的表現(xiàn)。

過程管理；大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練項(xiàng)目；評價指標(biāo)

大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練項(xiàng)目計劃（以下簡稱為大創(chuàng)訓(xùn)練項(xiàng)目）是教育部直接面向大學(xué)生立項(xiàng)、倡導(dǎo)主動實(shí)踐、在國家層面實(shí)施的活動。各高校普遍重視活動的開展，但較少關(guān)注評價體系的建設(shè)。而現(xiàn)行評價體系導(dǎo)向易導(dǎo)致學(xué)生急功近利，研究缺乏深度和探索主動性，培訓(xùn)質(zhì)量和社會效益產(chǎn)出不佳。[1]建立起科學(xué)的過程管理評價指標(biāo)體系可激發(fā)大學(xué)生參與熱情、樹立正確的實(shí)踐導(dǎo)向。

目前，大創(chuàng)訓(xùn)練項(xiàng)目評價體系的研究主要集中在評價指標(biāo)選取方面，可大致分為對參與主體或參與過程進(jìn)行評價。第一類將參與主體作為研究對象選取評價指標(biāo)。如邵進(jìn)強(qiáng)調(diào)指導(dǎo)教師的職責(zé)，主張從指導(dǎo)教師的思想態(tài)度、職稱結(jié)構(gòu)、指導(dǎo)經(jīng)驗(yàn)和能力等方面進(jìn)行評價。[2]綦盛健主張對學(xué)生進(jìn)行評價，認(rèn)為應(yīng)該從大學(xué)生創(chuàng)新意識、交流次數(shù)、團(tuán)隊(duì)合作、實(shí)驗(yàn)開展等方面選取評價指標(biāo)。[3]王志主張將實(shí)驗(yàn)條件納入評價指標(biāo)[4]，而荊濤主張用高校、企業(yè)、校企間的協(xié)調(diào)度和創(chuàng)新能力作為評價指標(biāo)。[5]杜新強(qiáng)認(rèn)為大學(xué)生創(chuàng)新能力培養(yǎng)評價應(yīng)從教師、學(xué)生、學(xué)校等多個角度來建立考評體系[6]，楊建新認(rèn)為應(yīng)從創(chuàng)新團(tuán)隊(duì)建設(shè)的角度選擇評價指標(biāo)。[7]第二類觀點(diǎn)認(rèn)為應(yīng)該從項(xiàng)目實(shí)行過程來選擇評價指標(biāo)，對項(xiàng)目多個參與主體評價。如李旦等認(rèn)為應(yīng)該從選題、實(shí)施和成果三個階段選擇評價指標(biāo)，相應(yīng)主體分別為專家，指導(dǎo)教師，學(xué)生、指導(dǎo)教師和專家。[8]霍麗莎等認(rèn)為評價指標(biāo)選取應(yīng)拓展到全過程各參與主體。[9]

上述研究為大創(chuàng)訓(xùn)練項(xiàng)目評價體系設(shè)計提供了思考方向，其中一些評價量表可為進(jìn)一步研究提供借鑒。多數(shù)研究者從項(xiàng)目參與主體方選擇評價指標(biāo)，這種評價方式簡單、明了，但其對評價對象的研究是靜態(tài)的，不能激發(fā)活動參與者的熱情，扭轉(zhuǎn)現(xiàn)行評價體系中存在的重立項(xiàng)、重結(jié)果、輕過程和成果轉(zhuǎn)化率低等不足。[6-7]而李旦等人提出以過程管理為導(dǎo)向的項(xiàng)目評價指標(biāo)體系可在一定程度上避免以上問題，值得提倡和推廣。[8-9]但沒有針對不同的參與主體分別建立評價指標(biāo)，不利于厘清各個參與主體的職責(zé)和給出合理評價反饋建議。綜上，我們認(rèn)為建立以過程管理為導(dǎo)向，服務(wù)于不同評價主體的分類量化評價指標(biāo)體系，可推進(jìn)大創(chuàng)訓(xùn)練項(xiàng)目和評價體系的健康發(fā)展。

1 過程導(dǎo)向的評價指標(biāo)分析

1.1 立項(xiàng)選題過程的評價指標(biāo)分析

立項(xiàng)選題過程是組織評審專家對申報項(xiàng)目進(jìn)行可行性評議，以決定是否列為資助對象及資助額度。主要包括對項(xiàng)目申請書和立項(xiàng)答辯過程的評審。

過程中側(cè)重對學(xué)生、指導(dǎo)教師、實(shí)驗(yàn)條件和項(xiàng)目潛在市場推廣價值分別量化評價。對學(xué)生的評價指標(biāo)主要是從項(xiàng)目申請書的創(chuàng)新性、可行性、預(yù)期應(yīng)用推廣價值以及項(xiàng)目所需相關(guān)知識的儲備、技能掌握等方面選擇。對指導(dǎo)教師的評價側(cè)重于教師的業(yè)務(wù)指導(dǎo)能力和責(zé)任心，主要從指導(dǎo)教師的專業(yè)背景、研究領(lǐng)域、科研經(jīng)驗(yàn)等方面與學(xué)生選題內(nèi)容的匹配程度以及教師的工作風(fēng)范等方面進(jìn)行參考指標(biāo)選擇。對實(shí)驗(yàn)條件的評價側(cè)重于對實(shí)驗(yàn)設(shè)施和環(huán)境、實(shí)驗(yàn)設(shè)備和材料、實(shí)驗(yàn)項(xiàng)目過程管理等方面選擇參考指標(biāo)。在項(xiàng)目市場推廣價值方面?zhèn)戎赜谠u價項(xiàng)目產(chǎn)品的市場應(yīng)用前景和市場開發(fā)難度。

1.2 項(xiàng)目實(shí)施過程的評價指標(biāo)分析

項(xiàng)目實(shí)施過程的評價是學(xué)生在導(dǎo)師的指導(dǎo)下開展項(xiàng)目研究的過程，這一過程是大創(chuàng)訓(xùn)練項(xiàng)目評價的重點(diǎn)和難點(diǎn)。

這一階段應(yīng)對三個主體展開量化評價。1）對學(xué)生的評價。評價指標(biāo)應(yīng)從學(xué)生在項(xiàng)目實(shí)施過程中對關(guān)鍵問題的解決程度、方法的創(chuàng)新性、精力投入程度、項(xiàng)目進(jìn)度執(zhí)行情況、實(shí)驗(yàn)日志記載情況和對訓(xùn)練過程的總結(jié)與反思等方面選擇。2）對指導(dǎo)教師的評價。評價指標(biāo)應(yīng)該從導(dǎo)師對學(xué)生的指導(dǎo)次數(shù)、學(xué)生對導(dǎo)師啟發(fā)式教育的接受程度、導(dǎo)師的引導(dǎo)具有的創(chuàng)新性思維、資源調(diào)配的合理性等方面選擇。3）對管理方的評價。評價指標(biāo)應(yīng)該從資金、場地、設(shè)備的供給質(zhì)量、數(shù)量、及時性和對項(xiàng)目實(shí)施過程中的有效監(jiān)管情況等方面進(jìn)行選擇。

1.3 結(jié)題驗(yàn)收過程的評價指標(biāo)分析

結(jié)題驗(yàn)收評價是對大創(chuàng)訓(xùn)練項(xiàng)目完成質(zhì)量的結(jié)論性評價。

評價指標(biāo)可從項(xiàng)目組成員在書面評審和答辯評審過程中的表現(xiàn)來選擇。書面評審的評價指標(biāo)主要從學(xué)生對問題解決方案的理解程度、項(xiàng)目預(yù)設(shè)目標(biāo)的完成程度、完成過程中的創(chuàng)新性表現(xiàn)、結(jié)題報告的撰寫水平、導(dǎo)師對學(xué)生在項(xiàng)目執(zhí)行過程中的綜合表現(xiàn)評價等方面選擇。答辯評審的評價指標(biāo)主要從學(xué)生對項(xiàng)目關(guān)鍵內(nèi)容的解決過程闡述、解決方案創(chuàng)新性的體現(xiàn)、研究過程的獨(dú)立性和團(tuán)隊(duì)協(xié)作性、研究成果的水平與價值、答辯過程的表現(xiàn)等方面選擇。

2 評價量表的權(quán)重設(shè)計與評價指標(biāo)體系的形成

2.1 樣本與數(shù)據(jù)來源

在評價指標(biāo)設(shè)計中，研究者常用德爾菲法給不同指標(biāo)賦予權(quán)重，體現(xiàn)指標(biāo)相對重要性。項(xiàng)目評估專家成員的采樣選擇長期從事大創(chuàng)訓(xùn)練項(xiàng)目指導(dǎo)、評審和組織的專家，他們的觀點(diǎn)往往具有較高的信度和效度。為了增強(qiáng)代表性，我們以教育部公布的《2014年國家級大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃實(shí)施工作先進(jìn)單位名單》中活動開展表現(xiàn)優(yōu)秀的4所高校（部屬高校2所：華中科技大學(xué)、中南大學(xué)，地方高校2所：湖南師范大學(xué)、長江大學(xué)）為藍(lán)本進(jìn)行問卷調(diào)查。

問卷分為三個部分。第一部分是個人信息，包括性別、年齡、學(xué)歷、學(xué)校。第二部分是“您認(rèn)為立項(xiàng)過程、項(xiàng)目實(shí)施和結(jié)題驗(yàn)收過程在大創(chuàng)項(xiàng)目評價中應(yīng)該占多大比例”。第三部分是“請您對以下指標(biāo)賦予權(quán)重”。問卷采用現(xiàn)場采訪、現(xiàn)場填寫并回收的方法，一共獲得有效問卷40份。

2.2 權(quán)重的計算方法

權(quán)重的計算方法采用加權(quán)平均法。第一步，計算平均值。每個二級指標(biāo)的權(quán)重（Uij, i, j=1, 2, 3…）先按照40位專家的平均分計算，匯總后得到一級指標(biāo)的權(quán)重（Ui, i=1, 2, 3…）。第二步，差異調(diào)整。由于問卷第二部分已經(jīng)對一級指標(biāo)進(jìn)行了評價（xi, i=1, 2, 3…），匯總后得到一級指標(biāo)的權(quán)重可能與專家填寫的權(quán)重有差異。如果差異，我們采用Ui和xi的平均值。第三步，確定最終的權(quán)重。為了方便使用，我們對權(quán)重取整數(shù)，并剔除權(quán)重小于5%的指標(biāo)。

2.3 形成評價指標(biāo)體系

指標(biāo)體系主要由指標(biāo)和權(quán)重構(gòu)成。由于篇幅限制，我們將過程導(dǎo)向的理工類大創(chuàng)訓(xùn)練項(xiàng)目評價指標(biāo)體系設(shè)計為如下3個量表（表1～表3）。

表1 高校理工類大創(chuàng)訓(xùn)練項(xiàng)目立項(xiàng)選題過程中評價指標(biāo)體系構(gòu)成（占30%）

表2 高校理工類大創(chuàng)訓(xùn)練項(xiàng)目實(shí)施過程中評價指標(biāo)體系構(gòu)成（占40%）

表3 高校理工類大創(chuàng)訓(xùn)練項(xiàng)目結(jié)題評價過程中評價指標(biāo)體系構(gòu)成（占30%）

量表對各評價主體依立項(xiàng)選題、過程實(shí)施和結(jié)題答辯三大階段設(shè)立評價指標(biāo)，共設(shè)一級評價指標(biāo)9項(xiàng)、二級指標(biāo)42項(xiàng)。項(xiàng)目量化評價實(shí)行分部計分、加權(quán)賦值求和的方法，計算公式如下：

其中，X表示項(xiàng)目實(shí)施過程的總得分，Ui和Uij表示一級、二級指標(biāo)在項(xiàng)目評價指標(biāo)中的權(quán)重。

3 比較與分析

我們采用實(shí)驗(yàn)追蹤的方法檢驗(yàn)過程管理導(dǎo)向的大創(chuàng)訓(xùn)練項(xiàng)目評價體系的有效性和先進(jìn)性，實(shí)驗(yàn)對2015年參與大創(chuàng)訓(xùn)練計劃的多組學(xué)生和指導(dǎo)教師全程跟蹤。

3.1 準(zhǔn)備階段

調(diào)查樣本的準(zhǔn)備工作可追溯到試驗(yàn)小組的選題和組隊(duì)階段。為保證研究樣本的多樣性和代表性，我們爭取到了學(xué)校創(chuàng)新創(chuàng)業(yè)中心和學(xué)院、師生們的支持。首先，我們將參與實(shí)驗(yàn)的教師分為傳統(tǒng)組（立項(xiàng)和結(jié)題的評價比重大）和過程導(dǎo)向組（過程管理評價比重大）。接下來，組織參與實(shí)驗(yàn)的學(xué)生進(jìn)行選題提議和討論，選出《照度分級的智能照明系統(tǒng)》等17個項(xiàng)目作為立項(xiàng)申請的優(yōu)選題目，再根據(jù)學(xué)生自薦和推薦等方式選出12名項(xiàng)目負(fù)責(zé)人，挑選出12個項(xiàng)目，組建起12支小隊(duì)。在兼顧自由組隊(duì)的前提下，為平衡試驗(yàn)結(jié)果的代表性，參照組員的綜合能力評價對部分組員進(jìn)行了微調(diào)，使得各組間的整體綜合實(shí)力水平較為接近。

3.2 評價標(biāo)準(zhǔn)影響大創(chuàng)項(xiàng)目選題的對比實(shí)驗(yàn)

學(xué)生組隊(duì)后根據(jù)選題自行查閱文獻(xiàn)資料和撰寫項(xiàng)目申請書。申請書撰寫完畢后，我們將12個小組隨機(jī)分為傳統(tǒng)評價組和過程管理導(dǎo)向評價組（各6個組），然后由各導(dǎo)師組教師就各組申請書統(tǒng)一點(diǎn)評，并就項(xiàng)目實(shí)施過程中的評價標(biāo)準(zhǔn)和要點(diǎn)進(jìn)行了介紹，再由各小組對原項(xiàng)目申請書進(jìn)行修改和完善。

將兩個組的項(xiàng)目申請書內(nèi)容進(jìn)行對比分析。傳統(tǒng)評價組在研究內(nèi)容上更偏向于對某儀器、設(shè)備、工藝或理論中的某一點(diǎn)進(jìn)行改進(jìn)設(shè)計等微創(chuàng)新。與修改前相比，內(nèi)容上略有精簡，思路更為清晰，目標(biāo)更為明確，重視研究成果，難度略有降低。整體上表現(xiàn)出研究視野較窄，講究“短”“平”“快”。而過程管理導(dǎo)向評價組則在研究內(nèi)容上更傾向于對過程的探索和興趣研究，表現(xiàn)出較寬的研究視野,也顯得更為專業(yè)和系統(tǒng)性，難度有所提高。

根據(jù)上述申請書內(nèi)容的變化，我們認(rèn)為評價指標(biāo)對項(xiàng)目選題有著明顯的導(dǎo)向性。傳統(tǒng)評價普遍重視結(jié)果評價，學(xué)生傾向于選擇更低難度，更多重視成果；而過程管理導(dǎo)向的評價引導(dǎo)學(xué)生更為重視訓(xùn)練過程中能力培養(yǎng)，也容易設(shè)定更高的目標(biāo)和要求，挑戰(zhàn)更高的難度，更易實(shí)現(xiàn)綜合能力的培養(yǎng)。經(jīng)過院校兩級的項(xiàng)目評審，最終有9個小組（傳統(tǒng)組5組和過程管理評價組4組）獲得立項(xiàng)。

3.3 評價標(biāo)準(zhǔn)影響大創(chuàng)項(xiàng)目實(shí)際工作開展的對比實(shí)驗(yàn)

各小組同學(xué)在導(dǎo)師組教師的指導(dǎo)下進(jìn)行了相關(guān)課題的開展，并于2016年6月都順利通過了結(jié)題答辯。隨后，我們查閱了各小組的實(shí)驗(yàn)過程筆記和項(xiàng)目結(jié)題報告，并訪談了部分參與試驗(yàn)的項(xiàng)目組成員、導(dǎo)師、評審專家和管理人員，對項(xiàng)目實(shí)施過程情況進(jìn)行了整理和對比分析，認(rèn)為幾個方面對比較明顯，如表4。

表4 不同評價體系導(dǎo)向下的實(shí)驗(yàn)小組項(xiàng)目完成情況對比

過程管理導(dǎo)向的大創(chuàng)項(xiàng)目評價體系更為重視過程評價，降低了結(jié)果評價權(quán)重，對項(xiàng)目的實(shí)施過程具有明顯的導(dǎo)向性，取得了較傳統(tǒng)評價更好的訓(xùn)練效果。主要表現(xiàn)在：1）解決問題能力的培養(yǎng)上。過程管理導(dǎo)向的評價體系鼓勵學(xué)生積極探索，發(fā)現(xiàn)問題、解決問題，注重新思維的培養(yǎng)，富于創(chuàng)新。表4的數(shù)據(jù)支撐了這一觀點(diǎn)，過程管理組在試驗(yàn)過程中遇到更多的問題，在解決問題上也表現(xiàn)更積極，與指導(dǎo)教師的溝通次數(shù)也更多，完成論文的質(zhì)量更高。2）最終成果的完成質(zhì)量和數(shù)量上。過程管理導(dǎo)向組的同學(xué)在完成過程中能更多地培養(yǎng)自己綜合素養(yǎng)，具有后發(fā)優(yōu)勢得到的外界評價也更高。

4 結(jié)語

本文構(gòu)建了過程管理的大創(chuàng)項(xiàng)目評價體系。該評價體系從大創(chuàng)項(xiàng)目的立項(xiàng)實(shí)施和結(jié)題階段分別選擇指標(biāo)，利用德爾菲法賦予權(quán)重，形成由9個一級指標(biāo)42個二級指標(biāo)構(gòu)成的過程管理評價體系。該評價體系在對比性試驗(yàn)中表現(xiàn)出良好的導(dǎo)向性更優(yōu)的訓(xùn)練效果，管理方可以利用該評價指標(biāo)體系發(fā)現(xiàn)項(xiàng)目執(zhí)行過程中存在的問題，展開量化評價，分類制定結(jié)題驗(yàn)收標(biāo)準(zhǔn)和獎懲等措施，并可在現(xiàn)有基礎(chǔ)上建立不同學(xué)科的評價指標(biāo)體系，推進(jìn)大創(chuàng)訓(xùn)練項(xiàng)目的健康發(fā)展。

[1]王詠星，謝麗瓊. 指導(dǎo)國家大學(xué)生創(chuàng)新實(shí)驗(yàn)計劃項(xiàng)目的幾點(diǎn)體會[J]. 實(shí)驗(yàn)室科學(xué)，2012（4）：206-208.

[2]邵進(jìn)，董婷，王唯.“大學(xué)生創(chuàng)新性實(shí)驗(yàn)計劃”項(xiàng)目指導(dǎo)教師評價考核研究[J]. 高等理科教育，2013（6）：46-49，76.

[3]綦盛健，陸樹良. 大學(xué)生創(chuàng)新實(shí)驗(yàn)中學(xué)生主體地位的思考與實(shí)踐[J]實(shí)驗(yàn)技術(shù)與管理，2009（12）：29-31.

[4]王志，杜云海，劉雯雯. 從大學(xué)生創(chuàng)新實(shí)驗(yàn)談高校實(shí)驗(yàn)室建設(shè)[J]實(shí)驗(yàn)室研究與探索，2013（6）：287-289.

[5]荊濤，鄭永杰，田景芝. 產(chǎn)學(xué)研視域下研究生創(chuàng)新實(shí)驗(yàn)評價體系研究[J]實(shí)驗(yàn)技術(shù)與管理，2014（3）：169-172.

[6]杜新強(qiáng)，冶雪艷. 從大學(xué)生創(chuàng)新實(shí)驗(yàn)項(xiàng)目談學(xué)生創(chuàng)新能力的培養(yǎng)[J]. 黑龍江教育（高教研究與評估），2013（1）：47-48.

[7]楊建新，伍旦初，彭瑞明. 構(gòu)建創(chuàng)新實(shí)驗(yàn)的團(tuán)隊(duì)評價體系[J]. 科技信息，2009（17）：77-78.

[8]李旦，趙希文，吳菊華. 以過程為導(dǎo)向的大學(xué)生創(chuàng)新性實(shí)驗(yàn)計劃評價體系研究[J]. 高等工程教育研究，2010（1）：102-104.

[9]霍麗莎，張玲玲，向林那. 大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃項(xiàng)目過程管理探討[J]. 中國市場，2015（28）：142-143.

（責(zé)任編輯 查明華）

A Research on College Students’ Innovation Training Program Evaluation Based on Process Management

YU Qiushan
(School of Physics and Optoelectronic Engineering, Yangtze University, Jingzhou Hubei 434023, China)

The current evaluation system of College Students’ innovation and entrepreneurship training program is not conducive to the healthy development of the training project, such as heavy project, light process, fuzzy evaluation subject and low achievement conversion rate. In order to improve the implementation of the training program, process oriented evaluation system should be established, concluding indicators selected from initiation process, operation process and f i nal process, and weights are calculated by Delphi method. Process management and classified criteria to finish process are suggested to improve the effectiveness of College Students’ innovation and entrepreneurship training program. The results show that the evaluation index system of process management is better than the traditional evaluation system in terms of innovation personnel training and scientif i c research results.

process management; college students’ innovation and entrepreneurship training program; indicators

G647.38

A

1674 - 9200（2017）03 - 0096 - 05

2016 - 11 - 23

長江大學(xué)教學(xué)研究項(xiàng)目“過程導(dǎo)向的大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃評價體系研究”（ JY2014026）。

喻秋山，男，湖南寧鄉(xiāng)人，長江大學(xué)物理科學(xué)與光電學(xué)院講師，博士生，主要從事數(shù)據(jù)模擬與計算研究。