學科競賽評估的實踐與創新

郭偉

一、中國高校智能機器人創意大賽

引發參賽熱潮

《世界教育信息》：尊敬的陸教授，您好！您近期攻關了“高校競賽評估與管理體系研究”項目，在研究項目的同時還推出了智能機器人創意大賽，請您介紹一下競賽相關情況。

陸國棟：我現在所任職的浙江大學機器人研究院位于浙江余姚，由浙江大學和余姚市共建，建設的基本路徑是產學研深度融通、政產學研金五位一體。2017年12月，我們正式推出首屆“中國高校智能機器人創意大賽”。截至報名結束，組委會秘書處收到來自172所院校共756支參賽隊伍的報名，其中本科院校（不含軍警與港澳臺地區高校）共有160所、715支隊伍；7所高職院校、22支隊伍。此外，參賽隊伍中還包括18支來自4所軍校警校的隊伍，1支來自香港中文大學的隊伍。絕大部分九校聯盟高校（8/9）參賽，其中北京大學1支，清華大學3支，南京大學7支，中國科學技術大學8支，浙江大學、上海交通大學、西安交通大學、哈爾濱工業大學各有10支隊伍參賽。大部分985高校參賽（28/39），共計有185支參賽隊伍。接近一半211高校參賽（53/116），共計有300支參賽隊伍。決賽將于2018年5月在浙江余姚舉行，是規模宏大的“第五屆中國機器人峰會”的組成部分。

二、“雙一流”建設背景下，

高校競賽治理處于十字路口

《世界教育信息》：“高校競賽評估與管理體系研究”項目開展的初衷和意義何在？

陸國棟：2015年11月5日，國務院發布《統籌推進世界一流大學和一流學科建設總體方案》；2017年9月21日，教育部、財政部、國家發展改革委正式公布“雙一流”建設高校及學科名單，可以看出“雙一流”建設是高等教育強國戰略和人力資源強國戰略的必然選擇和重要舉措。而縱觀國內外一流大學，無不將本科人才培養和教育教學質量放在學校發展的重要戰略地位。教育部高等教育司司長吳巖在去年召開的第十屆“中國大學教學論壇”上引用哈佛大學本科生院院長哈瑞·劉易斯《失去靈魂的卓越》一書的觀點，指出“沒有一流本科的‘一流大學是失去靈魂的卓越”“沒有一流本科，建設一流大學就是自娛自樂”。一流本科教育是高等教育強國建設的“壓艙石”，是提高和保證高等教育質量的立本強基工程，同時也是“雙一流”建設的核心任務和重要基礎。

一流本科建設的核心要義是培養一流人才。創新思維、創新能力、團隊合作精神、解決實際問題和實踐動手能力等是一流人才必不可少的構成要素，大學生競賽是培養以上這些要素的最有效途徑。古希臘學者普羅塔戈（Plutarch）曾言：“學生的頭腦不是用來填充知識的容器，而是一支需要被點燃的火把”，我們認為學科競賽就是點燃火把的“火種”，是激活學生學習的有效手段。

近年來，學科競賽蓬勃發展，特別是2000年之后，全國性大學生學科競賽數量急劇上升，各高校積極主動組織和參加各級各類學科競賽，全國每年有數以百萬計的大學生在這個舞臺上展示他們的智慧和活力。依據浙江省統計，截至2014年的20年內，浙江省舉辦省級以上競賽近200屆次；28萬多個隊伍100萬余人次參加；培訓學生達150萬余人次；承擔教育部資助學科競賽項目17項中的4項。但在競賽表面繁榮的背后，問題的苗頭日漸呈現，如部分競賽的表演化趨勢漸長，商業意味漸濃，教育功能漸微；部分競賽片面追求量大面廣，內涵乏力；個別競賽管理不規范等。由于缺乏統一的全國性協調組織，各個競賽組織單位各管各的競賽數據，數據“孤島”的藩籬使得全國高校競賽質量數據分散、凌亂、復雜，高校、社會和政府對于到底什么樣的競賽是高質量的競賽缺乏確切的判斷依據。高校學科競賽數據的割裂、競賽質量觀念的模糊等問題使得競賽治理面臨重重迷霧，高校競賽治理正處在十字路口。

為了進一步規范管理、推動和發揮學科競賽類活動在教育教學、人才培養等方面的重要作用，規范、引導和協調競賽機制，中國高等教育學會于2017年2月啟動“高校競賽評估與管理體系研究”項目，對我國高校學科競賽開展、組織和實施情況進行調研、分析，構建評估體系。

我們用不同的關鍵詞在Web of Science數據庫進行了搜索，發現國外關于高校競賽的研究多集中于某一項競賽，如ACM國際大學生程序設計競賽（ACM-ICPC）等，全國性的競賽評估活動我們尚屬首例。

三、競賽評估的評估原則、評估模型、

平臺架構和排行榜發布

《世界教育信息》：這項研究經歷了怎樣的過程，有哪些人參與了項目的研發？

陸國棟：“高校競賽評估與管理體系研究”項目從2017年2月22日正式啟動，7月加快了進程，已密集地組織了20多次項目組討論會和3次專家研討、論證會，討論、確定高校競賽評估的評估原則、評估模型、平臺架構和排行榜發布要求等。到目前為止，整個研發過程經歷了以下幾個階段。

2017年2月-8月為第一階段。項目組討論確定項目研究框架、步驟和基本分工；8月分別在廣東江門、江蘇南京召開了兩次專家研討會，通報項目的基本情況，包括模型設計、數據采集、平臺研發等的構想和設計，通過研討，項目組虛心吸納專家意見，完善評估框架和安排。

2017年8月-12月是第二階段。在三個月內召開了7次項目組工作會議，完成了持續不斷完善數據，征詢來自教育管理部門、競賽管理部門的專家對于評估模型的意見和建議，完善評估模型，著手研發競賽管理平臺等工作。11月召開了第三次專家研討會，各位專家為完善模型提供了支持。

2017年12月14日，首次向社會發布全國普通高校學科競賽評估結果。共發布了12個榜單，包括分本科和高職組發布2012-2016年高校學科競賽評估結果（前300名），2014年、2015年和2016年當年的評估結果（前100名）；2012-2016年以及2014、2015和2016年的省份排名情況（分別發布前15名和前10名）。在第一次發布之后，評估結果引發全社會關注。人民網、中國日報、新華網、中國教育報等媒體都對高校學科競賽評估進行了宣傳和報道；中國高教學會、青塔等公眾號進行了報道，點擊量合計超過10萬次；各高校對自身的評估結果在學校主頁進行了相關報道。有部分高校對高校學科競賽評估做出了積極回應，如上海交通大學召開了新聞發布會，借此東風宣傳學校的創新人才培養情況；部分高校更是將我們組織的高校學科競賽評估活動納入學校競賽管理體系，引導學校開展和參與高質量的競賽活動。

2018年1月至今是第三階段。首次組織這樣的全國性評估，是一個從無到有的過程，數據采集量大且涉及面廣，工作量巨大；模型設計和平臺架構也需要征詢多方意見。第一次發布會的時候，2017年競賽數據還不全，僅發布了2012-2016年的評估結果。在此基礎上，項目組又投入到針對2017年高校競賽的評估活動中。2018年2月2日，我們在北京發布2013-2017年的五年榜單和2017年單年榜單。同時發布的還有浙江省和吉林省的省級評估結果、競賽白皮書和2012-2017年高校教師競賽狀態數據。后續，項目組會盡快完善平臺，盡早向社會提供競賽數據服務。

在評估活動的參與人員情況方面，2017年9月20日，中國高等教育學會發布了《關于成立<高校競賽評估與管理體系研究>和<高校教學創新大賽>專家工作組的通知》，正式成立高校學科競賽評估專家工作組。專家工作組由高等教育學會副會長、秘書長康凱任領導小組組長，中國高等教育學會副秘書長王小梅和浙江大學黨委副書記朱世強教授任專家工作組組長，我和中國高等教育學會事業發展部主任吳英策任副組長，組員由浙江大學、杭州電子科技大學、中國計量大學、浙江大學城市學院、西南交通大學、杭州簡學科技有限公司相關領域研究專家組成。下設了“高校競賽評價體系研究與發布”“高校競賽評估模型構建與研究”“學科競賽數據收集分析與優化”“學科競賽排行榜平臺架構與研發”4個子項目。

《世界教育信息》：評估開展的原則、理念和思路是什么？

陸國棟：當前我國學科競賽現狀紛繁復雜，有不同的主辦單位、存續時間、學科分布和類型等，對眾多復雜的學科競賽進行評估難度較大。特別是學科競賽舉辦主體越來越多元，市場機制在學科競賽中的作用越來越大，教育行政主管部門對于學科競賽的治理必須尊重市場規律和競賽運行規律。大家都知道，信息不對稱性是造成市場混亂的主要原因之一，由于市場各主體缺乏對有關信息的了解，各主體之間的溝通不暢、政府治理費時費力且成效甚微。學科競賽治理也是如此。高校由于缺乏對競賽實際質量的充分了解而產生選擇困惑；競賽主辦方也由于缺乏來自高校的反饋機制，而無法通過競賽的改革來切實提升競賽在創新人才培養中的作用。基于以上考慮，我們認為提高學科競賽在全社會中的信息透明度，應該是解決學科競賽組織失范和高校選擇困惑的有效途徑。因此，我們提出以向社會公布高校學科競賽評估結果的方式，引導學校選擇高質量競賽，提高競賽活動在創新人才培養中的成效，以期通過這種機制來優化競賽格局。

通過競賽評估，我們期望達到兩個方面的目的。第一是優化競賽。在對當前全國性學科競賽的組織及開展現狀進行全面摸排的基礎上，根據一定的原則篩選納入評估的競賽項目，并賦予相應的權重，以此倒逼競賽規范賽事、提高質量。第二是引導學校。為了更好地鼓勵高校參加和組織競賽活動，在評估中引入“組織貢獻”指標，將競賽項目的秘書處單位（高校）、每年競賽的承辦高校、競賽活動的優秀組織單位和優秀指導教師等項目都納入評估指標，以此引導各個高校提高自身對競賽活動的組織貢獻；同時，考慮將競賽延伸的教學成果獎、教育教學改革論文等顯性研究成果納入評估指標，引導高校在現有基礎上進一步探索競賽活動在人才培養中的作用，深化創新人才培養改革。

高校學科競賽項目類型多樣，特征多變。對高校學科競賽成效進行評估必須遵循一定的原則，才能保證評估的科學性、公平性和有效性。通過充分的討論和醞釀，我們制定了以下評估原則，在評估過程中時刻對照原則，確保評估工作的公平性和有效性。

第一，公平、公正、公開原則。公平、公正是學科競賽評估的靈魂和基礎，公開是保證公平公正的手段。評估過程中做到數據公開、模型公開、計算方法公開，以保證評估的公平、公正。在《中國高教研究》2018年第二期，我們通過論文的形式公開了高校學科競賽評估的思路、方法、模型和數據分析結果。在即將出版的《全國高校競賽評估白皮書（2012-2017）》中將公布全部評估結果。

第二，引導性原則。學科競賽評價的目的不僅僅是分出優劣等級，更重要的是引導高校學科競賽工作的良性開展，提高學科競賽的育人成效。因此在評估模型設計中，我們充分考慮了對競賽組織方提高競賽組織質量和競賽參與方提高參賽質量的引導：評估中按照一定原則篩選全國性高校學科競賽進入評估并對于不同的競賽項目設置不同的權重，實現對競賽項目提高質量的引導；評估中納入高校參與競賽組織的相關貢獻，引導高校積極參與競賽，提高人才培養質量。

第三，可操作性原則。必須確保選擇的指標簡單、實用、可重復驗證。評價操作盡量簡單方便，應保證數據易于獲取，計算方法簡單可行，且不能失真。在保證評價結果的客觀性和全面性的前提下評價指標要與時俱進。

第四，分類原則。我國高校類型多樣，不同類型高校有不同的使命和特征，需要按照不同類型高校分別排行，以照顧高校的不同類型特征，使平行性比較成為可能，同時也是保證公平公正的必要途徑。

第五，成果導向原則。評價指標必須導向各類競賽成果，如競賽獲獎結果、競賽組織貢獻、教學成果、公開發表論文等，一般不考慮軟性的主觀指標。

《世界教育信息》：評估對象的數據來源有哪些？指標體系是如何構建的？

陸國棟：評估對象的數據主要來源于競賽官網，遇到部分競賽官網上數據不完善的情況，項目組會聯系競賽組織的秘書處或當年承辦單位，要求對方提供相關數據。目前，我們已經搜集了1989-2017年50多項全國性高校競賽的相關數據，共有40多萬條，數據點達到幾百萬個，形成了一個比較完善的全國高校競賽數據庫，為后續評估和高校競賽治理奠定了較為扎實的數據基礎。

后續的評估中，我們將進一步規范數據來源，增加秘書處單位對競賽數據的核查力度，確保納入評估的競賽數據的準確性。特別是除了競賽結果數據以外，我們還會采集競賽的參賽數據和組織實施、管理相關數據，為更好地實施競賽治理提供數據支撐。

在競賽指標體系設計方面，我們主要根據高校學科競賽評估目標和思路來設計和構建評估模型，分別命名為“獲獎貢獻”“組織貢獻”和“研究貢獻”。“獲獎貢獻”主要是指高校參加學科競賽的獲獎結果，是學科競賽評估考慮的主體之一，將高校在各類學科競賽中的獲獎情況賦予一定的權重。需要說明的是，參賽獎不考慮納入模型。“組織貢獻”主要是指學校在參與和組織競賽中發揮的作用。一般而言，競賽的秘書處單位承擔著學科競賽的整體運行，對學科競賽的重要性和貢獻有目共睹，應該納入評估模型；此外，在競賽秘書處固定的情況下，學科競賽每年在不同的學校舉辦，承辦學校對每一屆競賽的成功舉行付出了巨大努力，也應考慮納入評估模型；競賽優秀組織單位和優秀指導教師體現高校參與競賽方面的貢獻，也需要納入評估模型。“研究貢獻”主要指以競賽為依托或基礎開展的創新人才培養教育教學改革研究。學科競賽的根本目的在于創新人才培養，要鼓勵學校以學科競賽為抓手，深化創新人才培養模式改革研究，通過研究提升人才培養質量。

《世界教育信息》：高校學科競賽評估平臺的功能有哪些？

陸國棟：根據評估目的，我們構建了一個高校學科競賽評估平臺，為競賽組織方、治理方和高校提供相應的數據服務。目前，平臺可以實現兩個方面的功能：一是呈現排行榜，包括省份排行榜（分別以競賽地圖和數據表形式呈現）和高校排行榜（包括學校獲獎次數和獲獎總分）；二是查詢服務，平臺可以提供單個高校每一項競賽的具體數據，也可以提供任意兩所高校任意競賽項目任意年份的對比數據。

再一次強調，評估的目的不是分等定級，而是持續改進：倒逼競賽項目的持續改進和創新人才培養質量的持續改進。因此，向社會公布榜單只是學科競賽評估的第一步，關鍵在于為高校提供支撐服務，引導高校強化競賽指導力度，提高競賽參與積極性，提升創新人才培養質量。

四、多舉措保障競賽評估結果公正、準確

《世界教育信息》：任何一項科學的評估都需要保證評估結果的準確。在保障評估公正、準確方面，都有哪些措施？

陸國棟：一項評估活動的生命力主要取決于評估的準確性和公正性，高校學科競賽評估也是一樣。我們從以下幾個方面入手確保評估的公平公正。

第一，高等教育學會高度重視評估活動的質量保障和監督。2018年1月11日，在杭州正式成立了“高校競賽評估排行榜”專家委員會，委員會對項目組開展的工作進行監督和指導。由中國工程院譚建榮院士擔任專家委員主任，浙江大學黨委副書記朱世強教授和中國高等教育學會副秘書長王小梅擔任副主任，專家委員會由高校競賽評估工作組織單位的代表、各領域競賽工作相關專家和高校教育管理專家等組成，共21人；設立主任1名，副主任2名，成員17人，秘書長2人（其中一人由成員兼任）。在17名成員中，有15名成員未參與具體評估工作，而是完全站在第三方角度對評估工作進行監督和指導。

為了使高校競賽評估工作更加規范化、制度化、科學化，建立公開、公平、透明的評估項目遴選機制，在專家委員會第一次會議上還通過了《高校競賽評估排行榜專家委員會工作暫行條例（試行）》和《高校競賽排行榜評估項目遴選辦法（試行）》兩個文件。《高校競賽評估排行榜專家委員會工作暫行條例（試行）》對專家委員會構成及秘書處機構、專家委員會工作職責、組成和變更等進行了規定；建立了納入評估競賽項目的入選退出機制，每年秘書處需要向專家委員會匯報年度工作，專家委員會對高校競賽評估工作進行監督和指導，以保證評估工作的公平公正。《高校競賽排行榜評估項目遴選辦法（試行）》詳細規定了納入評估的全國競賽的遴選和退出機制。

有關暫行條例和遴選辦法也納入即將出版的《全國高校競賽評估白皮書（2012-2017）》，接受各方意見反饋。

第二，設立了交叉校驗的工作機制。項目組內開展的每一項工作，都有多名成員對結果進行交叉校驗，以保障數據采集、入庫、處理和模型運行的準確性。如數據采集中，首先通過多方信息來源核對數據的準確性，形成數據的第一次校驗；數據入庫后，為避免入庫操作中的可能偏差，還需要對入庫后的數據與原始數據進行第二次校驗；模型運行后，利用抽查的方式，將排行結果與原始數據進行第三次校驗，以保證數據的準確性。每一項競賽的權重字典和獲獎字典都經過至少兩輪以上的數據復核，每一位復核人員需要對自己的工作簽字確認，并將原始資料歸檔保存。

第三，建立持續更新的高校更名數據庫，避免信息遺漏。近年來，我國高校更名情況比較復雜，為了保證每一條數據都能夠匹配到學校，我們設立了不斷持續更新的學校數據庫，在評估過程中將每一條數據與學校數據庫進行不斷比對，不匹配數據都要找到原因，避免信息遺漏。

編輯 王昕 校對 許方舟