姚 遠
(北京建筑大學,北京 100044)
隨著我國研究生教育的戰略轉型,質量提升和內涵式發展已成為研究生教育的主題。如何進一步提高研究生教育的質量,已成為高校改革發展的重要課題。學位論文是研究生在掌握扎實的基礎理論和系統深入的專業知識基礎上進行的具有創造性的學術探索,是研究生學識素養和科研能力的綜合展示,也是研究生教育質量的重要成果性體現[1]。它既體現了學位授予單位培養質量和辦學效益,也是研究生教育質量監測的重要指標和著力點。
論文評審對于保障學位論文質量,提升學位授予質量起著舉足輕重的作用。各高校結合實際情況,采用適合學校學科特色和研究生培養特點的論文評審方式,構建學位論文質量保障體系。雙盲評審是目前大多數學校廣泛采用的一種學位論文評審方式。這種評審方式的最大優點是拋開評閱的“人情”因素,最大程度地從學術角度考量論文質量,使得論文評判結果受到較少“非學術因素”干擾,結果更具有公平、公正性。雙盲評審制度經過多年不斷探索,日趨科學完善,在提高學位論文質量,預防不合格論文進入答辯環節,促進學術交流,提高學位授予質量方面發揮了重要作用。
雖然雙盲評審是目前各高校普遍采用的論文評審方式,但具體的組織形式、操作方式、專家選擇方式等存在較大的差別。因此,對現行的雙盲評審方式環節要素設置、過程系統構成、操作運行模式進行分析和比較,將提升論文評審效率、效度、效能,對于構建更加科學的論文質量保障體系有所裨益。
1.直接送審。直接送審是在學校、學院構建了相關學科、研究方向的專家庫基礎上,由管理人員直接將論文送達評審專家,評閱完成后,評閱專家將評閱意見和結果返回相關管理人員的方式。
首先,由于送審環節簡單,送審學校對于專家的選取有自主權,能夠確保專家研究方向與論文內容的匹配度,對評閱結果異議的溝通較為便捷。缺點在于專家庫的構成范圍、更新速度都會受到局限,不易形成更廣泛的學術交流、思想碰撞與學術創新。其次,送審專家的選擇具有主觀性,存在一定“可操作”空間,不利于實現真正的公平公正。最后,在送審過程中由一個管理人員逐一聯系多個專家,送審效率難以得到保障。因此這種方式只適用于送審人數較少的學校或學院。
2.院校互助。院校互助是指送審院校管理人員聯系目標接審院校管理人員,由接審管理人員依據論文學科方向、研究內容等分配相應專家。專家完成評閱,將意見返給本校管理人員,匯總后反饋給送審院校的方式。這種方式是雙盲評審機制初期各高校普遍采用比較傳統的送審方式。
這種方式的優點在于:(1)目標院校選擇的可控性。高校可根據自身的發展定位、學科特色、排名情況選擇適合的送審目標院校,具有較強針對性。(2)評價標準相對統一。即使論文評價很大程度上取決于評閱專家的主觀判斷,不可能做到絕對客觀,但同一高校評閱專家對于論文質量的評判仍會有較為統一的標準,評閱結果具有一定的橫向可比性。(3)操作方式的便捷性。相較于直接送審方式,管理人員只需要與對方院校管理人員對接,相較于“一對多”的送審方式,效率更高。
缺點在于:(1)接審院校比較單一。這種方式往往基于長期合作的慣性,不利于吸收更廣泛論文的改進建議。(2)結果反饋不夠及時。由于結果的批量反饋,即使個別專家在較短時間內完成評閱的意見,也不能及時反饋給相應的研究生,不利于論文修改及質量改進。
3.委托送審。委托送審是指院校將論文交給第三方機構,由第三方機構聯系目標院校,安排評審專家,返回評閱意見的方式。隨著社會經濟發展,社會分工越來越細化,教育服務的供給越來越全面,這種方式越來越被廣大高校所接受,成為目前主流的雙盲評審方式。
這種方式的優點在于:(1)可以使工作人員從繁雜的聯系工作中抽身,緩解了高校論文送審的工作壓力。(2)第三方機構建立廣泛論文評審合作機制,送審目標院校選擇余地更大。(3)評審流程機制健全,結果具有公正性。第三方機構一般都開發相應的論文評審平臺,實現論文評審全流程在線管理,操作便捷,流程規范,有跡可循。院校之間不直接對話,減少了人為操作的可能性。
1.院校自主開發系統。自主開發論文評審系統的優點是:(1)實現與本校研究生管理信息系統有效對接。實現研究生論文自主上傳,評閱結果自主下載,減少了論文、評閱成績在兩個系統的導入和導出,縮短管理流程,提高工作效率。(2)可根據本校實際進行個性化定制。針對新出現的問題、需求進行適時調整,更有利于本校管理目標的達成。(3)系統的安全性可以得到保障。論文評審中涉及研究生、導師個人信息及研究成果,在本校的系統管理框架內運行,不需要與外部系統進行交互,安全性能夠得到最大程度保障。但其缺點也是顯而易見的:一是開發及運行成本較高,系統調整的靈活性較差。二是適用范圍較窄,主要適用于直接送審和院校互助的送審方式,具有一定的局限性。
2.第三方平臺。第三方平臺又可以分為教育部學位中心的論文監測服務平臺和其他商業機構的論文送審平臺。教育部學位中心論文監測服務平臺的典型特點是:(1)權威性與官方性。該平臺專家庫共有30余萬專家,是目前全國規模最大的研究生導師專家庫。大規模的專家隊伍能有效保障學位論文與其研究領域的專家匹配更為精準化,確保評審意見權威、可靠。(2)評價標準的一致性。目前,教育部、北京市及各省市的論文抽檢基本都采用學位中心論文監測服務平臺,各高校在答辯前使用該平臺評審,一定程度上可以減少授予學位后由于抽檢而出現“存在問題論文”的風險。其缺點在于系統的高度標準化,不能對高校的個性化需求進行相應調整。另外,由于系統采用專家自動遴選方式,在交叉學科、邊緣學科、新興學科專家遴選上也容易出現一定的不匹配現象。系統涵蓋的專家庫數量巨大,院校數量繁多,層次參差不齊,在專家遴選過程中存在很大隨機性,即使同一學科專業,不同論文的評選專家也有很大差別,不利于進行橫向比較。
近年來,第三方商業論文評審平臺如雨后春筍般涌現出來,其操作模式主要有兩種:一種是院校借助平臺自主送審,平臺收取一定的使用費;另一種是院校完全委托第三方平臺送審。這種模式與學位中心論文監測服務平臺相比,管理人員只需要上傳論文,最終下載評閱書,不需要在系統中進行遴選操作,不需要隨時關注論文是否有專家接審,能夠減輕工作負擔。同時,平臺可以滿足送審高校個性化的需求,可根據客戶的需求進行個性化的設置和改進。但是相較于學位中心論文監測服務平臺的權威性和安全性,第三方商業論文送審平臺在送審院校范圍、專家庫的數量上仍處于劣勢,其系統的安全性及追責機制也需要通過合同進一步完善和規范。
1.單位自選。由送審院校確定送審目標院校和專家。這種方式基于對論文內容和專家研究領域的深入了解基礎上,相較于其他專家選擇方式,比較適用于冷門的研究領域或者交叉學科領域。
2.委托分派。這種方式一般對應全委托送審方式。高校在委托送審時,對評閱專家所在學校的層次、專家的職稱作出要求。接審院校管理人員根據研究生的所屬學科、研究方向、論文題目及關鍵詞等信息,依據個人的經驗及對專家的了解,對評閱任務進行分配。
3.自動遴選。目前,教育部學位中心的論文監測服務平臺采用的是這種方式。系統根據預制的算法,根據研究生的一級學科、二級學科、研究方向以至于關鍵詞等信息與專家預留的學科方向、研究領域等信息進行相似度匹配,向符合條件的專家發送評閱邀請信息,由評閱專家確定是否同意評閱,在專家不確認或拒評情況下,系統自動進行補選。一般在備選專家庫數量充足的情況下,送審院校管理員不需要進行任何操作,但在備選專家庫數量不足時,需要手動修改相應的遴選規則進行人工補選。
這三種方式各有其適用性和優缺點:單位自選式能夠實現論文與評審專家的最佳匹配,但不適合批量論文評審;委托分派式是否能將論文分配到最適合的專家,有賴于管理人員對論文研究方向的認識和對專家的熟悉程度;自動遴選式效率最高,人為操作的可能性最小,但是這種遴選方式是基于研究生論文內容與所屬學科方向的一致性,以及對研究方向歸納的準確性來分配文章的,當研究生論文研究內容屬于新興學科、冷門學科或者交叉學科內容時,依靠系統自動遴選往往不能匹配到最適合的評閱專家。
全面質量管理TQM(Total Quality Management)是指一個組織以質量為中心,以全員參與為基礎,目的在于通過顧客滿意和本組織所有成員及社會受益而達到長期成功的管理途徑。菲根堡姆對TQM的定義為“為了能夠在最經濟的水平上,并考慮到充分滿足顧客要求的條件下進行市場研究、設計、制造和售后服務,把企業內各部門的研制質量,維持質量和提高質量的活動構成為一體的一種有效的體系”。這個管理理論最早應用于工業生產領域,隨著科技進步,管理學的發展作為公共管理領域的科學理論代表,被廣泛運用于包含教育領域在內的其他領域。美國高校在20世紀80年代最先將全面質量管理理論引入高校教育管理中。實踐證明,全面質量管理對于教育管理水平的提升有著極大的促進作用[2]。
TQM的核心特點是全面性、全員性、預防性、服務性和科學性。在論文評審方式的選擇與運用上,結合TQM理論就是實現以全員參與為基礎,以提高論文評價的準確性、科學性,從而持續提高論文質量為目的,通過全過程和全環節的體系設計,對過程中的風險點進行預判及制定相應的措施,讓研究生和教育參與者都獲得發展的管理途徑。
PDCA循環是全面質量管理中一種科學的工作程序,將質量管理的過程分為四個階段,即計劃(Plan)、實施(Do)、檢查(check)和處理(action)。通過PDCA循環提高產品、服務或工作質量。計劃階段:分析現狀,找出影響質量的問題和影響因素,制定措施和方案。執行階段:執行計劃,落實工作措施。檢查階段:檢查計劃的實施情況,對實施效果進行跟蹤。處理階段:對實施效果進行總結、分析,提出改進建議,并進行調整和改進,提出尚未解決的問題,轉入下一個質量控制循環。
在TQM視域下對論文評審方式進行選擇,利用PDCA循環理論對評審方式進行不斷優化改進,其優勢主要表現在:(1)系統性。在論文評審方式選擇與具體操作中更加注重全主體、全過程、全環節的設置,對影響評審效果的各環節、各要素進行分析,在論文評審中融入質量文化。(2)反思性。基于全面管理理論,在檢查(Check)環節對論文評審的效果進行檢驗和反思,對存在的問題進行梳理和總結,能夠打破工作慣性,提升論文評審這一質量管理環節的效能。(3)發展性。通過規范制度化和程序化的設計使得管理系統的運行不斷自我更新和完善,即便面對學位論文質量的新情況、新問題以及監管體系中存在的不足,都可以通過檢查和處理環節進行持續改進[3]。
基于保障學位論文質量進而提升研究生培養質量的目標,雙盲評審機制快速得到認可及采用,但要真正使其成為研究生培養質量保障中的一個環節,發揮其應有作用,仍需要以系統性制度完善作為有力支撐。
1.全員要素分析:將外在壓力轉化為內在質量追求。全面質量理論的一個典型特征就是強調質量管理中的全員、全過程、全面性。使質量管理中全員達成共識,是開展質量管理的起點和基礎。在論文評審這一質量管理活動中主要涉及的主體包括研究生、導師、管理人員(送審院校管理人員、接審院校管理人員、平臺工作人員等)以及評審專家。對研究生和導師來講,應轉變對論文雙盲評審的認識,不能將其視為論文質量“判決”的手段,而是改進提升的機會。管理人員和評審專家應認識到雙盲評審對于構建研究生論文質量保障體系的重要作用,維護學術評判公平正義的重要意義,以及評判結果對研究生學術生涯的重要影響,本著嚴謹、公正、負責的態度,做好從評審指標的設計、評審系統選取到論文質量評價各個環節的工作。
2.科學合理地確定論文評價體系。雙盲評審的通用做法是送審院校提供固定的評閱模板,評審專家依據模板對論文質量進行定性和定量(打分)評價。有些學校將論文質量管理自主權下移,允許學院或學科根據自身學科專業特點制定針對某一學科或者學科群的論文評價指標體系。評價指標的設置應具備全面性、客觀性、靈活性等特點。
全面性,即在論文評價體系中應從不同方面對論文質量進行全方位診斷,一般應涵蓋論文選題、文獻綜述、創新性、基礎理論與專門知識、獨立從事科研的能力、論文寫作規范性等方面,要堅持定性與定量評判相結合。導向性,即在論文評價指標中應體現不同類型研究生的特點。如學術型研究生論文應考察論文的研究深度及創新性,專業學位研究生論文應考察在經濟社會中的應用前景與價值等。此外,對于每個考察點賦予不同的分值,能夠對論文撰寫起到指導作用。靈活性是指在評價指標設定上要具有一定的靈活性和可操作性。針對不同的研究生類型,應設置有針對性的評價指標體系,但指標的設定應具有一定的普適性,不能太細、太多,以免降低了可操作性,限制專家評價的深度和廣度。
1.根據實際情況確定適合的評審方式。通過對現行的雙盲評審機制比較可知,不同的評審方式有其優缺點和適用范圍。不區分學校層次、學科特點、研究生類型特點而采用“一刀切”的送審方式,必然不能有效反映論文實際水平,不能對論文質量進行最全面的診斷。因此應根據各要素特點,適時選擇評審方式和專家遴選的方式,不斷健全機制。
(1)評審方式的選擇。對于一般的學術型學位,且研究生論文選題與學科內涵具有強關聯性時,可采用委托送審方式,能夠提高送審效率。對于專業學位,可以采用委托送審+直接送審或委托送審+院系(單位)互助送審相結合的方式,以彌補完全由高校專家對論文進行學術判斷帶來的片面性問題。
(2)專家遴選方式的確定。專家的選擇是論文評閱結果信度和效度保障的關鍵。理想的評閱專家除了滿足學校層次、職稱要求外,還應具備與評閱論文的適配性,即專家最擅長、最熟悉的研究領域應與論文內容的良好相關性。此外,專家還應有充足的時間、嚴謹的作風和公正的態度。隨著科研領域不斷細化,學科分支日趨增多,新興學科的不斷涌現,以更科學的方式為論文匹配更適合的評審專家是送審工作的關鍵。基于論文監測平臺的自動遴選方式能夠解決大部分專家遴選需求。對于新興研究領域、前沿創新性課題、交叉、邊緣科學,則應根據實際情況,采用單位自選的方式,以最大程度地達到專家專長與論文內容的匹配。
2.送審過程全程跟蹤。為保證論文送審的有效性,需要對論文評審過程的關鍵環節進行監控。首先,應做好材料準備,明確質量要求。在送審之前要做好學位論文學術不端檢測(查重),確保查重版本與送審版本的一致性,并且做好隱匿處理和論文形式審查。其次,要做好相關材料上傳及系統設置,確保送審相關信息(論文題目、所屬學科、研究方向、論文關鍵詞)的準確性。
在送審過程中,管理人員要關注送審的去向與進度,對返回的評閱意見進行及時審核。對于評審專家的資質以及學術專長不符合要求的,及時進行變更。對評審結果出現明顯錯誤的情況及時退回修改,并結合評閱專家工作作風及態度對評審行為進行記錄和反饋。
根據TQM理論,檢查階段是對流程執行過程的梳理、總結與反思,對于提出改進措施,進行全面優化,進入下一個質量管理循環,實現質量管理螺旋式上升有重要的意義。
1.原創性誤判的隱憂。各個高校的論文送審及答辯時間相對集中,在一個集中時間段內,論文評閱任務激增,導師在完成教學科研、研究生指導任務的同時還要承擔大量論文評審任務。往往越是一線專家,越不愿意或者沒有時間精力承擔評審工作,愿意承擔評審任務的專家往往是已經退出一線研究的二線專家。這些專家由于對于學科前沿的最新動態缺少了解,對于交叉性強、創新性強的論文往往無法做出最客觀的評判。在這種情況下,研究生和導師往往會為了通過論文評審而采取穩妥策略,以精致而平庸的論文代替前沿領域的探索,扼殺了論文的原創性,走向了研究生培養目標的反面。
2.評閱結果的偏差。論文評審本身是一項主觀與客觀相統一,定性與定量評價相結合的活動,這就決定了評價不可能有一個完全統一的尺度。受評審專家的學術觀點、能力水平、學術態度等方面影響,同一篇論文的評價會有不同程度的偏差。因此,對論文評價的結果利用統計學的原理進行檢驗和分析,對不同的評審方式進行比較和總結,為后續進入處理(action)階段提出改進和提升策略提供數據依據,對于提高論文評審的有效性十分必要。
處理環節是PDCA循環的最后一個階段,也是推動下一個質量管理循環的開始。
1.專家庫的完善與優化。不斷健全優化專家庫設置,建立更加智能的專家遴選系統。在數據庫中除了記錄專家的基本信息外,還應詳細記錄專家學術專長,如所屬學科、研究方向、代表成果、擅長領域。此外還應依靠智能化手段記錄專家行為偏好,比如評閱時長、接審偏好、評價風格、拒評概率、活躍程度等[4]。雙盲評審中不公開評審專家的姓名,專家的責任缺乏制約,可能會引發評審專家的盲目評審,有些專家甚至讓學生代為評審,從而影響評閱結果的權威性和可信度[5]。因此,需要定期對專家評審質量進行跟蹤評價,對專家的態度、能力、與學科的匹配等情況進行評價,建立“灰名單”制度,對于評閱態度不認真,評閱中出現明顯觀點錯誤,前后矛盾等問題的專家,取消其評閱資格,對專家庫實施動態調整優化。針對交叉學科、邊緣學科,高校可根據學科特點及研究特色,建立“小同行”專家庫,即在某一細分的學術研究領域,建立專門的專家庫。針對自動遴選專家方式,為保證遴選的準確性與適配性,需要定期對專家的基本信息、研究方向等信息進行更新,對研究方向的描述必須細化、準確、涵蓋范圍盡可能全面。
2.異議申訴機制的健全。當不同評審意見出現共識性偏差時,選出更接近論文的真實評價需要啟動響應的機制,進行進一步判斷。培養單位都應對論文評審結果的爭議處理制度和規則進行系統設計,從異議提出的條件到受理程序,從仲裁的環節安排到救濟機制的啟用,從責任落實的協同機制到最終結論的確定等,進行科學合理的設定。
3.與論文質量保障機制的配套協調。學位論文質量保障是一個復雜的系統工程,論文評審只是其中一個環節,優秀的學位論文不是評出來的,論文評審的作用更多地體現在“防劣”方面,即阻止質量低下的論文進入答辯環節,保障了學位授予的基本底線。但是在“培優”方面還需要更多地從優質生源選拔、培養方案設計、學術能力提升、創新思維培養等方面入手,打好研究生培養質量保障的“組合拳”。