林正展
命題是考試各個環節中的核心和關鍵環節。當前正在進行高考、高中學業水平考試、自學考試等各項考試改革,其改革目標最終要通過命題來實現和完成。隨著教育考試事業不斷發展,新的考試命題業務不斷增多,新參與命題工作的人員也隨著增多,考試命題管理工作的內外部環境也發生相應的變化,產生了許多不確定性的、存在顧慮的、可能轉變成命題工作風險的威脅和問題,命題管理工作任務日益復雜和艱巨。本文試用系統論的原理,對考試命題工作質量保障體系和風險控制進行分析研究,力求命題工作質量保障體系運作于動態循環狀況,保證命題工作風險減輕與可控,促進命題管理質量提升和教育考試事業的發展。
命題質量保障體系可以由命題質量指揮系統、命題質量執行控制系統、命題質量評估診斷系統、命題質量信息收集反饋系統等子系統組成。各子系統完成各自的任務并通過信息互相聯系、相互影響,通過協調配合,形成強有力的內部質量保障體系。由于考試命題系統的特殊性,其各子系統功能通常由系統內各組織共同完成,同時系統內各單位也同時發揮著不同子系統的功能。這幾個系統相互配合、相互制約,它們之間也形成了內部閉環控制系統,經過不斷反饋和調整,最終實現命題工作的質量保證。
命題質量指揮系統:其功能是根據既定的考試性質和要求,制定命題工作質量總目標及各學科質量目標體系,并確定系統內部有關命題工作的政策、規章制度,指揮和協調系統內部各子系統的正常運轉,根據質量信息反饋子系統的信息,負責解釋質量信息并不斷修訂命題工作質量總體目標,總結質量保障成果。
命題質量執行控制系統:其功能是對命題工作質量總目標體系進行貫徹和執行,命題系統內部各學科組要根據目標體系進行分解,制訂出本學科具體的執行計劃,并根據命題工作的總體和學科質量目標體系文件,建立一系列過程管理控制程序,并組織命題和試卷質量的審核,制訂試卷研磨修改及管理整改方案,以減少產生系統誤差。

命題質量評估診斷系統:該系統要對命題工作的質量進行預評和診斷,包括試題測量指標和命題管理工作過程質量,制定出具體的評估診斷程序。通過在施測前的內部質量評價,為質量管理和改進提供參考。

命題質量信息收集反饋系統:其主要功能是搜集的命題質量信息。搜集試題考后實測指標,搜集來自考生、教師、高校、中學、教育評估中介機構、政府管理部門、學生家長等各有關方面對命題工作的評價信息,并對這些信息進行分析和整理,使信息具有可靠性、及時性、全面性,并將分析后的數據和信息反饋給命題質量指揮系統,命題質量指揮系統再進行調整和改進質量總目標及目標體系。

為了保證命題質量保障體系充分發揮各子系統的作用,持續提升命題工作有效性,命題工作過程要采用質量體系文件對命題工作過程進行監督和控制,實行文件化管理。首先要制定質量手冊,包括質量方針、質量總目標和工作框架,再根據質量手冊的要求制定具體的工作步驟、工作流程,最后再制定每個工作流程的實施辦法和工作指導文件。
命題工作整體質量的提高有賴于命題工作各內部子系統質量的提高。命題質量保障體系通過命題質量的輸出值與目標值相比較所得到的偏差,再通過反饋實現其自身控制功能的自檢與更新,不斷自我完善,來調節未來行為,使系統處于不斷優化、不斷完善的過程之中〔1〕。
由于命題過程中潛在的不確定以及所特有的復雜性、創新性和危害后果不可彌補性,使命題工作會存在安全和質量等工作風險。為有效控制和消除命題工作風險,首先必須對命題工作風險進行科學地識別和分類。
命題工作風險識別過程是一個系統過程,要用系統的觀點去識別和分析。風險識別在整個命題工作中又是一個連續的過程,在命題工作的各個階段都要進行命題風險識別。命題工作風險識別是命題風險控制最基礎也最重要的任務。命題工作風險識別不只是命題業務負責人或領導小組的工作,而是全體命題工作人員參與并共同完成的任務。收集與命題工作相關的信息是命題工作風險識別的重要基礎性工作,命題工作風險識別要求收集到信息要具有全面性、及時性、準確性。風險識別是一項綜合性較強的工作,在識別技術和信息收集等方面都具有綜合的特性。命題風險識別可以通過檢查表、流程圖、情景分析法及SWOT分析法等等工具和方法加以識別。
1.質量檢查表。命題工作質量檢查表是在一個表列出命題工作可能演變成風險的顧慮和潛在問題,供命題人員進行檢查核對,用來判別命題是否存在表中所列或類似的風險。檢查表包含試題是否超綱、難易程度、有無政治性、科學性、公平性問題、有無強化社會負面影響的試題和素材、以及答題用時、答題空間、滿分值、各小題分值等等幾十項內容,可以有效地避免命題工作風險。
2.流程圖。制作命題工作過程流程圖并加以分析,可以發現和識別命題工作風險在各個過程發生的可能和風險類別。在制定命題規劃、編制試卷細目表、命題、審題、組卷、審卷、預估難度、反饋、試題研磨等命題工作過程之間都有相應的材料和信息的傳遞,有單向傳遞、雙向傳遞和循環傳遞。通過對命題工作流程圖的分析,可以幫助命題人員分析和了解命題風險可能所處的具體環節和風險的起因與后果。

表1 命題質量檢查表
3.情景分析法。通過命題工作過程有關信息及其它相關數據,對試題施測情景或考后試題測量性能指標狀況進行比較詳細的描繪和預估,分析相關考試風險和命題風險發生場景,從而識別引起這些工作風險的風險源及其影響程度。情景分析法重在對可能發生成為風險的顧慮、問題和不確定性進行模擬、監測、診斷和排查。通過風險場景模擬、仔細檢查、征兆鑒別的方法和手段,識別可以造成考試嚴重后果的威脅因素。
4.SWOT分析法。通過對命題工作內部的優勢和劣勢分析,并準確判斷影響命題工作質量的外部機遇和威脅,把外部的機遇和約束同自身的優劣結合起來,分析識別風險因素,制定出抓住機遇、發揮優勢、規避威脅、彌補缺點等相關的命題工作策略。通過SWOT分析,命題管理者可識別影響命題任務完成的內外部風險源的存在。
風險識別的手段和工具還有很多,如流水作業法、頭腦風暴法等等。命題工作風險在命題工作過程中時時存在,這就要求命題工作者要用系統和權變的觀點,根據命題工作內部條件和外部環境及其它命題工作資源的變化,通過利用自己在命題工作方面的經驗和考試命題理論知識來識別命題工作存在著不確定性、問題和顧慮等演變成風險的可能,適時、定期進行命題工作全過程的風險識別。
按命題工作風險來源劃分,本文將命題工作風險分為自然風險和人為風險。
1.自然風險。由于不可抗力或外力的作用,在命題工作期間或接送卷過程中,造成命題人員身體傷害或命題保密材料泄露作廢的風險。
2.人為風險。由于人的活動而帶來的命題工作風險,根據發生風險的主體不同,本文將命題工作人為風險細分為管理風險、行為風險、組織風險、認知風險。
(1)管理風險。命題工作組織活動過程,由于命題管理組目標不清、管理制度不完善、管理人員職責不明、管理措施不力而引起的失泄密、返工、命題進度拖延、命題教師抵觸情緒大等命題工作風險。
(2)行為風險。由于命題人員個人的過失、疏忽、僥幸等不正當行為造成的失泄密、命題質量問題等命題工作風險。
(3)組織風險。由于命題管理組成員或命題組內有關命題教師之間關系不協調以及其他不確定性而引起的意見分歧、長時間扯皮、嚴重影響命題工作的進展。
(4)認知風險。由于命題教師或命題管理人員認知水平不足和命題經驗不夠,在政治性、科學性、公平性、規范性和信度、效度、難度和區分度等測量性能指性方面審查把關不嚴,而引起命題工作質量出現嚴重問題。
由于命題工作的創新性、獨特性、復雜性及一次性的特點,命題工作風險無法全面度量和徹底消除,命題工作風險損失又具有難以彌補和工作被動的特點,因此,命題工作風險監控和應對尤顯重要。
命題工作風險的監控應采用系統管理方法,建立有效的命題工作風險預警機制,消除或最大限度地控制風險的發生或避免其產生的不利后果。
命題工作風險預警機制就是要熟悉各種風險產生的表象和征兆,采用預先防范的措施,一旦發現有發生風險征兆的發生,可以及時糾正〔2〕。如當命題工作進度與日程安排發生偏差時,就有可能存在不可控制的質量風險和任務完成風險。當發現某個命題組對某道試題爭論不止時,命題風險預警機制就要預示試題有可能存在質量問題,提醒管理人員要去處理潛在認知風險的發生。
命題工作風險監控就是為了最大限度地限制風險的產生,促使管理人員采取一定的措施使風險發生的概率接近為零。在入闈命題期間,要防止已存在的風險因素轉化成現實風險,要限制已經存在的風險和其它人員與材料的接觸程度,做好風險規劃和風險教育,增強風險意識。
在命題風險監控過程中,及時發現那些新出現的風險因素,以及預先制定的風險管理策略不見效的風險和命題工作過程中隨機產生的工作風險,要及時反饋和評估風險性質和風險發生可能產生的后果,重新進行風險管理。
命題工作風險應對就是要綜合考慮命題風險發生的概率、后果嚴重程度以及其他因素,提出命題風險處置方案,從而決定采用什么措施應對風險。
1.預防風險
現代管理理論強調預防為主,做為命題管理者就是要預先識別在命題工作過程中存在著哪些潛在的風險,并且預見到命題工作風險發生可能引起的危害程度,并采取各種措施預防風險。
(1)有效組織崗前培訓和教育。為避免參與命題工作人員不當行為產生的風險,應該對所有參與命題工作人員進行風險教育,教育內容應包括考試性質、命題工作重要性、保密法、失泄密后果和責任、入闈工作紀律以及與命題工作有關的法規、制度和規范,簽訂協議書。教育的目的是使全體人員清楚地明白命題工作所面臨的種種風險,了解和掌握預防風險的方法,避免因個人不當行為而造成不可彌補的損失。
(2)嚴格實行命題工作程序管理。命題工作所制定各種管理計劃、試題命題工作流程以及過程管理中所采用的涉密材料交接和保管、試題質量的審查、流水作業方式等嚴密的工作程序一般都能反映命題工作的客觀規律,其中任何一個程序都必須遵守,并通過教育培訓,努力使所有的人都能夠依照相應的工作程序第一次就把工作做對,避免圖省事、走捷徑等行為的發生,以程序法、制度化的方式管理命題工作過程,可以較好地預防各類風險發生的可能。
(3)合理組建命題工作組織形式。命題承辦部門認真考慮命題管理模式,認真設計入闈命題期間各職能小組和學科命題組結構和人員組成,合理設計命題工作組織形式,防止風險因素的出現,并嚴格控制涉密人員數量,可以有效地避免風險源的產生。
2.回避風險
當命題工作潛在問題演變成風險的可能性太大,不利后果也嚴重,又無計可施的情況,采取主動放棄或改變命題工作執行方案,從而規避風險。命題工作過程中,采取命題工作人員回避制度、回避在學術上尚未定論的觀點、充分考慮到城鄉、民族、行業差異、避免使用強化社會負面影響的素材等等都是避開風險的措施。命題工作的復雜性和高風險性等特點,要求命題管理人員要充分發揮主觀能動性,要對風險出現的可能性和后果的嚴重性有充分的認識,要采取適當措施回避工作風險。當存在泄密等工作風險的潛在威脅,應該采取完全放棄的回避策略。
3.減輕風險
在命題工作風險發生的潛在階段,通過限制和隔離風險源或其它管理手段,達到減少風險產生的目的。對于已知的風險,如團隊中個別人的協作能力不強引起的組織風險,命題管理組就可以采取現有的資源和辦法降低風險的嚴重后果,提高團隊協作能力和團隊工作效率。對于不可預測的風險,要通過各環節的多次核查,采取風險檢查表、流程圖、流水線等過程管理方法,降低和減少風險發生的可能,使不可預測的風險變得已知風險,就可以采取適當辦法減輕和消除風險。減輕命題工作風險就是要將命題工作每個風險都減輕到最低程度或消除,各個風險發生的可能降低了,整體風險就會在一定程度上降低。
4.處置風險
由于命題工作潛在的風險和威脅是無形的,又可能隨著系統內外部環境變化隨機產生,所以命題工作風險在命題工作過程是難以全面度量,有些風險基本上是在無風險征兆的情況下發生的,而且在問題發生時無法全部解決,勢必造成一定的后果。在風險事件發生時,只能采取主動接受風險的應對策略,馬上執行應急計劃,并立即找到問題所在并迅速找到解決問題的辦法。知曉風險發生時,應馬上根據風險類別和風險等級,采取不同應對措施,如啟動試卷風險應急預案、控制風險擴散范圍、穩定考場秩序、使用備用卷等等,去消減風險事件產生所帶來的影響〔3〕。在處理風險事件發生的同時,還必須重新識別命題工作過程的潛在風險,反饋于新的命題管理工作,實現命題工作質量的持續提升。
當前,在教育考試內部和外部的環境發生許多變化情況下,命題管理可以根據系統工程理論和權變管理理論,采用科學管理的技術和方法,加強對工作各環節的質量管理和風險控制,不斷提高命題工作質量。命題質量管理水平和風險控制能力的持續提升必將成為教育考試持久競爭優勢和核心競爭力。
〔1〕林正展.高等教育自學考試質量保障體系構建研究〔J〕.集美大學學報,2010(3):71-75
〔2〕沈建明.項目風險管理〔M〕.機械工業出版社,2003(12):150-156
〔3〕林正展.關于自學考試命題管理持續改進的思考〔J〕.教育與考試,2010(4):11-13