宋素娟+趙成柏

摘要:實踐教學評價指標及其權重的確定是對實踐教學質量評價的前提,文章運用層次分析法結合模糊評價法,分析實踐教學評價指標的權重。計算結果表明,建立的所有判斷矩陣一致性比例均小于0.1,具有較好的一致性,層次單排序結果均滿足一致性檢驗的要求,各指標的層次總排序順序與實踐教學的實際情況較為相符。因此,用層次分析法計算實踐教學質量評價指標的權重值比較準確、可信,可為下一步提高經管類專業實踐教學質量提供管理支持。
關鍵詞:層次分析法;實踐教學評價;指標權重
基金項目:高校經管類專業實踐教學評價改革的研究與實踐,2013JSJG127。
中圖分類號:G647
引言
本文主要采用層次分析法(AHP)確定指標權重。層次分析法由美國運籌學家薩蒂于20世紀70年代初期提出的。其基本思路是:將評價對象或問題視為一個系統,根據問題的性質和要達到的總目標,將問題分解成不同的組成要素,并按照要素間的相互關聯度及隸屬關系,將要素按不同層次聚集組合,從而形成一個多層次的分析結構系統,從而把問題條理化、層次化。它是將定量分析與定性分析相結合,采用比例標度法,對不同情況的評比給出數量標度,用決策者的經驗判斷各衡量標準之間的相對重要程度,構造兩兩比較判斷矩陣,采用方根法對建立的兩兩判斷矩陣進行求解,進而求取權重,最后對求取的權重進行一致性檢驗,通過一致性檢驗方可認為所求權重合理,否則對判斷矩陣進行調整,重新計算,直至通過檢驗為止,在此基礎上,利用權數求出各方案的優劣次序。層次分析法對于求解指標的權重值具有較好的適應性和準確性,能有效地處理那些難以用定量方法解決的問題。
1研究對象
本研究選取了7位長期從事經濟管理專業教學管理工作的資深專家教授進行專業咨詢。其中2人有擔任校級教學管理單位主管經歷,5人為現任或曾任商學院的教學與行政主管,2人為商學院基層骨干。他們一直從事經管類相關實踐環節的教學以及二級學院和學校的教學管理工作,平均高校工作年限超過25年,均為高級職稱,對經管類專業的實踐教學體系有深切的體會與管理心得。總體上可以認為幾位專家據偶較強的代表性和權威性。
2研究方法
本研究采用了層次單排序和總排序的AHP法。所謂層次單排序是指根據判斷矩陣計算對于上一層某因素而言本層次與之有聯系的因素的重要性次序的權值,先將指標體系分為一級指標和二級指標兩個層次,再分別得出這兩個層次的指標權重,最后將兩個層次的指標權重相乘得出最終的指標權重。層次總排序是基于層次分析法中層次單排序的基礎上給出的。層次總排序的過程與層次單排序的過程大致相同,是為了得到層次結構中某層指標對于總體目標組合權重和它們與上層指標的相互影響,需要利用該層所有層次單排序的結果,計算出該層元素的組合權重,這個過程稱為層次總排序。層次總排序這一步,需要從上到下逐層排序進行,最終計算結果得到最低層次元素,即要決策方案優先次序的相對權重。整個過程可分為以下幾個步驟:
1)建立層次結構
本研究在前期研究中通過多批次的訪談與問卷調研,運用主成分分析和因子分析相結合的方式,構建了以CIPP模型(背景評價C、投入評價I、過程評價P和效果評價P)的四個要素作為經管類專業實踐教學評價指標體系的第一層指標,在此基礎上構建第二層8個指標和第三層15指標的評價體系。
針對經管類專業實踐教學評價的27項指標構建了AHP分析模型。該模型主要分4個層次,即:目標層T,是模型的最終核算和決策最終目標,即實踐教學質量;準則層A,是該模型指標要素層的分類要素,即CIPP四類要素為一級指標;中間層B,指CIPP四個要素所包含的8個二級指標;指標層C,為模型中衡量實踐教學質量的具體指標,共15個三級指標。本研究針對指標層、中間層和準則層對實踐教學質量的權重進行研究。
2)構造判斷矩陣
建立層次分析結構模型之后,需要對每一層次中各指標相對于上一層的重要性進行兩兩比較,構造出比較判斷矩陣,判斷矩陣的構建采用1-9比例標度法,分別對每一層次評價指標的相對重要性進行定性描述,并用準確的數字進行量化表示,判斷矩陣中數字1表示兩元素對某一屬性具有同樣重要性,數字9表示兩元素相比較前者比后者極端重要,中間數字表示意義以此類推,并最終得到多個判斷矩陣,課題組根據前期的指標體系構建結果設計專家調查問卷,請具有豐富經驗的專家進行AHP法問卷調查,調查內容是請他們按照九級判斷尺度表分別為一二三級指標兩兩之間的相對重要性評分,從而得到相應的判斷矩陣(例見表1)。下表為甲專家對實踐教學質量準則層CIPP四個要素在經管類專業實踐中的重要性程度進行兩兩評價的評價矩陣,其余類推。
從表1可以看出背景評價A1和投入評價A2相比較,A2明顯重要,背景評價A1和過程評價A3相比,后者比前者明顯重要,投入評價A2和效果評價A4相比,兩者同等重要。過程評價A3和效果評價A4相比,A4稍微重要,相反A3比A4稍微次要。
3)層次排序結果及判斷矩陣一致性檢驗
層次分析法分為層次的單排序和層次總排序。層次單排序就是指根據判斷矩陣計算對于上一層某因素的排序而言本層次與之有聯系的因素的重要性次序的權值。可以歸結為,求解矩陣的最大特征根和對應的特征的向量,即對判斷矩陣A,計算滿足:AW=λmaxW的特征根與特征向量。式中,λmax為A的最大特征根;W為對應于λmax的正規化特征向量;W的分量Wi即是相應因素單排序的權值。
層次的總排序為確定某層所有因素對于總目標相對重要性的排序權值過程。這一過程是最高層次到最低層次逐層進行的。對于最高層下面的第二層,若上一層次A包含m個因素, A1,A2,… Am,其層次總排序權值分別為a1,a2,… am,下一層次B包含n個元素B1,B2,… Bn,它們對于因素Aj的層次單排序權值分別為bj1,bj2,… bjn(當Bi與Aj無聯系時,bji=0),此時B層次總排序權值分別為 ,當然。
比較判斷矩陣的辦法雖能減少其它因素的干擾,較客觀地反映出一對因子影響力的差別,但為了避免出現A比B重要,B比C重要,而C又比A重要這樣的矛盾情況出現,需要檢驗判斷矩陣是否具有滿意的一致性,以便確定是否接受。判斷矩陣的一致性用隨機一致性比率CR表示,CR=CI/RI,其中,RI為平均一致性指標,CI為一致性指標,CI=(λmax-n)/(n-1),λmax-n越大,CI越大,矩陣的一致性就越差。當CR<0.1時,認為判斷矩陣的一致性是可以接受的,否則應該對判斷矩陣做適當修正以使其具有滿意的一致性。層次單排序和總排序的一致性比率的計算原理是相同的,總排序的一致性比率CR=CI/RI=/
4 結果與分析
1)通過計算,第一層CIPP四個要素的權重分別為:0.17、0.17、0.23、0.43,其中成果評價A4所占比重最大,背景評價A1和投入評價A2所占比重最小。說明專家們一致認為實踐效果評價最為重要,背景評價和投入評價的重要性最低,這和本課題中另一項學生實踐滿意度調查分析中的結論是一致的,學生滿意度與投入評價的相關性較弱。
第二中間層要素中:背景環境A1中管理機制B2比目標定位B1更重要(0.62>0.38);投入環境A2中師資B3比實踐基地與經費投入B4更重要 (0.62>0.38);過程評價A3中教學過程的組織B6遠遠重要于實踐資料B5(0.83>0.17);對于成果評價A4要素中,滿意度與成果B8的重要性遠大于就業率B7(0.8>0.2)。總體而言,第二層指標的重要性依次為滿意度與成果>教學過程的組織>師資隊伍>目標定位>就業率>管理機制>基地經費>教學資料。
在第三層次要素中,排除師資和就業率指標外,重要性排在前5位的分別為實踐成果C15>實踐教學過程的考核與反饋C13>實踐教學定位C2>實踐教學方法C11>學生的實踐教學滿意度C14,排在倒數后5位的重要性為教學文件C9<實踐管理機構與人員C5<實踐教材C8<實踐基地C6<實踐教學內容C10。從排序情況看,專家們更多的關注結果,包括實踐績效和滿意度;而對實踐基地以及實踐教學資料中的三個因素(實踐教材、教學內容的個性化差異化以及可操作性、教學文件)的關注度都很低。
2)對于各項指標的重要性程度,專家們的意見也存在差異,甚至做出完全相反的結論。
在所有的指標中,大家一致認為實踐教學過程的組織相對于教學資料非常重要,學生滿意度和體現實踐的成果相對于就業率而言更加重要,實踐管理機構與人員的安排在相應體系中重要性最低。其余指標的重要性各位專家都有不同的看法甚至完全相反。
判斷完全相反的指標主要有:一級指標中的背景評價(2人認為很重要)和成果評價(5人認為很重要);二級指標中管理機制與目標定位(6人認為管理機制相對重要或特別重要)以及師資與基地經費(5位專家認為師資非常重要);三級指標中經費投入比實踐基地更加重要(5位贊成),教材的選用建設不重要(5位專家贊成),實踐的考核反饋特別重要(6人贊成),實踐過程的安排(只有1位專家認為很重要),對于學生的滿意度與體現成果的要素比較中,只有1位專家強調學生滿意度的重要性。
在這些判斷相反的指標中,易考核與衡量的指標權重較高,相反權重較低,同時專家直接負責的領域權重賦值也較高。基地的建設管理由于社會關系的問題難以穩定,多數專家自動忽略,而經費的投入是非常容易考核衡量的,因此只有負責實踐基地的專家以及一直從事實習工作的專家認為基地建設很重要,對于實踐教材的重要性只有曾經在學校教務部門從事工作的專家更加關注。盡管學校常規檢查重點針對教學文件以及教材的選用,但多數專家認為教學文件的重要性相對很低。可是教學內容的重要性盡管重要,但由于專業知識的特點導致內容的考核難以進行。
5 結論
從前文的分析中可以得出專家們更多的關注實踐的結果、實踐過程的組織、師資的實踐能力以及實踐定位,對于難以控制、難以考核的要素關注度都較低。對各項指標重要性的確定各方面,往往結合了專業實際使用情況,同時不同專家所處位置以及從事實踐教學活動的種類的差異性對各要素的重要性的人是也不同。
參考文獻:
[1]孫宏才等.網絡層次分析法與決策科學[M]. 北京:國防工業出版社,2011