基于OBE的物流類本科專業評價指標體系

甘衛華，蘇 雷，李大媛

（華東交通大學 交通運輸與物流學院，江西 南昌 330013）

1 引言

本科專業綜合評價工程由遼寧省發起并成功實施，作為以評促教、以評促建的重要手段，對于本科教學水平評估、學科建設評估、專業建設來說有著重要的意義。江西省教育廳于2016年開始了全省第一輪本科專業評價工作，200個本科專業的評價于2019年全部完成。但目前本科專業評價基本使用一套通用的專業評價指標體系，一級指標、二級指標維持不變，僅在個別觀測點進行了微調。各專業有其個性，如果用一把尺子衡量所有類型的專業是不合適的，導致專業建設難免趨同。

物流類專業（包括物流管理、物流工程、采購管理、供應鏈管理等）是我國于2000年開始設立的本科專業，在教育部招生目錄中屬于新興專業，具有異于其他專業的應用性、實踐性強等特點。專業建設是人才培養的重要依托，如果不能構建具有物流類特色的專業綜合評價指標體系，那么物流類專業建設必然與其它專業建設趨同，培養出的人才必然不能契合物流業高質量發展的需求。

反向設計理念，即基于產出的教育模式（Outcome-based Education，縮寫為OBE），隨著我國2016年加入《華盛頓協議》后，OBE逐漸成為我國高等教育推行的核心理念。

過去我國本科生培養目標設計的標準是正向設計，即從構建課程體系出發，進行教學設計達到課程教學目標[1]。主要是讓教師知道該教什么、怎么教，課程體系的構建是基于嚴格的學科規劃，遵循各個專業設置和歸類的原則，使得教育的模式具有確定性、封閉性、靜止性，過于強調知識結構的系統性而忽視了專業實踐場景的現實需求[2]。因此，傳統的基于正向教育培養出的人才難免只能“適應”社會、行業以及人才自我發展的需求，而難以實現“滿足”[3-4]。

現在，隨著我國加入《華盛頓協議》，本科生培養目標設計的標準轉換為反向設計理念，即讓學生清楚自己要成為什么樣的人？該學什么？怎么學？對此國內學者進行了一系列的反向設計教育研究，如：張競，等剖析印度Infosys公司校園聯系計劃的主要內容，分析其教育合作模式能夠取得巨大成功的主要因素，提出了IT專業培養模式的反向設計思路[5]。李志義，等進行了基于反向設計思想圍繞畢業要求的教學大綱的設計[6]。蔣丹，等以反向設計為原則，確定工程專業的課程學習預期成果，并設計了相應的教學改革方案[7]。張麗萍，等利用AHP方法構建了高等職業院校專業的評估指標體系[8]。

本文基于OBE理念，以國家一流本科專業建設為目標，解析物流類本科專業發展的正確方向和著力點，并結合Hadamard乘數、信息靈敏度法和AHP，重構更加符合“產出”需求的物流類本科專業評價指標體系。

2 研究步驟

本文研究主要分為兩步，首先是圍繞國家一流本科專業建設要求，將其落實為專業建設的戰略方向和著力點；依據專業建設的戰略和著力點，進行物流本科專業評價指標體系的設計。

在評價指標體系構建過程中，首先，對專家進行訪談，對訪談記錄進行詞頻分析。以江西省開展的第一輪本科專業評價為例，深入剖析江西省高校物流專業本科評價指標（見表1），指出其不足，初步重構新的指標體系[9]。其次，在層次分析法框架下，設計問卷收集專家的意見數據，利用Hadamard乘數方法聚集專家意見并構造指標評價的正互反判斷矩陣，從而計算指標體系各級指標的權重。最后，對新舊指標進行對比分析，解讀新舊指標體系的主要差異。

表1 江西省第一輪本科專業評價指標體系

3 基于語義分析的物流類本科專業建設要求

為了確定物流本科專業建設著力點，圍繞國家“雙一流”建設的目標，首先解析物流本科專業發展的戰略方向，為專業評價指標體系的構建引航。

3.1 物流本科專業相關各方訪談設計

第一步，針對各方與物流本科專業關系分別設置訪談題目；第二步，選擇各方單位的3-5名專家進行訪談；第三步，訪談結束后，對訪談記錄進行詞頻分析，根據詞頻分析結果總結物流本科專業建設著重需要提升的方向。

詞頻分析過程中，為了統計便利和保證分析結果信息的完整性，將相似詞匯處理為同一詞匯。訪談活動的詞頻排名前三的詞匯匯總結果見表2。

表2 物流本科專業相關各方訪談結果詞頻統計

從表2看出，在“選擇物流類本科專業就讀的原因”的訪談中，“就業”受到的關注度最高，“就業率”、“就業待遇”、“就業穩定”是被提及最多的詞匯，除此之外，實習機會也受到一定關注。在“對物流本科畢業生的期待”的訪談中，被提及最多的詞匯集中于專業能力、溝通能力、職業道德、組織能力和創新思維等方面，反映了用人單位對物流本科畢業生能力與素質方面的期待。在對“被訪談者專業的相對優勢”的訪談中，被提及最多的詞匯是就業質量、就業面、知識新興。就業相關詞匯共被提及22次，占比61%，說明就業情況是專業自信的重要支撐。在對“被訪談本科高校物流專業的優勢”的訪談中，被訪談高校師生對自己院校的自信具體體現為對“師資力量”、“就業質量”和“實驗設備”三點。在對“被訪談高職院校物流專業的優勢”的訪談中，院校師生對自身的財會和編程能力，以及實驗條件比較自信，也有人認為就業率是其優勢。

3.2 指標重構基本依據

總體來看，為了能適應社會需求、保持競爭力，物流本科專業當前的發展應該著力于學生專業能力、學生團隊能力（協作、溝通與組織能力）、學生創新能力、學生品德素質、專業師資力量、實驗設備條件、實習機會、課程體系、就業率和就業待遇11個方面，這些方面可歸屬于提升學生能力與素質、改善環境與資源、提升就業質量三大戰略方向，而發展著力點和戰略方向即評價指標體系重構的基礎，見表3。

表3 物流類本科專業發展著力點

4 重構物流本科專業評價指標體系

根據上節的結論，可將物流專業發展戰略方向濃縮為物流評價指標體系的一級指標，對應的發展著力點整理為二級指標，而三級指標作為二級指標的觀測點，以《江西省普通高校物流工程與管理類專業本科評價指標體系》為參考，結合相關文獻、行業規則等選取、提煉和補充。

通過對江西省現有的物流指標體系的考察和全國范圍內相關文獻（包括政府公文、學術文獻等）的閱讀，選取、提煉和補充后，得到24個三級指標，見表4。選取、提煉和補充三級指標的相關依據見表5。

5 評價指標體系的權重設計

5.1 計算方法

初始指標體系建立后，需要對其進行賦權。指標的賦權研究有主觀賦權（專家調查法、德爾菲法、層次分析法等）和客觀賦權法（因子分析法、熵權法等）。客觀賦權法面向客觀數據差異性，客觀世界的概率復雜性往往導致其賦權結果穩定性差，不同客觀方法賦權結果差異大，公信度較低；主觀賦權法直接面向包含了理性和知識的代表性意見，評價結果穩定性和代表性優于客觀賦權法。本文選用層次分析法（AHP）進行初始指標體系的賦權[10-11]。

表4 重新設計物流本科專業評價指標體系

表5 三級指標觀測點選取相關依據

在AHP賦權框架中，應用信息靈敏度方法進行問卷樣本篩選，以及Hadamard乘數法構造判斷矩陣。信息靈敏度是一組數據的標準差與均值的比值即相對離散系數，用以衡量一組正態數據的信息含量，可以用信息靈敏度進行異常樣本的識別，刪除失效樣本。本文將樣本的信息靈敏度定義為樣本有效性指數Ci，Ci的有效性區間取[0.05,0.95]，即樣本有效性指數介于0.05-0.95之間則認為該數據樣本不是異常樣本，予以保留，否則予以刪除。Ci的計算公式為：

其中：Ci表示樣本i的樣本有效性；

xij表示樣本i在第j個題目的評分；

n表示題目個數。

在問卷填寫過程中，專家的匆忙評分或情緒波動等因素，會造成選項評分異常整齊、異常離散的狀況，通過“樣本有效性”可以篩除該類樣本。

Hadamard乘數是矩陣之間做元素乘積的一種運算，見式（2），該運算與求和方法相比，能強化較小的值對運算結果的影響，利于實際問題中防止整體數據的過度“樂觀”，見表6。取專家意見樣本的Hadamard乘數的幾何平均適用并便于簡化專家意見進而構造判斷矩陣。

其中：a表示A專家的評分情況，b表示B專家的評分情況。

表6 Hadamard乘積低值強化效應示例

5.2 專家意見收集與判斷矩陣合成

5.2.1 意見數據收集。基于初始指標體系的24個觀測指標，制定Likert五級問題量表，問題打分規則為：“非常重要”5分、“重要”4分、“一般”3分、“不重要”2分、“可忽略”1分。整個專家意見征詢過程中，遵守匿名性原則，使用網絡問卷單獨向每位專家發送問卷和接收反饋結果。調查對象囊括物流相關高校的專家、物流企業重要崗位負責人或領導者，共回收問卷45份，問卷回收率為100%，獲取到含45條數據集，沒有數據缺省。

對量表的有信度檢驗，通常用克勞伯克（Cronbach）Alpha系數來表示，克勞伯克通常介于0和1之間，數字越高相關性越高，反映出量表的信度越好，量表工具的性能越佳。統計界普遍確立的Alpha系數下界為0.7；專家權威系數、判斷系數、熟悉程度計算參照吳建新等（2014）計算方法。

依據專家意見數據集的問卷信度測試結果見表7，數據樣本的信度系數在0.7以上，說明該調查具有良好的性能；專家判斷系數值0.86、專家熟悉程度系數值0.83、專家權威系數值0.85、專家協調系數值0.347，專家組的權威性、積極性、協調性良好。

表7 專家咨詢意見的各項系數檢驗表

5.2.2 數據樣本篩選和判斷矩陣合成。經過樣本有效性計算，來自專家45份意見的樣本中，共有40個樣本被排除在異常樣本之外，是有效樣本，可以利用。

按照層次分析法的標準規則，判斷矩陣應基于1-9標度的互反數專家打分表，打分表的分值體現了專家對指標之間重要性比較的判斷。本文利用專家對指標的意見數據來構造判斷矩陣，將指標重要程度對應分值之間的正值差區間與判斷標度對應，見表8。

通過對專家評分數據進行Hadamard乘數后取幾何平均，得到23個指標的綜合得分，見表9。

表8 專家意見評分正值差區間與判斷矩陣標度對應表

表9 各級指標的綜合得分

結合表9的綜合得分和表8的專家打分標度劃分原則，除B層指標B2、B7、B8之下僅一個C層指標外，構建各層次的指標相對上級指標的判斷矩陣，以C層指標C1-C6相對于B層指標B1的判斷矩陣和B層指標B1-B4相對于A層指標A1的判斷矩陣為例，見表10、表11。

表10 C1-C6相對于B1的判斷矩陣

表11 B1-B4相對于A1的判斷矩陣

現實中，形成的判斷矩陣并不能保證具有完全一致性，需對人們思維判斷一致性程度進行一致性檢驗。一致性比例為CR，計算方法見式（3），其檢驗公式為當C.R.＜0.1時，認為判斷矩陣具有滿意的一致性；否則，判斷矩陣不具備一致性，應重新構造判斷矩陣。

其中 CI（Consistency Index）為一致性指數，RI（Random Index）為平均隨機一致性指標，取常用標準值，見表12。各層次的判斷矩陣一致性檢驗結果見表13，各矩陣CR值均小于0.1，各判斷矩陣具備一致性。

表12 平均隨機一致性指標

表13 判斷矩陣一致性檢驗結果

5.3 指標體系賦權

層次分析法中，通常用和積法、方根法、特征向量法求取權重，采用特征向量法求得各判斷矩陣的特征向量歸一化結果，見表14。

表14 各判斷矩陣特征向量歸一化結果對應于指標的值

得到各層指標對應上層指標的相對權重，就可以計算每層指標的絕對權重，也即綜合權重，依據式（4），無論指標層級的數量，知道任意層次指標的絕對權重和知道任意層次指標的相對權重，就能對整個指標體系進行賦權。某個指標的絕對權重是從該層次往上，包括該指標在內的每層次與該指標同類指標的相對權重的乘積。

其中βi表示i指標的絕對權重，表示i指標在N層次中同類指標的相對權重。通過上式表達的權重關系即可得出初始指標體系的整體賦權方案，見表15。

表15 新的物流本科專業指標體系的最終賦權方案

6 物流本科專業評價指標體系前后對比

重新設計的指標體系相比于第一輪江西省本科專業評價指標體系有明顯的優點，見表16。

一是：專注考察人才培養資源和培養能力，而舍棄了對生源人數、錄取線等的考察，精簡了評價項目，便于評價工作實施。

二是：與學生密切相關的教學資源與環境、就業質量等評價因素的指標等級上升且權重加大，學生成為考察的中心，成為“主角”，這符合國家“雙一流”學科建設等政策的號召。

三是：突出評價學生“實踐能力”成果和實踐機會等因素，契合物流本科專業發展“以提高實踐能力為重點”、“保證本專業對應工種實訓教學需要”、“要掌握現代物流知識、了解大數據及智慧物流產業，掌握物流業務操作技能”的特點。

四是：基于行業和專業發展需求設計，符合物流行業發展需要，能夠正確引領物流本科專業的建設。

表16 物流本科專業評價指標體系前后對比

7 總結與展望

“雙一流”建設時期，主張不斷挖掘學科的“社會服務性”，根據社會對應各要素的需求進行學科教育模式的變革，在這樣的背景下，反向設計思路相比于傳統設計思路，更為合理和先進。本科專業綜合評價根本上是為了引導專業的正確前進方向，以與學科產出密切聯系的各方的需求和期待為起點，才能夠正確把握專業發展的戰略方向和建設著力點，設計出更契合專業發展步伐和要求的評價指標體系。本文是運用反向設計方法，確立“產出導向”的物流本科專業評價指標體系，將來可以考察檢驗其在第二輪的本科專業評價工作中的效果，為國家一流專業建設發揮作用。