基于實驗設計方法的高等教育教學效果研究

李莎莎 付曉飛

DOI：10.16660/j.cnki.1674-098x.2011-5640-1128

摘? 要：本文采用實驗設計的方法，對數據進行分類處理，分析影響本科課程教學效果的主要因素。考慮到可重復性，數據在同一高校連續兩年進行收集。實驗結果顯示，學生主觀上對影響教學效果因素的看法與采用實驗設計方法得出的結果并不完全相同。該實驗設計方法可以為本科高等教育過程中提升教學效果提供更廣泛準確的理論依據。本次實驗的局限性之一，實驗選取的案例課程，為較受學生喜愛的課專業程之一，但針對不受大學生歡迎的課程進行實驗研究，也是十分必要。該研究只針對本科生課程，研究生課程結果可能會有所不同。這將是未來研究的重點，可以對比出本科生與研究生教學方法的不同之處。本文得出的結果，可以幫助參與教學的老師了解教學過程中提高學生滿意度的因素及其原因，并揭示了實驗分析法可應用到高等教育等領域的評估中。

關鍵詞：教學效果? 高等教育? 實驗設計? 滿意度

中圖分類號：G642? ? ? ? ? ? ? ? ? ? ? ? ? ? ?文獻標識碼：A? ? ? ? ? ? ? ? ? ? 文章編號：1674-098X（2021）01（c）-0181-07

The Research of Teaching Effectiveness in the Higher Education Using Experimental Design

LI Shasha? FU Xiaofei*

（Heilongjiang Institute Technology， Harbin， Heilongjiang Province， 150001 China）

Abstract： The purpose of the paper is to demonstrate the power of experimental design as a technique to understand and evaluate the most important factors which influence teaching effectiveness in the Higher Education.The data was collected over a 2 year period from a postgraduate course offered by the same tutor for repeatability reasons.The key findings of the experiment have clearly indicated that students perceptions of teaching effectiveness based on intuition and guesswork are not identical to the outcomes from a simple designed experiment. Moreover， the results of the experiment provided a greater stimulus for the wider applications of the technique to other processes across the case study higher education sector.One of the limitations of the study is that the experiment was conducted for a popular undergraduate course. It would be beneficial to understand the results of the experiment for less popular undergraduate courses in the university in order to drive improvements.Moreover， this research was conducted only for undergraduate courses and the results may vary for post-graduate courses. This would be an interesting study to understand the differences in the factors between undergraduate and postgraduate teaching effectiveness.The outcome of this experiment would help everyone who is involved in teaching to understand the factors and their influences to improve students satisfaction scores during the delivery of teaching.This paper shows how experimental design as a pure manufacturing technique can be extended to a higher education setting.

Key Words： Teaching effectiveness; Higher education; Experimental design; Satisfaction

實驗設計方法已被證明是過程優化中最有效的技術之一，幾十年來在提高制造過程的效率、能力及性能的研究中被廣泛的應用。但這種技術在服務流程或非制造環境中的應用是非常有限的，目前只有少數文章對其展開過討論。實驗設計的方法可以使研究者和實驗者以最少的試驗或測試次數同時了解多個過程及變量之間的影響，可以直接代替傳統的“嘗試和錯誤”實驗方法，傳統方法依靠直覺、猜測和運氣，不能保證其成功率。盡管實驗設計方法已存在數十年，但還并沒有很好將其用于解決服務流程的效率和有效性問題。

學生及用人單位對高校的教學質量及效果越來越看中，因此，必須定期評估影響教學質量的最關鍵因素或變量，以便有效地滿足學生及用人單位的需求。實驗設計的引入，可以明確影響教學效果的關鍵因素，消除不確定性，從而為高校和教育部門提供有效可靠的理論參考數據。

關于實驗設計應用到服務設計與環境中的相關文獻較少，下面主要介紹在非制造領域下使用實驗設計的文獻綜述，其中更側重于高等教育及教學效果的文獻綜述。文章的最后，介紹了實施過程中的一些挑戰，并以實際數據對影響本科生教學效果的因素展開研究。此外，還介紹了該研究方法的局限性和實際意義，并提出了該方法的未來研究方向。

1? 文獻綜述

在高等教育研究中采用實驗設計方法的相關文獻較少，這表明在高等教育過程中該方法應用的潛力還有待開發。Barone和Lo France就職于意大利巴勒莫大學的環境工程專業，他們結合了服務質量模型進行了實驗設計方法的研究[1]。這項研究歷時兩年，其中24名學生參加了兩次該學術統計過程。實驗結果顯示，師生互動是影響學生滿意度的最主要因素。

Antony、Sivanathan和Gijo在兩個年級進行了三個因素的實驗，以此評估可能影響本科和研究生課程質量的因素[2]。這三個因素包括：授課內容，授課人數以及授課時間。研究表明，課程的授課時間和內容是本科和研究生課程的重要因素。而且，本科生更喜歡下午上課，但研究生表示上午上課的學習效率相對較高。Pee、Park和Yoo提出了一個關于實驗設計的案例研究，用以提高韓國首爾一所大學的教學質量[3]。該研究定量和定性地分析了影響教師授課質量的因素，并選擇了兩項可以由教師控制的因素和三個不由教師控制的因素進行分析，分析結果用以探索最佳的授課方法。結果顯示，在授課之初，保持與學生的親密關系并保持兩個月舉行一次學習交流會，該種方法最為有效。

如何衡量教師的教學效果一直存在激烈的爭論。其主要原因是缺乏明確的教學效果定義，根據Ding和Sherman的研究，教學效果與其概念有明顯的不同之處[4]。例如，作為教師，其本專業領域研究的深度與教學效果不一定正比。我認為教學效果的有效性，應該是被教師和學生雙方面認可的。教學效果并非僅僅是學生的學習效果，同時也包含了其對學習過程的滿意程度。本文的研究就是針對這種定義展開的，該定義將單純意義下的教學效果與學生的學習過程及感受相關聯。在本次研究中，力求從學習的角度去理解影響教學效果的因素。

教師教學效能的差異是影響學生增長的最大因素，其影響一般大于班級規模，學生家庭條件以及其他一些影響學生學習的因素。教學方法則可以直接影響學生的學習熱情。在另一項研究中Marsh和Hattie使用學生對教學的感知作為教學效能的衡量標準，而不是試圖直接用學生的學習情況來衡量評估結果[5-6]。在本次研究中，采用了類似的方法，并且完全根據學生對教學效果的看法進行科學實驗。

國外的教育學家McKeachie將教學效果定義為“促進學生實現教育目標的程度”[7]。有的研究者通過對教師的總體評價和課程價值來衡量教學效果，有的則通過學習成果來衡量。如果沒有正確的教學效果評估模式會導致錯誤的衡量結果。而教學效果顯然是一個非常復雜且非常個人化的評估過程，其中包含許多變量。據報道，教學效果的質量與學生的學習成績有直接關系[8]。根據不同學者的研究，有幾個因素是會影響教學效果的。教學效果與教師能力之間有很強的關系。因此，影響教師能力的因素也可能對教學效果有一定程度的影響。教師的效能可能會受到教師個人特征的影響，這些特征包括敬業精神，思維、推理、期望值和領導能力。有些學者還指出，影響教師效能的因素還包括內容知識，教學實踐，課堂管理技能和課堂環境等等[9-10]。

2? 實驗部分

本文主要針對以下兩個目標進行實驗設計：（1）實驗設計不僅僅只能應用在制造設計中;（2）將實驗設計應用于高等教育研究中。實驗抽取了黑龍江某高校不同年級和專業的本科生為調研對象。實驗分為以下四個步驟：①實驗的前期規劃;②設計實驗步驟;③進行實驗;④實驗結果分析。

2.1 實驗前期規劃

在規劃階段，要求學生從自我主觀角度去評價影響教學效果的因素。抽取兩個年級100多名學生，學生被分成多個小組，每個小組人數不多于8人。從學生的主觀角度，影響教學效果的因素主要由兩部分決定，第一是教師的授課內容是否與實際應用關聯緊密，第二是課程所用教材是否容易理解，便于學習。為了試圖引導學生找到影響教學效果的潛在因素和過程變量，實驗選取的教師具有10年的授課經驗和專業背景。在本次研究中，教學效果主要參考學生的反映情況以及教學質量特征。為了簡單起見，每個影響因素定義兩個等級。假設因素的影響是線性的，因素的定義和等級由各個小組中的學生來確定。經過試驗，學生初步確定了20個潛在因素及其級別，見表1。

隨后分別對各個小組進行多次投票將初始因素減少到可控的數量。在進行多次投票后確定了前11個因素，以便后續進行篩選，進一步確定最重要因素。見表2。

為了研究兩個等級的11個因素，采用Plackett-Burman 判別方法設計實驗。將實驗對象分為14個小組，每組7～8個人。每個小組對影響教學效果的因素進行1～10范圍的評分，1是最低分，10是最高分，分別選取兩個不同年級的學生進行相同實驗，以此可提高實驗的可重復性。

2.2 實驗設計階段

根據實驗在前期規劃中得到的因素組合，展開實驗設計。在這部分，采用12次的PB篩選試驗，篩選試驗設計不能區分主效應與交互作用的影響，但對顯著影響的因子可以確定出來，因此，該設計僅用于研究主要效果，而在實驗中研究或分析因素間強烈的相互作用時，則不應使用這種方法。Plackett-Burman的設計在確定最少的實驗運行或試驗中最重要的因素方面非常強大[7]。表3為以編碼格式顯示的篩選試驗表。篩選試驗表中每個因子的低等級由“ -1”代替，高等級由“ +1”代替。

2.3 試驗實施階段

選取2016級和2017級第一學期，來自同一學校的100多名本科生采集實驗數據。為提高試驗的可信度，Plackett-Burman試驗設計采用了完全相同的因素，實驗進行12次，選取11個影響教學效果的因素，這使實驗可以有足夠的自由度來計算實驗誤差。表4中最后一列為2016級和2017級教學效果平均分數，可以看出相同試驗條件下不同年級之間的平均分數存在差異。

2.4 實驗結果分析

接下來我們對所得的實驗數據進行分析，以得到有效合理的結論。采用Minitab17版對數據進行分析，并使用圖形工具來驗證實驗結果。首先，確定對教學效果平均得分影響最大的因素。通常人們都關心對實驗影響最重要的因素，實際上，不重要的因素對影響產品質量或服務質量同樣重要。一般是將不重要因素的成本控制在最經濟的水平，便于節省成本。從圖1顯示各因素對教學效果影響的絕對值，圖中3.05為參考線。在統計學中，任何因素如超出參考線5%則為顯著因素。

圖1 表明，篩選試驗中最重要因素為（按重要性順序排列）：

（1）講師背景;

（2）教師專業素養;

（3）講師授課風格;

（4）課堂上學生與教師之間的互動;

（5）設施;

（6）課程評估方法;

（7）講師設定的練習類型。

不重要的因素包括學生的反饋、課程內容、課程頻率以及輔助材料。

實驗的最后階段分析了解各因素的最佳設置，以此最大程度地提高教學效果平均評分。為實現這一目標，利用主要效果圖。主要效果圖顯示了各因子每個級別的平均響應值，因此可以比較實驗中各因素影響的相對強度。圖2中符號指示出效果的趨勢，即教學效果平均分數是遞增還是遞減，大小表示效果的強度。如果某因素的影響值為正，則意味著該因素影響教學效果平均得分的有效性較高。表5給出了最大化教學效果得分的最佳設置值。

2.5 實驗的實際意義和局限性

本文針對之前僅限于改善制造工藝中的篩選試驗進行設計研究，成功地將其用于理解和科學評估高等教育課程中影響教學效果的重要因素。在試驗前，選取100多名學生，采用集思廣益和多次投票的方法確定出他們認為對教學效果最為重要的前五大因素。隨后將學生感知結果與篩選試驗的結果進行對比，結果見表6。

從試驗結果中發現，學生感知的前五大重要因素中，有部分因素在篩選試驗中并不具有統計學意義。如學生感知確定的因素中“評估方法”很重要，但在實驗數據分析中其并不是排在前五名的因素;“設備”和“教師專業背景”不包含在學生感知因素前五名中，但卻是篩選試驗的前五名因素。

該試驗研究花費了大量的時間規劃，設計和進行實驗數據收集。在研究過程中，還發現各組之間教學效果得分存在差異，主要原因在于學生的文化背景不同所致，各組間的差異并未考慮到研究中，該研究的另一局限性是所選課程為受學生歡迎的專業課。而針對不收歡迎的課程進行研究也是很必要的，可以通過試驗結果進行改進。此外，本文只針對本科生課程，實驗結果對研究生課程可能會有所不同。

從本文的研究結果可以發現一些實際含義，首先，在常見的熟悉的流程中，人們會習慣性的認為某些因素對流程有著重大影響，但現實中的情況并非如此。因此，科學方法如本文采用的實驗設計法就是一種強大的工具，可以讓你更好地了解過程以及影響質量特性或響應性的最重要因素或參數。其次，在過程參數設置上經常所有參數均設置公差，這就導致成本過高，如能確定影響過程輸出的最關鍵過程參數，并在此參數上設置容差，將非關鍵參數放寬，則可起到降低成本的作用。同樣的原理也適用于高等教育部門的許多流程關節，但與制造業相比，由于缺乏對實驗設計方法的好處的了解以及技術部門管理人員的潛在支持，想要將試驗結果與績效衡量相關聯在實施過程中還將面臨挑戰。

3? 研究結論和進一步研究方向

由于缺乏對過程設計好處的了解，在許多服務環境中，將實驗設計技術用于過程理解的應用相對較少。此外，人們有一種先入為主的錯誤思維方式，認為過程實驗設計僅限于制造業。本文的目的主要說明在高等教育環境中試驗設計方法的使用以及可行性。實驗結果清楚地表明，學生基于直覺和猜測對教學效果的影響因素與篩選試驗的結果并不完全相同。此外，實驗結果還為該項技術在高教部門的其他過程中提供了案例研究，為其更廣泛的應用提供了更大的動力。此外，下一步需探討不用文化背景下教學效果平均得分如何變化，以及前五大因素是否存在差異。

參考文獻

[1] BARONE，S.， E，Lo FRANCO. Design of a university course quality by Teaching Experiments and Student Feedback.Total Quality Management & Business Excellence[J]，2009，20（7）：687-703.

[2] ANTONY J L SIVANATHAN， E V GIJO.Design of experiments in a higher education setting[J].International Journal of Productivity and Performance Management[J].2014，63（4）：513-521.

[3] REE S Y H Park， H Yoo.A study on education quality using the Taguchi method.Total Quality Management and Business Excellence.2014，25（8）：935-943.

[4] DING C.， H SHERMAN.Teaching effectiveness and student achievement：Examining the relationship[J].Educational Research Quarterly[J].2006，29（4）：40-51.

[5] 周玲.多元文化視域下教師教學效能實證研究-以六所國家民委直屬院校為例[D].武漢：中南民族大學，2018.

[6] MARSH H W J HATTIE.The Journal of Higher Education[J].The Relation Between Research Productivity and Teaching Effectiveness： Complementary， Antagonistic， or Independent Constructs[J].2002，73（5）：603-641.

[7] MCKEACHIE W.Student ratings：The validity of use[J].American Psychologist Psychologist.1997，52（11）：1218-1225.

[8] DOUGLAS，C.MONTGOMERY.實驗設計與分析[M].北京：中國統計出版社，1998.

[9] 徐文秀.英國職前教師教育課程設計與實施個案研究-以倫敦大學學院中學英語PGCE課程為例[D].長春：東北師范大學，2019.

[10] 陳長洲.上海市中學體育課堂教學效果及影響因素研究-基于以學習者為中心的視角[D].上海：上海體育學院，2020.