深度學習與中學教學的對比與思考

孫碧瑩 董洪偉

深度學習（Deep learning）是人工智能的核心研究內容。近年來得益于深度學習的發展，計算機視覺、計算生物學、醫學、經濟學以及遙感等領域均取得了關鍵突破。現如今，社會各界都感受到了人工智能的高速發展帶來的便利。機器學習作為人工智能的核心研究內容，是推動人工智能發展最主要的力量。而機器學習與教育有著極深的淵源，兩者有著共同的目標與相似的手段，只是對象有所不同。教育界早已意識到機器學習與教育密不可分，許多學者對機器學習在教育學中的應用做了細致闡述。深度學習是一種特殊的機器學習，相比傳統機器學習，深度學習更加注重對人類思維的模仿，故深度學習與教育學的聯系更加緊密。目前，基于深度學習的教育學研究比較匱乏。研究深度學習中成功的方法與經驗能夠幫助教師重新認識教學中的難題，并能指引問題解決的方向。而將教學中的一些優良思想引入深度學習對深度學習的發展同樣具有積極作用。本文將對比深度學習中的突出問題，引發對中學教學中相應問題的新思考，并通過分析深度學習中的成功案例，對中學教學的一些問題提出具體的改進方案。

一、深度學習

深度學習的概念由Hinton提出，是機器學習的一個新方向，其與傳統機器學習的最主要區別在于集成了抽象與分類的過程，從而實現了端到端（end to end）學習。在機器學習中，特征一般通過專家人工進行歸納設計與提取，不僅耗時耗力，而且由于人類腦力水平的限制，一般提取的特征都是低級特征，在實際應用中效果不好。深度學習則可以自動地提取人類無法理解的高級特征，這是深度學習取得巨大成功的關鍵因素。深度學習的實現方式為人工神經網絡（Artifical Neural Network），成功的深度學習算法有深度信念網絡、循環神經網絡和卷積神經網絡等。人工神經網絡的基本組成單位是神經元，它的設計靈感來源于人類神經系統的神經細胞，大量的、分層的神經元組成了一個完整的人工神經網絡，其設計的目的是模擬人腦以實現分層的數據解釋。設計深度學習算法的主要過程可分為模型設計、預訓練和模型訓練。

深度學習有多火？在“2017年度中國媒體十大流行語”中就有人工智能一席之地。普通人對于深度學習的認識莫過于越來越智能的手機軟件以及谷歌DeepMind公司的人工智能算法、阿爾法狗擊敗各路圍棋世界冠軍。自2012年Hinton帶領的團隊在Imagenet大規模視覺識別挑戰賽（ILSVRC）中首次使用深度學習算法進行人臉識別就取得了有史以來最低的錯誤率（15%左右，超出第二名10個百分點），深度學習一直處于超高速的發展狀態。在ILSVRC比賽舉行的7年中，深度學習算法識別圖像的準確率由70%上升至97.3%，已經超越了人類的分類水平。在谷歌學術于2018年對學術出版物以及論文影響力的排名中，計算機視覺會議“IEEE Conference on Computer Vision and Pattern Recognition”（CVPR）已經排名第二十位，2016年在CVPR會議上提出的算法“ResNet”，其原文僅兩年時間被引次數已經過萬，對于一個真正發展時間僅有數年的新興學科來說，取得如此成就是令人震驚的，這也體現了社會各界對深度學習的關注度之高。

雖然深度學習在很多領域取得了史無前例的突破，但它也存在一些問題。最突出的問題是深度學習理論的缺失，目前的深度學習算法大多是啟發式的，對于一個深度學習模型來說，效果的好壞無法得到理論上的證明。另外，高效的優化方法，模型的深度、復雜度研究，計算能力的限制等都是深度學習面臨的問題。

二、深度學習與中學教學的聯系

教學的目的是讓學生在教師的指導幫助下認識問題、了解問題、思考問題，最終能夠獨立解決問題。教學與深度學習，兩者解決問題的手段雖然不同，但想要實現的目標是一致的，故它們解決問題的方法具有很強的相關性。教育學作為一門歷史悠久的學科，有充足的理論知識基礎，大量的經典方法與思想，能夠極大地豐富深度學習的內涵，給予深度學習指導;而深度學習作為一門僅有二十幾年歷史的新興學科，發展速度極快，有許多傳統學科不具備歷史的奇思妙想。新老學科的思維、知識碰撞也能夠為教育學帶來活力。

學生的學習主要發生在課前、課堂、課后三個場景，優化這三個場景的設計是提高學生學習質量的直接方法，也是教師最關心的問題。

課前學習能夠幫助學生鎖定學習目標，使學生系統地認識學習內容，是高效課堂學習的基礎。然而在實際工作中常常被教師忽略。課堂學習是學生獲取知識最直接、有效的途徑。課堂學習可分為傳授與糾錯，傳授指教師通過設計課堂，使學生理解知識;糾錯指教師通過當堂質檢，對學生出現的錯誤給予糾正。目前在工作中存在的一個主要問題是課堂容量大，課堂設置太過復雜，導致學生缺乏獨立思考。課堂內容缺少與日常生活的聯系，導致學生理解困難，也是課堂低效的原因之一。課后學習在教學過程中必不可少，是對學生之前學習成果的鞏固與提升。通過課后作業的形式對教學質量進行評價，使教師掌握學生的學習情況，及時調整教學方案。當前存在的問題有課后作業量大，難度高，題目冗余，精簡程度低，容易使學生產生厭學心理，對學習失去興趣。

如果將教學中的學生比作一個未學習的人工神經網絡，或者將深度學習中的神經網絡比作一名懵懂的小學生，我們可以發現教學與深度學習本質上是同一個過程，他們之間的聯系如圖1所示。

預訓練是深度學習的一個重要組成部分，對于一個設計完畢的網絡，設計者應該根據網絡的結構設計相適應的預訓練方法。深度學習中使用預訓練，可避免因數據少、網絡深造成的學習困難。預訓練與教學中課前學習的思想不謀而合，對深度學習預訓練的研究能夠使教師更加意識到課前學習的重要性，啟發教師設計與課堂學習相適應的課前學習方法。

對深度學習而言，一個神經網絡的能力由它的結構決定，如何設計網絡結構是深度學習的核心問題。網絡的結構設計對應教學中課堂的設計問題，兩者相似度很高。設計網絡的結構就好像算法設計者在為神經網絡設計學習任務，網絡的訓練過程與學生課堂聽課與質檢的過程是一致的，學習者通過學習教師設計的課程，能夠獲得課程設計者希望他們擁有的能力。課堂設計的好壞很大程度上決定著學習者學成后的能力。

深度學習與教學在思想上具有很高的相似性，在教學工作正式開始之前，算法設計者和教師要做的工作的指導思想是一致的，即課前與課堂學習的教學設計。但由于面向的對象不同，在實施中也存在一些區別。在教學過程中，學生出現錯誤時由教師進行糾正，但學生并不會為出現錯誤而付出代價，故很難體會到出現錯誤的嚴重性。而在機器學習的過程中，機器錯誤的代價由代價函數（Cost function）進行衡量，機器一旦出現錯誤，則會視錯誤的大小給出相應的代價。機器學習的準則是算法整體向著代價最小的方向前進。這是人與機器學習的一大區別，也是機器學習高效的重要原因。算法科學家設計了合理的代價函數，對教師而言，如何平衡學生錯誤的代價是需要思考的問題。除此之外，人與機器學習的最主要區別在于：機器的學習是不間斷的，機器可以不分晝夜地學習，而人的學習是間斷的。如果將機器的學習熱情記為1，那么人的學習熱情一定是小于1的。對教師而言，調動學生的學習積極性是一個重要課題，而如今，算法科學家也在研究讓機器變得“懶惰”，一些研究者認為，讓機器學會適當的休息對于提高學習能力是有幫助的。

三、深度學習與中學教學的對比研究與思考

1.預訓練與課前學習

自深度學習誕生以來，神經網絡的初始化問題一直是學者們關注的焦點之一。深度學習利用復雜的非線性模型模擬人類思維，由于早期實踐中數據的不足，網絡的訓練很困難。好的初始化方法可以減輕訓練網絡的困難程度，從而一定程度上減少數據匱乏對深度學習造成的影響。

隨著獲取數據越來越便利，預訓練慢慢淡出了深度學習界的視野。然而對于教學來說，預訓練或者說課前學習是必不可少的。當今的教學大力提倡高效、減負，這映射到深度學習中就意味著參與學習的數據不能太多，在數據有限的前提下，預訓練對于深度學習是至關重要的。所以在減負增效的教學背景下，當代教師尤其要重視課前學習的設計。我們以兩種深度學習中有效的預訓練方法為基礎，結合當今教學的特點，討論如何優化課前教學的設計。

Hinton等學者提出的使用貪心算法逐層訓練，再全局微調的預訓練方法曾經是深度學習界的主流。這種逐層的學習方法對課前學習的設計有啟示作用。在課前學習的設計中，也應該遵循循序漸進的原則，使學生對一個知識點有一定的理解后，再開始下一個知識點的預習，這樣使學生理解更加深刻，基礎更加穩固。在課前學習的最后，教師可設計自我檢測環節，回顧整個課前學習過程，對學習效果進行提高。

在其他數據訓練好的網絡模型的基礎上進行調試的fine-tuning方法也是主流的預訓練方法之一，此方法利用了數據之間具有相似性，一部分底層的特征對于不同問題是可以共用的。對于教學來說也是如此，知識之間存在著千絲萬縷的聯系，將之前已經學習過的知識遷移到教學過程中有利于學生對知識的理解。

高質量的課前學習能夠提高學生的課堂學習效率，加深學生對知識的理解，進而提高整體學習質量。在課前學習中，學生需要通讀課本內容，并對課本中的重點內容進行理解性記憶。學生在課前學習過程中，對自己不理解的問題要及時標記，在課堂學習中對其著重理解。對教師而言，一般通過導學案來幫助學生進行課前學習。通過對深度學習中經典方法的分析，優化的導學案應包括以下內容：

要點回顧：設置一些之前已經學過并與本節課有關的內容，使學生構建學習的思維導圖，幫助學生將新舊知識聯系起來。

情境感知：教師要創設情境，設計指導學生閱讀教材，有方法、有目的、有重點、有要求地給學生一定的暗示，指導學生知疑知難，重點研究。

自我檢測：用基礎知識點組題、檢測，了解學生的自學成果，使學生發現問題、解決問題。

2.過擬合、梯度消失與課堂設計

過擬合現象和梯度消失現象曾經嚴重困擾深度學習界。過擬合是指深度學習模型過度地擬合訓練數據，導致在非訓練數據的其他數據上表現不佳。教學過程中，學生無法遷移知識，不能做到舉一反三，同樣類型的題目改一改數就不會做了，均為教學中的“過擬合”現象。在深度學習中，過擬合現象出現的根本原因是模型的設置太過復雜，模型學習的參數過多，導致其知識的遷移能力很差，解決問題的根本方法是設計模型時盡可能的精簡參數，以控制模型的復雜度。此方法對教學來說同樣適用，教師應當實現課堂的高效設計，避免高度復雜、冗余的課堂。

神經網絡模型為層級結構，網絡層的數目很大，則被稱為深度神經網絡。對于深度的網絡模型來說，學習時會出現最后幾層網絡學習率很高，而前面的網絡層幾乎沒有得到學習的情況，這就是深度學習中的梯度消失現象。梯度消失不僅會造成計算效率冗余，還抑制網絡的性能。在教學中，學生在一堂課上學習的效率一般是呈下降趨勢的，教師的課堂知識容量太大、教學時間太長就會導致學生對課堂后段的知識接受程度變低，產生類似于深度學習中的梯度消失現象。這也引發我們對設計高效且低負的課堂的思考。

課堂學習是教學過程的核心環節，高效的課堂學習對學生的發展具有直接推動作用。課堂學習應分為“四個環節”：自學討論，質疑釋疑，鞏固提升，當堂檢測。優秀的教師應力爭“六個做到”：做到激情引趣，引領學生進入學習狀態;做到惜時如金，不占用課堂時間在黑板上抄題;做到嚴謹縝密，提出的問題有思考價值;做到突出主體，提出問題后要給學生充分的思考時間和空間;做到培養能力，小組討論要以先思考、后議論為前提;做到精心設計，配題要有層次，激勵全體學生參與學習。

3.殘差學習與作業的高效減負

深度學習由于其網絡結構深，擁有強大的特征提取能力，能夠提取超出人類認知范圍的高級、深層特征。但是網絡的深度并非越深越好，極深的網絡結構不僅不一定能提高網絡性能，還會給網絡的訓練帶來極大困難。與之相對的，中學作業存在機械性、重復性、單一性等問題，量多且低質。課本中的練習題、學校的練習冊、各式各樣的輔導材料讓學生不堪重負，作業成為了負擔，不僅浪費了學生的精力和時間，也影響了課堂的教學質量。

通過以上對比可以看出，神經網絡的深度與作業的數量具有相似的內涵：太少不行，太多也不可取。在深度學習界，殘差學習（Residual Learning）在一定程度上解決了此問題，其核心思想是在神經網絡相鄰的兩層或多層之間設置捷徑，使得網絡在學習過程中可以跳過一些不必要的學習階段，從而減輕網絡的負擔。值得注意的是：網絡只會走有必要的捷徑，即跳過對學習有害的階段，而對于重要的部分不會跳過。這種設立捷徑的方法值得教師在設計課后作業時借鑒：例如在設計10道同一類型的題目時可以設置捷徑，如果學生能夠連續地答對三道題目，即可跳過剩余題目;若無法連續答對題目，則說明學生并沒有完全掌握此類題型，不可跳過。這種借鑒殘差學習的作業設計能夠在降低課后作業負擔的同時保持其有效性，借助網絡學習這一新興的手段，最大化地發揮它的作用。

深度學習的高速發展已經惠及很多行業，由于教育學與深度學習天然的相似性，將深度學習與教育學聯系起來對比思考是很有必要的。本文對比分析了深度學習與教學的聯系與區別，將深度學習中存在的問題映射至教學，來重新思考教學中類似的問題并基于深度學習中一些成功方法的思想，提出教學中一些問題的改進方案。深度學習的產生與發展為教育學帶來了新的機遇，在未來的研究中，我們希望將教育學中的經典思想引入深度學習，更加合理地構建深度學習模型，以提高其性能。