教育心理學研究對人工智能神經網絡設計的啟示
——以學習方式分類學(ICAP)研究為例

熊 媛，王銘軍，盛群力

(1.天津大學 教育學院，天津 300350；2.浙江商業職業技術學院 國際交流學院，浙江 杭州 310053；3.麗水學院 工學院，浙江 麗水 323000；4.浙江大學 教育學院，浙江 杭州 310028)

教育心理學研究的主要目的是了解人是如何學習的，人工智能神經網絡研究的核心在于探究機器是如何學習的。人工智能神經網絡的目標是使機器具有類似人(甚至超越人)的學習與思考能力。由此可見，對人的教育與對“機器”的教育存在很多共性，事實上，對“機器”的教育模擬了許多對人的教育方法和過程。教育心理學經過一個多世紀的發展，有諸多成熟的方法和理論。因此，將教育心理學的理論和方法從理論上、宏觀甚至微觀上用于指導人工智能神經網絡的設計或可成為值得探索的方向。

在教育心理學領域，美國教育心理學著名學者——亞利桑那州立大學教授季清華(Michelene T.H.Chi)提出了一種創新性學習方式分類學，從可操作性角度對認知參與活動提出了明確界定，并依據學習者的外顯活動、參與程度等，將不同的知識變化過程和學習結果，分成四種學習方式：交互方式(Interactive)、建構方式(Constructive)、主動方式(Active)與被動方式(Passive)。有關研究表明，這些方式對學習活動的有效程度依次遞減，參與度越高，學習能力越強[1]。

人工智能神經網絡依據生物神經網絡的學習規則和計算結構進行設計[2]，其發展主要基于神經科學研究成果。在學習科學領域，著名教育心理學家梅耶(Richard E. Mayer)在其論文中闡述了教育神經科學的研究歷程，認為隨著認知神經科學研究的進展，連接教育和神經科學的教育神經科學研究將呈現爆發式增長[3]。由此可見，教育神經科學與人工智能神經網絡關系密切，均源于認知神經科學。當前，隨著人腦科學的發展尤其是對神經科學研究的深入，以及各種高端算法的出現，通過模擬人腦神經元的信息處理和存儲原理，人工智能神經網絡已推進至高達數千層的深層神經網絡，并由此顯著提高了計算機的智能水平。目前，人工智能神經網絡的結構主要是根據實驗和經驗來設計，尚無具體理論可遵循。

一、四種學習方式與人工智能神經網絡設計元素

圖1為季清華提出的“ICAP學習方式分類學”綜合性框架。該框架包括四個部分：一是四種方式分類，二是知識變化過程與結果，三是認知結果，四是ICAP猜想。該框架定義與假設了四種學習方式，即：被動學習、主動學習、建構學習和交互學習。知識變化是認知、學習過程中的一系列知識內化過程，并包括四個階段的變化，即：儲存、整合、推斷和共推。其中，儲存階段只是保存知識，產生“記憶”；整合階段是知識的“選擇”“激活”與“提取”，產生“應用”；推斷階段是對知識進行“推理”和“判斷”，產生“遷移”；共推階段是對知識進行“綜合”“協同”“推斷”以及“選擇”“激活”“提取”與“儲存”，產生“共創”。由于認知結果是因一系列知識變化過程所產生和獲取的最終知識模式或者知識積淀，因此，可以猜想得出：在同樣知識變化過程的條件下，學習方式的效率由低至高的排列為：P(被動學習)＜A(主動學習)＜C(建構學習)＜I(交互學習)。

圖1 學習方式分類ICAP框架[4]

(一)被動學習與前向算法

被動學習在教育心理學上主要是指對相關信息予以關注等心理活動。人工神經網絡的前向算法，是從第一層向后面的層逐層更新網絡參數，信息從前向后傳遞，沒有封閉的環路，這類運算類似于被動學習。因為在前向計算過程中，各網絡層僅僅是被動接受前面傳遞過來的網絡參數，并未對有關參數進行學習更新。

(二)主動學習與反饋神經網絡

主動學習在教育心理學上表示主動參與信息學習和接收的過程，在心理活動和外顯活動上都與被動學習不同。與前向算法不同，人工智能神經網絡中的反饋神經網絡是對輸入信號進行處理后產生輸出信號，再根據輸出信號與實際信號之間的偏差對網絡中各個參數進行更新計算。這樣的過程類似于主動學習過程，因此反饋神經網絡可理解為主動學習。

(三)建構學習與深度學習網絡

建構學習在教育心理學上指學習現有材料過程中實現了超越和產生新知識。建構學習有較為復雜的心理活動和外顯活動，如對照或比較、問題的引發、假設的形成、證明的提供以及利用文字或圖示方式對知識做出解釋和說明等。建構學習中蘊含著主動學習。如果說主動學習是利用劃線方式對知識點進行了強調，那么建構學習則是對該劃線部分進行解釋和說明。建構學習要求具有超越了原始學習材料本身的獨立見解，因此，這樣的學習方式具有明顯的“建構”特點。在無監督條件下的人工智能深度學習網絡中，網絡的輸入層將原始數據導入到網絡中，緊隨其后的網絡第一隱含層將對原始數據進行初步的學習而獲取該原始數據最細微的特征，其后每一隱含層都會在前一層基礎上，抽象提取更高抽象級別的數據特征，即通過學習獲取新知識，因此，這樣的學習方式類似于建構性學習。

(四)交互學習與殘差/循環神經網絡

交互學習指兩個及兩個以上的學習個體相互協同，開展交互學習，是在不同的學習者之間展開激活思想，啟發思路和補充不足等建構性學習活動。具體方式包括：學習各方共同講解知識、開展論辯、綜合探討結果并產生新的結論等。由于交互不僅僅在于對話本身，更重要的是通過交互可能產生新的認識、知識和思想。因此，交互學習過程同時具有主動學習和建構性學習特征。交互學習四種建構類型分別為：自我建構(整合學習各方的見解)、指導建構(與專家互動交流)、序列建構和協同建構(學習各方依次或者協同發表意見)。四種方式分別具有不同的特征，其中：自我建構強調“趨近”與“接受”，指導建構關注“選擇”與“操控”，序列建構注重“生成”或“產生”，協同建構提倡“協同”與“創新”。不同的建構類型意味著不同的學習活動方式，并最終導致不同的學習效果。

人工智能深度學習網絡中包含很多交互學習元素，如深度殘差(ResNet)模塊、循環神經網絡(RNN)等。圖2所示為深度殘差模塊，其輸入為x，輸出為H(x)，該模塊不是學習一個完整的輸出H(x)，而是學習輸出和輸入的差別H(x)-x，即殘差，而殘差是交互學習的結果，屬于自我建構。

圖2 深度殘差模塊

下頁圖3所示為循環神經網絡邏輯圖，等號左側為簡化圖，等號右側為展開圖，是一系列串聯的網絡。其中，A是節點，X為輸入，h為輸出，該網絡的輸入X0的運算結果h0會影響到X1的運算結果h1，以此類推，Xt-1的運算結果ht-1會影響到對ht的運算。因此，循環神經網絡類似于學習各方的交互學習，可歸屬于序列建構和協同建構。

圖3 循環神經網絡(RNN)邏輯

(五)知識變化與人工智能神經網絡的計算過程

事實上，人工智能神經網絡設計中蘊含著豐富的教育心理學思想，人工智能神經網絡的計算過程本質上就是數據的儲存、整合、推斷和共推過程。首先，人工智能神經網絡要解決數據(知識)存儲問題；其次，人工智能神經網絡需要通過對原始儲存數據進行提取、選擇和激活，挖掘原始數據的隱含特征，并基于上一層的處理結果不斷進行提取、選擇和激活，實現對數據(知識)的抽象、推理、整合；然后，如果對比認知結果與實際結果不滿足認知預期，人工智能神經網絡將重復上述學習、認知過程，直到得到預期結果，并形成一個基于該網絡的參數學習集合或者網絡模式(人工智能神經網絡訓練結束)；最后，基于認知訓練的結果(將網絡的結構與相關參數保存，即“記憶”)，人工智能神經網絡就可對其它未學習過的數據(知識)進行有效推理和判斷(“應用”處理)，也可對類似數據(知識)進行有效推理和判斷(“遷移”處理)。而基于不同人工智能神經網絡對不同數據(知識)的學習(認知)結果，就可以認知和推斷更復雜的數據或知識(“共創”)，比如：擊敗人類頂尖圍棋高手的阿爾法狗(AlphaGo)就綜合運用了策略網絡、價值網絡以及深度學習網絡等。

二、四種學習方式與人工智能神經網絡的對應關系

學習方式分類學猜想認為：方式或類別不同的學習活動，其知識變化或者學習過程與此學習活動對應的外顯行為一致。如圖4所示，在同樣的知識變化過程之中，學習方式差異將導致不同的學習效果，學習水平按照被動、主動、建構到交互的方向逐步提高。其中，被動學習和主動學習屬于淺層學習，而建構學習和交互學習屬于深度學習。同時，被動學習表示接受，主動學習表示操控，建構學習表示生成，而交互學習表示協作。

圖4 四種學習方式及其演進[5]

實際上，人工智能神經網絡的進化過程與學習方式分類學的“進化”過程類似，都是由低級到高級、簡單到復雜、淺層到深層、低準確率到高準確率以及低效到高效的逐步演化過程。最初的淺層學習神經網絡僅有一層或數層，現在的深度神經網絡已經達到數百甚至上千層，在部分領域的計算準確率已經達到甚至超過人類的認知水平。

(一)四種學習方式與人工智能神經網絡之比較

圖5左圖的自編碼器是一種無監督的特征學習網絡，它利用反向傳播算法，讓目標輸出值等于輸入值，是一種被動學習與主動學習相結合的網絡。圖5右圖的卷積神經網絡(CNN)主要是通過局部感受野、權值共享以及時間或空間亞采樣等方法來最大程度地降低網絡參數數量，在一定程度上實現尺度、位移和形不變等特性，能在無監督情況下有效提取數據中的隱含特征，并能夠高效準確描述目標對象，是一種具有建構學習特征的網絡結構。

圖5 自編碼器(左圖)[6]和卷積神經網絡(右圖)[7]

Google Inception Net是谷歌公司開發的深度學習網絡模型，其最大特點是有效控制了計算量和參數量，具備非常強的分類性能。它由許多嵌入(Inception)子網絡模塊組成，類似于教育心理學中獨立學習的各個主體(學習各方)，通過不同的嵌入子網絡模塊(下頁圖6所示為三種不同的嵌入子網絡模塊)學習和分析數據(知識)，再匯總分析子網絡結果數據，形成新的建構性學習結果，即相當于ICAP中的交互學習。圖7所示為改進的殘差模塊圖，其通過在殘差自我建構模塊中引入嵌入模塊，實現了不同類型模塊的融合，即通過融合不同教育心理學元素提升學習效能。

圖6 三種不同的嵌入(Inception)子網絡模塊[8-10]

圖7 改進的殘差模塊[11]

(二)四種學習方式與人工智能神經網絡設計的元素對應關系

根據ICAP四種分類方式和人工智能神經網絡模型相對應的特征，建立如表1所示的對應關系。其中，人工智能神經網絡前向計算算法和全連接模塊主要是被動學習數據(知識)，具有被動學習特征；人工智能神經網絡的反向傳播算法、損失函數和防止過擬合的隨機網絡節點失效(Dropout)等模塊主要是對被動學習的數 據做出修正等運算，具有主動學習特征；人工智能神經網絡的卷積、池化和激活等模塊則能發現和轉化數據中的隱含特征和知識，具有建構學習特征；人工智能神經網絡的嵌入(Inception)、殘差(Residual)、減量(Reduction)、批量正則化(Batch Normalization)和網中網(Network-in-Network)等模塊同時具有建構性和交互性，具有交互學習特征。其中，建構學習和交互學習包含的人工智能神經網絡構成元素明顯較多，這說明建構學習和交互學習相對復雜且具有創造性。

表1 四種學習方式與人工智能神經網絡元素對應

鑒于表1中的人工智能神經網絡構成元素較多，無法逐一詳述，這里僅簡單描述損失函數和批量正則化模塊。損失函數的作用是計算實際值與網絡模型輸出預測值之間的損失，是學習正確性和有效性的重要依據，類似于ICAP的主動學習；批量正則化模塊原理是同時對小批量的數據(知識)進行歸一化處理，是一個典型的交互學習元素。本文對當下最流行和先進的幾種人工智能神經網絡模塊使用情況做了統計，如表2所示。數據表明，表中右側網絡模型較左側更先進，分類準確率更高，從左到右的網絡模型所使用的交互學習元素逐步增多，網絡模型性能逐步增強。其中，網絡模型GoogLeNet，Inception-v2，Inception-v4和Inception-ResNet-v2使用的交互學習元素Inception模塊數量分別為9個、10個、14個和20個。其中，Inception-v4還運用了2個交互學習元素減量模塊，Inception-ResNet-v2運用了2個交互學習元素減量模塊和20個殘差模塊。

表2 人工智能神經網絡模塊(構成元素)使用統計

(三)知識變化與人工智能神經網絡設計

人工智能神經網絡設計中包含一系列數據(知識)變化過程，圖8所示為單層卷積神經網絡模型。圖中左側第1部分為輸入數據層，經過“卷積”處理后得到第2部分，再通過“激活”函數作非線性變換后得到第3部分，最后是“池化”下采樣處理得到第4部分輸出特征。此網絡的設計中包含了知識變化過程，第1部分為知識“儲存”，第2部分為知識“選擇”，第3部分為知識“激活”，第4部分為知識“推斷”。更復雜的人工智能神經網絡是在單層網絡基礎上，引入了更多人工智能處理元素。

圖8 單層卷積神經網絡的3個階段[16]

圖9所示為微觀層面分析的知識變化過程。首先是初始化所有網絡層中的權值參數，這是一個被動學習過程(“記憶”)；接著，運用前向傳播算法(被動學習)將網絡中各層的權值更新(“應用”)，實現數據信號(知識)通過網絡前向傳播。當傳播到最后一層輸出層時，將輸出數據(知識)與實際目標數據(知識)進行比對，計算判斷誤差。如果誤差收斂到預期值，則說明本輪學習達到預期目標，可停止學習，反之則繼續下一輪學習(“遷移”)。在開始下輪學習之前，先利用反向傳播算法(主動學習)，從輸出層逐層向后更新網絡權值，直至更新完所有層的權值。之后，開始下一輪的學習(“共創”)。

圖9 神經網絡學習訓練過程[17]

人工智能神經網絡中的“遷移”學習是將A領域的數據(知識)學習產生的網絡模型和參數集，應用到相關的B領域中，對B領域的數據(知識)進行認知，這種學習方式非常適合于領域中可學習的知識比較少的情況。圖10所示為神經網絡遷移學習模型示意圖。其中源任務(A領域數據)中供網絡學習的數據(知識)較豐富，目標任務(B領域數據)中供網絡學習的數據(知識)很少。可以將在源任務中學習到的網絡模型和參數集，“遷移”應用到對目標任務的認知當中。

圖10 神經網絡學習中的遷移學習[18]

三、人工智能神經網絡設計與分析

(一)從基本教學設計到人工智能神經網絡設計

1.依據ICAP分類的基本教學設計

利用聽講、總結和解釋的基本教學設計來進行人工智能神經網絡設計方法探索，圖11所示為依據ICAP分類的基本教學設計，依據學習方式分類學，基本教學設計是：聽講(教師授課，學生聽課)——被動學習、總結(學生總結學習內容)——主動學習和解釋(學生利用所學知識，理解并解釋新的知識)——建構學習。

圖11 依據ICAP分類的基本教學設計

2.人工智能神經網絡邏輯圖設計

利用表1中的元素，基于ICAP分類的教學設計過程，設計了人工智能神經網絡邏輯框圖，如圖12所示。首先利用被動學習元素(前向計算算法和全連接模塊)達到聽講效果，實現人工智能神經網絡參數初步學習設定；然后，在總結部分利用主動學習元素(損失函數和反向傳播算法)對網絡參數進行學習和修正；最后，在解釋部分利用建構學習元素(激活模塊)對已有知識進行建構學習。實際上，聽講、總結及解釋是同時并行運算的，在獲得最優確認的網絡模型及各參數值后，就可利用該人工智能神經網絡對新的數據(知識)進行認知和推斷了。總之，在該網絡中，教育心理學設計與人工智能神經網絡設計之間的關系是：聽講對應學習，總結對應訓練，解釋對應預測。

圖12 基于基本教學設計的人工智能神經網絡設計邏輯框圖

3.簡單人工智能神經網絡設計

根據圖12的邏輯框圖設計了一個簡單人工智能神經網絡(BP神經網絡)，BP神經網絡的概念于上世紀80年代在Nature的論文上被首次提出，此后得到了廣泛地應用。下頁圖13所示為簡單的含一層隱含層的BP神經網絡。a(1)層是輸入層，包含3個神經元；a(2)層是隱含層，包含2個神經元；z層是輸出層，包含2個神經元。W(1)是a(1)層神經元的參數，W(2)是a(2)層神經元的參數。以下從聽講、總結和解釋三個方面來詳細闡述設計過程。

圖13 簡單的BP神經網絡

(1)聽講部分設計(被動學習對應全連接模塊和前向計算算法)。利用全連接模塊將圖13中各神經元連接起來建立模型網絡拓撲圖。全連接模塊是將鄰居層的神經元全部互聯起來，不進行任何連接上的變化，如果在其上進行運算，只是簡單地將數據信息向鄰居層的每一個神經元進行傳播。就像學習者坐在教室里聽課，但是心不在焉，根本學不到任何知識。符合ICAP中的被動學習的特征。然后，在圖13中加入前向計算算法，該算法是將數據從輸入神經元經簡單地運算后逐層向前傳播(從左至右)，直至輸出神經元。相當于此時學習者集中注意力，但是僅僅是接收信息而已，無所用心，或者最好的結果是學到一些表層的東西。因此，還是被動學習。

(2)總結部分設計(主動學習對應反向傳播算法和損失函數)。繼續在圖13中加入反向傳播算法，它是將輸出結果(yp)與實際結果(y)進行某種算法比較后(比較運算一般利用損失函數loss=(yp-y)2計算損失，該函數對數據進行了加工處理，屬于主動學習元素)，再利用梯度下降等算法從輸出神經元向輸入神經元反方向(從右至左)對每一個神經元的W權值參數進行更新。由于權值的更新是基于損失函數的運算結果，而損失函數是基于實際結果來運算的，因此，每次權值更新，網絡模型就從現實中學到一點東西而且記錄下來，這個過程不斷重復進行，直到達到一定的滿意度為止。相當于此時學習者積極參與了學習活動，并對學習材料進行了操控，屬于主動學習。

(3)解釋部分設計(建構學習對應激活模塊)。主動學習效果并不理想，因為加工的數據可能變化很大(如：輸出數據在100左右和1左右，計算損失結果就相差很大，前者loss = (101-100)2= 1，而后者loss = (1.1-1)2= 0.01，兩者相差100倍)，不能形成統一標準，小數據容易被大數據淹沒而被忽略。所以，再加入激活模塊，該模塊對數據進行非線性變換(如：通過某種函數將所有數據都映射到-1至1的之間)，從而使學習結果發生了變化，生成了新的知識，這可以視作為建構學習。

而關于圖13神經元數量的確定可根據數據的復雜度來靈活設定，實際應用還要依據計算機的計算能力等因素進行調整。正如學習者學習簡單的知識只需調動少部分腦細胞(神經元)，而學習復雜的知識則要調動更多的腦細胞來思考分析。

本節依據ICAP分類的基本教學設計，利用ICAP對應的人工智能神經網絡構成元素設計了人工智能神經網絡邏輯框圖，然后利用該邏輯框圖設計了一個圖13所示的簡單BP神經網絡模型，這表明ICAP與人工智能神經網絡在元素構成上具有可對比性。

(二)文獻中的實驗數據分析

季清華對ICAP分類方式進行了實驗研究，其結果如圖14所示[19]。實驗的設計是分別采用被動方式(P)、主動方式(A)、建構方式(C)和交互方式(I)來學習一篇材料科學的短文，通過分析學習效果并比較測試前、后數據，可以得出結論：四種學習方式的學習成績以8%-10%的比例逐步增加，學習效果增長明顯。

圖14 ICAP參與方式的實驗研究[20]

為直觀說明問題，我們對文獻中谷歌提出的人工智能神經網絡模型[21-24]的部分實驗數據整合后進行可視化展示，下頁圖15和圖16的橫坐標表示不同人工智能神經網絡模型，模型的復雜程度從左到右逐步增加(部分模型復雜度可參看表2)，縱坐標表示分類的誤差率。兩圖表明，隨著人工智能神經網絡中的教育心理學習元素逐步增多，網絡學習水平不斷提升，分類精度逐步提高。

通過對比季清華ICAP參與方式的實驗研究和所引用的谷歌文獻中人工智能神經網絡模型的復雜程度可以發現，二者在學習效果上具有相同的變化趨勢。雖然二者研究采用的數據不同，但是結果相近。這從實驗數據的角度表明人的學習(ICAP)與機器的學習(人工智能神經網絡)具有一定的相似性，可以將兩者的學習建立某種對應參照關系。

圖15 top-5誤差數據圖(top-5表示正確值在概率排前5的數據內)

圖16 top-1誤差數據圖 (top-1表示正確值為最大概率對應的數據)

四、結論與展望

本文類比了ICAP四種學習方式與人工智能神經網絡設計方法；在此基礎上，對人工智能神經網絡設計元素按照四種學習方式進行了分類；以基本教學設計為例，結合多種人工智能神經網絡元素，設計了對應的人工智能神經網絡設計邏輯框圖，并基于邏輯框圖設計了簡單的人工智能神經網絡；對比分析了季清華ICAP不同學習方式與人工智能神經網絡模型不同復雜程度對學習效果和分類誤差的影響。結果表明：

(一)ICAP的四種學習方式與人工智能神經網絡的進化相吻合，ICAP基本框架的內容在人工智能神經網絡中均可找到對應的元素。

(二)人工智能神經網絡可借鑒ICAP的四種學習方式來進行算法和模塊的分類拆分，并且可以推廣應用到人工智能神經網絡設計中。

(三)依據ICAP分類的基本教學設計案例，設計了對應的人工智能神經網絡邏輯，并利用該邏輯設計了一個簡單的人工智能神經網絡，表明了ICAP與人工智能神經網絡在元素構成上具有可對比性。

(四)依據ICAP進行學習效果的實驗研究與利用不同復雜程度人工智能神經網絡進行學習效果的實驗研究對比發現，二者的學習效果隨復雜度變化的趨勢是一致的。從實驗數據的角度表明了人的學習(ICAP)與機器的學習(人工智能神經網絡)具有一定的相似性，可以將二者的學習建立某種對應關系。

本研究旨在為人工智能神經網絡設計提供新思路，今后的研究可以引入深層學習、超越碎片化學習[25]等更多的教育學原理和方法，進一步印證基于教育心理學進行人工智能神經網絡設計的可行性。