學(xué)貫中西(2):認(rèn)識(shí)AI的記憶(背誦)技能

高煥堂

0前言

人類學(xué)習(xí)任何知識(shí)的過程中，多多少少都會(huì)依賴天生的記憶（memorization）能力。也就是俗稱的背誦能力。機(jī)器學(xué)習(xí)（ML）也是一樣，首先具有背誦的能力，進(jìn)而舉一反三，對(duì)一些新事物進(jìn)行預(yù)測(cè)和推論。這種舉一反三的能力，在AI中稱為泛化（generalization）能力。于是，本期先來看一下機(jī)器學(xué)習(xí)中的記憶（背誦）技能;下一期（《電子產(chǎn)品世界》2022年第1期）繼續(xù)說明泛化機(jī)能。

1復(fù)習(xí)：五行的相生與相克關(guān)系

回憶一下，上一期（《電子產(chǎn)品世界》2021年11期）曾經(jīng)介紹了五行之間有“相生”關(guān)系，也有“相克”關(guān)系。

于是，在機(jī)器學(xué)習(xí)模型中，五行中的各元素有如下對(duì)應(yīng)關(guān)系：

金---->[10000]木---->[01000]

水---->[00100]火---->[00010]

土---->[00001]

由于每一個(gè)編碼中都含有1個(gè)1，其他都為0，所以稱為one-hot-encoding編碼;簡(jiǎn)稱OHE編碼。

2范例：把五行的相生關(guān)系記憶（背）起來

由于剛才提到的OHE編碼中各有5個(gè)值，例如：金（[10000]）與水（[00100]）之間具有相生關(guān)系。于是，各準(zhǔn)備5個(gè)神經(jīng)元來表示它們，如圖3、圖4。

然后建立兩組神經(jīng)元之間的連結(jié)（connection），并且賦予1個(gè)權(quán)重（值），如圖4所示。這樣就準(zhǔn)備好了1個(gè)簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)（neural network）結(jié)構(gòu)，就能讓它來學(xué)習(xí)并記憶（背）五行元素之間的相生或相克關(guān)系。

接下來，就展開機(jī)器學(xué)習(xí)，來記住金（[10000]）與水（[00100]）之間的相生關(guān)系。于是權(quán)重（值）就會(huì)發(fā)生變化，如圖5所示。

圖5中的線條寬度表示權(quán)重（值）的大小。這樣就記住了金與水之間的相生關(guān)系了。那么，這個(gè)神經(jīng)網(wǎng)絡(luò)繼續(xù)學(xué)習(xí)更多相生關(guān)系，例如學(xué)習(xí)并記住水與木之間的相關(guān)系，如圖6所示。

繼續(xù)努力學(xué)習(xí)，這個(gè)神經(jīng)網(wǎng)絡(luò)就記住了5個(gè)元素之間的所有“相生”關(guān)系了，如圖7、圖8所示。

于是，圖7中的神經(jīng)網(wǎng)絡(luò)就記住了圖8中的五行相生關(guān)系了。

3范例：背誦之后，隨時(shí)可以“想起來”

一旦記住了五行元素之間的相生關(guān)系，就能隨時(shí)運(yùn)用這項(xiàng)記憶了，只要提到金，就立刻聯(lián)想到：金生水，如圖9所示。

再如，只要提到土，就立刻聯(lián)想到：土生金，如圖10所示。

以上說明了機(jī)器學(xué)習(xí)如何展現(xiàn)其記憶的技能。就如同人的背誦能力一般，可以記住許多事物的關(guān)系。通過回憶，我們常常看到或聽到：“太極生兩儀，兩儀生四象，四象生八卦。”這里的“生”是這些詞匯的主要關(guān)系。同樣，機(jī)器學(xué)習(xí)也能迅速記住它們之間的關(guān)系。

4實(shí)踐AI的學(xué)習(xí)和記憶：使用TensorFlow建模框架

現(xiàn)在，將五行的相生關(guān)系的數(shù)據(jù)放在Excel畫面上，如圖11所示。

其中的輸入值（X[]）與對(duì)應(yīng)的目標(biāo)值（T[]）之間是相生關(guān)系。這個(gè)X[]和T[]就是AI模型的學(xué)習(xí)數(shù)據(jù)，又稱為訓(xùn)練數(shù)據(jù)（training data）。接著，請(qǐng)按下“學(xué)習(xí)”按鈕，就開始學(xué)習(xí)了，很快學(xué)習(xí)完畢，且記住了這些元素之間的相生關(guān)系。前面已經(jīng)說明，AI模型使用權(quán)重（weight）來表達(dá)這些關(guān)系。從畫面上，可以看到模型訓(xùn)練之后的權(quán)重，如圖12所示。

這里的權(quán)重（值）等于圖7中連線的粗細(xì)程度，也就是代表神經(jīng)元之間的連結(jié)強(qiáng)度。這樣，AI模型就記住了五行元素之間的相生關(guān)系。接下來，將這個(gè)Excel畫面上的相生關(guān)系改為相克關(guān)系，并按下“學(xué)習(xí)”按鈕，開始學(xué)習(xí)。學(xué)習(xí)完畢輸出權(quán)重，如圖13所示。

同樣的學(xué)習(xí)和記憶方法，它通過兩組權(quán)重?cái)?shù)據(jù)就能記住兩種不同的關(guān)系。以此類推，AI模型可以和人們一樣學(xué)習(xí)和記憶各式各樣的事物、概念，以及它們之間的關(guān)聯(lián)性。也可以繼續(xù)學(xué)習(xí)更多的知識(shí)和智能，形成1個(gè)知識(shí)體系，例如俗稱的知識(shí)圖譜等。

一旦記住了五行元素之間的相生關(guān)系，就能隨時(shí)運(yùn)用這項(xiàng)記憶，只要提到金，就立刻聯(lián)想到：金生水;也會(huì)聯(lián)想到：金克木，如圖14所示。

當(dāng)按下“回答”按鈕時(shí)，AI模型就依據(jù)其記憶（通過權(quán)重）得出其連結(jié)強(qiáng)度，如圖14，如果問它：金的相生與相克的元素為何？它就會(huì)取出記憶中的權(quán)重計(jì)算得出：相生[0.1，0.1，0.4，0.1，0.1]，其最接近于[0，0，1，0，0]，意味著：金生水。而且還計(jì)算出：相克[0.1，0.4，0.1，0.1，0.1]，其最接近于[0，1，0，0，0]，意味著：金克木。同樣，在圖14中，AI模型也回答了：火生土和火克金。

5結(jié)束語

學(xué)習(xí)和記憶是AI機(jī)器學(xué)習(xí)的基礎(chǔ)技能。當(dāng)它搭配分類（classification）技能，就可以對(duì)未曾見過的事物進(jìn)行歸類而舉一反三，對(duì)新事物進(jìn)行預(yù)測(cè)。這就是俗稱泛化的能力。下一期（注：《電子產(chǎn)品世界》2022年第1期），將會(huì)繼續(xù)說明。