過(guò)度擬合

蘇陽(yáng)

“過(guò)度擬合”是人工智能學(xué)習(xí)中一個(gè)普遍存在的問(wèn)題。擬合是數(shù)學(xué)上的一個(gè)術(shù)語(yǔ)。比如，我們做一個(gè)物理實(shí)驗(yàn)，研究力和加速度的關(guān)系（力=質(zhì)量×加速度）。我們測(cè)量得到一組力和加速度的數(shù)據(jù)，將其描畫在坐標(biāo)紙上。從理論上講，力和加速度應(yīng)該是正比關(guān)系，在坐標(biāo)紙上對(duì)應(yīng)一條直線。但在實(shí)際測(cè)量中，把測(cè)量所得到的數(shù)據(jù)畫在坐標(biāo)紙上時(shí)，這些點(diǎn)不可能剛好都落在一條直線上。這就需要通過(guò)適當(dāng)?shù)霓k法，來(lái)歸納出這組數(shù)據(jù)的規(guī)律。這就是擬合。但擬合的方式有很多，你可以用最接近所有點(diǎn)的一條直線來(lái)擬合，也可以直接用一段段折線把相鄰點(diǎn)簡(jiǎn)單連接起來(lái)。在后一種情況下，雖然所有點(diǎn)都落在你描畫的折線上，但這對(duì)于我們探索規(guī)律毫無(wú)意義。這就屬于過(guò)度擬合。過(guò)度擬合就是過(guò)度拘泥于一些不重要的東西，沒(méi)抓住本質(zhì)，只能死板地重復(fù)已有的數(shù)據(jù)，而不能預(yù)言新情況。

假如你訓(xùn)練人臉識(shí)別系統(tǒng)時(shí)，所有人臉圖片上的人都是有頭發(fā)的，而且頭發(fā)都是黑色的，那么這樣訓(xùn)練出來(lái)的人臉識(shí)別系統(tǒng)，很可能就把“有沒(méi)有頭發(fā)”甚至“頭發(fā)是不是黑色”當(dāng)作判斷是人臉還是普通物體的重要依據(jù)。這就屬于過(guò)度擬合。因?yàn)槲覀兺耆梢蕴旯忸^或者把頭發(fā)染成黃色。

推而廣之，生活中死磕書(shū)本、死抱教條、思維僵化，應(yīng)付不了新事物、新挑戰(zhàn)，從人工智能的角度說(shuō)，也屬于過(guò)度擬合。

為了讓人工智能在學(xué)習(xí)過(guò)程中避免陷入過(guò)度擬合的陷阱，科學(xué)家往往在訓(xùn)練時(shí)，有意輸入一些隨機(jī)的、扭曲變形的東西。譬如在訓(xùn)練人臉識(shí)別系統(tǒng)時(shí)，故意讓有些圖片中的人臉模糊不清，讓有些人臉經(jīng)過(guò)適當(dāng)變形，這樣一個(gè)人即使離鏡頭較遠(yuǎn)或者哪怕經(jīng)歷胖瘦的變化，也能識(shí)別出來(lái)。這種策略對(duì)于提高人工智能的靈活性非常有效，現(xiàn)在被認(rèn)為是不可或缺的步驟。

（摘自《大科技·科學(xué)之謎》春季號(hào)，Stacy圖）