統(tǒng)計學(xué)習(xí)基礎(chǔ)算法剖析*

摘? 要? 以華東師范大學(xué)出版社出版的《人工智能基礎(chǔ)（高中版）》為例，立足機器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)，在對普通高中信息技術(shù)選擇性必修模塊“人工智能初步”現(xiàn)行教材涉及的有關(guān)統(tǒng)計學(xué)習(xí)算法系統(tǒng)進(jìn)行分析的基礎(chǔ)上，對教材闡釋的算法模型進(jìn)行分析歸納，針對當(dāng)前現(xiàn)有學(xué)習(xí)資料沒有講解或忽略的有關(guān)算法要點進(jìn)行補充證明，對有關(guān)算法引用的數(shù)學(xué)定理進(jìn)行補充，為高中信息技術(shù)教師融會貫通地掌握統(tǒng)計學(xué)習(xí)基礎(chǔ)算法提供有參考價值的路徑和建議。

關(guān)鍵詞? 高中；人工智能基礎(chǔ)；統(tǒng)計學(xué)習(xí)；機器學(xué)習(xí)；基礎(chǔ)算法

中圖分類號：G633.67? ? 文獻(xiàn)標(biāo)識碼：B

文章編號：1671-489X（2022）09-0077-03

0? 引言

華東師范大學(xué)出版社出版的《人工智能基礎(chǔ)（高中版）》依據(jù)新版課程標(biāo)準(zhǔn)，遴選貼近高中生學(xué)習(xí)生活的案例，相對系統(tǒng)全面地概述了機器學(xué)習(xí)的基礎(chǔ)算法。由于人工智能初步課程涉及較多的高等數(shù)學(xué)知識，對于課程的有效實施造成一定困難。為破解當(dāng)前高中人工智能基礎(chǔ)算法教學(xué)存在的問題，本文依據(jù)課標(biāo)對教材涵蓋的傳統(tǒng)機器學(xué)習(xí)（也稱“統(tǒng)計學(xué)習(xí)”）算法原理進(jìn)行了較系統(tǒng)的歸納及貫通分析，力求為一線教師高效快速地掌握教材涉及的統(tǒng)計學(xué)習(xí)算法提供參考。

1? 算法剖析

統(tǒng)計學(xué)習(xí)是機器學(xué)習(xí)的基礎(chǔ)，教材《人工智能基礎(chǔ)（高中版）》用三章篇幅（第二章“察異辨花”、第六章“分門別類”、第七章“理解文本”）相對系統(tǒng)地闡釋了感知機、支持向量機、K均值聚類、非概率潛在語義分析等經(jīng)典案例，基于教材涉及的統(tǒng)計學(xué)習(xí)案例，對正則化、支持向量機、感知機及主成分分析等經(jīng)典統(tǒng)計學(xué)習(xí)基礎(chǔ)算法進(jìn)行解析歸納。

1.1? 正則化

機器學(xué)習(xí)的目標(biāo)是期望風(fēng)險最小化，根據(jù)大數(shù)定律，通常采用模型關(guān)于訓(xùn)練數(shù)據(jù)集的平均損失即經(jīng)驗風(fēng)險來估計期望風(fēng)險。由于訓(xùn)練樣本數(shù)目很有限，需要在經(jīng)驗風(fēng)險上增加正則化項或者懲罰項來構(gòu)建結(jié)構(gòu)風(fēng)險函數(shù)。最基本的正則化方法就是在原始目標(biāo)（或代價）函數(shù)中增加懲罰項，對復(fù)雜度高的模型進(jìn)行數(shù)學(xué)意義上的“懲罰”。正則化可從不同角度分析其由來。

1.1.1? 基于約束條件最優(yōu)化

在通過最小化目標(biāo)函數(shù)優(yōu)化權(quán)重系數(shù)的模型中（如線性回歸、神經(jīng)網(wǎng)絡(luò)等），通常模型的復(fù)雜度可通過VC維衡量，VC維與權(quán)重系數(shù)的分量數(shù)量成線性關(guān)系，由此減少權(quán)重系數(shù)的分量個數(shù)就能限制模型的復(fù)雜度，即把權(quán)重系數(shù)向量中的一些元素設(shè)置為0，因此可以用L0范數(shù)來進(jìn)行數(shù)學(xué)表示。但由此帶來一個NP問題需放松約束條件，為達(dá)到近似效果，可以不嚴(yán)格要求權(quán)重w某些分量為0，而用L1或L2范數(shù)來近似L0范數(shù)。為方便統(tǒng)一運算，通常用權(quán)重w的L2范數(shù)平方取代L2范數(shù)，只需調(diào)整C的取值即可。參照帶不等式約束的凸規(guī)劃問題數(shù)學(xué)模型，構(gòu)造廣義拉格朗日函數(shù)，原問題就轉(zhuǎn)化為求廣義拉格朗日函數(shù)的上確界即極小極大問題。為便于觀察約束的作用，將拉格朗日乘子取固定值，因此，廣義拉格朗日函數(shù)仍可被視為原問題的解，即形成結(jié)構(gòu)風(fēng)險函數(shù)。

1.1.2? 基于譜范數(shù)

為限定函數(shù)的變化速度，德國數(shù)學(xué)家利普希茨定義了利普希茨連續(xù)，即要求連續(xù)函數(shù)f（x）在一定的定義域范圍內(nèi)使得任意兩個元素x1和x2都能夠滿足，則函數(shù)f（x）的利普希茨常數(shù)為K，K＜1，稱函數(shù)f（x）為壓縮映射。若f（x）的定義域為實數(shù)集合，則等價于f（x）在某鄰域內(nèi)的導(dǎo)數(shù)絕對值不能超過K。利普希茨連續(xù)限制函數(shù)在區(qū)間上不能有超過線性的變化速度，即相當(dāng)于限制輸入噪聲引起的輸出波動。如以單層的全連接神經(jīng)網(wǎng)絡(luò)為例，其模型為f（Wx+b），f是激活函數(shù)，而W，b是參數(shù)矩陣/向量。設(shè)全連接神經(jīng)網(wǎng)絡(luò)正向傳播函數(shù)滿足利普希茨連續(xù)性，則：

（1.1）

讓x1，x2充分接近，將不等式左邊用一階項泰勒展開，忽略無窮小項，近似得到：

若要滿足該不等式成立，則要求?f/?x這一項（每個元素）的絕對值必須不能超過某個常數(shù)。因為機器學(xué)習(xí)中使用的激活函數(shù)均滿足“導(dǎo)數(shù)有上下界”，因此，?f/?x這一項是一個常數(shù)，可忽略它，剩下來只需考慮，最終保證C足夠小。

矩陣譜范數(shù)的定義：

根據(jù)瑞利商的定義推證出矩陣W的譜范數(shù)等于W的最大奇異值。而由柯西不等式可得：

很明顯，提供了的一個上界，可理解為是最準(zhǔn)確的C，只要控制C足夠小，就能控制由輸入噪聲引起的輸出值突變，提高泛化能力。由于容易計算，可以直接取，因此，單層神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)風(fēng)險函數(shù)為：

1.2? 線性支持向量機

線性可分支持向量機的學(xué)習(xí)策略是求間隔最大化，即求解唯一超平面，將不同類的樣本完全劃分開。然而對于線性不可分樣本數(shù)據(jù)，很難確定一個超平面做到完全線性可分。為此，默許支持向量機在一些樣本上發(fā)生錯誤，引入軟間隔將線性不可分樣本數(shù)據(jù)忽略掉。通過引入松弛變量ξi，可將線性可分支持向量機轉(zhuǎn)為線性支持向量機，每個樣本不滿足約束的程度都對應(yīng)由一個松弛變量來表示。線性支持向量機同線性可分支持向量機數(shù)學(xué)模型一樣，仍是一個凸二次規(guī)劃問題。

理論上支持向量機目標(biāo)函數(shù)也可以用合頁損失函數(shù)來構(gòu)建，即經(jīng)驗風(fēng)險+正則化項，由合頁損失函數(shù)構(gòu)成結(jié)構(gòu)風(fēng)險函數(shù)。因為合頁損失函數(shù)在參數(shù)的實際學(xué)習(xí)優(yōu)化中是動態(tài)變化的（與感知機的誤分類點構(gòu)建的損失函數(shù)類似），所以在實踐中多采用將目標(biāo)函數(shù)引入松弛變量帶約束條件的數(shù)學(xué)模型進(jìn)行優(yōu)化求解。

首先，給該問題的每一個約束指定一個拉格朗日乘子，以乘子為加權(quán)系數(shù)，將等式或不等式約束增加到目標(biāo)函數(shù)中，使目標(biāo)函數(shù)f（x）在可行域內(nèi)大于或等于構(gòu)建的拉格朗日函數(shù)。由此，求構(gòu)建的拉格朗日函數(shù)對目標(biāo)函數(shù)f（x）的自變量x的下確界，就轉(zhuǎn)化為拉格朗日對偶函數(shù)。因為原問題（原問題與拉格朗日函數(shù)的上確界是等價的）與對偶問題滿足強對偶條件，所以拉格朗日對偶函數(shù)最優(yōu)解即為原問題最優(yōu)解。

通常在求解凸規(guī)劃問題時要涉及KKT條件，對軟間隔支持向量機，KKT條件的核心是松弛互補條件[αi（yif（xi）-1+ξi）=0]。若松弛互補條件對于可行解

在約束區(qū)域內(nèi)部，則約束不起作用；若可行解在約束邊界上，則不等式約束轉(zhuǎn)為等式約束。如果樣本xi不在約束邊界上，αi=0，則約束失效；如果樣本xi

在約束邊界上，αi＞0，則約束邊界上樣本點理論上均為支持向量。

對任意訓(xùn)練樣本（xi，yi），總有αi=0或yif（xi）=

1-ξi，但兩式不能同時成立（同時成立會導(dǎo)致權(quán)重向量w最優(yōu)解為0，可用反證法證明）。若αi=0，則對應(yīng)樣本不會對f（x）產(chǎn)生影響，即對超平面方程不發(fā)生作用，相當(dāng)于屏蔽掉對應(yīng)的樣本。若yif（xi）=

1-ξi（即ɑi不等于0），則該樣本可能是實際支持向量。若αi＜C，則ξi=0（因μi＞0），則該樣本位于最大間隔邊界。若αi=C，則μi=0，若ξi≤1，則該樣本落在最大間隔內(nèi)部；若ξi＞1，則該樣本被錯誤分類。由于此情況αi=C引起的ξi的隨意性，雖然也應(yīng)該屬于軟間隔的支持向量，但由于其線性不可分，因此不能起到優(yōu)化固定f（x）參數(shù)的作用。同時可設(shè)定C為任意小的懲罰值，會將ξi近似屏蔽掉。由此看出，軟間隔支持向量機的參數(shù)優(yōu)化僅與實際支持向量（位于最大間隔邊界）有關(guān)，而忽略軟間隔支持向量。

1.3? 感知機

感知機損失函數(shù)是求誤分類的全部樣本到超平面的距離之和最小。感知機學(xué)習(xí)算法的原始表達(dá)形式為求以下目標(biāo)函數(shù)極小化問題的解：

用基于所有樣本梯度和均值的批量梯度下降法（BGD）求感知機的最優(yōu)解是行不通的，如采用標(biāo)準(zhǔn)梯度下降法，由于參與損失函數(shù)優(yōu)化的誤分類點在參數(shù)優(yōu)化過程中是動態(tài)更新的，而構(gòu)建損失函數(shù)的誤分類點數(shù)量也隨之變化，導(dǎo)致不能使損失函數(shù)保持穩(wěn)定，每次更新時的梯度易發(fā)生突變，因此不能用普通的批量梯度下降法，而只能采用隨機梯度下降法（SGD）。隨機損失函數(shù)為：

隨機損失函數(shù)中的||w||可以忽略，即可視為1，推導(dǎo)如下：

令

則：

L（w，b）=-yi（w1·xi+b1）

函數(shù)1.8是將函數(shù)1.7中的w參數(shù)進(jìn)行單位化，連同b一并縮放的恒等變換，對損失函數(shù)L（w，b）換元后進(jìn)行關(guān)于w1和b1參數(shù)的梯度下降更新，不會影響超平面方程的最終優(yōu)化（即與原損失函數(shù)1.7的最優(yōu)解同解）。w1和b1更新為：

w1：w1+λyixi

b1：b1+λyi

再次更新前要進(jìn)行單位化處理：

對另一損失函數(shù)：

L（w，b）=-yi（w·xi+b）

其參數(shù)更新表達(dá)式為：

w2=w+ηyixi

b2=b+ηyi

因?qū)2和b2同時縮放，w的L2范數(shù)倍不會影響超平面方程的優(yōu)化。令η=1，可得：

由此得出，此參數(shù)的更新表達(dá)式正好與損失函數(shù)換元后的參數(shù)優(yōu)化更新表達(dá)式完全相同，即證明了采用兩種損失函數(shù)對w和b學(xué)習(xí)更新的路徑完全相同，直到得到相同的最優(yōu)解。用損失函數(shù)采用換元法優(yōu)化單位化的w和b得到的最終最優(yōu)超平面方程的法向量和偏置進(jìn)行了單位化，用損失函數(shù)L（w，b）=-yi（w·xi+b）優(yōu)化w和b得到的超平面方程的法向量和偏置未進(jìn)行單位化，兩者得到的最優(yōu)超平面方程相同，因此，用兩種損失函數(shù)進(jìn)行參數(shù)優(yōu)化是同解的。

鑒于用損失函數(shù)L（w，b）=-yi（w·xi+b）進(jìn)行參數(shù)優(yōu)化的簡潔性，所以可以忽略1/||w||。

1.4? 主成分分析

主成分分析的常規(guī)思路是采取將數(shù)據(jù)點投影到待定的投影軸上以實現(xiàn)數(shù)據(jù)的降維，用投影軸上的值作為樣本點的替代值，要求所選定的投影軸使點集投影的離散度越大越好，可用方差來衡量，方差越大越好，即計算數(shù)據(jù)投影點與原點的帶符號距離，這個帶符號距離就最佳的替代值，通常采用直接投影法。

為便于理解，可借助一個與投影軸線相垂直的過空間原點的超平面，假設(shè)它的方程為ωTx=0，設(shè)ω為單位基向量。數(shù)據(jù)點x到超平面ωTx=0的帶符號距離可用f（x）表示，其表達(dá)式為f（x）=ωTx，將點映射成它到某超平面的帶符號距離和投影法的幾何原理是等同的，只不過前者的優(yōu)勢在于計算更簡單（主成分分析算法后續(xù)的推導(dǎo)過程在此略）。

2? 結(jié)束語

統(tǒng)計學(xué)習(xí)是深度學(xué)習(xí)的基礎(chǔ)，高中學(xué)生在學(xué)習(xí)中受到現(xiàn)有數(shù)學(xué)課程滯后等因素制約。高中人工智能初步有關(guān)算法教學(xué)是一項系統(tǒng)而又有待于深入研究的課題，但隨著人工智能課程的不斷推進(jìn)以及配套數(shù)學(xué)基礎(chǔ)課程的同步開設(shè)，在現(xiàn)行教材修訂的基礎(chǔ)上，高中人工智能課程必將進(jìn)入更加全面有效的實施階段。

參考文獻(xiàn)

[1] 陳玉琨，湯曉鷗.人工智能基礎(chǔ)（高中版）[M].上海：華東師范大學(xué)出版社，2018.

[2] 李航.統(tǒng)計學(xué)習(xí)方法[M].2版.北京：清華大學(xué)出版社，2019：112-132.

[3] 雷明.機器學(xué)習(xí)的數(shù)學(xué)[M].北京：人民郵電出版社，2021：201-217.

*項目來源：2021年度山東省教育教學(xué)研究一般課題“中小學(xué)人工智能課程內(nèi)容設(shè)計與實施范例研究”（課題編號：2021JXY383）。

作者：穆明，淄博市基礎(chǔ)教育研究院，高級教師，研究方向為機器學(xué)習(xí)算法（255033）。