面向自動化的機器學習實驗平臺設計

杜曉冬，王 俊

(合肥學院 基礎教學與實訓中心，安徽 合肥 230601)

0 引言

近幾年，信息技術特別是人工智能技術的發展與應用不斷加速，人工智能的理論研究與應用進入全新的階段。中國具有龐大的人工智能市場，也將人工智能的發展提升到了國家戰略高度[1]。我國教育部正在研究人工智能專業的設立，以進一步完善我國的人工智能教育體系[2]。同時，與人工智能技術交叉融合的新興學科也開始出現，如計算教育學[3]等。機器學習作為人工智能中的關鍵技術，在工業、農業、金融等領域的應用日益增加。在自動化控制方面，人工智能技術，特別是機器學習算法已經應用于自動化操作、設備故障診斷、系統遠程控制等等，體現了人工智能技術在自動化控制中的廣泛應用前景。因此，能夠綜合使用機器學習技術解決自動化控制中實際問題的應用型人才已經成為當今人才市場上的翹楚，形成了供不應求的局面[4]。應用人才的培養，不僅需要提升其理論知識，更需要鍛煉其工程實踐能力。因此，作為理論教學的另一條“腿”，實驗教學的重要性慢慢體現出來。

在實驗教學中，軟件或硬件的實驗平臺是不可或缺的。市面上已經存在多式多樣的針對不同學科的實驗平臺產品，然而這些商品化平臺往往是通用的，僅能實施初級的、簡單的實驗。另外，由于各校的培養模式、學科優勢、學校傳統，甚至是對口工作單位存在較大差異。因此，開發針對本校或本系特色的實驗平臺的必要性日益凸顯[5]。已有研究中，在機械電子領域，龐在祥等[6]基于三坐標測量儀機械結構設計了一種機電綜合實驗教學平臺，能讓學生深入了解機電系統的控制原理與方法。在圖像處理領域，范哲意等[7]提出了一種基于FPGA與模型化設計方法的圖像處理實驗平臺，能夠用于圖像處理研究方向的實驗教學。在機器人領域，Riggs T A等[8]實現了自主移動機器人系統室內試驗臺的設計與搭建，用于開發和驗證多個自主移動機器人系統的識別、協調與協作控制、軌跡生成、計算智能和傳感等方面的理論和實踐研究工作。在通信領域，Rimal B P等[9]開發了一個跨融合FiWi寬帶接入網的邊緣計算實驗試驗臺，能夠用于研究邊緣計算的響應時間和響應時間效率。在自動控制領域，胡文山等[10]設計了一種基于NCSLab的模塊化遠程實驗平臺，能夠為網絡化控制系統的研究者提供實體設備和虛擬設備的控制算法實驗研究。在信息安全領域，付秀偉等[11]提出一種基于安全加密算法的數字邏輯仿真實驗平臺，可以幫助學生增強對數字邏輯知識的理解。

而機器學習作為一門獨立的學科，開發專門針對機器學習研究的實驗平臺非常必要[12]。目前的相關研究較少。在文獻[13]中，黃曼綺等基于LXC-LXD容器技術設計了一個公用機器學習平臺，旨在解決高校公共實驗平臺的GPU共享問題。在文獻[14]中，聞劍峰等面向電信運營商對人工智能技術的需求，基于Docker+K8S云化基礎架構構建了開放共享的深度學習實驗平臺，創建了傳統機器學習、深度學習、大數據挖掘等多種技術為一體的研發環境。在文獻[15]中，Teixeira M等開發了利用機器學習方法進行網絡安全研究的數據采集與監視控制系統試驗臺，能夠用于訓練和測試不同的機器學習算法，以實現對網絡攻擊的實時監測。

上述實驗平臺大多面向具備一定基礎的研究者，以輔助他們開發新的算法或驗證已有的算法。然而，目前還沒有一種面向無機器學習研究基礎學習者的實驗平臺。在本文中，我們設計了一種基于MATLAB開發的面向初學者的機器學習實驗平臺，界面友好、操作簡單，并能夠在二維平面上直觀地展示出數據分布與分類效果。學習者可以通過該平臺初步了解并迅速掌握支持向量機、K最近鄰、決策樹和樸素貝葉斯四種分類模型，理解其特性、優缺點與適用領域，并培養學生對機器學習技術的學習興趣。

在本文的后續部分，我們將在第1節簡單介紹本實驗平臺涉及的機器學習知識，在第2節介紹基于MATLAB的設計方法，在第3節介紹本實驗平臺的使用方法與效果，并在第4節進行總結。

1 機器學習基礎知識

在本章節，我們將對實驗平臺主要涉及的機器學習技術，特別是分類模型進行簡單介紹。

1.1 支持向量機分類器

定義訓練集為D={(x1,y1),…,(xn,yn)}，其中n為訓練集中訓練樣本的數量，yi∈{±1}.支持向量機(SVM)的目標是構造一個超平面將兩類樣本點分離，并最大化超平面與支持向量之間的距離。在樣本空間中，超平面可表示為：

w′x+b=0

(1)

其中，w為法向量，b為偏移量，上標′表示轉置。SVM可以通過優化如下問題而獲取：

(2)

(3)

對于現實中很多非線性分類任務，可以應用核技術通過φ∶x→φ(x)將原始數據映射到一個高維特征空間，使得兩類點線性可分，并在該特征空間中應用SVM分類。上述模型中的約束條件可表示為：

yi(w′φ(xi)+b)≥1,i=1,2,…,n

(4)

引入如下的函數：

κ(xi,xj)=φ(xi),φ(xj)=φ(xi)′φ(xj)

(5)

(6)

s.t.yi(w′φ(xi)+b)≥1-ξi，ξi≥0,i=1,2,…,n

(7)

其中C是一個常數，ξi為松弛變量。上述問題可使用拉格朗日乘子法進行求解。

1.2 K近鄰分類器

K近鄰分類算法(KNN)是機器學習中最簡單的一個算法。其基本思想是用特征空間中樣本點周圍的K個最近鄰投票確定該樣本點的類型，其K個最近鄰的類別標簽中出現次數最多的標簽即作為該樣本點的分類結果。由于K最近鄰分類器不具備顯式的訓練過程，因此是一種“懶惰學習(Lazy learning)”方法。

KNN算法雖然簡單，但是K值對模型性能有很大影響，因此K值的選取非常重要。若K值過小，分類結果會對噪聲非常敏感；若K值過大，雖可減小噪聲的干擾，但距離較遠的樣本點也會影響分類結果，因此同樣會造成分類錯誤。另外，如果采用不同的距離度量方式，目標樣本的最近鄰集合也會不同，因此導致不同的分類結果。

1.3 決策樹分類器

決策樹是一種用于分類或回歸的樹狀結構，包含一個根節點、若干個內部節點與葉子節點，其根節點表示第一個屬性測試，內部節點表示其他屬性測試，葉子節點對應于決策結果。顯然，決策樹模型的構建是遞歸的，在“無需劃分”“無法劃分”與“不能劃分”三種條件下停止。在進行最優劃分時，我們希望劃分后分支節點的樣本純度越來越高，為此，常常采用基尼(Gini)指數，其中數據集D的基尼指數為：

(8)

其中，Dc為訓練集D中類別為c的樣本集合。對于某一屬性a，D的Gini系數為：

(9)

其中Di表示屬性a的第i個取值的樣本集合，V為屬性a的取值數量。在候選屬性集合A中，最優的屬性為

為解決決策樹的過擬合問題，可以采用剪枝的方式進行處理。

1.4 樸素貝葉斯分類器

樸素貝葉斯分類器是基于貝葉斯理論和屬性條件獨立性假設，并利用概率統計知識進行分類的算法。最小化分類錯誤率下的最優貝葉斯分類器可以寫作：

其次，房地產開發企業受到政策環境的直接影響。國家的政策法規、金融環境以及經濟變化會對房地產企業的未來發展帶來較大干擾。

(10)

如果需要使用貝葉斯準則來確定樣本的類別，就需要獲得后驗概率P(c|x),根據貝葉斯公式，我們有：

(11)

其中，P(c)為類先驗概率，P(x|c)為類條件概率，或稱之為似然，P(x)用于歸一化，與類別無關。因此，對P(c|x)的估計問題即轉化為P(c)與P(x|c)的估計問題。

(12)

其中，Dc為訓練集D中類別為c的樣本集合。根據屬性條件獨立假設，我們有：

(13)

即實現了后驗概率的計算。

2 實驗平臺界面與功能設計

MATLAB (matrix laboratory)中文名為矩陣實驗室，是MathWorks公司開發的具有多維數值計算環境，及編程語言環境。MATLAB具有矩陣操作、創建用戶界面、算法設計、系統仿真等功能。最初的使用者主要是來自控制工程領域中的研究人員與工程師，但很快就擴展到其他領域。截至2018年，MATLAB在全球擁有超過300萬用戶，用戶來自包括工程、科學和經濟學在內的多種學科領域。在本文中，主要使用了MATLAB的用戶界面設計功能、繪圖功能以及部分內嵌的機器學習算法。

基于MATLAB設計的機器學習實驗平臺界面如圖1所示。主要使用的控件包括：按鈕(Push Button)、復選框(Check Box)、編輯框(Edit Text)、靜態文本框(Static Text)、彈出菜單欄(Pop-Up Menu)、列表欄(List Box)、繪圖坐標軸(Axes)以及控制面板(Panel)。由于機器學習是一門新興的、快速發展的學科，學生需要參考大量的英文文獻，因此本實驗平臺采用英語進行標注。

圖1 基于MATLAB設計的機器學習實驗平臺界面

該實驗平臺界面主要分為兩部分，其左半部分是四個繪圖區域，當坐標軸上方的“圖(Figure)”復選框被選定時，繪圖結果會在該復選框對應的區域繪圖；當有多個“圖(Figure)”復選框被選中時，其對應的多個繪圖區域會重復繪圖。為實現更加清晰的顯示效果，數據集中不同類別的樣本用不同顏色和形狀標出，在本文中我們介紹的二分類問題的兩類樣本分別用紅色三角形和藍色圓形表示。

右半部分是操作區域，包括數據操作面板(Data Operations)和四種分類模型(支持向量機、K最近鄰、決策樹和樸素貝葉斯)控制面板，其中數據操作面板負責數據的加載、調整與保存等操作；分類模型控制面板負責對四種分類模型的參數設置的操作。

系統自帶四種常用的仿真數據，分別為“兩圓圈(2_Circles)”“兩月牙(2_Moons)”“兩月牙測試集(2_Moons_Test)”以及“兩螺旋(2_Spirals)”。這四種數據集中“兩螺旋(2_Spirals)”數據的分類難度最大，“兩月牙(2_Moons)”和“兩月牙測試集(2_Moons_Test)”數據的分類難度最低，這是因為這兩個數據集的樣本分布更接近簇狀。當用戶從列表欄中選中時即加載相應數據。除此之外，平臺使用者可根據自己的需求，添加其他數據集進行不同機器學習算法的實驗。同時，用戶可以對這些數據集進行調整，通過X軸與Y軸的“偏移(Offset)”“縮放(Scaling)”“方差(Variance)”對已加載數據的分布進行調整。需要注意的是：只有上方的“類別(Class)”復選框被選中時，相應的數據調整操作才會生效。點擊“生成數據(Gen. Data)”按鈕即可完成數據的調整。用戶可以將新生成的數據名字填寫到編輯框中，并點擊“保存數據(Save Data)”按鈕將數據以“.mat”的格式保存到本地，并可以通過“加載數據(Load Data)”按鈕加載本地數據。

數據操作面板下方的分類模型控制面板具體包括“支持向量機(Support Vector Machine)”“K近鄰分類器(K-Nearest-Neighbor Classifier)”“決策樹(Decision Tree)”以及“樸素貝葉斯分類器(Na?ve Bayesian Classifier)”控制面板。MATLAB中自帶機器學習分類函數，在本平臺中，我們通過調用MATLAB內置函數(例如svmtrain、knnclassify、fitctree、fitcnb)來實現支持向量機、K近鄰、決策樹及樸素貝葉斯的分類。通過輸入訓練樣本和相應的標簽，設定模型參數，這些函數即可根據訓練數據集建立相應的模型，并可通過predict()函數對測試集進行類別標簽預測。本實驗平臺選擇的這四種分類模型是機器學習中最為基礎的分類模型，通過在基礎分類模型上的實驗，能夠讓使用者了解機器學習算法的基本原理和分類過程，可幫助無機器學習基礎的使用者快速入門。每個分類模型控制面板中包含分類器“核(Kernel)”“距離(Distance)”“寬度(Width)”等參數的設置。部分參數只可在預設的彈出菜單欄中進行選取，例如“核(Kernel)”“距離(Distance)”等。除了K近鄰分類器，其他三個分類器都同時具有“訓練模型(Train Model)”與“測試模型(Test Model)”的功能，用戶可以在不同的數據上進行獨立的訓練與測試。由于K近鄰分類器是一種“懶惰學習”方法，因此其沒有訓練過程。基于實驗平臺的繪圖區域、數據操作以及分類器設置功能，使用者可以自由地進行實驗以研究各個分類器的特點以及其在不同分布數據集上的表現。

3 使用方法與教學效果

在本章節，我們將展現如何使用該實驗平臺以研究四種不同的分類器的功能與在不同分布數據上的表現。

3.1 支持向量機分類器

首先，我們對支持向量機(SVM)在“兩圓圈(2_Circles)”數據上進行實驗，結果如圖2所示。從圖2.1至圖2.4，支持向量機的“核(Kernel)”均為“高斯(Gaussian)”“損失(Cost)”均為0.3，但“核寬(Sigma)”分別為0.1、0.3、0.8與15的四種不同設定。核寬的大小決定了分類器的復雜度，當核寬越小，分類器越復雜，反之越簡單。從圖2容易發現，當核寬設置的過小，分類器將“紅類”(內部圓圈，用三角形表示的樣本)緊緊包住，當核寬設置的過大，分類器將無法在訓練集上實現百分百準確的分類，圖中用不同顏色陰影表示分類器的分類結果。學習者可以通過這個實驗了解支持向量機的核寬與分類器復雜度的關系、以及不正確的核寬對分類器訓練帶來的影響。

圖2 支持向量機分類實驗1

圖3 支持向量機分類實驗2

如果將支持向量機的“核(Kernel)”設置為“線性(Linear)”，我們可以觀察其在不同數據集上的分類效果。結果如圖3所示，其中圖3.4的數據由手動調整“兩月牙(2_Moons)”得到。由于分類器內核設定為線性，因此將難以在這些“線性不可分”的數據上訓練出令人滿意的模型，如圖3.2所示。通過將“兩月牙(2_Moons)”中的“紅類”沿著Y軸正向偏移0.4，“兩月牙(2_Moons)”數據變得線性可分，因此采用基于線性內核的支持向量機也能得到不錯的分類模型，如圖3.4所示。學習者通過這個實驗可以了解支持向量機兩種內核的區別，進一步加深對“線性不可分”概念的理解，明白“核方法”的意義以及重要性。

在高斯核、核寬為0.3、損失為0.3的情況下，我們可以觀察支持向量機在多種不同數據集上的表現。結果如圖4所示。顯然，具有非線性核的支持向量機在高度復雜的數據集上均具有不錯的分類效果。即使面對“兩螺旋(2_Spirals)”數據集，仍然可以在訓練集上得到近乎百分之百的訓練精度，如圖4.3所示。通過這個實驗，學習者可以增強對支持向量機的感性認識，并充分感受到支持向量機的強大性能，理解支持向量機研究者眾多的原因。

圖4 支持向量機分類實驗3

圖5 支持向量機分類實驗4

雖然支持向量機能夠擬合較強的非線性模型，然而訓練一個過于復雜的模型可能會導致泛化性能的下降，也就是過擬合問題。如圖5所示，圖5.1、5.2展示了支持向量機在“兩月牙(2_Moons)”數據上不同的訓練結果。在圖5.1中，核寬為0.3，在圖5.2中為0.1，這意味著圖5.2展示的模型具有更高的復雜度，因此分類器將“紅類”(上凸月牙所代表的類別，用三角形表示的樣本)緊緊包住而幾乎不留裕度。相反，圖5.1所展示的分類器就寬松很多。這兩個分類器的訓練精度均為百分之百，然而，圖5.2所展示的分類器在測試集上的精度將會大幅下降。在圖5.3、5.4中，展示的測試數據集通過對“兩月牙(2_Moons)”數據集進行方差為0.02的調整得到，這意味著測試集與訓練集二者并不滿足獨立同分布假設。由于帶寬為0.3的支持向量機具有較低的復雜度，其在訓練集上的分類模型具有一定的裕度，因此在測試集上表現極好，證明其具有較好的泛化性能。反之，帶寬為0.1的支持向量機在測試集上表現較差，說明訓練過程中出現了過擬合問題。機器學習中的一大部分工作都是針對過擬合問題而展開的，因此這個實驗可以幫助學習者直觀地理解過擬合的含義、產生的原因、以及與分類器復雜度的關系。

3.2 K近鄰分類器

在“K近鄰分類器(K-Nearest-Neighbor Classifier)”控制面板上設置“規則(Rule)”為“最近鄰(nearest)”，K為5的情況下進行實驗，分別觀察“距離(Distance)”為“歐式(euclidean)”“街區(cityblock)”“余弦(cosine)”“漢明(hamming)”四種情況下的分類情況。結果如圖6所示。容易發現，采用歐式距離和街區距離的分類結果較好，其中采用歐式距離的劃分界面相對于采用街區距離的劃分界面更加圓潤。采用余弦距離和漢明距離都無法在“兩圓圈(2_Circles)”數據上取得好的分類結果。通過這個實驗，使用者可以直觀地了解不同距離對K近鄰分類器的影響，理解大多數分類器選取歐式距離的原因。

我們可以進一步觀察K近鄰分類器在“兩月牙(2_Moons)”和“兩螺旋(2_Spirals)”數據集上的分類效果。將K設置為3，并設置“規則(Rule)”為“最近鄰(nearest)”，結果如圖7所示。圖7.1、7.2的區別在于分別使用了“歐式(euclidean)”與“街區(cityblock)”作為距離，圖7.3、7.4亦是如此。由于街區是呈現方正形狀的，因此采用街區距離的K近鄰分類器的劃分界面有一些鋸齒，而采用歐式距離的情況下，劃分界面將更加平滑。但是，與支持向量機分類器相比，K近鄰分類器的劃分界面平滑度較差，呈現出細微的凸凹不平的形狀。通過這個實驗，使用者可以發現，即使是原理最為簡單的K近鄰分類器也能有媲美支持向量機分類器的性能，同時也能直觀地了解歐式距離和街區距離的細微差別。

圖6 K最近鄰分類實驗1

圖7 K最近鄰分類實驗2

3.3 決策樹分類器

在“決策樹分類器(Decision Tree)”控制面板設置“分叉準則(SplitCriterion)”為“基尼系數(gdi)”，“最小葉子尺寸(MinLeafSize)”為1，“最大分叉數量(MaxNumSplit)”分別設為1、2、3、4，得到如圖8所示的實驗結果。容易發現：決策樹的劃分平面不是類似于支持向量機或者K近鄰分類器的平滑界面，而是尖銳的。這是由于決策樹在生長過程中每次僅僅針對一維特征進行分叉，在一個維度上劃出一條判定直線。因此決策樹分類器的劃分界面實際上是由垂直于特征坐標軸的超平面組成，我們可以通過超平面數量來確定分支的數量。對于“兩圓圈(2_circles)”數據集，至少需要4個超平面才能完成分類任務，因此如圖8.4所示，劃分平面呈現矩形形狀。通過這個實驗，使用者可以直觀地理解決策樹分類器的工作原理與特點。由于每次劃分是基于一個特征的，因此可以根據決策樹結果輕易地構建出if-then規則，以便于人類理解。這就是所謂的可解釋性，學習者通過這個實驗可以理解決策樹分類器的可解釋性的原理。另外，“分叉準則(SplitCriterion)”還可以設置為“二分(twoing)”與“變異(deviance)”，學習者可以進一步了解不同分支準則對分類性能的影響。

對于“兩螺旋(2_spirals)”數據集，分類結果如圖9所示。其中，圖9.1的“分叉準則(SplitCriterion)”為“基尼系數(gdi)”，“最小葉子尺寸(MinLeafSize)”為1，“最大分叉數量(MaxNumSplit)”分別設為10，可見其分類效果十分不理想。將“最大分叉數量(MaxNumSplit)”增加到28，并將“分叉準則(SplitCriterion)”為“基尼系數(gdi)”分別設置為“基尼系數(gdi)”“二分(twoing)”與“變異(deviance)”三種情況，結果分別見圖9.2～9.4，可見分類效果依然不夠理想。由于決策樹分類器的劃分界面不夠平滑，因此很難在復雜的數據集上得到理想的結果。通過該實驗，學習者可以進一步了解決策樹分類器的特點與其缺點。

圖8 決策樹分類實驗1

圖9 決策樹分類實驗2

3.4 樸素貝葉斯分類器

在“樸素貝葉斯分類器(Na?ve Bayesian Classifier)”控制面板設置“分布(Distribution)”為“核(kernel)”，“核(kernel)”為“正態(normal)” 進行實驗，結果如圖10所示。其中，圖10.1與圖10.3為“寬度(Width)”設為0.1的結果，圖10.2與圖10.4為“寬度(Width)”設為0.5的結果。當寬度設置過大時，模型的復雜度降低，往往會導致欠擬合。通過這個實驗，使用者可以直觀地了解樸素貝葉斯分類器的特性。對于較為復雜的“兩螺旋(2_spirals)”數據集，樸素貝葉斯分類器的性能往往交叉。

圖10 樸素貝葉斯分類實驗1

圖11 樸素貝葉斯分類實驗2

圖11分別展示寬度為0.5，“核(kernel)”為“正態(normal)”“盒子(box)”“葉帕涅奇尼科夫(epanechnikov)”“三角(triangle)”四種情況下的分類情況，可見分類結果均不理想。

4 結論與展望

在本文中，展示了一種基于MATLAB開發的機器學習實驗平臺，面向初次接觸到機器學習的學生，界面友好、操作簡單，能夠在二維平面上直觀地展示出數據分布與分類效果。系統內嵌有四種常見的數據集與分類模型，學習者可以通過該平臺初步了解并迅速掌握支持向量機、K近鄰、決策樹和樸素貝葉斯四種分類模型，觀察不同分類器在不同數據集上的分類表現，理解這些分類器的特性、優缺點與適用領域，并培養學生對機器學習技術的學習興趣。該實驗平臺是1.0版本，僅僅涉及了機器學習中基礎的分類模型。在未來的工作中，可以增加神經網絡等高級機器學習算法，并提供用戶數據接口，方便學習者在真實數據集上進行實驗學習。