范疇表示機(jī)器學(xué)習(xí)算法

徐曉祥 李凡長(zhǎng) 張 莉 張 召

(蘇州大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 江蘇蘇州 215006) (蘇州大學(xué)機(jī)器學(xué)習(xí)與類腦計(jì)算國(guó)際合作聯(lián)合實(shí)驗(yàn)室 江蘇蘇州 215006)

(20154027004@stu.suda.edu.cn)

范疇表示機(jī)器學(xué)習(xí)算法

徐曉祥 李凡長(zhǎng) 張 莉 張 召

(蘇州大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 江蘇蘇州 215006) (蘇州大學(xué)機(jī)器學(xué)習(xí)與類腦計(jì)算國(guó)際合作聯(lián)合實(shí)驗(yàn)室 江蘇蘇州 215006)

(20154027004@stu.suda.edu.cn)

長(zhǎng)期以來(lái)，人們認(rèn)為表示問(wèn)題是機(jī)器學(xué)習(xí)領(lǐng)域的瓶頸問(wèn)題之一.機(jī)器學(xué)習(xí)方法的性能在很大程度上依賴于數(shù)據(jù)表示的選擇.數(shù)據(jù)表示領(lǐng)域的主要問(wèn)題是如何更好地學(xué)習(xí)到有意義和有用的數(shù)據(jù)表示.寬泛來(lái)看數(shù)據(jù)表示領(lǐng)域有深度學(xué)習(xí)、特征學(xué)習(xí)、度量學(xué)習(xí)、成分建模、結(jié)構(gòu)化預(yù)測(cè)和強(qiáng)化學(xué)習(xí)等.這些技術(shù)應(yīng)用的范圍也非常廣泛，包括圖像、語(yǔ)音識(shí)別和文字理解等.因此，研究機(jī)器學(xué)習(xí)表示方法是一件長(zhǎng)期且具有探索意義的工作.基于此，利用范疇理論來(lái)研究機(jī)器學(xué)習(xí)方法的表示，提出了范疇表示機(jī)器學(xué)習(xí)方法的基本概念.對(duì)決策樹、支持向量機(jī)、深度神經(jīng)網(wǎng)絡(luò)等方法進(jìn)行研究分析，提出了范疇表示分類算法、范疇表示決策樹算法、切片范疇表示主成分分析和支持向量機(jī)算法、范疇函子表示深度學(xué)習(xí)方法，給出相應(yīng)的理論證明及可行性分析.并對(duì)這5種算法做了深入分析，找到了主成分分析和支持向量機(jī)之間的本質(zhì)聯(lián)系，最后通過(guò)仿真實(shí)驗(yàn)論證范疇表示方法的可行性.

范疇表示；機(jī)器學(xué)習(xí)；機(jī)器學(xué)習(xí)表示；范疇表示學(xué)習(xí)；范疇表示學(xué)習(xí)算法

眾所周知，機(jī)器學(xué)習(xí)方法的性能很大程度上依賴于數(shù)據(jù)的表示.表示作為機(jī)器學(xué)習(xí)基本問(wèn)題之一，一直倍受研究者的關(guān)注.表示學(xué)習(xí)領(lǐng)域的發(fā)展速度決定更好的數(shù)據(jù)表示出現(xiàn)的時(shí)間.表示具有廣泛的應(yīng)用領(lǐng)域，主要涉及深度學(xué)習(xí)[1-3]、特征學(xué)習(xí)[4-5]、度量學(xué)習(xí)[6]、核學(xué)習(xí)[7]、成分模型[8-9]、非線性結(jié)構(gòu)預(yù)測(cè)[10-11]、非凸優(yōu)化問(wèn)題[12-13]等.在2013—2015年舉辦的學(xué)習(xí)表示國(guó)際會(huì)議[14-23]上出現(xiàn)了許多為解決這一問(wèn)題的思路與方法.這些方法僅是從某類學(xué)習(xí)方法出發(fā)探討表示問(wèn)題，而沒(méi)有給出具有普遍意義的表示方式.如文獻(xiàn)[1]從深度學(xué)習(xí)角度研究文本識(shí)別，文獻(xiàn)[7]用基于高斯核密度的貝葉斯網(wǎng)絡(luò)做分類等.并不是從整體普遍的角度來(lái)考慮，就分類而言，我們考慮所有的分類算法，如何尋找這些算法的相同點(diǎn)、相異點(diǎn)；尋找到了又如何表達(dá)，又如何利用這些相同點(diǎn)、相異點(diǎn)來(lái)提高算法效率或者尋找新的算法.為此本文利用范疇理論來(lái)研究機(jī)器學(xué)習(xí)方法的一般表示，將現(xiàn)有的以及可能有的機(jī)器學(xué)習(xí)方法包含進(jìn)范疇表示學(xué)習(xí)的框架里來(lái)給出理論證明，并在文中對(duì)幾種機(jī)器學(xué)習(xí)方法做了比較詳細(xì)的研究分析.

綜上所述，本文用范疇理論來(lái)描述機(jī)器學(xué)習(xí)方法的表示問(wèn)題有兩大優(yōu)勢(shì)：1)機(jī)器學(xué)習(xí)表示問(wèn)題可以轉(zhuǎn)換成輸入輸出以及它們的關(guān)系問(wèn)題來(lái)解決，這符合了范疇的基本思想；2)范疇理論是一個(gè)強(qiáng)大且富有兼容性的數(shù)學(xué)理論，可以將我們現(xiàn)有的以及將有的機(jī)器學(xué)習(xí)方法都用范疇表示，從而進(jìn)一步利用范疇良好的數(shù)學(xué)性質(zhì)來(lái)建立機(jī)器學(xué)習(xí)表示理論體系.

1 機(jī)器學(xué)習(xí)方法范疇表示定理

為了便于理解范疇表示學(xué)習(xí)理論框架，在此給出范疇的基本概念.

1) 一族對(duì)象(object)obj,包括樣例和實(shí)例；

例1. 以集合A={1，2，3}，B={a，b，c}為對(duì)象，

Table 1 Example of Category表1 范疇實(shí)例

根據(jù)機(jī)器學(xué)習(xí)方法的一般定義：F：X→Y，其中，F(xiàn)表示機(jī)器學(xué)習(xí)方法，X表示樣例集合，Y表示實(shí)例集合.結(jié)合范疇的基本概念，下面給出機(jī)器學(xué)習(xí)方法范疇(categoryofmachinelearningalgorithm,CMLA)的定義.

1) 對(duì)象族obj；

定理1. 機(jī)器學(xué)習(xí)方法范疇表示定理(category representation of machine learning algorithm，CRMLA):機(jī)器學(xué)習(xí)方法構(gòu)成一個(gè)范疇.即機(jī)器學(xué)習(xí)方法可用范疇表示.

證畢.

2 范疇表示分類算法

已知集合：C={y1,y2,…,yn}和I={x1,x2,…,xm,…}，確定映射規(guī)則y=f(x)，使得任意xi∈I有且僅有一個(gè)yi∈C使得yi=f(xi)成立(這里不考慮模糊數(shù)學(xué)里的模糊集情況).其中，C叫作類別集合，其中每一個(gè)元素是一個(gè)類別；而I叫作項(xiàng)集合，其中每一個(gè)元素是一個(gè)待分類項(xiàng)；f叫作分類器.分類算法的任務(wù)就是構(gòu)造分類器f.這就是分類算法的基本思路.

定義3. 分類算法范疇.由2部分組成：

1) 對(duì)象族obj={C′,I,…}.其中C′為對(duì)應(yīng)的xi的集合(在實(shí)際操作中一般C=C′).

說(shuō)明：1)這里的對(duì)象是分類算法中的各種類別集合與項(xiàng)集合，所有的對(duì)象組成對(duì)象族；2)態(tài)射是對(duì)應(yīng)的分類構(gòu)成的集合.

證明. 顯然存在單位態(tài)射，由定義3可知對(duì)于任意xi∈I有且僅有一個(gè)yi∈C′從而可知：1)每對(duì)不同對(duì)象之間的態(tài)射是不相交的；2)所有態(tài)射都為滿射，從而滿足復(fù)合運(yùn)算率以及結(jié)合律.

證畢.

算法1. 范疇表示樸素貝葉斯分類算法.

輸入：訓(xùn)練數(shù)據(jù)X=(x1,x2,…,xn)、類別信息Y=(y1,y2,…,ym)、測(cè)試數(shù)據(jù)x；

輸出：類別信息y.

步驟1. 計(jì)算每個(gè)類別條件下各個(gè)特征屬性劃分的頻率：P(x1|y1),P(x2|y1),…,P(xn|y1)；P(x1|y2)，P(x2|y2),…,P(xn|y2)；…；P(x1|ym),P(x2|ym),…，P(xn|ym)；

步驟2. 計(jì)算訓(xùn)練樣本中每個(gè)類別的頻率：

P(x|yi)P(yi)=
P(x1|yi)P(x2|yi)…P(xn|yi)P(yi)；

步驟3. y=yi：max(P(x|yi)P(yi)).

結(jié)合分類算法范疇以及樸素貝葉斯分類算法，我們不難發(fā)現(xiàn)，設(shè)f =yi：max(P(x|yi)P(yi))，那么定義樸素貝葉斯算法范疇.在樸素貝葉斯算法范疇中，對(duì)象為訓(xùn)練數(shù)據(jù)X、類別信息Y，那么f：X→Y就是樸素貝葉斯算法范疇的一個(gè)態(tài)射.

算法2. 范疇表示決策樹算法.

輸入：E=D1×D2×…×Dm是m維有窮向量空間，其中Di是有窮離散符號(hào)集，E中的元素e=(v1,v2,…,vm)叫作例子，其中vj∈Dj,j=1,2,…,m.設(shè)PE和NE是E的2個(gè)子集，分別叫作正例集和反例集，向量空間E中的PE和NE的大小分別定義為p和n;

輸出：決策樹 T.

步驟2. 以屬性A作為決策樹的根所需的期望信息：

其中pi和ni分別是Ei的正實(shí)例和負(fù)實(shí)例的值；

步驟3. 以A為根的信息增益：

Gain(S,A)=Entrop(S)-Entrop(Si,A)；

步驟4. 選擇使Gain(S,A)最大的屬性A*，即 Entrop(Si,A)最小，作為根節(jié)點(diǎn)；

步驟5. 對(duì)A*的不同取值對(duì)應(yīng)的E的k個(gè)子集Ei,遞歸調(diào)用步驟1～4過(guò)程生成A*的子節(jié)點(diǎn)B1,B2,…,Bk，最終生成決策樹.

對(duì)比算法1與算法2，我們不難發(fā)現(xiàn),最終生成的決策樹是決策樹算法范疇中的一個(gè)態(tài)射，并且定義也類似,在此就不進(jìn)行贅述.但是我們發(fā)現(xiàn)：如果在解決同一問(wèn)題時(shí)，那么分別由樸素貝葉斯算法生成的態(tài)射和決策樹方法生成的態(tài)射都屬于同一訓(xùn)練數(shù)據(jù)到類別信息映射集合的一個(gè)元素,但是明顯可以發(fā)現(xiàn)決策樹算法的態(tài)射比樸素貝葉斯分類算法的態(tài)射要復(fù)雜得多.這就體現(xiàn)了范疇表示算法的多樣性.

算法3. 范疇表示支持向量機(jī)算法.

輸入：訓(xùn)練數(shù)據(jù)X=(x1,x2,…,xm)、類別信息Y=(y1,y2,…,yn)、測(cè)試數(shù)據(jù)x；

輸出：決策函數(shù)g.

在此僅從宏觀的分類算法角度來(lái)研究支持向量機(jī)算法的范疇表示，第3節(jié)還會(huì)從本質(zhì)核心的角度來(lái)研究，所以僅展示算法的輸入輸出，具體過(guò)程在第3節(jié)闡述.

之前已經(jīng)講述了2個(gè)算法實(shí)例，舉這2個(gè)算法是為了說(shuō)明范疇表示學(xué)習(xí)方法的多樣性.在此給出第3個(gè)算法實(shí)例的原因是與第3節(jié)用切片范疇表示支持向量機(jī)算法做對(duì)比，更進(jìn)一步說(shuō)明范疇表示學(xué)習(xí)方法的多樣性.由于已經(jīng)給出了2個(gè)算法實(shí)例，在此用一句話簡(jiǎn)略說(shuō)明支持向量機(jī)算法范疇：以訓(xùn)練數(shù)據(jù)X和類別信息Y作為對(duì)象，以決策函數(shù)g：X→Y作為其態(tài)射的范疇.縱觀這3個(gè)算法實(shí)例，我們可以發(fā)現(xiàn)范疇表示學(xué)習(xí)方法十分簡(jiǎn)潔精煉，但又可以說(shuō)明問(wèn)題.

3 切片范疇表示PCAamp;SVM算法

為了說(shuō)明如何用切片范疇表示主成分分析(principal component analysis， PCA)和支持向量機(jī)(support vector machine, SVM)算法，在此給出切片范疇的基本概念.

Fig. 1 Slice category over B圖1 B上切片范疇

例2. 對(duì)象A={a，b，c}，B={1，2，3}，C={●，■，▲}對(duì)應(yīng)態(tài)射和切片范疇如圖2所示:

f：abc123

morphismg: B→C:

g：■●▲123

SliceCategoryoverB h：A→C：

h：abc■●▲

CosliceCategoryunderB h′：C→A：

h′：■●▲abc

Fig. 2 Morphism and slice category
圖2 態(tài)射和切片范疇

主成分分析是一種統(tǒng)計(jì)分析方法，它可以從多元事物中解析出主要影響因素,主成分分析的目的是將高維數(shù)據(jù)投影到較低維空間.

算法4. 主成分分析.

輸入：原始數(shù)據(jù)——n行m列矩陣X；

輸出：降維數(shù)據(jù)——k行m列矩陣Z.

步驟2. 求出協(xié)方差矩陣W=1及協(xié)方差矩陣的特征λ值和對(duì)應(yīng)的特征向量；

步驟3. 將特征向量按對(duì)應(yīng)特征值大小從上到下按行排列成矩陣W′，取前k行組成矩陣P，Z=PX即為降維到k維后的數(shù)據(jù).

支持向量機(jī)是一個(gè)有監(jiān)督的學(xué)習(xí)模型，通常用來(lái)進(jìn)行模式識(shí)別、分類以及回歸分析.

算法5. 支持向量機(jī).

輸入：訓(xùn)練數(shù)據(jù)X=(x1,x2,…,xn)、類別信息Y=(y1,y2,…,ym)、測(cè)試數(shù)據(jù)x；

輸出：決策函數(shù)g=wx+b.

步驟1. 原規(guī)劃max1‖w‖，使得yi(wTxi+b)≥1,其中i=1,2,…,n，即min‖w‖22 使得yi(wTxi+b)≥1,其中i=1,2,…,n；

步驟2. 拉格朗日對(duì)偶L(w,b,a)=‖w‖22-其中a=(a1,a2,…,an)為拉格朗日參數(shù)；

步驟3. 由拉格朗日對(duì)偶求出ai，從而：

其中，ψ(x)是核函數(shù).

SVM與PCA算法的本質(zhì)核心都是將數(shù)據(jù)投影到其他空間，然后利用其他空間的特性來(lái)進(jìn)行處理.但是SVM與PCA不同的是：1)SVM尋找的空間不是低維空間而是高維甚至無(wú)限維空間，無(wú)法輕易直觀地對(duì)數(shù)據(jù)進(jìn)行表示；2)在PCA中f和g都是不知道具體表達(dá)式的，但在SVM中g(shù)是已表達(dá)的.下面給出切片范疇表示PCAamp;SVM算法示意圖，如圖3所示：

Fig. 3 Slice category representation of PCAamp;SVM圖3 切片范疇表示PCAamp;SVM算法

4 范疇函子表示Deep Learning算法

為了說(shuō)明如何用范疇函子表示Deep Learning算法，在此給出范疇函子的基本概念.

objn→obju：A|→F(A)，
morn→moru：f|→F(f)，

滿足dom(F(f))=F(dom(f)),cod(F(f))=F(cod(f))，F(xiàn)(IA)=IF(A).并且若dom(g)=cod(f)，則F(g f)=F(g)F(f).其中,dom為定義域，cod為值域.

DeepLearning算法常見有3種類型：有監(jiān)督深度學(xué)習(xí)、無(wú)監(jiān)督深度學(xué)習(xí)和混合深度學(xué)習(xí).監(jiān)督學(xué)習(xí)主要用于處理回歸和分類問(wèn)題；無(wú)監(jiān)督學(xué)習(xí)主要用于處理聚類和密度估計(jì)問(wèn)題；混合深度網(wǎng)絡(luò)則綜合了前2種方式.為了呼應(yīng)第2節(jié)，在此僅以有監(jiān)督深度學(xué)習(xí)中的分類算法為例.

算法6. 深度學(xué)習(xí)算法.

輸入：訓(xùn)練數(shù)據(jù)X={x1,x2,…,xn}、標(biāo)簽數(shù)據(jù)Y={y1,y2,…,ym}、測(cè)試樣本x、k層深度網(wǎng)絡(luò)；

輸出：樣本標(biāo)簽 y.

步驟1. 預(yù)訓(xùn)練，通過(guò)最小化損失函數(shù)：

J(W,b)=1(2m)×‖h(xi)-xi‖2+
γ2×‖W‖2，

求得W，b，其中xi表示第i個(gè)樣本，γ為超參數(shù)，

步驟2. 通過(guò)最小化交叉熵函數(shù),對(duì)W,b進(jìn)行微調(diào)J(W)=-1其中

步驟3. 求出屬于第i類的概率Pi：

從而y=yi：max Pi.

5 實(shí)驗(yàn)仿真

本文進(jìn)行實(shí)驗(yàn)仿真的目的是為了驗(yàn)證范疇表示機(jī)器學(xué)習(xí)方法的可行性，第2～4節(jié)中我們對(duì)決策樹算法、支持向量機(jī)算法、深度學(xué)習(xí)方法進(jìn)行了理論闡述以及證明.在本節(jié)主要針對(duì)這3個(gè)算法進(jìn)行可行性驗(yàn)證.

5.1決策樹算法實(shí)驗(yàn)仿真

在第2節(jié)中我們將決策樹算法進(jìn)行了范疇表示，下面就從范疇表示角度進(jìn)行計(jì)算驗(yàn)證算法的可行性.表2為10位志愿者的房產(chǎn)、婚姻、收入、債務(wù)情況.我們將以此為例，通過(guò)房產(chǎn)、婚姻、收入來(lái)預(yù)測(cè)能否還清債務(wù)，并預(yù)測(cè)第11位志愿者(無(wú)房產(chǎn)、單身、收入5.5萬(wàn)元)的債務(wù)情況.

Table 2 Situation of Volunteers表2 志愿者情況

由第2節(jié)決策樹范疇中的態(tài)射構(gòu)造方法我們可以計(jì)算(不妨將收入分為大于等于8和小于8這2類)：

Entrop(S)=-0.3 lb 0.3-0.7 lb 0.7=0.811.
Entrop(PropertyY)=0，
Entrop(PropertyN)=0.985.
Entrop(MarriageSingle)=1，
Entrop(MarriageMarried)=0，
Entrop(MarriageDivorce)=1.
Entrop(Income≥8)=0.985，
Entrop(Incomelt;8)=0.
Entrop(S,Property)=
0.3×0+0.7×0.985=0.69，
Entrop(S,Marriage)=
0.4×0+0.4×0+0.2×1=0.6，
Entrop(S,Income)=0.7×0.985+0.3×0=0.69.
Gain(S,Property)=0.811-0.69=0.121，
Gain(S,Marriage)=0.811-0.6=0.211，
Gain(S,Income)=0.811-0.69=0.121.

從而我們的根節(jié)點(diǎn)就是婚姻，重復(fù)此過(guò)程得到其他分支節(jié)點(diǎn)及葉子節(jié)點(diǎn)，得到最終態(tài)射f如圖4所示:

Fig. 4 The morphism f圖4 態(tài)射f

從而我們的預(yù)測(cè)第11位志愿者的債務(wù)情況為Y(圖4中虛線箭頭).

5.2SVM算法實(shí)驗(yàn)仿真

在第3節(jié)中我們將SVM算法進(jìn)行了范疇表示，下面就從范疇表示角度進(jìn)行計(jì)算驗(yàn)證算法的可行性.實(shí)驗(yàn)從人工數(shù)據(jù)集和ORL人臉數(shù)據(jù)集上進(jìn)行驗(yàn)證.

人工數(shù)據(jù)集(采用線性核)采用服從高斯分布的2組點(diǎn)，分別以(0,0)(2.5,2.5)為中心且標(biāo)準(zhǔn)差為1的2組點(diǎn)，每組100個(gè)，進(jìn)行10次實(shí)驗(yàn)取平均準(zhǔn)確率為96.57%.其中單次實(shí)驗(yàn)效果如圖5所示：

Fig. 5 Experimental results on artificial data sets圖5 人工數(shù)據(jù)集實(shí)驗(yàn)效果

ORL人臉數(shù)據(jù)集(采用高斯核) 包含400幅人臉圖像(40人×10)，其中每幅圖像大小為112×92.其中一半測(cè)試一半訓(xùn)練，高斯核參數(shù)選取(0.01,128).多分類構(gòu)建39×40/2個(gè)分類器投票決定類別，10次實(shí)驗(yàn)平均準(zhǔn)確率為93.68%.

由這2組實(shí)驗(yàn)不僅驗(yàn)證范疇表示機(jī)器學(xué)習(xí)方法的可行性，同時(shí)第1組實(shí)驗(yàn)又構(gòu)成了第2節(jié)范疇表示分類算法的一個(gè)例子，第1組實(shí)驗(yàn)驗(yàn)證了切片范疇表示SVM算法的可行性.結(jié)合第1,2組實(shí)驗(yàn)發(fā)現(xiàn)SVM可用范疇理論來(lái)表示體現(xiàn)了范疇表示機(jī)器學(xué)習(xí)方法的多樣性.

5.3神經(jīng)網(wǎng)絡(luò)算法實(shí)驗(yàn)仿真

MNIST數(shù)據(jù)集[24]是由0～9的手寫體數(shù)字組成(即10類數(shù)據(jù))，包含了60 000張訓(xùn)練圖像和10 000張測(cè)試圖像，每張圖像為28×28的灰度圖，圖6給出了MNIST數(shù)據(jù)集的一些示例樣本.圖7為在手寫體數(shù)據(jù)集上196個(gè)隱單元的可視化效果.

Fig. 6 Sample for handwritten data set圖6 手寫體數(shù)據(jù)集的示例樣本

Fig. 7 Visualization of 196 hidden units on handwritten data set圖7 在手寫體數(shù)據(jù)集上196個(gè)隱單元的可視化效果

COIL數(shù)據(jù)集[25]包含的樣本為日常生活中的一些瓶子、罐子以及盒子之類的物體.該數(shù)據(jù)集有7 200張灰度圖像，共100類數(shù)據(jù)，每個(gè)類別72張圖像，每張圖像的大小為32×32.圖8給出了該數(shù)據(jù)集的一些示例樣本，有100個(gè)樣本，分別屬于不同的類別.圖9 COIL數(shù)據(jù)集上訓(xùn)練所得196個(gè)隱單元的可視化效果我們從每個(gè)類別中隨機(jī)地挑選出50張圖像，共計(jì)5 000張圖像作為訓(xùn)練集，剩余的1 200張圖像作為測(cè)試集.實(shí)驗(yàn)中，MNIST和COIL數(shù)據(jù)均被歸一化到了[0,1]之間.

Fig. 8 Sample for COIL data set圖8 COIL數(shù)據(jù)集的示例樣本

Fig. 9 Visualization of 196 hidden units on COIL data set圖9 COIL數(shù)據(jù)集上訓(xùn)練所得196個(gè)隱單元的可視化效果

本次實(shí)驗(yàn)在2個(gè)數(shù)據(jù)集上分別采用深度學(xué)習(xí)方法，網(wǎng)絡(luò)的隱單元數(shù)均被設(shè)為196.MNIST訓(xùn)練樣本被隨機(jī)劃分成600批，每批100個(gè)樣本；COIL訓(xùn)練樣本被隨機(jī)劃分成50批，每批100個(gè)樣本(每一類包含一個(gè)數(shù)據(jù)).最后通過(guò)softmax分類器對(duì)測(cè)試數(shù)據(jù)進(jìn)行分類10次實(shí)驗(yàn)求平均準(zhǔn)確率：在MNIST數(shù)據(jù)集上為93.03%，在COIL數(shù)據(jù)集上為98.08%.這不僅驗(yàn)證了范疇表示方法的可行性，同時(shí)由可視化效果(圖7和圖9)可以發(fā)現(xiàn)范疇表示方法十分符合人類認(rèn)知習(xí)慣.

6 結(jié)束語(yǔ)

本文提出了一種機(jī)器學(xué)習(xí)表示新方法，即范疇表示機(jī)器學(xué)習(xí)方法，并且結(jié)合多種機(jī)器學(xué)習(xí)方法來(lái)實(shí)例驗(yàn)證了機(jī)器學(xué)習(xí)方法表示針對(duì)統(tǒng)一性問(wèn)題的一種可能解法.這種方法包容了所有的機(jī)器學(xué)習(xí)方法，并能對(duì)部分方法的本質(zhì)原理給出依據(jù).因此，本文的創(chuàng)新點(diǎn)主要體現(xiàn)在：

1) 機(jī)器學(xué)習(xí)方法可用范疇表示.不同算法可用同一范疇表示，同一算法可用不同范疇理論表示.這體現(xiàn)了范疇表示機(jī)器學(xué)習(xí)方法的統(tǒng)一性和多樣性.

2) 范疇表示機(jī)器學(xué)習(xí)方法能夠從表面以及本質(zhì)上看清算法，同時(shí)能夠?qū)ふ曳先藗兊恼J(rèn)知習(xí)慣的表示特征.

范疇表示學(xué)習(xí)剛剛開始，還有許多工作要做.例如范疇表示學(xué)習(xí)的拓?fù)鋯?wèn)題、范疇表示學(xué)習(xí)的流形問(wèn)題、范疇表示學(xué)習(xí)的優(yōu)化問(wèn)題等.

[1]Belharbi S, Chatelain C, Herault R, et al. Deep structured output learning for unconstrained text recognition[OL]. 2015 [2016-02-06] . https:arxiv.orgpdf1412.5903.pdf

[2]Mao Junhua, Xu Wei, Yang Yi, et al. Deep captioning with multimodal recurrent neural networks[OL]. 2014[2016-02-06] . https:arxiv.orgpdf1412.6632v3.pdf

[3]Goodfellow I J, Vinyals O, Saxe A M. Qualitatively characterizing neural network optimization problems[OL]. 2014 [2016-02-06]. https:arxiv.orgpdf1412.6544.pdf

[4]Liu Tong, Si Yunjuan, Wen Dunwei, et al. Dictionary learning for VQ feature extraction in ECG beats classification[J]. Expert Systems with Applications, 2016, 53: 129-137

[5]Tao Chao, Pan Hongbo, Li Yansheng, et al. Unsupervised spectral-spatial feature learning with stacked sparse autoencoder for hyperspectral imagery classification[J]. IEEE Geoscience amp; Remote Sensing Letters, 2015, 12(12): 2438-2442

[6]Wang Wei, Hu Baogang, Wang Zengfu. Efficient and scalable information geometry metric learning[C]Proc of the 13th IEEE Int Conf on Data Mining. Los Alamitos, CA: IEEE Computer Society, 2013: 1217-1222

[7]Wang Shuangcheng, Gao Rui, Wang Limin. Bayesian network classifiers based on Gaussian kernel density[J]. Expert Systems with Applications, 2016, 51(C): 207-217

[8]Crouzen P, Hermanns H. Aggregation ordering for massively compositional models[C]Proc of the 10th Int Conf on Application of Concurrency to System Design. Los Alamitos, CA: IEEE Computer Society, 2010: 171-180

[9]Virtanen T, Gemmeke J F, Raj B, et al. Compositional models for audio processing: Uncovering the structure of sound mixtures[J]. IEEE Signal Processing Magazine, 2015, 32(2): 125-144

[10]Michel O, Hero A. Tree structured non-linear signal modeling and prediction[J]. IEEE Trans on Signal Processing, 1995, 3(2): 267-270

[11]Patel M, Shah H. Protein secondary structure prediction using support vector machines[C]Proc of the 1st Int Conf on Machine Intelligence and Research Advancement. Piscataway, NJ: IEEE, 2013: 233-244

[12]Parks D, Truszczynski M. Routing non-convex grids without holes[C]Proc of the 1st Great Lakes Symp on IEEE. Piscataway, NJ: IEEE, 1991: 157-162

[13]Ding Yin, Selesnick I W. Artifact-free wavelet denoising : Non-convex sparse regularization, convex optimization[J]. IEEE Signal Processing Letters, 2015, 22(9): 1364-1368

[14]Bribiesca E, Bribiesca-Contreras G. 2D tree object represen-tation via the slope chain code[J]. Pattern Recognition, 2014, 47(10): 3242-3253

[15]Chen Lichi, Hsieh J W, Yan Yilin, et al. Vehicle make and model recognition using sparse representation and symmetrical SURFs[J]. Pattern Recognition, 2013, 48(6): 1143-1148

[16]Fraz M, Edirisinghe E A, Sarfraz M S. Mid-level represen-tation based lexicon for vehicle make and model recognition[C]Proc of the 22nd Int Conf on Pattern Recognition. Piscataway, NJ: IEEE, 2014: 393-398

[17]Liu Haifeng, Yang Zheng, Yang Ji, et al. Local coordinate concept factorization for image representation[J]. IEEE Trans on Neural Networks amp; Learning Systems, 2014, 25(25): 1071-1082

[18]Healy M J. Category theory applied to neural modeling and graphical representations[C]Proc of the 1st Int Joint Conf on Neural Networks. Piscataway, NJ: IEEE, 2000: 30-45

[19]Jadoon W, Zhang Haixian. Locality features encoding in regularized linear representation learning for face recognition[C]Proc of the 2nd Int Conf on Frontiers of Information Technology. Los Alamitos, CA: IEEE Computer Society, 2013: 189-194

[20]Lei Hao, Mei Kuizhi, Zheng Nanning, et al. Learning group-based dictionaries for discriminative image represen-tation[J]. Pattern Recognition, 2014, 47(2): 899-913

[21]Lemus E, Bribiesca E, Garduo E. Representation of enclosing surfaces from simple voxelized objects by means of a chain code[J]. Pattern Recognition, 2014, 47(4): 1721-1730

[22]Liang Yan, Lai Jianhuang, Yuen P C, et al. Face hallucination with imprecise-alignment using iterative sparse representation[J]. Pattern Recognition, 2014, 47(10): 3327-3342

[23]Wang Lingfeng, Yan Hongping. Visual tracking via kernel sparse representation with multikernel fusion[J]. IEEE Trans on Circuits amp; Systems for Video Technology, 2014, 24(7): 1132-1141

[24]Lecun Y, Bottou L, Bengio Y, et al.Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE, 1998, 86(11): 2278-2324

[25]Nene S A, Nayar S K, Murase H. Columbia object image library (COIL-100), CUCS-006-96[R]. New York: Department of Computer Science, Columbia University, 1996

XuXiaoxiang, born in 1991. Doctoral candidate. His main research interests include Lie group machine learning, category theory and homology theory.

LiFanzhang, born in 1964. Professor and PhD supervisor. Senior member of CCF. His main research interests include Lie group machine learning and dynamic fuzzy logic.

ZhangLi, born in 1975. Professor and PhD supervisor. Senior member of CCF. His main research interests include pattern recognition, machine learning and image processing (zhangliml@suda.edu.cn).

ZhangZhao, born in 1984. Professor and Master supervisor. Senior member of CCF. His main research interests include pattern recognition, machine learning, data mining and computer vision (cszzhang@suda.edu.cn).

TheCategoryRepresentationofMachineLearningAlgorithm

Xu Xiaoxiang, Li Fanzhang, Zhang Li, and Zhang Zhao

(School of Computer Science and Technology, Soochow University, Suzhou, Jiangsu 215006) (Joint International Research Laboratory of Machine Learning and Neuromorphic Computing, Soochow University, Suzhou, Jiangsu 215006)

For a long time, it is thought that the representation is one of the bottleneck problems in the field of machine learning. The performance of machine learning methods is heavily dependent on the choice of data representation. The rapidly developing field of representation learning is concerned with questions surrounding how we can best learn meaningful and useful representations of data. We take a broad view of the field and include topics such as deep learning, feature learning, metric learning, compositional modeling, structured prediction, reinforcement learning, etc. The range of domains to which these techniques apply is also very broad, from vision to speech recognition, text understanding, etc. Thus, the research on new representation methods for machine learning is a piece of work which is long-term, explorative and meaningful. Based on this, we propose several basic concepts of category representation of machine learning methods via the category theory. We analyze the decision tree, support vector machine, principal component analysis and deep neural network with category representation and give the corresponding category representation for each algorithms: the category representation of decision tree, slice category representation of support vector machine, and functor representation of the neural network. We also give the corresponding theoretical proof and feasibility analysis. According to further reach of category representation of machine learning algorithms, we find the essential relationship between support vector machine and principal component analysis. Finally, we confirm the feasibility of the category representation method using the simulation experiments.

category representation; machine learning; representation of machine learning; category representation learning; category representation learning algorithm

2016-05-24；

2017-04-07

國(guó)家自然科學(xué)基金項(xiàng)目(61373093,61402310，61672364，61672365)；蘇州大學(xué)東吳學(xué)者計(jì)劃項(xiàng)目；江蘇省普通高校研究生科研創(chuàng)新計(jì)劃項(xiàng)目

This work was supported by the National Natural Science Foundation of China (61373093, 61402310, 61672364, 61672365), the Soochow Scholar Program of Soochow University, and the Graduate Innovation and Practice Program of Colleges and Universities in Jiangsu Province.

李凡長(zhǎng)(lfz@suda.edu.cn)

TP391