基于神經網絡的監督和半監督學習方法

王明月 張德慧 魏銘

摘 要：神經網絡是由大量簡單的神經元按照一定連接方式形成的智能仿生網.它以非線性神經元作為處理單元，通過廣泛連接構成大規模分布式并行處理系統.神經網絡不需預知其訓練數據中輸入輸出之間的函數關系，而以數據驅動的方式解決問題.由于神經網絡具有強大的模式識別能力和靈活的非線性建模能力，它引起了越來越多的學者及工程技術人員的關注。

關鍵詞：神經網絡 監督學習 半監督學習

大多數情況下神經網絡能在外界信息的基礎上改變內部結構，是一種自適應系統。現代神經網絡是一種非線性統計性數據建模工具，常用來對輸入和輸出間復雜的關系進行建模，或用來探索數據的模式。

神經網絡以其自組織性、自學習性、并行性、容錯性、高度非線性、高度魯棒性、對任意函數的任意精度逼近能力，一直是監督學習領域研究、開發和應用最為活躍的分支之一。此外，神經網絡模型可以根據樣本信息自適應調整自身結構，也可用于提升半監督學習方法的自適應調節能力，以降低其對先驗知識的依賴程度。

1.監督學習方法

1.1監督學習概述

監督學習有兩種模型。一般常用的模型是監督學習產生的全局模型，即將輸入映射到期望輸出。而另一種模型則是將這種映射作為一個局部模型（如案例推理及最近鄰算法）。為解決一個給定的監督學習問題，可分為以下5個步驟進行：

（1）確定訓練樣本數據。

（2）收集訓練樣本數據。

（3）確定學習函數輸入特征的表示方法。

（4）確定要學習的函數及其對應的學習算法所使用的學習器類型。

（5）完成設計。

1.2監督學習方法簡介

1.K-最近鄰算法

K-最近鄰算法（K- Nearest Neighbors，KNN）是將在特征空間中最接近的訓練樣本進行分類的監督學習方法。K-最近鄰算法最初由 Cover和Hart于1967年提出，其思路非常簡單直觀，易于快速實現，錯誤率較低。

K-最近鄰算法的基本思想為：根據距離函數計算待分類樣本x和每個訓練樣本的距離，選擇與待分類樣本x距離最小的K個樣本作為x的K個最近鄰最后根據x的K個最近鄰判斷x的類別。該算法沒有單獨的學習階段，是一種在分類過程中實現學習的監督學習方法。

2.遺傳算法

遺傳算法（ Genetic Algorithm，GA）10]起源于20世紀60年代美國密歇根大學 Holland教授對自然和人工自適應系統的研究， Bagley發明“遺傳算法”一詞并發表了第一篇有關遺傳算法應用的論文。遺傳算法的基本思想為：模擬達爾文生物進化論的自然選擇和 Mendel遺傳學機理的生物進化過程，將解空間中每一個點都編碼為二進制位串，稱為染色體，并對應一個適應度值，適應度值按概率決定個體性質遺傳到下一代中的機會，在每一代中使用選擇交叉和變異等作用機制獲得新的種群，若干代后，種群中包含的個體具有更高的適應度，直到滿足某種收斂指標為止。

3.貝葉斯算法

自20世紀90年代以來，貝葉斯算法一直是機器學習研究的重要方向之一。貝葉斯算法提供了一種概率手段，可用于確定給定數據下最可能的假設。貝葉斯算法的基本思想為：假設待考察的樣本遵循某種概率分布，基于這些先驗和數據觀測假定進行推理，獲得觀測數據的后驗概率，以此作出最優決策。貝葉斯算法能夠方便地處理不完全數據，能夠學習變量間的因果關系，同時貝十斯網絡與貝葉斯統計相結合，能夠充分利用領域知識和樣本數據的信息。

2.半監督學習方法

2.1半監督學習概述

半監督學習的思想起源于自訓練（Self- training）方法，自訓練算法又被稱為自學習（Self- teaching）算法或 Bootstrapping方法，是目前在半監督學習中普遍使用的一種方法。在自訓練方法中，首先用少量的有標記數據訓練出個初始的分類器，然后用該分類器對無標記數據進行預測。之后將置信度較高的無標記樣本連同預測出的類別標記一同加入到原來的訓練集中。再用新的訓練集重新訓練這個分類器，如此循環下去，直到達到終止條件。

2.2半監督學習方法簡介

1.生成式模型半監督學習方法

生成式模型是最早的半監督學習方法之一。該方法完全基于數據的概率分布進行建模，其基本思想是對于給定樣本特征的完全數據概率建模，通常以生成式模型為分類器，將未標記樣本屬于各類別的概率看作缺失參數，然后利用最大似然算法對標記和模型參數進行估計。常用于半監督學習的生成式模型有高斯混合模型、多項式混合模型、 Markoⅴ隱式模型等。此類方法也可以看成是以少量已知標記的樣本為中心進行聚類，因而屬于基于聚類假設的方法。

2.協同訓練半監督學習方法

協同訓練（Co-tra1nng）是另外一種流行的半監督學習方法。協同訓練隱含地利用聚類假設或流形假設。通常使用兩個或多個分類器，在學習過程中，這些分類器挑選若干個置信度高的未標記樣本進行相互標記，從而使得模型得以更新。協同訓練已運用到文本分類、英語基本名詞及短語識別、情感分類、共指消解等研究上，而且取得了不錯的效果，甚至超過了傳統的有監督學習方法。協同訓練方法最大的優點是不用人工干涉，即可從未標注的數據中自動學習到知識。

3.基于圖的半監督學習方法

基于圖的半監督學習方法直接或間接地利用流形假設，在學習過程中首先基于訓練樣本的特定相似度度量建立圖，圖中各節點對應（有標記或是未標記）樣本，節點間的連接表示樣本間的相似度，之后定義模型的優化目標函數，并根據圖的平滑性，添加相應的正則化項得到決策函數，通過最小化決策函數計算模型參數的最優值。

3.基于神經網絡的監督和半監督學習

人工神經網絡（ Artificial Neural Networks，ANN），簡稱為神經網絡NN），是由大量的信息處理單元（也稱神經元）相互連接的復雜網絡，用來模擬人腦神經系統的功能和結構，它是一種簡化的人腦數學模型。人工神經網絡研究開始于20世紀40年代對與神經網絡有關的神經科學的研究。人工神經網絡具有的非線性適應性信息處理能力，克服了傳統人工智能方法對于直覺，如模式識別、語音識別、非結構化信息處理方面的缺陷，使其在專家系統、模式識別、智能控制、組合優化、預測等許多領域得到了廣泛的應用。

幾種常見的神經網絡模型：

（1）徑向基函數神經網絡

1985年， Powell提出了徑向基函數（ Radial basis funct1On，RBF），簡單來說，徑向基函數是一個取值僅僅和到原點間距離有關的實值函數，它的提出用于解決多變量差值問題，同時RBF理論為多層前向網絡的學習提供了一種新的方法。1988年， Broomhaed和Lowe首先將徑向基函數應用于神經網絡設計，構成了徑向基函數神經網絡。徑向基函數神經網絡不僅具有良好的推廣能力，而且避免了像BP算法那樣繁瑣的計算，使學習能得以快速地實現，近幾年被廣泛地應用研究以解決各種問題。

（2）支持向量機

支持向量機（ Support vector Machines，SVM）是一種通用的廣義前饋神經網絡。支持向量機是有限樣本條件下解決機器學習問題的通用方法，既有嚴格的理論基礎，又能較好地解決小樣本、非線性、高維數和局部極小點等實際問題，其核心思想就是學習機器要與有限的訓練樣本相適應。支持向量機是機器學習領域若干標準技術的集大成者，涉及最大間隔超平面、凸二次規劃、稀疏解、 Mercer核以及松弛變量等多項技術，在若干具有挑戰性的應用中獲得了良好的性能，是一個令人矚目的發展方向。

（3）自適應神經網絡

自適應神經網絡是一種基于自適應諧振理論（ Adaptive ResonanceTheory，ART）的特殊神經網絡。多數神經網絡采用分布式的知識表達形式，即單個神經元或單個連接權的具體意義都無法給出清晰的解釋，這使得多數神經網絡都成為“黑箱”模型，模型通過訓練獲得的知識隱含在大量的神經元閾值和連接權值中。而自適應神經網絡則在網絡結構解釋性方面有突出的優勢。

總結：隨著智能時代的到來，經過近半個世紀的發展， 神經網絡理論在模式識別、自動控制、信號處理、輔助決策、人工智能等眾多研究領域取得了廣泛的成功， 相信隨著神經網絡的進一步發展， 其將在工程應用中發揮越來越大的作用。

參考文獻：

[1]韓敏. 基于神經網絡的監督與半監督學習方法與遙感圖像智能翻譯. 中國水利水電出版社. 2015

[2]刑紅杰. 前饋神經網絡及其應用. 科學出版社. 2013