機器學習及其策略研究

一、機器學習的概念

機器學習是人工智能的一個分支，是現(xiàn)代計算機技術(shù)研究一個重點也是熱點問題。顧名思義，機器學習就是計算機模仿人類獲取知識的模式，通過建立相應(yīng)的模型，對外界輸入通過記憶、歸納、推理等等方式，獲得有效的信息和經(jīng)驗總結(jié)，進而不斷的自我完善，提高系統(tǒng)的功能。目前，機器學習的定義尚不統(tǒng)一，但對于計算機科學，特別是從事人工智能科學探索的研究者們，一般公認H. Simon對于機器學習的定義，即“如果一個系統(tǒng)能夠通過執(zhí)行某個過程改進它的性能，這就是學習”。當然這是一個比較泛化的概念，系統(tǒng)一詞，涉及了計算系統(tǒng)、控制系統(tǒng)、神經(jīng)系統(tǒng)、函數(shù)模型系統(tǒng)、人的系統(tǒng)等等多個范疇，不同的系統(tǒng)又屬于不同的領(lǐng)域。即使是同一個系統(tǒng)，也因為目標不同，學習的方法和途徑，數(shù)據(jù)分析的策略也都有所不同。但是無論是哪種系統(tǒng)的哪類知識的學習，其目標歸根結(jié)底都是從大量無序的信息中獲得有序的可以被有效利用的知識。

二、機器學習的發(fā)展歷程

機器學習的發(fā)展大致可以分為四個階段。

第一階段：20世紀50年代中葉至60年代中葉。這個時期是機器學習研究的“熱烈時代”。研究對象是沒有知識的學習，目標是各自組織和適應(yīng)系統(tǒng)。此階段有兩個代表，一是1957年Rosenblatt提出了感知機算法，這是第一個具有重要學術(shù)意義的機器學習的算法。二是50年代末，Samuel編寫了跳棋程序，利用啟發(fā)式搜索技術(shù)，可以從經(jīng)驗和棋譜中進行學習，不斷調(diào)整棋盤評價函數(shù)，提高棋藝。第二階段：20世紀60年代中葉至70年代中葉，機器學習的冷靜時期。本階段是模擬人類的學習過程，采用邏輯結(jié)構(gòu)或圖結(jié)構(gòu)作為內(nèi)部描述。代表有：1969年Minsky與Papert出版的對機器學習研究有深遠影響的著作《感知機》一書。第三階段：20世紀70年代中葉至80年代中葉，稱為復(fù)興時期。在這個時期，人們從學習單一概念延伸至學習的多個概念，探索不同的學習策略和各種學習方法。在此階段中，研究者已經(jīng)將機器學習系統(tǒng)與現(xiàn)實應(yīng)用相結(jié)合，完成相應(yīng)的學習過程，取得了很大的成功。1980年，在美國召開的第一屆機器學習國際研討會，標志著機器學習在全世界范圍內(nèi)的全面興起。第四階段：1986年至今。由于作為機器學習科學基礎(chǔ)之一的神經(jīng)科學研究的重新興起，機器學習也進一步受到了人們的重視。另一方面，對實驗研究和應(yīng)用研究得到前所未有的重視。

三、機器學習系統(tǒng)的模型及其特征

3.1 機器學習系統(tǒng)的模型

（1）外部環(huán)境是以某種形式表達的信息或知識的集合，是知識和信息的來源，執(zhí)行的對象和任務(wù)。外部環(huán)境像系統(tǒng)提高信息的質(zhì)量是影響學習系統(tǒng)設(shè)計的首要因素。（2）學習是將外部環(huán)境提供的信息，加工成為有效信息的過程，它也是學習系統(tǒng)的核心，包括采集信息、接受監(jiān)督指導(dǎo)、學習推理、修改知識庫等其他功能。（3）知識庫是影響學習系統(tǒng)設(shè)計的第二大因素，根據(jù)知識的不同，選擇不同的表達方式，兼顧表達能力強、易于推理、易于修改知識庫和知識表示易于擴展等幾方面，均是知識庫在表達上需要符合的要求。（4）執(zhí)行是利用知識庫完成某種任務(wù)，并進行識別、論證、決策、判定，將獲得的信息進行反饋，以修正和完善下一步的學習。

3.2 機器學習系統(tǒng)的重要特征

機器學習系統(tǒng)通常具有如下重要特征：（1）目的性。系統(tǒng)知道學習什么，學習的行為具有高度的目的性。（2）結(jié)構(gòu)性。系統(tǒng)能修改和完善知識結(jié)構(gòu)和組織形式。（3）有效性。系統(tǒng)學習到的知識具有適應(yīng)和符合實踐的能力，能夠?qū)ο到y(tǒng)性能的改善起到正面的作用。（4）開放性。系統(tǒng)在與環(huán)境進行信息交互的過程中，能使自身不斷進化。

四、機器學習策略

對于環(huán)境提供信息，機器要運用一定的學習策略轉(zhuǎn)換為知識，并存儲在知識庫中，為下一步的執(zhí)行作保證。根據(jù)策略使用推理的多少和難易程度，學習策略可以分為五類：

1、機械學習

這種學習策略，無需任何推理過程或計算轉(zhuǎn)換過程，可以直接將環(huán)境提供的信息進行存儲。該學習系統(tǒng)主要考慮三個方面：第一：存儲組織的形式利于檢索。在采用機械學習的系統(tǒng)中，主要采用的是索引存儲的方式，在這種情況下，只有檢索一個項目比重新分析計算更加快捷，這種學習策略才具有一定的意義。采用適當?shù)拇鎯M織形式，最大限度地提高檢索效率，縮短檢索時間，是機械學習要解決的重大問題。第二：環(huán)境穩(wěn)定、存儲信息適用性高。因為系統(tǒng)不需要對信息做過多的加工，學習部分沒有推理的過程，這對于環(huán)境的依賴程度就大大提高。要求環(huán)境具有高度的穩(wěn)定性。系統(tǒng)的學習是通過事先編好的程序獲得，是建立在這次獲得的知識適用于下次的情況的假設(shè)上的，如果環(huán)境變化的過于頻繁，每次存的知識都不能適用，這種策略也就失去其意義。第三：權(quán)衡存儲和計算之間的關(guān)系。學習的目的是改進系統(tǒng)的效率，如果檢索比重新計算來的慢，那么就降低了系統(tǒng)的執(zhí)行力。機械學習也就失去了意義。

2、歸納學習

歸納推理是由環(huán)境提供足夠多的實例或反例，應(yīng)用歸納的方法，得出一般性的規(guī)律或?qū)τ诟拍畹囊话阈缘拿枋觥＿@是一個從個別到一般的過程。歸納學習可以獲得新的概念，創(chuàng)立新的規(guī)則，發(fā)現(xiàn)新的理論。其原理是在大量觀察的基礎(chǔ)上通過假設(shè)形成一個科學理論。按其有無教師的指導(dǎo)，可以分為示例學習及觀察與發(fā)現(xiàn)學習。

示例學習，又稱為概念獲取。確定概念的一般描述，該描述可以確定所有給定的正例，并排除所有給定的反例。人們解決問題，往往是從記憶或經(jīng)驗中找到一個與之具有一定相似程度的示例，然后將已有的知識運用到新問題的解決中。示例學習系統(tǒng)要從具體事例中推理出可以用來指導(dǎo)執(zhí)行的一般規(guī)則。

示例學習要解決如下問題：

（1）示例表示。示例的表示與示例學習的效率密切相關(guān)。涉及到選擇合適示例的方法，示例庫的組織和索引形式，示例選擇存放何種信息等等。（2）分析模型。分析新示例，從中識別和檢索出和源示例庫相匹配的信息。（3）示例檢索。通過直接獲取，分析獲取，與用戶交互獲取等方式，獲得對于目標示例特征的描述，然后示例庫中找出一組與當前問題相關(guān)的候選示例，最后進一步進行匹配，獲得一個或幾個與當前問題相似程度最高的示例。（4）類比映射。找到目標示例與示例庫中的示例之間的對應(yīng)關(guān)系。（5）類比轉(zhuǎn)換。將源示例中和目標示例相關(guān)的信息進行轉(zhuǎn)化，修改源示例的求解方案，利用結(jié)果或方法復(fù)用，把源示例的解答應(yīng)用于目標示例中。（6）解釋。（7）示例修補。輸入求解方案，修改方案，排除失敗。（8）類比驗證。驗證目標和源示例進行類比的有效性。（9）示例保存。將解決完的目標示例，保存到示例庫。

觀察發(fā)現(xiàn)學習，又稱描述性概括，這類學習沒有教師的指導(dǎo)，它由系統(tǒng)自身功能區(qū)發(fā)現(xiàn)，要產(chǎn)生對所有或大多數(shù)觀察到的規(guī)律和規(guī)則的解釋。這類學習包括概念聚類、構(gòu)造分類、曲線擬合、發(fā)現(xiàn)并解釋觀察到的定律并形成理論。

3、類比學習

類比學習就是通過類比的方法，通過對相似事物的比較，進行深層次知識學習的一種行為。

類比的方法有很多，例如：轉(zhuǎn)換類比、派生類比等。

類比學習的核心技術(shù)是相似性的定義和變換的方法。目的不同則相似性的定義亦有不同。如果以獲得目標示例的某種新屬性為目的，則相似定義時應(yīng)側(cè)重于尋找源示例與目標示例之間在屬性上的對應(yīng)關(guān)系。如果以獲得新方法為目的，那么應(yīng)側(cè)重于類比源示例與目標示例各個狀態(tài)間的關(guān)系。變換的方式是由源示例與目標示例對問題類比的方式來決定的。

類比的應(yīng)用，應(yīng)該滿足以下條件：

（1）目標示例輸入后，系統(tǒng)應(yīng)在短時間內(nèi)選擇出具有相似度的存儲在知識庫中的源示例。（2）知識表示法和組織形式，有利于類比過程的實現(xiàn)。（3）易于修改，能增強系統(tǒng)的處理能力。

類比與示例學習的異同：兩者都是依靠存儲的情景和知識來解決新問題。不同是前者是對過去情況的改寫而后者注重的是記憶、索引等。

類比學習在時間和任務(wù)量上的消耗比較大，因此不太適合于處理比較復(fù)雜多變的情況和問題，類比本身是一個模糊的概念，要解決實際問題，通常情況下需要與理論知識進行結(jié)合，且要從多方面進行類比，這就加大了系統(tǒng)判別的難度。類比的靈活性比較高，現(xiàn)在系統(tǒng)的計算方法很難靈活的駕馭。

4、解釋學習

解釋學習是分析學習的主要方式，機械學習、歸納學習、類比學習都是以數(shù)據(jù)為首位的，沒有充分反映人工智能對于知識的研究和發(fā)展。解釋學習就是給系統(tǒng)提供相應(yīng)領(lǐng)域的知識，通過對單個問題求解例子的分析，形成對于目標示例概念的解釋，并加以泛化，用于指導(dǎo)以后類似問題的求解。

解釋學習主要是依賴演繹推理，運用知識的邏輯表示，產(chǎn)生問題的求解方法。主要目的是提高求解效率，而不是獲得目標示例的屬性。

基本的解釋學習，要運用證明樹的形式。

（1）給定一個例子，構(gòu)建一顆證明樹。（2）為可變目標構(gòu)建泛化證明樹。（3）構(gòu)建一條新規(guī)則（葉子=>根）。（4）去掉所有與目標中變量真正無關(guān)的條件。

解釋的過程有兩個階段。

第一，向系統(tǒng)提供完善的知識，提供并分析一個實訓實例，并產(chǎn)生解釋結(jié)構(gòu)。（1）運用領(lǐng)域知識建立初始描述的解釋結(jié)構(gòu)；（2）將該結(jié)構(gòu)表示成一顆證明樹；（3）解釋實例是目標概念的實例的原因；（4）每個分支葉節(jié)點的表達式必須滿足可操作性原則。

第二，對該解釋結(jié)構(gòu)進行泛化，得到一個關(guān)于目標概念的一般性描述，獲得一般性的控制規(guī)則。（1）用變量代替證明樹中的常量，實現(xiàn)泛化。（2）滿足可操作性原則，形成一顆基于解釋的泛化樹。（3）得到目標概念的充分條件。

5、基于神經(jīng)網(wǎng)絡(luò)的學習

由類似于人腦神經(jīng)節(jié)點的處理單元構(gòu)成，輸入節(jié)點通過隱藏節(jié)點與輸出節(jié)點相連接，組成一個多層網(wǎng)絡(luò)結(jié)構(gòu)。其性質(zhì)有兩個因素決定，其一，網(wǎng)絡(luò)的拓撲結(jié)構(gòu)，其二，網(wǎng)絡(luò)的權(quán)值。

連接權(quán)值的確定一般有兩種。一種是通過設(shè)計計算確定學習；另一種是網(wǎng)絡(luò)按一定的規(guī)則通過對歷史樣本數(shù)據(jù)進行反復(fù)尋來學習得到的。多數(shù)神經(jīng)網(wǎng)絡(luò)使用后一種。在訓練過程中，處理單元運用學習規(guī)則對數(shù)據(jù)進行匯總和轉(zhuǎn)換，調(diào)節(jié)權(quán)值。

神經(jīng)網(wǎng)絡(luò)適合處理比較復(fù)雜的問題和情況，但是在數(shù)據(jù)大的情況下，效率低，在使用此方法是，用戶需要具備相當?shù)膶τ谠撓到y(tǒng)的建立和運行的使用知識。

參考文獻

[1]徐立本.機器學習引論.長春：吉林大學出版社. 1993.

[2] Tom Mitchell. Machine Learning機械工業(yè)出版社2003.

[3]王鈺.機器學習研究回顧與趨勢.中科院自動化研究所默示識別國家重點實驗室.

[4]王鈺，周志華，周傲英.機器學習機器應(yīng)用.清華大學出版社，2006.

[5]劉琴.機器學習.武鋼職工大學學報，2001（6）.

[6] Mtichell，T.M，Does machine learning really work？ AI Magazine，1997，18（3）：11-20.