決策樹算法研究

喬麟婷

【摘要】決策樹作為一種解決分類問題的模型，由于算法簡單易解釋，而受到了普遍的應用。本文研究了如何使用決策樹進行分類，分別介紹了模型訓練、模型評估和預測過程。針對模型訓練，詳細闡述了決策樹算法原理，運用信息增益進行屬性選擇，并明確了決策樹停止條件。最后，通過一個簡單的例子將決策樹算法應用到實際問題中。

【關鍵詞】分類 決策樹 信息增益

【中圖分類號】G63 【文獻標識碼】A 【文章編號】2095-3089（2018）48-0224-02

1.引言

隨著現代生活的進步與發展，機器學習逐漸進入大眾視野。機器學習實際上是以數據為驅動，從海量數據中提取整合出有價值的信息，用機器代替人工來解決問題的一個學科。機器學習分為監督學習和非監督學習。分類問題是監督學習的一個重要組成部分。它是指人們基于生活中所遇到的、需要將大數據進行分析并作出篩選與劃分的問題。如生活中的垃圾分類就是一個典型的分類問題，將垃圾進行細致分類而運送到不同的地方進行處理，已知部分垃圾其物理性質、化學成分、利用價值，并且知道其對應的類別標簽，即訓練集，我們需要對未知的垃圾來根據它的屬性判定其所屬類別。

在生活中較為常見的解決分類問題的模型有決策樹、logistic回歸、SVM等，它們的出現可以更加便捷地解決分類問題。其中決策樹以其清晰的圖示，較為簡便的運算法則，快速地對數據進行了全面分析，作出了較為準確的分類，而在如今普遍得到使用[1]。

2.決策樹算法原理

2.1決策樹算法的簡單流程

作為一種常見的解決分類問題的模型，決策樹的形狀類似于一個樹，包含根節點、中間節點和葉子節點。葉子節點對應著類別標簽，不同節點是根據不同的分類屬性進行分裂。當我們使用該模型時，需要將數據從其根節點放入，數據會依次經過中間節點進行連續劃分，最終進入葉節點，其代表了最終的所屬類別。每一條從根節點到葉節點的分支都代表了對樣本數據進行的劃分運算得到的不同類別。例如上文所提到的對用戶信用度的測試，我們事先會收集用戶的信息，如，貸款經歷、開戶時間、存款金額等等作為信息數據；然后將用戶的所有信息數據放入根節點，依次往下過渡到中間節點，在每個節點對信息數據進行運算后，會在葉節點得到最終的分類結果。

2.2決策樹的停止與選擇劃分

決策樹實際上是一種遞歸的算法[2]，這些分支會不斷地生長。決策樹停止分支的生長主要受以下兩點的制約：一是屬性已經全部計算完畢，沒有其他數據形成分支了；二是訓練的數據已經是屬于同一類別，不用再進行劃分了。

信息增益越大，那么純度的提升就越大，屬性的選擇也就更加簡潔與準確。因此，我們就可以通過信息增益為準則來劃分屬性，以此達到用決策樹來解決分類問題的目的。

3.決策樹應用案例

下面我們就舉一個實際的例子來說明決策樹算法流程[3-4]。我們以銀行對客戶進行的能否貸款的測試為例，表2是客戶數據集，包含了7個樣本，四個屬性。

經過對比，收入，存款，違約三者均取得了最大的信息增益，以選擇收入作為劃分屬性為例，這樣就可以得到三個分支。要進行進一步的劃分，分別對得到的三個分支，將其看成根節點，以此類推最終可以得到決策樹。

4.總結

決策樹算法是基于規則的分類算法，算法簡單、可解釋性強，能夠直接從數據中進行歸納，根據數據特征提取分類的有效信息。決策樹算法得到的分類樹便于人們理解，并且它能夠較為準確地對分類問題作出判斷，劃分出最終結果。因此，它在實際生活中得到了非常廣泛和普遍的應用。隨著時代的發展，決策樹算法還在不斷地優化與更新，以便于更加準確地解決分類問題。

參考文獻：

[1]何迪.面向大數據分析的決策樹算法[J].信息系統工程， 2017（7）：161.

[2]胡金濤.基于C4.5決策樹的學生成績預測教學系統的研究與實現[D]. 西南交通大學， 2017.

[3]楊靜， 張楠男， 李建，等. 決策樹算法的研究與應用[J].計算機技術與發展， 2010（2）：114-116.

[4]張宇，張之明.一種基于C5.0決策樹的客戶流失預測模型研究[J].統計與信息論壇， 2015（1）：89-94.