深度學習梳理

何艷麗

（商丘工學院，河南 商丘 476000）

一、深度學習

深度學習是一種無監督特征學習和特征層次結構的一種學習方法。深度學習還可以被稱為特征學習和無監督特征學習。其實，深度學習就是學習者的一種從表及里的邏輯推理過程。學習者通過分析低層次的基礎學習，抓住良好的特征表達，對好的特征進行梳理和了解，最后得出最客觀的邏輯特征的知識。而通過理性分析和梳理獲得的知識才是最關鍵的步驟。

那么如何才能學會深度學習，以及如何進行深度學習呢？

首先，我們要了解一下人腦的活動機理。人的視覺系統首先會將視覺系統所搜集到的信息進行分層，分級處理。高層的特征是低層信息的組合，從低層到高層的表示會越來越抽象，越來越能表現語義或意圖。抽象層面越高沒存在的可能猜測就越少，就越利于分類。所以說，人腦的學習機理也是采用層次網絡結構進行的。

2006年，加拿大多倫多大學教授、機器學習領域的泰斗Geoffrey Hinton在《科學》上發表論文時提出深度學習的主要觀點。他認為多隱層的人工神經網絡具有優異的特征學習能力，學習者得到的特征對數據有更本質的刻畫，從而有利于可視化或分類。深度神經網絡在訓練上的難度，可以通過逐層初始化來有克服，逐層初始化可通過無監督學習來實現。

通過構建多隱層的模型和海量訓練數據，來學習更有用的特征，從而最終提升分類或預測的準確性。深度模型是手段，特征學習是目的。深層次學習與淺層次學習區別相當大。深層次強調了模型結構的深度，通常有5-10多層的隱形節點。明確突出了特征學習的重要性。通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間。從而是分類或預測更加容易，與人工規則構造特征的方法相比，利用大數據來學習特征，更能刻畫數據的豐富內在信息。

那么，通過深層次分析學習更能夠將淺表知識信息生化為本質特征的學習。

深度學習是不是神經網絡呢？答案是否定的。通過比較可知：深度學習和神經網絡都采用分層機構。系統包括輸入層、隱層（多層）、輸出層組成的多層網絡。只有相鄰層節點之間有連接，每一層可以看作是一個logistic回歸模型。當然，深度學習和神經網絡之間有著巨大的差異性。神經網絡采用的BP算法調整參數，即采用迭代算法來訓練整個網絡。隨機設定初值，計算當前網絡的輸出。然后根據當前輸出和樣本真是標簽之間的差去改變前后各層的參數，直到收斂。神經網絡的局限性在于比較容易擬合，參數比較難調整，而且需要不少技巧；而且神經網絡需要很長的訓練時間，也就是說訓練速度比較慢，層次較少。

二、如何訓練深度學習

深度學習的第一步應當采用自下而上的無監督學習。首先應該逐層構建三層神經元。然后每層都應當采用wake-sleep算法進行調優。每次僅調整一層，逐層調整。這個過程可以看作是一個feature learning的過程，是和傳統神經網絡區別最大的部分。認知過程，通過下層的輸入特征和向上的認知權重產生每一層的抽象表示，再通過當前的生成權重一個重建信息。計算輸入特征和重建信息殘差，使用梯度下降修改層間的下行生成權重。也就是“如果現實和我想象的不一樣，改變我的生成權重使得我想象的東西變得與現實一樣。”生成過程通過上層概念和向下的生成權重，生成下層的狀態，再利用認知權重產生一個抽象鏡像。利用初始上層概念和新建抽象的殘差。利用梯度下降修改層間向上的認知權重。也就是“如果夢中的鏡像不是我腦中的相應認知概念，改變我的認知權重使得這種速度”使得這種鏡像在我看來就是這個概念。

自頂向下的監督學習是在第一步就獲得的各層參數基礎上的。數度學習區別于傳統神經網絡初值。深度學習模型是通過無監督學習輸入數據的結構得到的。因而這個初值更接近全局最優，從而能夠取得更好的結果。

學習是通過學習或親身經歷而獲取的知識技能、心理概念或價值觀的過程。學習分為簡單學習和深度學習兩種。簡單學習是除了機械記憶外不需要付出太多努力。沒有經驗的學習者可以一次學會的學問、知識或反應；不需要反饋或糾錯；也可以在一起活動中學會；很少或者沒有歧義。這種知識學習過程是直接，并且對學習者的年齡、文化、智商和背景無關。簡單學習就是低層次的學習過程，是表層知識。它是沒有經驗的學習者或年幼的孩子會接受的類型。簡單學習為未來所有學習提供基礎。但是這種學習缺乏思維的復雜性。

深度學習時學習者將運用多種規則去完成任務。一個人必須知道一點微知識然后將其與其他微知識加起來獲得一個完整的、綜合的建議。新內容或技能的獲得必須經過一步以上的學習和多水平的分析或加工，以便學生可以以改變思想、控制力或行為的方式來應用這些內容或技能。

三、結語

從正面講：一生中帶給我們最多滿足的話多東西來自于復雜知識和技能；當深度思維首次發生時大腦可能較為活躍；一般而言，會理解、保持、應用的更好。從反面講：它可能需要基本的背景知識，它是耗時的，而且為了掌握它，要投入大量的精力和決心；過程和最后結果經常受批判性評論或其他觀點的影響。簡單與深度學習都需要多樣的優良的技能背景。最初，當深度思維首次發生時您的大腦可能較為活躍。在專家級水平形成之后，所需的腦活動就較少了；一般可能做到更好的理解、更好的保持、更多地應用概念和技能。專門知識的最主要特點是深度學習所必需的連通性。深度學的例子：閱讀、多學科性思維、設計解決方案來解答問題；創造目標和策略去實現那些目標，如何談判，何何建造某物；辯論技巧，研究技能、召集、管理或做學術演講或工作規劃。