基于深度學習的過完備字典稀疏表示的矩陣分析

衛小強

（洛陽師范學院，河南 洛陽 471934）

基于深度學習的過完備字典稀疏表示的矩陣分析

衛小強

（洛陽師范學院，河南 洛陽 471934）

本文從數學的角度探討了外部輸入信息與過完備字典之間的關系問題即相關性問題，研究了過完備字典與稀疏表示的內在聯系，在此基礎上對過完備字典進行分析和修正，以提高深度學習的層次且增加對環境的適應性，為今后對字典的設計奠定了基礎。

機器學習；過完備字典；稀疏表示；OMP

1 前言

人類對客觀世界的認識，得益于對自身大腦認知的理解。在此基礎上，人工智能和人工神經網絡的研究正是在此展開的。正如人類大腦理解的過程，人工神經網絡對事物認識也是從低層次的具體明暗、顏色、深度、邊緣等特征開始，而后在更高層次去提取事物更抽象的特征，即各種形式的具體的組合到更高層次的抽象概括的融合。其中伴隨著認知深度的提高、分類等過程。所以人工網絡一般由輸入層，隱含層以及輸出層構成。這些層次之間有極為復雜的相互聯系。由于目前對于神經網絡的技術尚在研究探索階段，所以目前輸入層主要功能是接收外部信息，隱含層作為網絡的核心，通過對樣本的訓練，不斷改變完善其相應的權值去適應匹配外部輸入的信息，輸出層是對外部信息進行最高級別的抽象概括的組合表示。隱含層的層次越多，可接收外部信息的能力和適應性也相應越強，但層次結構也會越復雜，極大增加了時間的開銷。本文的核心在于隱含層的理解和分析，因為它承擔了承上啟下的功能，對于外部輸入信息進行以智能的過完備字典形式的“特征學習”，通過它也可以進行特征表示空間之間的轉換，這樣才能使我們需要的某些特征更清晰地抽象概括分離出來，所以需對中間隱含層應承擔的功能進行研究探討和界定。

2 經典的人工智能模型的數學理解

人工智能的隱含層的核心功能是將信號從某一變換域轉變為另一變換域空間，這種變換可以通過一個自適應的變換矩陣來實現。將一個高維的信號特征，轉變為一個低維的相應的更抽象概括的特征。其中這個變換矩陣為一隨外部環境信息的變化通過反饋而自適應修正的過完備字典。我們通過樣本學習來求解這個凸優化問題的相關系數。上述的數學模型可用Y=AX的矩陣表達式進行描述。A為Rm×n的矩陣，其中m＜＜n，要求A為滿秩矩陣。而X∈Rn，Y∈Rm，由矩陣分析理論，當m＜＜n時，這個矩陣方程是多解的。即X中的非零元的個數盡可能少。從以上分析，給定樣本空間的過完備矩陣Am×n，m＜＜n，為了重構向量Y，則需對A進行研究分析其最佳拓撲結構，使得信號在經過隱含層的稀疏分解處理后，其函數表達式系數不包含較多相關和重疊的成份，即冗余部份。使稀疏分解后的信息主要成分并沒有丟失而是更為集中。用以評價衡量稀疏程度的指標：①0-范數：X中的非零的個數。②稀疏因子：X中非零元與X行數之比的相對參數。③非線性逼近誤差：評定能量的集中程度的指標。

3 過完備字典與稀疏表示的關系

輸入信息經過過完備字典的分解處理也就是將信息在過完備字典相應矩陣的求解的數學處理過程，要獲得稀疏系數，即通過一系列矩陣相關運算，找出在字典矩陣中與外部信號最匹配的幾列向量，在此基礎上用這幾列向量和計算獲得的稀疏系數兩者去重構信號。上述這些要求：①過完備字典必須有與外部信號相關的原子（即列向量），外部信號與字典變換基相關性不大，得到的變換系數有可能不是稀疏系數，這關系到稀疏表示的準確性和高效性。②過完備字典自身的結構。若過完備字典列向量僅僅是兩兩相關，而非兩兩正交，這樣的隨后矩陣的運算中多次的迭代后會造成次優解的存在，即局部優解的存在。基于上述兩點我們需要對過完備字典的選擇進行規范：①根據外部信息的大體類型確定過完備字典類型，以便可通過字典矩陣分解獲得稀疏系數表示。②在計算中，對過完備字典進行整合，使其矩陣列向量兩兩正交，標準化，即施密特正交化。以便在求解過程中可求得全局最優解，而非次優解。

4 對于過完備字典構成的算法研究

通過研究匹配追蹤算法（MP）和正交匹配算法（OMP）來計算L-0范數矩陣求解問題可知，信號在過完備字典矩陣中的稀疏分解是核心環節。外部信號為Y，其長度為n，而過完備字典為D，矩陣D的每一列為字典的一個原子，必要條件是每一列向量的長度等于外部信號的長度。為了字典構成的最優化需要將所有列向量正交歸一化，即||Xi||=1。將輸入信號與字典矩陣每一列進行乘法運算，找出最大的一列作為與Y最匹配或相關的原子，再求出相應的殘差值γ。經過多次學習，在算法上即經過多次迭代計算，直至達到預先設定的閾值結束。最后的輸入信號Y可表示為與其最相關的線性組合加上殘差值γ'。當γ'小于設定閾值時，則Y可由這些原子來線性表示。若選定的字典矩陣與外部輸入信號有很好的相關性即匹配性，則重構效果較好，若選定的字典矩陣與信號相關性不大，則效果不佳。另一方面過完備字典矩陣太大，即包含原子數較多時，計算變得較為復雜，所以需要在字典構成上加以研究，對字典進行分類：通過將最鄰近的樣本分類，得到含有k個樣本的分類集合，Y={yi}Ni=1(N≥k)，將再通過樣本類的模糊分配，延伸至對與樣本相關的字典分類，如k-SVD算法。用樣本分類的實質是找到一個與之相關的字典，使其誤差值E最小。即

其中，C為稀疏系數，對于某些k值，有?i,xi=ek。相應算法如下：

①通過對大量樣本進行分類，進一步分類過完備字典。使其也分成若干個字典矩陣，使某一子字典對應某一樣本分類，在信號輸入時，不需復雜的矩陣計算方法去驗證是否與其中一類相關，只需憑借一些優化快速近似算法如濾波器去并行計算哪一些字典矩陣與輸入信號相關性更大，即更能稀疏表示。這些過完備子字典均放置至數據庫待選，以應對各大類輸入信號。

②當選定一類與信號較為匹配的字典矩陣后，還需對該子字典矩陣進行更新。這些涉及到不僅更新子字典矩陣的列向量，還有其對應的稀疏系數，即

k積樣本誤差。在更新中，其中在一次迭代中第k-1項是固定不變的，僅一次更新第k項，一直到所有的字典原子列向量與相應的稀疏系數全更新完畢后，循環結束。

③避免次優值和過擬合方面的補償算法。

在字典中對于累積到一定次數不用或相關性較小的列元素，則被認為是具有過緊結構的列向量，可進行移除，但需對相應位置用其他弱相關的信號元素來替代。此外算法中允許列的數目增加以加強對外部信息處理的適應性和相關性。

5 結束語

本文在對深度學習的字典稀疏表示的討論中，重點分析研究了作為學習模型核心的過完備字典的矩陣構成，它是信號重構的關鍵。它不僅被要求與輸入信號具有較強的相關性或匹配性，還要求具備一定的適應性，可以自我進化，根據輸入信號進一步改進，提高其相關性即學習能力，同時其計算復雜度不宜太高。在今后的研究中需對次優解和過學習進一步研究。

[1]何艷敏，甘濤，陳武凡．基于稀疏表示的兩級圖像去噪[J]．電子信息學報，2012，34(9)：2268-2272．

[2]張春梅，尹忠科，肖明霞．基于冗余字典的信號超完備表示與稀疏分解[J]．科學通報，2006，51（6）：628-633。

[3]E．Cande’s and J．Romberg．Recovery of sparse signals via convex programming[J]．Technal，Pasadena，CA，Tech．Rep．，Oct，2005．

[4]MALLAT S，ZHANG Z．Matching pursuits with time-frequency dictionary[J]．IEEE transactions on Signal Processing，1993，41(12)：3397-3415．

[5]M Aharon，M Elad，and A Bruchstein．K-SVD：An Algorithm for Designing over Complete Dictionaries for Sparse Representation[J]．IEEE Transaction on Signal Processing，2006，54(11)：4311-4321．

[6]J．A．Tropp．Greed is good：Algorithmic results for sparse approximation．IEEE Trans Inf．Theory，2004(50)：2231-2242．

The MatrixAnalysis on Over-complete Dictionary and Sparse Representation Based on Deep Learning

Wei Xiaoqiang
(LuoYang Normal University,LuoYang 471934,Henan)

The paper inquiries into the relativity problem between input information and over-complete dictionary from the mathematical viewpoint and their inner relationships.On this foundation,we analyze and revise the over-complete dictionaries to enhance the level and adaptability of deep learning,and lay the foundations of the dictionary design in the future.

machine study;over-complete dictionary;sparse representation;OMP

TN911.7

A

1008-6609(2017)07-0097-03

衛小強（1972-），男，山西陽城人，碩士研究生，講師，研究方向為計算機應用、彩色圖像處理算法研究。