自然圖像稀疏編碼模型研究綜述

鄒柏賢，苗 軍

(1．北京聯合大學 應用文理學院，北京100083;2．中國科學院計算技術研究所智能信息處理重點實驗室，北京100190)

0 引言

由于圖像信息所占的存儲空間大，對圖像信息的壓縮處理顯得尤其重要． 如何建立新的圖像分析模型，改進壓縮編碼算法長久以來一直是圖像處理的研究熱點．根據有效編碼理論，人們提出自然圖像的稀疏編碼(Sparse Coding，SC)方法．實驗證明Barlow 提出的有效編碼理論的正確性，在自然刺激的條件下測試視覺神經系統響應的統計特性，發現視皮層細胞的響應滿足稀疏分布［1］． 視皮層對外界刺激采用神經稀疏表示原則，可對繁雜冗余的信息進行簡化和去除，由少部分神經元或基函數對圖像進行的響應描述或編碼表達，數據經稀疏編碼后僅有少數分量同時處于明顯激活狀態，即呈現超高斯分布． 從數學上解釋，一幅圖像可以看作是一小部分基函數的線性加權組合．稀疏編碼模型是模擬生物視覺系統信息加工機制的重要方法，是圖像編碼的有效方法．

1 稀疏編碼模型研究現狀

從建立SC 模型的出發點看，SC 模型可分為模擬視覺系統模型、統計分析模型兩大類．模擬視覺系統模型通過仿真生物視覺感知系統，根據神經元響應的稀疏特性，對自然圖像進行有效編碼．從建模的方式來看，視覺模擬可分為自底向上的、自底向上與自頂向下相結合的兩種建模方式． 統計模型利用傳統的圖像特征提取方法，建立在數字信息處理和概率統計的基礎上，與人類視覺系統強大而復雜的信息處理能力相距較遠．

1．1 模擬視覺系統模型

大腦視皮層感知中的一個基本問題是對于視網膜成像后的圖像在視皮層中是如何進行表達．在SC 模型的矩陣形式X =AS +N 中，X 是圖像灰度象素矩陣，A 是模擬初級視覺系統主視皮層V1 區感受野的特征基向量矩陣，S 是稀疏系數矢量矩陣，表示神經元對不同基圖像的響應，對應主視皮層V1 區簡單細胞神經元的活動狀態，N 為白噪聲．對自然圖像進行SC 的目的是找到一個基函數表達式，使得每一個子圖像塊用較少的非零系數線性表示出來． 按照視覺系統模型的不同目標、特征和結構可分為6 種SC 模型．

1．1．1 最大似然概率模型

常用的自然圖像SC 模型是

式中:X(x，y)表示圖像的灰度像素值矩陣，(x，y)表示像素的空間坐標;ai表示模擬初級視覺系統主視皮層V1 區感受野的特征基向量，它是特征基矩陣A = [a1，a2，…的第i 列向量;si是稀疏系數矢量，表示主視皮層V1 區簡單細胞對不同基圖像的響應，系數矩陣S = [s1，s2，…T是第i 行向量． 該線性模型可使用標準梯度下降算法最大化模型(1)的似然對數實現基向量A 的學習，假定σ2是高斯噪聲N 的方差，函數f(si)是指定的隨機變量的分布，系數矩陣ai的梯度是:

式中:〈·〉表示隨機變量的期望值;p(si)表示系數si的先驗分布表示后驗概率． 實際應用時，最大化模型的似然對數，取后驗概率最大值作為一個樣本．

1．1．2 目標函數優化模型

在學習SC 模型的參數時，把重構誤差以及編碼系數的稀疏性參數作為目標函數．

(1)標準稀疏編碼模型．Olshausen 和Field［2］提出標準SC 模型．1996 年，Olshausen 和Field 指出自然圖像經過稀疏編碼后得到的基函數類似于Vl 區簡單細胞感受野的反應特性，即任意給定的一幅自然圖像可以用一個很大的數據集合中的少數幾個非零元素來描述． 該模型中，最小化目標函數為

該模型提取的基函數模擬Vl 區簡單細胞感受野的三個響應特性:空間域的局部性、時域和頻域的方向性和選擇性，采用隨機初始化的基函數和特征系數，收斂速度慢;算法通過先驗分布確定系數分量，需要根據經驗選擇三個函數，結果不穩定．

(2)非負稀疏編碼模型． Hoyer 在標準SC 模型的基礎上，提出非負SC 模型(NSC)［3］，考慮人眼以不同的通道接收非負數據，符合人眼的生理特性和主視皮層V1 區簡單細胞神經元的電生理特性．把輸入數據劃分為對自然圖像以ON、OFF通道兩種方式響應的信號，系數si和特征向量ai都限定為非負值，非負的約束使得A 和S 的元素為零或者是正數，模型的最小化目標函數為:

由于模型容易受到噪聲影響，尚麗等［4］考慮視覺系統對外界感知信息的自適應調整機制和視皮層之間的反饋連接，提出基于文件PCA 和V1區簡單細胞感受野先驗知識的反饋非負SC 模型，并且使用共軛梯度下降實現目標函數的最小化．Hoyer 給出了最小化目標函數的有效算法［5］．

(3)基于峭度稀疏性測度的稀疏編碼． 尚麗［6］改進了主視皮層V1 區簡單細胞感受野的SC算法．同樣采用峭度的絕對值作為稀疏性度量標準，在目標函數中加入稀疏性懲罰項和圖像重構誤差約束，避免出現僅滿足稀疏性要求而使圖像重構誤差變得很大． 在目標函數中加入一個固定系數的方差項，即

式中:λ1和λ2均為正常數;是預先選定的隨機系數方差的尺度常數，函數第一項為圖像的重構誤差項，第二項為系數懲罰項，由峭度的絕對值作為稀疏性度量準則． 算法中給出基函數和系數的學習規則．

(4)任務驅動稀疏編碼模型．Hoyer 等［7］在自底向上的多層感知網絡結構中利用自頂向下的反饋控制建模，將線性誤差最小化SC 擴展到復雜細胞輸出模型，有一個權重矩陣需要學習，便于進行數據實驗．簡化模型底層結構的方式，使上層復雜細胞的相互作用更清晰．模型包括兩個部分:復雜細胞的響應模型，另一模型把復雜細胞的輸出作為輸入矩陣X，用一個經典的復雜細胞能量模型，估計線性模型(1)中的稀疏向量及非負系數Si．復雜細胞對輸入圖像的響應是兩個正交Gabor 過濾器的平方 和， C{xc，yc，θ}=

式中:G{e，xc，yc，θ)、G{o，xc，yc，θ)分別是偶、奇對稱Gabor濾波器，以(xc，yc)為中心;θ 是朝向角．

Li 等［8］提出結合注意選擇機制和雙層反饋神經網絡的編碼模型，以及基于任務驅動稀疏編碼模型［9］，他們認為神經細胞的響應除受稀疏編碼準則的影響，保持神經細胞響應的統計獨立性，還受到反饋信號的調節，使得編碼能反應來自高層的知覺任務．

(5)正則圖稀疏編碼模型． 國內學者ZHENG Miao 等［10］提出一種正則圖稀疏編碼模型(Graph-SC)．假定圖像矩陣X 的n 維列向量，建立一個有m 個頂點的最鄰近圖G，每個頂點表示一個數據向量．設W 是G 的權重矩陣，如果xi在xj的K-鄰域，或xj在xi的K-鄰域，則Wij= 1 ，否則，Wij= 1 ． 定義頂點xi的權重di=Wij，D =diag(d1，…，dm)．把正則圖G 映射到稀疏表示系數S，最小化函數:

L=D -W 是拉普拉斯矩陣．那么，可以把稀疏編碼模型的目標函數確定為:

參數α ≥0 ．函數中，第二項是保持正則圖G到系數S 的合理性，第三項是系數S 的稀疏性，衡量非零系數(或權重較大)的數量．把優化目標函數分為兩步:①固定基向量矩陣A 時學習稀疏編碼S;②固定系數矩陣S 時學習基向量矩陣A．

1．1．3 Gabor 小波基函數模型

在線性SC 模型中，視網膜細胞響應是自然圖像及誤差的線性表示，可由Gabor 小波過濾器表示出來，稱為Gabor 小波基函數稀疏編碼． J．P． Jones 和L． A． Plamer 用二維Gabor 濾波器估計出最小均方誤差意義下簡單細胞的響應特性，證明二維Gabor 函數平移、旋轉得到的小波基函數同樣也具有V1 區神經元感受野的結構． 如果基函數集合是超完備的，稀疏編碼效率更高． Olshausen 等人［11］提出金字塔形稀疏編碼基的求解算法，假定基函數具有平移、尺度不變性，則一幅圖像的全部基函數可由少量的小波濾波器和不同尺度的基函數擴展表示． L 級金字塔小波基函數模型為

利用少量的小波濾波器和不同尺度的基函數擴展得到圖像的全部基函數，該算法在一定程度上提高編碼效率，但是編碼圖像重構的精度受到影響．

1．1．4 超完備基稀疏編碼模型

把自然圖像X = (X1，X2，…，Xn)T表示為加上噪音的線性疊加基［12］:

X(b)= ［∑s(c)a(b，c)］+ N． (3)

其中:X(b)= {Xij}是刺激圖像的向量表示;Xij是一幅圖像中的像素;s(c)= {skl}是簡單細胞編碼的向量表示;skl是位于某個空間坐標上的編碼值，簡單細胞的數量是(N1× M1)，a(b，c)={aijkl}是簡單細胞感受野的空間結構． Olshausen等人［13］把數學上的超完備基引入到稀疏編碼．當引入超完備基的編碼空間時，對輸入圖像的表示可能不唯一． Hubel 等人及Michison［2］的實驗表明，視皮層V1 區的細胞數量遠大于LGN 上的神經元數，視皮層V1 區對來自LGN 細胞刺激的響應存在超定性，可用超定基線性表示．目前常用的SC 模型都假設編碼空間維數和輸入空間維數相等，即都屬于完備的SC 模型［14］．

1．1．5 神經網絡稀疏編碼模型

Cornelius Webe 等［15］建立具有適應性的SC模型，采用醒睡算法學習自下而上和自上而下雙向權重，通過隱性神經元的轉移函數調節稀疏性．該模型把視覺系統分為三層，即輸入神經元xj、靜輸入神經元yi和隱性輸出神經元zi，自下而上輸入神經元到靜輸入神經元之間聯結權重為Wbu，靜輸入神經元到隱性輸出神經元之間轉換函數設為z = ga，b(y)，稀疏先驗指數密度函數設為函數fexp，u 為均值．由隱性輸出神經元到輸入神經元的自上而下重建權重是Wtd．對于靜輸入單元i和輸入單元j，靜輸入神經元傳遞給神經元輸出zi，

調節指數函數fexp使zi呈近似指數分布．這種隱性的內在稀疏表示的調節機制適用于時間尺度快速變化的情形，對于參數a 來說，可以滿足變化速度在數十秒的量級，這能夠解釋視覺神經的傾斜后效現象．參數b 的變化范圍較小，用它可以解釋傾斜后效寬于指數分布的原因．Ewaldo 等［16］提出一個無監督的神經網SC 模型．

1．1．6 分層稀疏編碼模型

研究者們還提出分級的SC 模型． Kai Yu［17］等提出一種兩級SC 模型． 第一級對圖像分塊進行編碼，然后被傳遞到第二級編碼．該模型不同于傳統的各分塊相互獨立的稀疏編碼方法，各分塊之間具有一定的相關性．設x1，x2，…，xn∈Rd是一幅圖像的n 個分塊，設X = ［x1，x2，…，xn］∈Rd×n表示這些分塊的矩陣形式，A ∈Rd×p是第一級(分塊級，Patch-level)的稀疏表示基向量;第二級(集合級，Set-level)基向量Φ = (φ1，φ2，…，φq)∈Rd×p，這些Φ 用來對分塊x 之間統計相關性進行建模，這樣可同時獲得分塊級和集合級的稀疏編碼，最優化下述目標函數，即可得兩級稀疏編碼模型:

S = (s1，s2，…，sn)∈Rp×n是分塊級稀疏表示系數，α ∈Rq是集合級稀疏表示系數．

該模型的特點是，考慮了不同分塊之間的空間位置相關性，但是計算量大． 此外，還有DAI Dengxin 等［18］提出了三層空間稀疏編碼模型(TSSC)．利用局部特征之間的相關性，用直方圖交叉描述局部特征之間的相似性，建立拉普拉斯矩陣，作為稀疏編碼目標函數的一部分，保持相似局部特征的稀疏表示．

1．2 統計分析模型

利用信息的低維特征建立統計分析模型，主要有獨立元分析方法模型、非負矩陣分解算法模型、特定特征的稀疏編碼模型等．

1．2．1 獨立元分析方法

獨立元分析(ICA)是典型的稀疏編碼統計分析方法．在模擬視覺系統的SC 模型矩陣形式X=AS+N 中，如果不考慮高斯白噪聲N，則成為獨立元分析的標準數學模型X =AS．ICA 模型的條件是假定自然圖像S 中的各分量獨立． 大量研究表明，大多數自然圖像數據服從超高斯分布，矩陣A 可以作為對自然圖像稀疏表示的特征基函數的近似，ICA 算法和稀疏編碼以在減少冗余的目標方面是一致的．因此，ICA 算法得到的特征基函數可作為模擬視覺系統對自然圖像的稀疏編碼基函數．有許多學者對獨立元方法進行了改進，拓撲獨立元分析方法，允許在一個小的領域內各個基向量之間有相關性，獲取的自然圖像的基函數的性質類似于拓撲圖的形式展示出來．

1．2．2 非負矩陣分解算法

非負矩陣分解算法用于提取圖像中有意義的特征．該算法是在矩陣中所有元素均為非負的條件下對其實現非負分解，由于非負性約束使得分解的基向量和組合系數中的大量元素為零或接近于零，因此這種表示方法被看作是一種稀疏編碼的統計算法．

對于自然圖像矩陣X，它的每一列是由一幅自然圖像的象素值組成，自然圖像的象素數為n，有m 個自然圖像時，X ∈Rn×m．若X 是非負矩陣，那么可進行矩陣分解:X ≈WH，其中W ∈Rn×r，H ∈Rr×m，各矩陣的元素Xi，j，Wi，u，Hu，j≥0 ，0 ≤i ≤n -1 ，0 ≤j ≤m -1 ，0 ≤u ＜r -1 ，通常r ＜nm/(n + m)，根據給出的迭代關系式進行循環迭代．迭代開始前，需對X 歸一化，使得所有象素值在［0，1］內，W，H 的初始值為［0，1］內的隨機數．

在上述非負矩陣的分解中，W 是基矩陣，它表示圖像的局部特征，H 是編碼矩陣，在運用基圖像和編碼進行圖像重構時，H 中的大多數元素為零．該計算模型的缺點在于X 的約束條件，即為非負矩陣．非負矩陣分解計算方法的收斂速度慢．國內外學多學者對此方法進行了改進，尚麗等提出具有系數度約束的局部非負矩陣分解算法LNNSC［19］，對非負矩陣分解算法做出改進．此外，國內許多學者運用非負矩陣分解算法提出了許多應用［20］．

1．2．3 特定特征模型

Huang 等人［21］從統計學角度，研究信號的稀疏統計模型，證明在一定條件下統計模型具有更好的信號重構性能．假定在線性表達式X =AS +N 中，基向量矩陣A 是固定的，在統計領域，可以用Lasso 算法對上述稀疏統計學習問題進行求解．Huang 等人發現，在具有一定特征的同組數據的S 變量往往同時為零或同時非零． Zhang 等［22］從理論上證明基于組的稀疏特性的圖像標注方法可提高準確性和穩定性．

2 模型分析和比較

將各種模型的主要特點列于表1．

3 稀疏編碼應用與展望

以稀疏編碼為代表的生物視覺系統具有高性能的圖像編碼和表示能力，稀疏編碼在圖像、視頻壓縮方面具有驚人的壓縮能力，可去除大量的冗余數據，廣泛應用于數據降維、提取圖像的關鍵特征和數據壓縮，如何訓練稀疏系數和基，使自然圖像得到最短描述、降低原始數據的維數、提取關鍵特征，需要進一步研究解決．

首先，利用生物視點統計分析及注意選擇機制建立稀疏編碼模型． 研究人員對生物視點進行統計分析，在眼動及選擇性注意方面取得很多研究成果，為模擬生物視覺系統的信息處理機制奠定基礎．視覺系統是人類獲取外部信息最重要的通道，眼動及選擇性注意信息可以在細微方面反映信息提取和選擇方面的過程與規律．

表1 模擬視覺系統特征模型的分類和比較Tab． 1 Classification and comparison of the simulated visual system feature model

其次，模擬生物視覺系統對各種信息的處理，提高對各類信息的識別率及處理速度．例如，提取各種不良網頁信息的本質特征，對不同信息進行分類，進行快速、準確地識別和過濾．另外，隨著網絡和多媒體技術的發展，大量不良視頻在網絡上蔓延，需要客觀、有效地對視頻內容進行分類識別．借助人類視覺系統對視頻信息關鍵特征的提取和處理能力，結合認知心理學、計算神經科學、統計機器學習、模式識別等方法，通過機器學習挖掘出不良視頻的統計特性，提高視頻分類的準確率．

第三，在視覺搜索方面上，往往采用分塊編碼表示圖像特征，進而采用分塊編碼的融合，得到目標整體的稀疏編碼，在獨立性假設前提下利用統計推斷，可應用于自動或輔助駕駛的學習和模擬．由于目前主動視覺模型的限制，對實際快速變化場景及其中的物體或目標還缺乏高效的信息抽取及編碼能力，因此，稀疏編碼的良好表達能力將有助于克服這些問題，使自動或輔助駕駛成為可能．

［1］ VINJE W E，GALLANT J L． Sparse coding and decorrelation in primary visual cortex during natural vision［J］． Science，2000，287(18):1273 ～1276．

［2］ OLSHAUSER B A，FIELD D J． Emergence of simplecell receptive field properties by learning a sparse code for natural images［J］． Nature，1996，381:607-609．

［3］ HOYER P O． Modeling receptive fields with non-negative sparse coding［J］． Neuroscience，2003，52 ～54(1):547 -552．

［4］ SHANG Li，CAO Feng-wen． Adaptive denoising using a modified sparse coding shrinkage method［J］． Neural Processing Letters，2006，24(2):153 -162．

［5］ HOYER P O． Non-negative sparse coding［C］∥Proceedings of the 2002 12th IEEE Workshop on Neural Networks for Signal Processing． Martigny，Switzerland，2002:557 -565．

［6］ 尚麗． 稀疏編碼算法及其應用研究［D］． 北京:中科院合肥智能機械研究所，2006．

［7］ HOYER P，HYRARIEN A． A Multi-layer sparse coding network learns contour coding from natural images［J］． Vision Research，2002，42(12):1593 -1605．

［8］ LI Q Y，SHI J，SHI Z Z． A model of attention-guided visual sparse coding［C］∥Proceedings of IEEE International Conference on Cognitive Informatics，2005:120 -125．

［9］ LI Q Y，CHENG D，SHI Z Z． Task-oriented sparse coding model for pattern classification［J］． Lecture Notes in Computer Science，2005，36 (10):903-914．

［10］ZHENG Miao，BU Jia-jun，CHEN Chun，et al． Graph regularized sparse coding for image representation［J］．IEEE Transactions on Image Processing，2011，20(5):1327 -1336．

［11］ OLSHAUSEN B A，SALLEE P，LEWICKI M S．Learning sparse image codes using a wavelet pyramid architecture［J］． Advances in Neural Information Processing Systems，2001，13:887 -893．

［12］羅四維． 視覺感知系統信息處理理論［M］． 北京:電子工業出版社，2006．

［13］OLSHAUSEN B A． Principles of image representation in visual cortex［M］． The Visual Neurosciences． In:CHALUPA L M，WERNER J S． eds． Cambridge，MA:MIT Press，2002．

［14］楊謙，齊翔林，汪云九． 視皮層V1 區簡單細胞的稀疏編碼策略［J］． 計算物理，2001，18(2):136-143．

［15］WEBER C，TRIESCH J． A Sparse generative model of V1 simple cells with intrinsic plasticity［J］． Neural Computation，2008，20:1261 -1284．

［16］SANTANA E，PRINCEPE J C，BARROS A K，et al．Biologically inspired algorithm based on error minimization［C］// Proceedings of Brain Inspired Cognitive Systems(BICS)． Sao Luis，Brazil，2008:1 -4．

［17］YU Kai，LIN Yuan-qing，LAFFERTY J． Learning image representations from the pixel level via hierarchical sparse coding［C］∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，2011:1713 -1720．

［18］DAI Deng-xin，YANG Wen，WU Tian-fu． Three-layer spatial sparse coding for image classification［C］∥Proceedings of 20th International Conference on Pattern Recognition (ICPR)，2010:613 – 616．

［19］尚麗，蘇品剛，杜吉祥． 基于局部非負系數編碼的掌紋識別方法［J］． 計算機應用，2011，31(6):1609 -1612．

［20］晁永國． 一種改進的非負稀疏編碼圖像編碼方案［J］． 計算機工程與科學，2010，32(10):66 -68，69．

［21］ HUANG Jun-zhou，ZHANG Tong． The benefit of group sparsity annals of statistics［J］． Institute of Mathematical Statistics，2010，38:1978 -2004．

［22］ ZHANG Shao-ting，HUANG Jun-zhou，HUANG Yuchi，et al． Automatic image annotation using group sparsity［C］∥Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR)． San Francisco，USA:CVPR． 2010:3312 -3319．