深度學習在圖像處理中的應用

周 超 魏樹國 陶 沙

0 引言

深度學習框架是整個深度學習生態(tài)體系中的第一層，其核心思想是將神經(jīng)網(wǎng)絡計算進一步拆分為各類常見的面向向量數(shù)據(jù)的算子。在這個過程中，深度學習框架采用算子作為落實計算任務的具體元素，為每個算子提供了在CPU 或者人工智能處理器上執(zhí)行的核函數(shù)，根據(jù)所計算的圖像，深度學習框架調度執(zhí)行圖像中每個算子對應的核函數(shù)，完成整個圖像處理中的相關計算。

1 圖像處理流程

1.1 圖像的輸入與預處理

首先進行圖像的輸入，將待處理的圖像或圖片通過掃描儀等輸入設備進行采集。接著對該圖像進行預處理，每一個圖像中的像素被提取以便交給識別模塊進行辨別。其主要目的是消除掉與圖像分析中不相關的內容，對其中有用的信息進行保留，并且對這些相關的有用信息進行增強處理，從而可以簡化圖像處理的整體數(shù)據(jù)量。

1.2 圖像分割與特征提取

圖像分割是圖像處理和分析過程中的關鍵步驟。經(jīng)過圖像預處理之后的圖像被劃分為多個特定的區(qū)塊，這些區(qū)塊各自具有獨特的性質，然后對這些區(qū)塊分別進行處理。經(jīng)過圖像分割后的各區(qū)塊做成標記，把具有相同像素的區(qū)塊賦予同樣的編號。在圖像處理中，通過圖像分割把圖像中的活動景象和靜止圖片進行分開，進一步地，把活動景象中移動量大的部分與移動量小的部分進行編號，然后對二者分別進行編碼處理，從而可以降低傳輸碼率，提高傳輸效率。

特征提取利用軟件程序提取圖像信息，以便對圖像中的像素進行判斷是否屬于一個特征。具體地，把圖像中的像素分成不同的集合，其中每個集可以是點、線或者區(qū)域。然后對這些集合進行影響分析和數(shù)學變換，以便從中以提取所需特征。在特征提取之后還要進行特征選擇，從上述提取的特征中選出最有效的特征，其中最有效的特征滿足如下標準：同類像素中具有不變形；不同像素中具有辨別性；所有像素中具有魯棒性。

1.3 目標識別與圖像輸出

隨后，要對經(jīng)過特征提取之后的圖像進行目標識別。圖像的目標識別基于圖像描述。所述圖像描述是用數(shù)學的方法對圖像中的景象進行相關特征的描述，或者描述各對象之間的相互關系，從而得到對象與其相關特征間的抽象表達式。在圖像識別技術過程中通常使用模板模型進行匹配。在一些應用場景中，圖像識別不但要判別出物體或景物是什么，而且還要判別出其所在的方位和位置以及它們的運動形態(tài)。隨著神經(jīng)網(wǎng)絡的發(fā)展，出現(xiàn)了基于深度學習的目標識別，此技術大幅提高了圖像識別的精準度和效率。最后將經(jīng)過目標識別之后的圖像進行最終的輸出。

2 圖像處理的神經(jīng)網(wǎng)絡模型

人工神經(jīng)網(wǎng)絡被廣泛運用于圖像處理、語音識別等領域。其包含數(shù)百、數(shù)千甚至數(shù)百萬個稱為“人工神經(jīng)元”的處理單元（就像人腦中的神經(jīng)元一樣）。人工神經(jīng)元協(xié)同工作以解決具體問題。基本的神經(jīng)網(wǎng)絡由三層組成：分別為輸入層、隱藏層以及輸出層。其中隱藏層根據(jù)不同的神經(jīng)網(wǎng)絡還可以進一步分為卷積層、池化層、批歸一化層、激活層以及全連接層等。下面簡要介紹一下應用于圖像處理中的ResNet 模型。

2.1 ResNet 模型

使用歸一化層對算子進行歸一化后，雖然可以正常地訓練網(wǎng)絡，然而出現(xiàn)了新的問題。即網(wǎng)絡的性能下降。盡管網(wǎng)絡層的數(shù)量已經(jīng)增加，但是歸一化的準確性和有效性卻在降低。以上問題表明，對深度學習的卷積神經(jīng)網(wǎng)絡的優(yōu)化比較困難，為了解決該問題，殘差神經(jīng)網(wǎng)絡ResNet 應運而生。

在ResNet 網(wǎng)絡中，我們將深度卷積神經(jīng)網(wǎng)絡的后續(xù)層構成相互映射的關系，這樣就可以將網(wǎng)絡進一步簡化為層數(shù)更加少的淺層。接著網(wǎng)絡開始學習恒等映射函數(shù)。假設網(wǎng)絡的輸入變量為x，使用映射H（x）。由于深層網(wǎng)絡難以訓練的原因，因此該映射直接學習H（x）= x 的擬合比較困難。但是如果把網(wǎng)絡函數(shù)設計為F（x）=H（x）-x，不直接擬合射H（x），而是通過學習的殘差x，則學習就變得容易多了。ResNet 網(wǎng)絡的結構是將輸入與輸出端直接相連，以便形成短接狀態(tài)。然后使用多重卷積去逼近殘差值，以便將網(wǎng)絡學習目的結果轉換成該殘差值。在此過程中，學習利用了函數(shù)F（x）=H（x）-x，其中如果F（x）=0，則就由此構成了恒等的映射關系。

3 利用刪減策略進行圖像處理

通過以上的介紹，我們認識到在卷積神經(jīng)網(wǎng)絡的連接中，有些層比較重要，而另外一些層利用不到，因此對一些不重要的卷積核進行刪除，而將比較重要的卷積核進行保留。可以使算子更加容易計算，同時減少一些不必要的冗余計算，節(jié)約了網(wǎng)絡內存和處理器計算資源，從而實現(xiàn)卷積神經(jīng)網(wǎng)絡的網(wǎng)絡優(yōu)化。圖像處理中國的刪減策略主要由基于權重的刪減、基于相關性的刪減以及基于卷積核的刪減，下面主要利用基于卷積核的刪減對圖像進行分析與處理。

3.1 基于卷積核的刪減

基于卷積核的刪減的思路在于如何正確判斷卷積核的權重。在判斷權重時，可以根據(jù)如下的原則：如果神經(jīng)網(wǎng)絡中的一層中的神經(jīng)算子的一個子集來能夠無限接近原來的集合，則就可以進行無失真替代，那么這個子集之外的其他集合就可以進行刪除，并且于刪除的集合的上下相鄰的兩層中的卷積核。在進行卷積核刪減操作時，還可以對所有卷積核的權重進行取絕對值并求和，然后對將計算結果中較大的權值所對應的卷積核進行保留，而對較小的結果所對應的卷積核進行刪除。在進行卷積核刪減操作時的另外一個思路是根據(jù)神經(jīng)算子的矩陣做特征值分析，具體地對特征值進行分解，然后將計算得到的大的特征值所對應的卷積核進行保留，而對結果小的特征值的卷積核進行刪除操作。下面分析一下特征值的分解過程。

假設處理圖像的卷積神經(jīng)網(wǎng)絡中的卷積層的卷積核為向量（B，H，W，C），其中B 為卷積核的數(shù)量，H 為長度，W 為寬度，C 為深度。首先對這個向量中的各元素進行絕對值處理，然后再將其轉換成（B，H×W×C）大小的矩陣為（1）。

然后將上面的矩陣變形為協(xié)方差矩陣（2）。

最后對上述協(xié)方差矩陣進行特征值分解可以得到式（3）。

其中，δ1，δ2，…δB 決定了卷積核的權值，數(shù)值越大就表示該卷積核越重要，則予以保留，而將數(shù)值小的特征值所對應的卷積核進行刪除。

另外還可以對卷積核的刪減進行微調。當刪減率比較大時，被處理的圖像的清晰度就會降低，此時需要通過一些技術手段將圖像損失的像素進行補償處理以便使得圖像更接近原始圖像而不失真。微調操作就是在卷積核刪減操作后對模型進行一些學習訓練和更新，以便補償刪除操作帶來的過刪除問題。具體地，微調操作利用梯度下降算法，通過一個比較小的動量去進行訓練學習神經(jīng)網(wǎng)絡，最后使得神經(jīng)網(wǎng)絡的各層的性能得到改善，從而提高圖像識別的精度。

4 結果與分析

通過仿真和實驗，主要針對圖像數(shù)據(jù)集DIRFC-20 進行分析。其中DIRFC-20 數(shù)據(jù)集是用于物體識別的計算機視覺在線公共數(shù)據(jù)集。它主要包含50 000 張16×64 的RGB 彩色圖片，其中訓練集為40 000，測試集為9，000。

使用ResNet 網(wǎng)絡對DIRFC-20 數(shù)據(jù)集進行評估，在此過程中，分別進行了150 次迭代計算。由于ResNet 網(wǎng)絡模型的每一層的輸出結果沒有完全輸入到其后面的各層中。所以對于ResNet 網(wǎng)絡的刪減是針對每個層獨立進行的，這樣就需要按照各層的比例設置一個總閾值，例如該閾值設置為60%。在刪減過程中，利用了比較窄的網(wǎng)絡模型，通過復制神經(jīng)網(wǎng)絡中需要保留的卷積核到新的模型中，以此完成一次刪除操作，然后進行下一次刪除操作，如此往復，最后將整個網(wǎng)絡模型刪減到最優(yōu)效果。同時為了彌補在刪除操作中的過刪除現(xiàn)象，還要對刪除操作進行微操作補償，采用較小的學習率，使得過度刪除的網(wǎng)絡模型得以修繕和恢復，從而使得圖像更加清晰，色彩更加還原。

5 結束語

卷積神經(jīng)網(wǎng)絡與圖像識別相結合，解決了圖像處理中的某些特定問題，通過對ResNet 網(wǎng)絡進行卷積核刪除操作，使得處理的圖像更加清晰、精確度更高，并且圖像處理的速度大大提高，減輕了系統(tǒng)的負擔。