雙輸入流深度反卷積的插值神經網絡

張強 楊劍 富麗貞

摘 要：在實際工作中深度學習方法通常不具備大量的訓練樣本，因此提出了雙輸入流深度反卷積生成神經網絡的構架，依據給定的條件產生新的目標圖像，從而擴充訓練樣本集。該神經網絡的整體架構由雙輸入的卷積網絡和一個反卷積網絡輸出構成，其中雙輸入卷積網絡接收目標物體不同視角的兩張圖片并提取抽象特征，而反卷積網絡則利用抽象特征和設定的參數產生新的插值目標圖像。在ShapeNetCore數據集上的實驗結果顯示，在相同數量的訓練樣本空間中，與未擴展數據集的卷積網絡相比，雙輸入流深度反卷積生成神經網絡的識別率提高了20%左右。結果表明，雙輸入流深度反卷積生成神經網絡無需輸入目標物類別，可生成新參數條件下的目標圖像，擴充訓練樣本空間，從而提高識別率，可用于少樣本的目標物多角度識別。

關鍵詞：深度學習;人工智能;生成神經網絡;反卷積;雙輸入流

中圖分類號：?TP183

文獻標志碼：A

Two-input stream deep deconvolution neural network for interpolation and recognition

ZHANG Qiang1， YANG Jian1，2*， FU Lizhen1

1.School of Software， North University of China， Taiyuan Shanxi 030051， China ;

2.Key Laboratory of Electromagnetic Wave Information of Ministry of Education （Fudan University）， Shanghai 200433， China

Abstract：?It is impractical to have a large size of training dataset in real work for neural network training， so a two-input stream generative neural network which can generate a new image with the given parameters was proposed， hence to augment the training dataset. The framework of the proposed neural network consists of a two-input steam convolution network and a deconvolution network.

The two-input steam network has two convolution networks to extract features， and the deconvolution network is connected to the end. Two images with different angle were input into the convolution network to get high-level description， then an interpolation target image with a new perspectives was generated by using the deconvolution network with the above high-level description and set parameters. The experiment results on ShapeNetCore show that on the same dataset， the recognition rate of the proposed network has increased by 20% than the common network framework. This method can enlarge the size of the training dataset and is useful for multi-angle recognition.

Key words：?deep learning; artificial intelligence; generative neural network; deconvolution; two-input stream

0 引言

深度學習近些年來在人工智能各個領域都取得了顯著的成果，在分類識別等方面的性能表現優異。深度學習的優異性能通常依賴于巨量的訓練，因此需要大量標簽化的訓練數據;但在實際工作中，具備大量訓練樣本的條件通常是少數或者是不現實的，小樣本嚴重影響了神經網絡的性能。因此，開展依據給定條件產生新的目標圖像的研究具有現實意義和研究價值。

為了產生新的樣本圖像，現有的方法通常采用圖像處理的方法，如利用縮放、旋轉、平移等產生新的圖像;但這類方法得到的圖片通常存在質量不高、容易偏差等問題。利用生成神經網絡產生圖像的方法雖然較為先進，但存在需要預知其類別或高層特征的問題。

另一種方法則是利用知識遷移實現對網絡參數學習的優化，但該類方法遷移較為困難，且效果難以保證。

本文在分析上述幾類方法的基礎上，基于深度學習方法提出了雙輸入流深度反卷積生成神經網絡架構。該神經網絡接收不同角度的兩張圖像，利用卷積神經網絡提取出高層抽象特征，再利用反卷積神經網絡并設定新角度等條件產生高質量的新圖像。實驗結果表明，該網絡結構具有其自身的特點，能依據給定的條件產生高質量的圖像，從而擴充訓練集，最終影響神經網絡的識別性能。

與現有的生成神經網絡相比，主要區別在于：1）與文獻 [10]中的方法不同，所提出的神經網絡無需輸入目標物類別，能夠在抽象出未知目標物的高層特征后利用高層特征生成此目標物在新參數下的圖像;

2）與現有網絡不同，所提出的網絡采用雙輸入圖像，能提取高層抽象特征，并利用反卷積神經網絡完成圖像的生成;

3）該網絡可設置輸入參數，產生不同尺寸、大小、視角和亮度的圖像;

4）其中的倒置卷積神經網絡部分可作為分類器，在相同的訓練集條件下，利用擴充的數據集可有效提高識別率。

1 相關工作

在少樣本條件下（zero-shot or few-shot learning）的深度學習問題是當前人工智能領域的難點問題，也屬于遷移學習的研究領域。在實際研究工作中，深度學習只具備少樣本條件是較普遍的問題。針對該問題，現有研究工作可分為兩類：數據集方法和網絡參數訓練優化方法。

在數據集擴充方法的研究工作中，科研人員利用傳統圖像變換方法擴充訓練數據集，例如Ding等[1]采用圖像旋轉、平移和摳圖等方法得到新的圖像;該方法可在一定程度上提高網絡識別率，但存在產生的訓練樣本變形、與實際圖像存在偏差、存在明顯的融合界線等問題，對數據集的擴展能力有限。

另外，如文獻[2]所述，較為先進的方法是利用對抗或產生神經網絡（Generative Adversarial Network， GAN）產生新的圖像，如國內的朱俊鵬等[3]、陳文兵等[4]就是利用生成式對抗網絡實現數據的增強。其中典型的網絡是Hinton等[5]提出的受限玻爾茲曼機（Restricted Boltzmann Machine， RBM）和Salakhutdinov等[6]給出的深度波爾茲曼機（Depth Boltzmann Machine， DBM），它們基于能量的概率分布模型，使產生的圖像外形符合該隨機模型，缺點是產生圖像具有隨機性。

此外還有類似具有隨機性參數的生成網絡，如文獻[7-9]。Dosovitskiy等[10]則是將常用的反卷積神經網絡 （Deconvolution neural networks） 通過已知的類別在新參數條件下產生新的圖像，文獻中的實驗結果表明該網絡結構可產生新的旋轉、尺寸、角度參數的高質量圖像，甚至匹配圖像間的特征點。

Goodfellow等[11]利用對抗生成網絡實現了圖像的生成。Zhu等[12]構建神經網絡輸入單張人臉圖片，然后產生一個隨機視角的人臉圖像，其訓練也需要大量隨機視角圖像。文獻[12]的方法基于生成神經網絡產生圖像的方法通過訓練抽象出高層圖像特征，進而在新的參數條件下產生更逼真或接近實際環境的圖像，它可產生新視角下的圖像，甚至將不同環境下的圖像合成一張新的圖像;然而該方法也存在自身問題，如它們的網絡必須見過目標物或產生的圖像較難控制。

網絡參數訓練優化方法則利用知識遷移將已經進行過大量訓練形成知識的神經網絡用于識別未知的類別，也就是優化或微調網絡，從而在很少的訓練樣本條件下完成網絡參數的學習和調整。也就是說，利用前期的知識去學習識別未知的類型。Li等[13-14]通過模型參數、共享特征和相關信息等傳遞知識。元學習方法則是另外一個重要分支，也就是學會學習。Santoro等[15]通過增加記憶將前期的結果作為此次的輸入，使得神經網絡可以利用以往的知識來學習。Andrychowicz等[16]則利用以往的訓練集學會預測梯度，從而學會學習，利用以往或其他的訓練集訓練一個注意力模型，從而面對少樣本條件時，能夠關注最重要的部分。Twitter的研究員Ravi等[17]則推出了基于長短期記憶（Long Short-Term Memory， LSTM）網絡的元學習模型，該方法采用LSTM的結構訓練出一個神經網絡的更新機制，輸入網絡參數后能輸出新的更新參數。

可以看出類似文獻[17]中方法的核心就是“知識或學習的遷移”，因此此類方法受到以往或前期知識的限制，雖具有理論的先進性，但在實際工作中需要精心挑選知識或學習的方法，在理論方面還需不斷完善。

不同于元學習的神經網絡訓練問題，本文采用較為直觀的數據集擴充增加訓練集的方法，提出了新的網絡結構用于生成新的圖像，從而達到擴充訓練集、提高識別率的目的。

2 雙輸入流深度反卷積生成神經網絡架構

雙輸入流的深度反卷積生成神經網絡的架構以及網絡各部分的參數配置如圖1所示。

該網絡在訓練集基礎上形成了不同視角圖像間如何插值的知識，從而可針對未知的圖像形成新視角下的圖像并擴充訓練集，其本質也是一種知識遷移。不同于單輸入的網絡，雙輸入網絡具有更完備的知識，能形成高質量的插圖。

圖1中包括三個部分，分別是：①雙輸入流的深度卷積神經網絡;②全連層;③反卷積層。設網絡輸入上、下圖（本文將雙輸入的圖像表述為上、下兩圖），網絡生成的圖像表示為 I up、 I down和 I out，其中圖片的像素為128×128@3（寬度×長度@顏色三通道）。上輸入網絡、下輸入網絡以及產生網絡的參數表示為 v up、 v down和 v middle，該參數經過三角函數實現歸一化， v =（sina，cosa，sinβ，cosβ，θ），其中α表示俯仰角，β表示方位角，θ表示圖像尺寸、亮度。由此，數據集表示如下：

D ={（（ I ， v ）iup，（ I ， v ）idown，（ I ， v ）iout）s; i∈[1，N]}

（1）

其中，s表示場景，這里采用了無背景。

2.1 雙輸入流的深度卷積神經網絡

該部分接收目標物的不同角度圖像（ I ， v ）i（128×128@3，三色通道），后接四個卷積網絡模塊（表示為conv-i（i=1，2，…）），每個模塊由卷積層、池化層和激活函數層構成。

卷積層通過計算卷積核參數和圖像5×5×i（i=3，92，256）區域內像素值的點積，同時累加上偏差向量，從而自動提取高層特征。每個卷積層的計算方法如下：

O （l）j（x，y）=f（ I （l）j（x，y））

（2）

W （l）j（x，y）=?? ∑ I i=1 ∑ F-1 p，q=0 k（l）ji（p，q）× O （l-1）i（x-p，y-q）+ b （l）j

（3）

非線性激活函數ReLU（Rectified Linear Unit）

其中： f（*）表示非線性激活函數ReLU（Rectified Linear Unit）; W （l）j（x，y）是第j輸出層在位置（x，y）與卷積核k（l）ji（p，q）點積，并與偏差 b （l）j相加所得;（p，q）表示卷積核滑動的步長。經過卷積其圖像邊緣部分填充0，從而使輸出矩陣尺寸不變。超參數：深度、步長和0填充共同決定了輸出矩陣的尺寸。輸出矩陣的深度和卷積核的個數相等。這些參數都是該網絡需要訓練的對象。

ReLU層表示激活函數。最近的研究表明非飽和線性修正單元激活函數具有很好的性能，其功能可表示為：

f（x）=max（0，x）

（4）

在實際應用中，ReLU函數可以減少大量的訓練時間，同時具有最佳的性能，在訓練過程的收斂曲線較好[8]。

池化層起到了降維、非線性、擴大感知野的作用，也就是沿著橫向和縱向維度進行下采樣。池化層的操作可表示為如下公式：

O （l+1）i（x，y）=max p，q=0，1，…，G-1? O （l）i（x×s+p，y×s+q）

（5）

其中： G 表示池化的尺寸;s表示步長，它決定相鄰池化窗口的間距。圖1中采用的池化尺寸是2×2。

2.2 全連層FC1、FC2、FC3

圖1中的全連層（②）如圖2所示，共有三個全連層網絡，每一層網絡中的每個神經元都與下一層網絡中的所有神經元相連接。在網絡中，FC1將目標圖像的特征進一步抽象， v up、 v down和 v middle是圖像的俯仰角、方位角以及θ（尺寸、亮度）參數，這里對參數計算正余弦后構成向量，經過神經節點全連接后得到FC2、FC3。

2.3 反卷積層

反卷積層的方法類似于文獻[10-11， 16]中的工作。圖1中uconv-i（i=1～4）表示反卷積層，用抽象特征和參數產生新的插值目標圖像。每個去卷積層由去池化和反卷積構成，其中去卷積核的尺寸為5×5×i（i=256，92，3），去池化的功能則與傳統CNN的池化相反。

從圖1中可以看出，將反卷積層（③），也就是uconv-i（i=1～4）的去卷積層部分以及全連層部分進行倒置，可構成CNN分類識別網絡，在添加software層的條件下，可輸出識別結果。

3 神經網絡訓練以及數據集

3.1 訓練網絡

雙輸入流的深度反卷積生成神經網絡采用的損失函數由生成的目標圖像和真實圖像之間的偏差確定。在訓練過程中，采用梯度下降方法最小化損失函數（Loss Function）調整全網絡的參數。

min W ∑ N i=1 LRGB（ G （ I i， v i）， O （ I ireal， v i））

（6）

LRGB（*）= （ G （ I i， v i）- O （ I ireal， v i））2 2

（7）

其中：LRGB（*）表示圖像的損失函數; G （Ii，vi）表示由雙輸入流的深度反卷積生成神經網絡產生的目標圖像，其外部參數設定為 v i=（sinα，cosα，sinβ，cosβ，θ）i; O （Iireal， v i）表示在場景該條件 v i下的真實圖像，在本文實驗中LRGB（*）表示歐氏距離。

實驗采用TensorFlow框架實現該網絡并進行訓練。訓練中，加載樣本的批量為31，學習率設定為0.0005，并進行1000次循環訓練，隨后間隔300次循環調整學習率減半，總共進行1000次迭代。在實驗中，利用高斯隨機數初始化參數，采用的是NVIDIA公司的GPU，產生128×128像素的圖像。

3.2 數據集

本文采用的數據集是ShapeNetCore子集，該數據集由斯坦福和普林斯頓大學的相關學者聯合創建，以3D模型數據為主，涵蓋了55類物體模型，共51300個3D模型，

圖3中給出了部分模型的圖像。

本文采用文獻[10]中提供的數據集作為訓練集，共有1393個椅子的模型，每個模型有62個視角，其中在每個俯仰角20°和30°下，分別有31個方位角（0°～360°，間隔11°）。同時，實驗中對原圖像（600×600像素）進行裁剪中心區域、去掉周邊白色區域的預處理，使圖像大小變為256×256，再修改尺寸為128×128像素，經過上述步驟處理后構成本文的數據集。

4 實驗結果與分析

4.1 實驗1：新模型在新視角下圖像的生成

為了驗證雙輸入流的深度反卷積生成神經網絡的性能和產生新方位角和俯仰角下目標圖像的能力，基于ShapeNetCore數據集展開訓練工作。該網絡從雙輸入的圖像中抽象出高層的圖像特征，然后通過反卷積網絡產生新圖像。在實驗中，將ShapeNetCore數據庫中的一部分樣本作為測試數據集，其余的作為訓練數據集，用于訓練網絡形成前期知識;訓練完成后，輸入測試集中的圖像，并產生新視角圖像。需要強調的是，測試集中的目標物圖像從未在網絡訓練中出現。實驗基于Google公司的tensorflow完成。

將ShapeNetCore的數據庫分為訓練集和測試集，其中測試集中只有如圖4所示的目標物圖集。

網絡模型訓練步驟如下：

1）將ShapeNetCore數據庫進行前期處理，圖像原尺寸為600×600@3，其邊框包含較大的空白區域。在前期處理過程中，去除了白色邊緣部分后圖像尺寸為256×256@3，再修改尺寸為128×128@3。

2）建立圖片和參數的對應集合，通過程序分解出圖像的參數，并隨機化圖片的輸入順序，兩個角度的圖片中間間隔一個角度。每次批量31×2張圖片，循環訓練30次和1000次。

3）利用Tensorflow的內置函數，保留測試過程中的圖像、損失函數變化數據。

網絡模型測試步驟如下：

1）將測試數據進行前期處理，去除白色邊框，并將圖像尺寸調整為256×256@3，并縮放為128×128@3;

2）輸入處理后的圖像，設定新視角為11°、34°、46°產生圖像，并和原始圖像進行人工比對。

按照以上步驟開展實驗，結果如圖4所示。圖4中：橫軸表示輸入參數，縱軸表示圖像的類型;

縱軸中間兩行表示生成的圖像，為了比對圖像的效果，最后一行是真值圖像。

采用的數據庫共有1392個種類，排除一個作為測試集，則共有1391個種類，每個種類共有62張圖像。

圖4是循環1391×62×30次和1391×62×1000次的模型生成結果，可以看出可依據輸入的參數產生理想的目標圖像。

實驗中優化的損失函數是：

LRGB（*）= （ G （ I i， v i）- O （ I ireal， v i））2 2

（8）

利用Tensorflow的可視化工具Tensorboard可直觀地看到損失函數的變化過程。圖5給出了訓練1000次的損失函數的趨勢曲線，

其中每訓練一個批次，記錄損失函數式（8）的值，損失函數的取值可直接反映收斂情況。

使用Tensorboard工具保存網絡各個層的圖像，圖6給出了雙輸入卷積conv-3層的特征結果，其中，conv-3提取的特征矩陣的維度為：16×16×256，也就是形成了16×16像素、深256層的特征矩陣。圖6中，圖（a）給出了上輸入流conv-3卷積層的深度維為5、6、7層的特征切片圖像，圖（b）則給出了下輸入流conv-3卷積層的深度維2、3、4層的特征切片圖，從中可以看出，卷積層提取了目標物的特征，并形成了稀疏化的特征。

圖7中給出了反卷積生成新參數條件下，各個逆卷積層的圖像，利用Tensorboard保存各層逆卷積的結果。圖7中的輸入為測試集中的桌椅的圖片和新的視角，圖中具體為：

v =（sinα，cosα，sinβ，cosβ，θ）

其中：α=20π/180， β=46π/180， θ =[0，0，0，0]。

從圖7可以看出，根據提取的特征，基于反卷積技術，逐漸生成了目標圖像。

4.2 實驗2：生成新數據提高識別能力實驗

現有的神經網絡在人工目標識別的方面表現優異的原因就在于其“見得多”，也就是基于一個龐大的訓練集。深度學習神經網絡識別率高的主要原因在于：1）訓練集足夠大;2）網絡足夠深，節點足夠多。

從而，在“見得多”的情況下，將圖像的特征提取函數映射為網絡權值。所以，利用生成的新樣本擴充訓練集，將有助于提高網絡的識別率。

為了進一步驗證生成數據提高網絡識別能力的特性，進行以下比對實驗：

1）將ShapeNetCore數據庫進行前期處理，圖像原尺寸為600×600@3像素，其邊框包含較大的空白區域。在前期處理過程中，去除了白色邊緣部分后圖像尺寸為256×256@3，再修改尺寸為128×128@3。

2）將ShapeNetCore數據庫按照類別進行標識，該數據庫共有1393種類別，每隔一個角度剔除四張作為測試數據。

3）在標識好的訓練集進行迭代訓練，并利用測試數據測試識別率。

4）利用本文生成神經網絡生成2）中剔除的圖像，擴充訓練集，進行迭代訓練。

5）利用測試數據比對識別率，驗證識別效果。

表1給出了基于正常訓練集和本文方法擴充的訓練集的網絡識別率，其數據集均基于ShapeNetCore。

從表1中可以看出，基于正常訓練集的神經網絡在面對擴充庫時識別率下降;而通過擴充訓練數據集，卷積神經網絡針對擴充庫的識別率明顯得到提升。可以得出，本文神經網絡的后半部分（FC4、uconv-1～uconv-4）就是卷積神經網絡的后半部分，可以將網絡倒置，完成對圖像的分類識別。

5 結語

在深度學習人工智能領域，優異的性能通常取決于一個大樣本空間的訓練集，本文提出了一個雙輸入的神經網絡架構，該網絡前半部分利用卷積網絡提取圖像的特征，后半部分利用反卷積在新設定的條件下生成目標的圖像。該網絡可產生新角度、新尺寸等圖像，將產生的圖像用于擴充訓練集，可有效提升神經網絡的識別能力。

但該網絡也未能克服現有神經網絡理論的束縛，對同類目標物的產生效果較好，對于異類的目標物圖像插值問題則無法很好地完成，與人腦產生圖像的能力存在較大的差距，所以需要進一步研究具有推理生成的網絡。

參考文獻

[1]?DING J， CHEN B， LIU H， et al. Convolutional neural network with data augmentation for SAR target recognition [J]. IEEE Geoscience and Remote Sensing Letters， 2016， 13（3）：364-368.

[2]?林懿倫，戴星原，李力，等.人工智能研究的新前線：生成式對抗網絡[J].自動化學報，2018，44（5）：775-792. （LIN Y L， DAI X Y， LI L， et al. The new frontier of AI research： generative adversarial networks[J]. Acta Automatica Sinica， 2018， 44（5）： 775-792.）

[3]?朱俊鵬， 趙洪利， 楊海濤. 基于卷積神經網絡的視差圖生成技術[J]. 計算機應用， 2018， 38（1）：255-259. （ZHU J P， ZHAO H L， YANG H T. Disparity map generation technology based on convolutional neural network[J]. Journal of Computer Applications， 2018， 38（1）：255-259.）

[4]?陳文兵，管正雄，陳允杰.基于條件生成式對抗網絡的數據增強方法[J].計算機應用，2018，38（11）：3305-3311. （CHEN W B， GUAN Z X， CHEN Y J. Data augmentation method based on generative adversarial network model [J]. Journal of Computer Applications， 2018， 38（11）： 3305-3311.）

[5]?HINTON G E， SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks [J]. Science， 2006， 313（5786）： 504-507.

[6]?SALAKHUTDINOV R R， HINTON G E. Deep Boltzmann machines [C/OL]// Proceedings of the 12th International Conference on Artificial Intelligence and Statistics， 2009 [2018-12-09]. http：//proceedings.mlr.press/v5/salakhutdinov09a/salakhutdinov09a.pdf.

[7]??BENGIO Y， THIBODEAU-LAUFER ， ALAIN G， et al. Deep? generative stochastic networks trainable by backprop [C/OL]// Proceedings of the 31st International Conference on Machine Learning， 2014 [2014-05-24]. https：//arxiv.org/abs/1306.1091.?[J]. arXiv E-print， 2014： arXiv：1306.1091.

[8]?REZENDE D J， MOHAMED S， WIERSTRA D. Stochastic backpropagation and approximate inference in deep generative models [J]. arXiv E-print， 2014： arXiv：1401.4082.?[J/OL]. [2014-05-30]. https：//arxiv.org/abs/1401.4082.

[9]?KINGMA D P， WELLING M. Auto-encoding variational Bayes [J]. arXiv E-print， 2014： arXiv：1312.6114.?[J/OL]. [2014-05-01]. https：//arxiv.org/abs/1312.6114.

[10]?DOSOVITSKIY A， SPRINGENBERG J T， TATARCHENKO M， et al. Learning to generate chairs， tables and cars with convolutional networks [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（4）： 692-705.

[11]?GOODFELLOW I J， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets [C]// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 2014： 2672-2680.

[12]?ZHU Z， LUO P， WANG X， et al. Multi-view perceptron： a deep model for learning face identity and view representations [C]// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 2014： 217-225.

[13]?LI F-F. Knowledge transfer in learning to recognize visual objects classes [C]// Proceedings of the 2006 International Conference on Development and Learning. Washington， DC： IEEE Computational Intelligence Society， 2006： 1-51.?http：//pdfs.semanticscholar.org/35a1/98cc4d38bd2db60cda96ea4cb7b12369fd3c.pdf

[14]?LI F， ROB F， PIETRO P. One-Shot learning of object categories[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2006， 28（4）： 594-611.

[15]?SANTORO A， BARTUNOV S， BOTVINICK M， et al. Meta-learning with memory-augmented neural networks [C]// Proceedings of the 33rd International Conference on Machine Learning. New York： International Machine Learning Society， 2016， 48： 1842-1850.?https：//docplayer.net/31411874-Meta-learning-with-memory-augmented-neural-networks.html

[16]?ANDRYCHOWICZ M， DENIL M， COLMENAREJO S G， et al. Learning to learn by gradient descent by gradient descent [C]// Proceedings of the 30th Conference on Neural Information Processing Systems. La Jolla， CA： Neural Information Processing Systems Foundation， 2016： 3981-3989.

[17] ?RAVI S， LAROCHELLE H. Optimization as a model for few-shot learning [C/OL]// Proceedings of the 5nd International Conference on Learning Representations. 2017 [2018-10-24]. https：//openreview.net/pdf？id=rJY0-Kcll.