一種快速漸進式卷積神經網絡結構搜索算法

趙亮，方偉

（江南大學人工智能與計算機學院，江蘇無錫 214122）

0 概述

深度學習具有可直接從數據中提取和學習特征的優勢，是計算機視覺領域中的重要方法，其中卷積神經網絡（Convolutional Neural Network，CNN）［1］在深度學習中扮演了重要角色。自LECUN等［2］于1998 年提出Le-Net 后，CNN 不斷發展并取得了巨大成功。一系列優越CNN 結構的提出是CNN 取得成功的重要原因，如AlexNet［3］、VGG［4］、GoogLeNet［5］、ResNet［6］、DenseNet［7］、MobileNet［8］、SENet［9］等。近年來，CNN 的發展逐漸由特征參數的調整轉向結構的創新，每個結構的性能都因結構的創新而不斷提高。

上述手動設計的網絡結構，有許多巧妙的結構仍舊影響著網絡結構的設計，例如3×3 卷積核、跳躍連接等。然而，創新設計CNN 結構并非易事，需要大量的專業知識，這對需要使用CNN 結構的其他職業人員并不友好，限制了CNN 更好地應用于實際任務。近年來，為了獲得更好的CNN 結構，出現了神經網絡結構搜索（Neural Architecture Search，NAS）算法。NAS 算法由于具有高度的自動化和智能化特性，引起了廣泛研究和討論。

NAS算法最初可分為基于強化學習（Reinforcement Learning，RL）和基于進化算法（Evolutionary Algorithm，EA）兩類，基于RL 的NAS 算法又分為Q-learning 和策略梯度兩種類型。Q-learning 方法從有限的搜索空間中通過學習代理模型來選擇CNN 架構［10］。相比之下，基于策略梯度的方法以遞歸神經控制器為特征來生成模型，其參數由一系列策略梯度算法更新［11］。近端策略優化NASNet［12］在RL 算法的基礎上，使用了一種新的基于單元的搜索空間和正則化技術，并重復堆疊相同單元［13］。基于RL 可以搜索出準確性較好的網絡結構，但是在搜索中會耗費大量的計算資源，如NASNet［12］需要2 000 個GPU Days，MetaQNN［14］需要100 個GPU Days，Block-QNN-S［15］需要32 個GPU Days。

EA 將NAS 看作一個優化問題，通過進化過程來不斷演化神經網絡結構，近期的研究成果有AmeobaNet-A［16］、AE-CNN［17］、FAE-CNN［18］、NASG-Net［19］等?；贓A 的NAS 算法也需消耗大量計算資源，如Genetic CNN［20］需要17 個GPU Days，AmoebaNet需要3 150 個GPU Days，AE-CNN 和CNN-GA［21］分別需要27 個和35 個GPU Days。FAE-CNN 通過劃分數據集方法將搜索時間縮短為3.5 個GPU Days，但也因此增大了不穩定性。

最近，可微結構搜索（Differentiable Architecture Search，DARTS）［22］作為一種新的NAS 算法被提出，取得了比基于RL 和EA 的NAS 算法更好的分類效果，并且僅需要4 個GPU Days。但是DARTS 為了減少時間和資源開銷，在搜索階段和評估階段體系結構大小不同，存在深度鴻溝［23］，這導致了搜索評估的不相關性。針對DARTS 存在的深度鴻溝等問題，研究人員提出了相應的改進。P-DARTS［23］使用了漸進式搜索方法，將搜索階段分為結構逐步增大的三個階段，一定程度上減少了深度鴻溝的影響。同樣針對搜索評估不相關性，SGAS［24］使用了一種貪心結構搜索算法，通過選邊指標來提升搜索階段評估的相關性，使得搜索過程中的驗證準確度與評價過程中的測試準確度相關程度更高。雖然SGAS將CIFAR-10上的錯誤率降低到2.39%，但在10 組實驗中穩定性不高，錯誤率最高達到3.18%，存在平方差較大、不穩定的情況。

本文針對DARTS 及其改進算法深度鴻溝和搜索穩定性不高的問題，提出一種快速漸進式NAS（Fast and Progressive NAS，FPNAS）算法，通過結合漸進性搜索和貪心搜索中的選邊指標，增強搜索階段和評估階段的相關性，提高搜索穩定性。同時，在漸進式搜索中使用劃分數據集方法，減少搜索的資源和時間開銷。

1 快速漸進式卷積神經網絡搜索

1.1 可微結構搜索算法

在連續域搜索方法［25-26］的基礎上，DARTS［22］引入了一種連續松弛的體系結構表示方法，使體系結構搜索可微化。DARTS 采用了NASNet［12］中Cell 和Block 的設計方法，將搜索問題簡化為尋找最優單元（Cell），并將該單元作為基礎單元堆疊多次構成最終的卷積神經網絡。基于單元的NAS 方法可得到可伸縮和移植性強的結構。DARTS 避免了挑選子網絡的過程，其將單元中所有的可能性以參數化的形式表示，最核心的步驟是利用Softmax 函數來選擇連接，優化后再選取Softmax 輸出概率最大的連接方式［27］。在訓練時，單元中所有的可能性連接和操作都會進行前向計算和反向推理，所有操作的模型參數都會進行更新，可能性更大的參數有更多的梯度更新。在搜索過程中，一個單元被定義為一個由N個節點組成的有向無環圖，其中每個節點是一個網絡層。搜索空間被表示為O，其中每個元素表示一個候選函數o（·）。一個邊（i，j）表示連接節點i和節點j的信息，由一組由體系結構參數α(i，j)加權的操作組成。兩個節點間的操作可以表示為：

式（1）表示兩個節點之間的操作是它們之間所有操作的Softmax 之和，其中i＜j，中間任意一個節點可以表示為：

式（3）表示通過對所有中間節點進行歸約運算得到一個單元的輸出，其中concat（·）函數連接通道維度中的所有輸入信號。

DARTS 結構訓練是一個雙重優化的過程，需要交替對網絡的模型參數W 和結構參數A進行優化，優化的兩個目標函數如式（4）和式（5）所示，其中Ltrain和Lval分別表示訓練損失和驗證損失。

1.2 快速漸進式卷積神經網絡搜索算法

如圖1 所示，出于對搜索時間的考慮，DARTS［22］在搜索階段中的網絡結構包含8 層單元，而在評估驗證階段，將搜索階段搜索到的最佳單元擴充為20 層，組成最終的網絡結構。

圖1 DARTS 的搜索階段和評估驗證階段Fig.1 Search stage and evaluation and verification stage of DARTS

這種搜索方式可以大幅減少搜索的時間以及計算資源消耗，但搜索和評估階段層數不對等，導致搜索評估相關性低，會造成結構性能的波動。在搜索階段準確度表現很好的單元，經過擴充之后，性能反而會下降，出現深度鴻溝現象［23］。對此，本文提出結合漸進式搜索以及貪心指標的搜索算法FPNAS，其中包含兩部分，一是通過結合貪心選邊指標和漸進式搜索來提高搜索的穩定性，二是使用劃分數據集方法來加速搜索并在一定程度上減輕過擬合。

1.2.1 漸進式搜索方法

SGAS［24］針對DARTS搜索過程的不相關性，考慮了影響邊選擇的重要因素：邊的重要性（Edge Importance，EI）和選擇確定性（Selection Certainty，SC），并通過這兩個因素提高搜索評估的相關性。

根據這兩個影響邊選擇的因素，SGAS 提出了選邊指標，指標用于衡量選邊的重要性和確定性［24］，可用式（6）表示：

為邊的重要性，如果某條邊非零運算選擇的可能性越高，則表明這條邊越重要?？赏ㄟ^式（7）計算：

另一個選邊因素代表選擇確定性，由于熵是概率分布中用來度量不確定性的量，因此SGAS 將選擇確定性定義為操作分布歸一化熵的總和［24］。可通過式（8）計算：

式（8）中的是一種分布，代表著非零運算的歸一化權重，可以用式（9）表示：

雖然SGAS 通過選擇準則提高了搜索評估的相關性，但是搜索過程中仍然使用單元數為8 的結構。由于深度鴻溝的影響，導致最終結果的上下限差別較大，準確率最高達到97.62%，而最低準確率卻只有96.82%，并且10 組數據的平方差達到了0.24，最終的結果波動較大。為了解決這一問題，本文使用漸進式搜索方法在搜索階段逐步增加結構單元層數，三個漸進式階段包含的單元數分別為5、11 和17，與P-DARTS 設置相同。為了減少因層數增加而增加的計算量，在每個階段對搜索空間進行校正，減少候選操作數量［23］。在漸進式搜索過程中加入貪心搜索SGAS 中的選邊指標，每次漸進式搜索迭代將作為評估標準進行選邊，在高穩定性的基礎上通過貪心指標來增強搜索評估之間的相關性。

1.2.2 漸進式劃分數據集方法

為降低搜索成本，本文使用漸進式劃分數據集方法，在漸進式搜索的三個階段中按不同比例對數據集進行劃分。劃分數據集方法具有兩個優點：一是劃分數據集可以大幅減少搜索時間，在劃分的數據集上，由于圖片數量較少，種類和完備數據集一樣，因此在搜索階段所消耗的時間是遠少于完備數據集的；二是在劃分數據集上訓練的指定代數，遠小于模型達到穩定時所需要的訓練代數，這在一定程度上可以減輕過擬合。

使用劃分數據集方法可以減少計算資源和時間的消耗。但是，劃分數據集方法只在一定比例的數據集上進行模型訓練，這樣得到的訓練準確度往往不可靠。針對這一問題，本文對劃分數據集過程進行了漸進式校正，具體參數如表1 所示。在漸進式方法中，將搜索階段分為層數為5、11 和17 三個階段，每個階段分別以1/4、1/3 和1/2 的比例進行劃分，比例逐漸增加。三個階段訓練集圖片數量依次為6 250、8 333 和12 500，因為搜索階段對于數據集訓練測試的比例為1∶1，所以測試集與訓練集相同。漸進式的劃分方法可以在一定程度上減少劃分數據集帶來的不可靠性，同時大幅縮短搜索時間。

表1 漸進式劃分數據集方法參數設置Table 1 Parameters setting of progressive dataset dividing method

1.2.3 FPNAS 算法總體流程

FPNAS 的算法流程如算法1 所示，具體步驟如下：

1）初始化算法參數，輸入搜索結構的通道數16，漸進式搜索階段數3，每個階段迭代次數25。

2）創建網絡參數W 和結構參數A，并對每個邊創建混合操作集合。為了使搜索過程更穩定，搜索過程分3 個搜索階段依次進行，每個階段的結構層數逐漸增加，每個階段迭代25 次，每次迭代更新網絡參數和結構參數，并通過選擇確定性的貪心指標進行最優選邊。為了使搜索過程更快速，在三次搜索階段分別以不同的比例對數據集進行劃分，減少搜索成本。

3）通過迭代選邊最終選擇的操作集合搭建CNN 結構。

算法1FPNAS 算法

輸入通道數c，階段數s，迭代次數T，劃分數據集

輸出通過選擇的操作構造的最終CNN 結構

2 實驗結果與分析

本節將介紹所用的基準數據集以及具體的實驗參數設置，并對所得實驗結果進行分析，與一些經典的以及近期的NAS 算法進行比較。

2.1 實驗設置

為驗證搜索到的CNN 的結構性能，本文選用圖像分類中比較常用的CIFAR-10 數據集。CIFAR-10包含分辨率為32×32 像素的50 000 張訓練圖片和10 000 張測試圖片。與其他的DARTS 系列算法類似，在搜索階段，對于CIFAR-10 的訓練評估拆分比例為0.5，即一半的訓練集和一半的測試集。

在搜索階段，與P-DARTS［23］設置的相同，將漸進式過程分為三個階段，每個階段分別包含5、11 和17 個單元，初始化通道數為16，訓練的batch size 為64。對于實驗具體參數，與一系列對比算法相同，都以交叉熵函數作為損失函數，然后采用標準的隨機梯度下降（Stochastic Gradient Descent，SGD）反向傳播算法進行訓練，SGD 優化在CIFAR-10 的重量衰減為0.000 3。此外，auxiliary towers 的權重是0.4，學習率初始值為0.025，根據余弦定律衰減為0。

算法迭代結束后，將得到的最優CNN 個體在50 000 張圖片的訓練集上進行訓練，在10 000 張圖片的驗證集上進行評估，評估所得的精度即為模型最后的精度，評估時網絡結構的初始化通道數為36，單元數為20。在搜索階段，搜索的epoch 為25 次，分為三個階段，共75 次。在評估最優個體模型最終精度時，迭代結果需要達到穩定需要的epoch 為600 次。評估時隨機梯度下降算法的參數同對比算法保持一致，一次訓練batch size 為64 或96，根據模型大小和GPU 的顯存大小決定。在評估時，本文使用了數據預處理技術cutout［28］，cutout 的正則化長度為16。

2.2 消融實驗

消融實驗包含兩個實驗：一是FPNAS 在完整數據集上進行穩定的漸進式搜索，表示為FPNAS-all；二是在FPNAS-all 的基礎上加入劃分數據集快速漸進式搜索算法，表示為FPNAS-fast。本文首先驗證結合貪心指標和漸進式搜索對于搜索穩定性的提升效果，然后對漸進式劃分數據集方法的有效性進行驗證，最后對消融實驗結果進行分析總結。

2.2.1 FPNAS-all 消融實驗

為驗證FPNAS-all 的有效性以及在提升搜索結構性能上的作用，本文針對該方法和貪心算法SGAS［24］，在CIFAR-10 數據集上進行了10 次連續獨立實驗，實驗結果如表2 所示，表中數據分別是SGAS 和FPNAS-all 的實驗結果，包含10 次連續實驗所得的準確率和結構參數量，最優結果加粗標出?？梢姡贑IFAR-10 上，FPNAS 搜索到的CNN 結構不僅在準確率上表現較好，平均達到97.49%，高于SGAS 的97.34%，同時在穩定性上也優于SGAS，方差（數值）僅為0.11，相較于SGAS 的0.24 有所降低。

表2 SGAS 和FPNAS-all 在CIFAR-10 上的實驗結果Table 2 Experimental results of SGAS and FPNAS-all on CIFAR-10

2.2.2 FPNAS-fast 消融實驗

為驗證FPNAS-fast的可靠性，在CIFAR-10 數據集上，對漸進式劃分數據集方法進行10 次連續獨立的實驗，實驗結果如圖2所示，圖中FPNAS-avg和SGAS-avg代表10 次連續獨立實驗所得準確率的平均值。

圖2 SGAS 和FPNAS-fast 在CIFAR-10 上的實驗結果Fig.2 Experimental results of SGAS and FPNAS-fast on CIFAR-10

由于劃分數據集的不穩定性，雖然實驗結果波動范圍較大，最高可達到97.7%，最低為97.18%，但是搜索時間大幅減少，在1080Ti 上的搜索時間是0.11 個GPU Days，少于SGAS 在1080Ti 的0.25 個GPU Days。同時，在平均值和方差（數值）的表現上，FPNAS-fast 的平均值分別是97.39%和0.15，優于SGAS 的97.34%和0.24，說明FPNAS 不僅在最高準確率上優于SGAS，穩定性也優于SGAS。

2.3 算法性能對比

為驗證FPNAS 的優越性，本文使用人工設計的CNN 結構、基于RL 的NAS算法、基于EA 的NAS 算法和基于梯度可微的NAS 算法進行對比。人工設計的CNN 結構包含DenseNet［7］、ResNet［6］、VGG［4］和DenseNet-BC（k=40）［7］。基 于RL 的NAS 算法包括EAS［29］、Block-QNN-S［15］和MetaQNN［13］。基 于EA的NAS 算法包括Genetic CNN［20］、Hierarchical Evolution［30］、Large-scale Evolution［31］、AE-CNN［17］、FAE-CNN［18］、NSGA-Net［19］和CNN-GA［21］。基于梯度的NAS 算法包括P-DARTS［23］和SGAS［24］。

本文使用CNN 結構在不同數據集分類的錯誤率、模型參數量以及算法執行所用GPU 時間這三個指標，將FPNAS 與上述算法進行比較。表3 給出了FPNAS 與其他算法在CIFAR-10 上的對比結果，avg代表10 次連續實驗得到結果平均值，±后的數字代表方差，best 代表10 次連續實驗中的最優結果。

表3 CIFAR-10 上的算法性能對比Table 3 Performance comparison of algorithms on CIFAR-10

對于人工設計的CNN 結構，如DenseNet（k=12）、ResNet 和VGG 等，由于 提出較早，在CIFAR-10 上表現都比較一般，DenseNet-BC（k=40）在錯誤率上有較大提升，但在參數量上不占優勢，占用資源較多。在基于RL 的NAS 算法中，EAS 結構參數量較大，Block-QNN-S 和MetaQNN 耗時較長。

在基于EA 的NAS 算法中，Genetic CNN作為經典的算法，在兩個數據集上錯誤率都較高。Hierarchical Evolution在CIFAR-10數據集上表現良好，錯誤率只有3.63%，但是該算法需要300個GPU Days，耗時較多。Large Scale Evolution 雖然在錯誤率方面表現良好，但是耗時巨大，需要2 750 個GPU Days，需要大量計算資源。AE-CNN 和CNN-GA 在CIFAR-10上的錯誤率和參數量都表現優異，但在CIFAR-10 分別需要耗時27 個GPU Days 和35 個GPU Days。在AE-CNN 基礎上改進的FAE-CNN 算法，搜索時間縮短為3.5 個GPU Days，相對于AE-CNN 取得了較大提升，但在錯誤率上沒有優勢。多目標NAS 算法NSGA-Net 在錯誤率和參數量上都表現優秀?；谔荻瓤晌⒌腘AS 算法，如P-DARTS 和SGAS 等，均表現了優異的分類準確率，同時耗時很少。本文提出的算法FPNAS 在CIFAR-10 運行一次只需要0.11 個GPU Days，進一步減少了搜索耗時，所需要的計算資源大幅減少，且錯誤率最低僅為2.30%。同時FPNAS 大幅提高了搜索的穩定性，在完整數據集上得到10 次連續獨立結果，方差（數值）僅為0.11。

4 結束語

本文針對現有基于梯度可微的結構搜索算法存在的深度鴻溝、搜索穩定性不高等問題，提出FPNAS 算法來自動搜索CNN 結構。通過結合漸進式搜索和貪心選擇指標使得搜索階段的結構接近評估階段，提高CNN 結構的穩定性，彌補搜索評估深度鴻溝帶來的不利影響，同時使用漸進式劃分數據集方法縮短結構搜索時間。在CIFAR-10 上的實驗結果表明，FPNAS 能夠在短時間內搜索出分類錯誤率僅為2.30%的CNN 結構。下一步將研究EA 種群的特點和優勢，結合可微結構搜索和種群并運用多目標方法優化CNN 結構的參數量和浮點計算數，進一步減少算法的資源消耗。