模擬神經反饋機制和工作記憶的圖像分類網絡模型

摘" 要：該項目在卷積神經網絡（CNN）中引入神經反饋機制和工作記憶機制，提出層內深度反饋卷積神經網絡模型（IDFNet）。該網絡以神經反饋機制構建深度反饋計算模塊（DFS），并在模塊中引入了工作記憶（WM），通過深度變化控制WM空間內容的更新，從而增強了信息獲取能力。最后，利用DFS替代CNN的卷積層構建IDFNet網絡。通過在Flower102和CIFAR-10、CIFAR-100數據集上的實驗表明，相較于同類網絡，在更少參數量和計算量的情況下，IDFNet仍取得顯著的性能提升，其識別率分別達到了96.61%和95.87%、79.99%。

關鍵詞：反饋機制；工作記憶；循環計算；圖像分類

中圖分類號TP391.4" 文獻標識碼：A" " " " 文章編號：2096-4706（2024）10-0001-06

Image Classification Network Model of Simulated Neural Feedback Mechanism

and Working Memory

TONG Shunyan， LIU Haihua

（School of Biomedical Engineering， South-Central Minzu University， Wuhan" 430074， China）

Abstract： This project introduces neural feedback and working memory mechanisms into Convolutional Neural Networks （CNN） and proposes an Intra-Layer Deep Feedback Convolutional Neural Network Model （IDFNet）. The network constructs a Deep Feedback Structure （DFS） using neural feedback mechanisms， and introduces a Working Memory （WM） within this module. It controls the update of WM spatial content by depth variations， so as to enhance information retrieval capabilities. Finally， the IDFNet network is built by replacing CNN's convolutional layers with DFS. Experimental results on the Flower102， CIFAR-10， and CIFAR-100 datasets demonstrate that IDFNet achieves significant performance improvements compared to similar networks， with higher recognition rates of 96.61%， 95.87%， and 79.99%， respectively， while requiring fewer parameters and computations.

Keywords： feedback mechanism; working memory; loop computation; image classification

0" 引" 言

神經網絡模型經過幾十年不懈研究，取得了顯著的突破和進步。從最初的感知器模型到今天的深度神經網絡模型，且在語音識別、圖像識別、自然語言處理等多應用領域持續演進。在神經網絡的發展中，模型的規模和復雜性在不斷增加，出現了AlexNet 11 [1]、VGGNet [2]、Googlenet [3]、ResNet [4]、DenseNet [5]、SENet [6]等模型及其變體。然而，在面對多樣性和復雜性的圖像數據時，更深和更寬的網絡模型發展面臨瓶頸。為此，人工神經網絡模型需要引入生物神經網絡的一些屬性，以提升模型的能力。

在人腦神經網絡中，神經元間除存在前饋連接，還有反饋側連接。神經生物學研究表明，反饋連接的數量是前饋連接的幾倍[7]。而反饋機制使神經系統能處理時間序列數據。基于此，循環神經網絡（RNN）[8]被開發，并廣泛應用于文本、音頻和視頻等數據的模式識別。此外，工作記憶（Working Memory， WM）是神經系統的重要功能[9]。WM不僅能實現信息的存儲，還能對信息進行處理、轉換和整合。研究發現WM的空間是有限的[10]，其引入神經網絡模型可以有效地控制模型的規模和復雜性。

綜合上述分析，本文將神經反饋機制和工作記憶機制與卷積神經網絡（CNN）相融合，提出了層內深度反饋卷積神經網絡模型（Intra-Layer Deep Feedback Convolutional Neural Network Model， IDFNet），以有效完成圖像模式識別任務。與傳統的CNN不同，深度反饋結構的每層進行循環計算，同時更新工作記憶區域的信息，并將工作記憶中的信息融合作進行復用，以獲取更有效的特征信息，提高模型的識別性能。

1" 相關工作

近年來，應用于圖像識別的前向深度神經網絡模型主要是通過增加模型的深度或寬度，以增強網絡擬合能力，提升模型的性能。在這些模型的基礎上，Dropout [11]、殘差連接[7]、最小批量歸一化[12]、密集連接[8]、注意力機制[6，13]等技術被采用，進一步加強了網絡模型內部信息的融合，從而顯著提升模型的性能。

反饋神經網絡模型也應用于模式識別，但主要應用于序列數據，其典型的模型為循環神經網絡模型（RNN）。然而，該模型在處理長時依賴性數據時會導致梯度消失或梯度爆炸問題。為此，學者提出了多種改進的RNN模型，如長短期記憶網絡（LSTM）[14]和門控循環單元（GRU）[15]。這些模型主要是通過門控的方式對信息進行判斷和篩選，在避免梯度消失和爆炸問題的基礎上，有效捕獲長序列的關鍵信息。但是，這些模型只是處理序列數據，而不能處理圖像數據。

處理圖像數據，運用反饋機制的神經中心環繞相互作用，可以不斷篩選和加工視覺信息[16]。最典型的是Cao等人提出的Feedback模型[17]，該模型由脈沖神經元激活變量z ∈ {0，1}與每個ReLU層組合構成反饋層，以自下而上和自上而下的方式主動調節神經元的響應。而Wen等人使得相鄰層在前饋過程中能夠進行局部且循環的交互，提出了PCN模型[18]。另外，Yu等人在遞歸卷積神經網絡的基礎上引入了自注意力機制，提出了自注意力循環卷積神經網絡（A-RCNN）[19]，以完成圖像分類任務。

工作記憶機制在殘差連接和密集連接的神經網絡中有所體現，基于網絡的深度[20]和寬度[21]的考量，衍生出了不同的殘差（ResNet）和密集網絡（DenseNet）模型的變體。例如，Sergey等人通過增加ResNet每層網絡的寬度，而減少網絡深度提出WRN [22]網絡；而Han等人根據深度的增加逐漸調整寬度，提出金字塔殘差網絡（PyramidNet）[23]；Gao等人提出多尺度的殘差網絡Res2Net [24]。同樣地，Huang等人提出了多尺度密集網絡（MSDnet）[25]，該網絡自適應地處理多尺度輸入數據；隨后，CondenseNet [26]和CondenseNetv2 [27]網絡對密集結構進一步改進，從而提升其性能。盡管這些改進是有益的，但仍未解決殘差和密集網絡存在的一些固有問題[5，28]。

2" 層內深度反饋卷積神經網絡

2.1" 深度反饋結構

RNN的循環結構賦予其記憶和時間依賴性的特質。然而，RNN也受梯度消失和爆炸問題困擾，難以捕捉長期依賴性。在處理圖像數據時，RNN也遇到困境，因為圖像特征在空間上呈局部性。因此，本文的構想是將RNN的循環思想嵌入卷積神經網絡中，運用循環計算創造感知信息ht，模擬視覺認知對物體的感知。另外，記憶是神經系統寶貴的能力，但不可能無限制長久保留。本文引入一個長度有限的工作記憶空間用來存儲感知序（ht-1，ht-2，…，ht-l）列，以FIFO（先進先出）方式更新其中信息。通過重新利用感知信息ht，網絡能夠捕獲長距離依賴，從而有效地提取信息。由此，本文提出深度反饋結構（Deep Feedback Structure， DFS）融合了反饋機制和工作記憶。該結構狀態和輸出變量定義如下：

其中l為反饋深度，L≥l是總的時間步長，稱為模型深度。本文將工作記憶中的感知信息用求和的方式加以復用，并在下一次循環計算時參與信息的傳遞，用以提取特征中變化緩慢的量，同時也可以緩解梯度消失和梯度爆炸的問題。此外，為了突出每次的感知信息，對感知信息乘以加權系數ai，ai源于神經元的響應信息ht-i，因此將其定義如下：

ai = σ （ht-i）" " " " " " " " " " " " " " "（3）

其中σ使用Sigmoid激活函數，使得0＜ai＜1，以凸顯感知信息ht-i中的感興趣區域。

循環計算和工作記憶空間如圖1所示。在循環計算時將WMt與Xt融合后經過卷積得到輸出ht。ht按照FIFO的方式更新WM Space中的內容，WM Space中的信息融合產生WMt+1作為下一次循環計算的輸入。

2.2" 網絡結構

在IDFNet網絡中，網絡主要由連續的DFS模塊構成。DFS模塊在實現上由3個層構成：輸入層、循環計算層和輸出層。其中，輸入和輸出層分別由1個卷積模塊（Conv-BN-ReLU）組成，而循環計算層則由一個殘差塊組成，如圖2所示。循環計算主要通過反饋深度l和模型深度L兩個重要參數來控制，將x經過輸入層的輸出記為h-1，對WM Space初始化為（h-1，h-1，…，h-1），長度為l。在模型深度L次內，每次循環計算會產生1個感知信息ht，用ht更新WM Space產生新的感知序列（ht，ht-1，…，ht-l）。當L = 1時，感知序列為（h0，h-1，…，h-1），L = l時，感知序列為（ht-1，ht-2，…，ht-l）。將新的感知序列信息融合作為下一次循環計算的輸入，循環往復，直到完成L次計算，得到hL，將其經過輸出層，得到深度反饋結構的輸出y。

每2個DFS模塊之間，使用最大池化對特征圖進行下采樣。在網絡最后，使用全局平均池化層和Softmax組成分類層，用于最終的分類。

對于CIFAR-10和CIFAR-100數據集，考慮到圖像輸入只有32×32的大小，本文搭建由3個DFS模塊組成的網絡（IDFNet for CIFAR）用于該數據集分類。在進入第1個DFS模塊之前，經過1個卷積核為3×3、通道數為32的卷積層，網絡使用最大池化進行下采樣。這3個DFS模塊的輸出通道分別是32，64，128；輸出特征圖的大小分別為32，16，8。

對于輸入圖像大小為224×224的數據集，本文使用4個DFS模塊搭建網絡。在進入第1個DFS模塊之前，經過1個卷積核為7×7，步距為1的卷積層，使用最大池化進行下采樣，在最后1個DFS模塊之后，使用全局平均池化層和Softmax進行分類。本文基于不同的網絡寬度搭建了3個網絡結構：IDFNet-l、IDFNet-m和IDFNet-s，每個結構中最后DFS模塊的輸出通道數分別為1 024，512和256，詳細的網絡細節和參數如表1所示。表中[l，L]表示該DFS模塊中反饋深度和模型深度的取值。

3" 實驗結果與分析

本文建議的網絡模型在不同的數據集上進行驗證評估，并與其他同類型的網絡進行比較。驗證的實驗條件為：Intel（R）Xeon（R）Gold 5118 CPU @

2.30 GHz，Tesla V100-SXM2 GPU服務器；軟件為Python 3.8.0，PyTorch 1.10.1框架。

3.1" 數據集

CIFAR數據集涵蓋了CIFAR-10和CIFAR-100兩個子集[29]，圖像尺寸為32×32像素的彩色圖像。CIFAR-10包含10個不同類別的圖像，而CIFAR-100則擁有100個類別。訓練集和測試集分別含有50 000張和10 000張圖像。從訓練集中提取5 000張作為驗證集，以測試集的結果為最終報告。類似于其他文獻對數據進行預處理[4-6，26，30]，并運用各通道均值和標準差進行數據歸一化處理。

Flower102數據集包含102類花卉圖像[31]，每類圖像約有40至258張，共計8 189張。由于花卉之間的相似性，數據集在分類任務中存在一定難度。將數據集按8：1：1的比例劃分為訓練集、驗證集和測試集。

對CIFAR數據集進行訓練時，采用SGD優化器，將初始學習率設定為0.1，總共進行300次迭代。同時，在迭代次數達到50%和75%時，對學習率進行10倍的衰減。而在訓練Flower102數據集時，采用Adam優化器，將初始學習率設置為0.000 1，總共進行500次迭代。同樣，在迭代次數達到50%和75%時，對學習率進行10倍的衰減。此外，還對權重進行了初始化[31]，設定權重衰減率為10-4。在全連接層之前，添加Dropout層，設置丟棄率為0.2，以增強模型的魯棒性。

3.2" 實驗結果

在神經網絡中，淺層（shallow layers）主要關注圖像的低級特征，深層（deep layers）主要聚焦于圖像的抽象和語義特征。為了探究反饋深度l和模型深度L的關系，以及選取的范圍，實驗時分別對淺層和深層的DFS模塊的反饋深度l和模型深度L進行調整，以分類錯誤率作為評價指標。為確保驗證的準確性，實驗時逐層調整反饋深度和模型深度。由于l和L具有多種組合方式，且每層的模型深度可以不同，導致組合數增加?；谏窠浘W絡特性和計算量的考慮，列出部分不同反饋深度和模型深度組合下的分類結果，如表2和表3所示。模型深度的選擇遵循l≤L，并且深層模型深度Ld≤淺層模型深度Ls。在表2和表3的網絡結構設置中，利用lL表示每個DFS的設置，所有DFS的設置構成了數字串。如表2中的結構數字串362412，開始的36表示第一個DFS模塊反饋深度l和模型深度L；而最后的12表示最后DFS模塊的反饋深度反饋深度l和模型深度L。

表2給出了不同反饋深度和模型深度的實驗結果，其中前6行的實驗結果主要是探索淺層（第1個DFS）反饋深度和模型深度的關系。從實驗結果中可以看出，模型深度等于反饋深度的2倍時性能與計算量達到平衡，繼續增加模型深度時，網絡的計算量會增加，而性能則趨于飽和。表2中第4、7和8行探索逐層使用DFS結構對模型性能的影響，由實驗數據可知每層使用DFS結構都對模型性能有所改善。

同樣地，表3給出了IDFNet-m網絡結構在Flower-102數據集上驗證淺層與深層不同反饋深度和模型深度的實驗結果。從實驗數據可以發現與表2相同的結論。因此，隨著網絡層次的加深，DFS模型深度隨之減少，可使網絡模型性能最佳。

為了更好地理解上述結論，圖3給出了DFS在循環計算所輸出的特征圖。DFS模塊通過循環計算對特征進行重復，在網絡淺層采用較深的反饋深度和模型深度，有助于突出圖像的紋理和邊緣等特征，如圖3所示，這對后續分類任務很有幫助（第1張為原圖，從左至右依次為模型深度L = 1，L = 2，…，L = 8時的結果的特征圖，固定反饋深度l = 4。）。在網絡的深層，主要包含高級語義特征，每個像素攜帶大量信息，較淺的反饋深度和模型深度可以對特征圖略做調整，以增強模型性能。

將本文的建議方法與其他方法在模型深度、參數量、計算量和分類準確率等方面進行了對比，結果如表4和表5所示。在表4中，盡管本文建議的模型深度與其他一些模型相比較淺，但在CIFAR-10和CIFAR-100數據集上的性能表現卻非常接近甚至超過了其他更深的模型。這表明建議的模型能夠更有效地利用網絡深度，從而在參數數量和計算復雜性方面取得了更好的平衡。在表5中，從IDFNet-s、IDFNet-m到IDFNet-l模型，分類錯誤率逐步下降，但計算量和參數量也在逐步上升，IDFNet-m網絡在參數量和計算量之間取得平衡，性能與最優結果相比略有下降，而IDFNet-l則取得最優性能。在這3種模型中選擇最適合的模型，可以滿足不同的使用場景和性能要求。

與其他方法的對比顯示，本文提出的方法在減少了網絡層數、參數量和計算復雜度的情況下仍能取得出色的性能。相對于其他網絡結構，本文的方法更加簡單，層數更少，這使得每層網絡都能夠更充分地發揮性能，而不會受到過多冗余分支和參數的干擾。

為了更全面地說明建議網絡，本文在CIFAR-100數據集上進行消融實驗，展示在DFS中每個附加模塊對網絡性能的增益，其結果如表6所示。以只有卷積模塊，且保持反饋深度和模型深度固定，為基礎的DFS結構，在此基礎上分別添加殘差塊，密集連接和工作記憶3個模塊。從表6中得知，依次在DFS結構中添加建議的模塊，對性能都有逐步的提升，說明反饋機制和工作記憶在神經網絡應用中的有效性。

4" 結" 論

本文探索了將反饋機制和工作記憶機制與卷積神經網絡相融合的層內深度反饋神經網絡模型，以提升圖像分類任務的性能。通過在網絡的淺層和深層應用不同的深度反饋策略，揭示了循環計算在淺層時的潛力，以及在深層時的應用。實驗結果表明，在淺層中，循環計算有助于捕捉圖像的低級特征，從而提升分類精度；而在深層中，適當的深度反饋策略能夠更好地捕捉抽象和高級的語義特征。此外，實驗結果驗證了反饋深度和模型深度的關系對網絡性能的影響，并以此為基礎提出了一種適用于淺層和深層的模型選擇策略。在后續工作中，我們希望模型能夠在推理過程中自動選擇合適的模型深度。這種自適應方法允許模型在處理簡單圖像時使用較淺的深度，在處理復雜圖像時使用較深的深度。這種動態深度選擇有助于在保持模型性能的同時減少計算負擔并加快推理速度。

參考文獻：

[1] KRIZHEVSKY A，SUTSKEVER L，HINTON G E. Imagenet classification with deep convolutional neural networks [J].Commun ACM，2017，60（6）：84-90.

[2] SIMONYAN K，ZISSERMAN A. Very Deep Convolutional Networks for Large-Scale Image Recognition [J/OL].arXiv：1409.1556 [cs.CV].（2014-08-04）.https：//arxiv.org/abs/1409.1556.

[3] SZEGEDY C，LIU W ，JIA Y ，et al. Going Deeper with Convolutions [C]//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Boston：IEEE，2015：1-9.

[4] HE K ，ZHANG X ，REN S ，et al. Deep Residual Learning for Image Recognition [C]//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas：IEEE，2016：770-778.

[5] HUANG G ，LIU Z ，LAURENS V D M ，et al. Densely Connected Convolutional Networks [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Honolulu：IEEE，2017：2261-2269.

[6] HU J ，SHEN L ，SUN G .Squeeze-and-Excitation Networks [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2019，42（8）：2011-2023.

[7] ANGELUCCI A，BRESSLOFF P C. Contribution of Feedforward， Lateral and Feedback Connections to the Classical" Receptive Field and Extra-Classical Receptive Field Surround of Primate V1 Neurons [J].Progress in brain research，2006，154：93-120.

[8] ZAREMBA W，SUTSKEVER I，VINYALS O. Recurrent neural network regularization [J].arXiv：1409.2329 [cs.NE].（2014-08-08）.https：//arxiv.org/abs/1409.2329v1.

[9] COWAN N. What are the Differences Between Long-Term Memory， Short-Term Memory， and Working Memory？ [J].Progress in Brain Research，2008，169：323-338.

[10] PRATTE M S，PARK Y E，RADEMAKER R L，et al. Accounting for Stimulus-Specific Variation in Precision Reveals a Discrete Capacity Limit in Visual Working Memory [J].Journal of experimental psychology. human perception and performance，2017，43（1）：6-17.

[11] SRIVASTAVA N ，HINTON G ，KRIZHEVSKY A ，et al. Dropout： A Simple Way to Prevent Neural Networks from Overfitting [J].Journal of Machine Learning Research，2014，15（1）：1929-1958.

[12] IOFFE S，SZEGEDY C. Batch Normalization： Accelerating Deep Network Training by Reducing Internal Covariate Shift [C]//International conference on machine learning.PMLR，2015：448-456.

[13] LIU T，LUO R，XU L，et al. Spatial channel attention for deep convolutional neural networks [J].Mathematics，2022，10（10）：1750.

[14] HOCHREITER S，SCHMIDHUBER J. Long short-term memory [J].Neural computation，1997，9（8）：1735-1780.

[15] CHO K，VAN MERRIENBOER B，GULCEHRE C，et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation [J/OL].arXiv：1406.1078 [cs.CL].（2014-06-03）.https：//arxiv.org/abs/1406.1078.

[16] HOCHSTEIN S，AHISSAR M. View from the Top： Hierarchies and Reverse Hierarchies in the Visual System [J].Neuron，2002，36（5）：791-804.

[17] CAO C，LIU X，YANG Y，et al. Look and Think Twice：Capturing Top-Down Visual Attention with Feedback Convolutional Neural Networks [C]//2015 IEEE International Conference on Computer Vision （ICCV）.Santiago：IEEE，2015：2956-2964.

[18] WEN H，HAN K，SHI J，et al. Deep Predictive Coding Network for Object Recognition [C]//International conference on machine learning.PMLR，2018：5266-5275.

[19] YU N，QIU T. An Improved Method and Application of Recurrent Convolutional Neural Network With Self-attention Mechanism [C]//2022 China Automation Congress （CAC）.Xiamen. IEEE，2022：6312-6316.

[20] HE K，ZHANG X，REN S，et al. Identity Mappings in Deep Residual Networks [C]//In ECCV2016.Amsterdam，Springer，2016：630-645.

[21] ZHANG C，BENGIO S，SINGER Y. Are all layers Created Equa？ [J].The Journal of Machine Learning Research，2022，23（1）：2930-2957.

[22] ZAGORUYKO S，KOMODAKIS N. Wide residual networks [J].arXiv：1605.07146 [cs.CV].（2016-05-23）.https：//arxiv.org/abs/1605.07146v1.

[23] HAN D，KIM J，KIM J. Deep Pyramidal Residual Networks [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Honolulu：IEEE，2017：6307-6315.

[24] GAO S H，CHENG M M，ZHAO K，et al. Res2Net： A New Multi-Scale Backbone Architecture [J].IEEE transactions on pattern analysis and machine intelligence，2019，43（2）：652-662.

[25] HUANG G，CHEN D，LI T，et al. Multi-Scale Dense Convolutional Networks for Efficient Prediction [J].arXiv：1703.09844 [cs.LG].（2017-05-29）.https：//arxiv.org/abs/1703.09844v2.

[26] HUANG G，LIU S，VAN DER MAATEN L，et al. Condensenet：An Efficient Densenet Using Learned Group Convolutions [C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City：IEEE，2018：2752-2761.

[27] YANG L，JIANG H，CAI R，et al. CondenseNet V2： Sparse Feature Reactivation for Deep Networks [C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）.Nashville：IEEE，2021：3569-3578.

[28] HUANG G，SUN Y，LIU Z，et al. Deep Networks with Stochastic Depth [C]//Computer Vision – ECCV 2016.Springer International Publishing，2016：641-661.

[29] KRIZHEVSKY A，HINTON G. Learning Multiple Layers of Features from Tiny Images [D].Toronto：University of Toronto，2009.

[30] HE K，ZHANG X，REN S，et al. Delving Deep into Rectifiers： Surpassing Human-Level Performance on ImageNet Classification [C]//2015 IEEE International Conference on Computer Vision （ICCV）.Santiago：IEEE，2015：1026-1034.

[31] NILSBACK M E，ZISSERMAN A. Automated Flower Classification over a Large Number of Classes [C]//2008 Sixth Indian conference on computer vision， graphics amp; image processing. Bhubaneswar：IEEE，2008：722-729.

[32] CIBUK M，BUDAK U，GUO Y，et al. Efficient Deep Features Selections and Classification for Flower Species Recognition [J].Measurement，2019，137：7-13.

[33] SADATI F，REZAIE B. An Improved Image Classification Based In Feature Extraction From Convolutional Neural Network： Application To Flower Classification [C]//2021 12th International Conference on Information and Knowledge Technology （IKT）.Babol：IEEE，2021：35-40.

作者簡介：童順延（1998—），男，漢族，四川屏山人，碩士在讀，研究方向：視覺認知計算與醫學圖像處理；通訊作者：劉海華（1966—），男，漢族，湖北孝感人，教授，博士，研究方向：視覺認知計算與醫學圖像處理。