基于恒虛警率的深度神經網絡Dropout 正則化方法

肖家麟， 李 鈺， 袁晴龍， 唐志祺

（華東理工大學信息科學與工程學院，上海 200237）

深度神經網絡具有強大的特征提取能力，在機器學習領域表現優異[1]。將該類算法部署于嵌入式設備上，從而實現工業現場的物體識別，已經成為眾多工業智能裝備、機器人系統的迫切需求。深度神經網絡模型擁有大量的可訓練參數，并且通過增加網絡層數和卷積核數量可以進一步提升其性能[2]。然而，隨著層數和卷積核數量的增加，模型變得更加復雜。而嵌入式系統的硬件計算資源有限，會造成性能與資源之間的矛盾，主要表現在兩個方面：一方面，大量參數的學習受限于訓練數據的規模，過參數化會導致模型冗余的問題。例如，VGG16 模型的參數量可達到552 MB[3]；另一方面，當訓練數據不足時會出現過擬合現象，導致模型泛化能力變差。因此，減小過參數化和過擬合問題的影響是深度神經網絡嵌入式應用研究的重點。隨著嵌入式硬件的性能提升和機器學習新算法的不斷提出，對實時嵌入式物體識別算法網絡結構正則化方法的研究也在不斷深入。

在正則化方法中，Dropout 是非常有效的技術，能夠有效防止過擬合[1]。該方法在每輪迭代中，將網絡中的神經元以一定的概率丟棄，訓練完成后，整體的網絡架構還會被使用。文獻[1]建議輸入層的丟棄概率為0.2，隱藏層的丟棄概率為0.5，輸出層則不需要Dropout。由于在相同層中節點被刪除的概率相等，減少了神經元之間復雜的共適應關系，因此，每次神經元的合作運算都是全新的，不會依賴于某個神經元或某種結構，在訓練中不會只依賴數據的某個特征。Salehinejad 等[4]提出了一種自適應技術，降低了由于數據集不平衡和模型參數初始化過于接近訓練數據所造成的不利影響。Chen 等[5]提出了DropCluster，在卷積層輸出中尋找相關特征的模型權重。Qi 等[6]提出使用基于變分推理的Dropout 正則化將變分遞歸神經網絡（RNN）推廣到更高級的聚類，并在每次迭代時隨機刪除聚類；然后在模型訓練過程中對聚類進行學習和更新，使它們適應數據和RNN 架構，如門控遞歸單元（GRU）。Luo 等[7]提出了一種基于Dropout 正則化的多尺度融合（MSF）Dropout 方法，首先訓練幾組具有不同Dropout 率組合的網絡模型，然后使用改進的遺傳算法來計算每個網絡模型的最優規模。Tam 等[8]提出使用神經網絡的Fiedler 值作為一個工具進行正則化。Tseng 等[9]提出了Gradient Dropout 方法，在深度神經網絡參數的內環優化中隨機降低梯度，從而降低基于梯度的元學習的過擬合風險。Steverson 等[10]開發了一個測試框架來評估機器學習網絡防御的對抗性魯棒性，使用了深度強化學習和對抗性自然語言處理的技術，實驗結果發現更高概率的Dropout 會提高魯棒性。Cai 等[11]提出在卷積操作之前Dropout 會有更好的正則化效果。胡輝等[12]提出了一種將Dropblock算法和Dropout 算法相結合的正則化策略，實現對整個卷積分類網絡的淺層、中層和深層網絡進行正則化。這種方法可有效加快分類網絡的收斂速度和提升穩定性，還能有效提高深度卷積分類網絡的分類準確率。鐘忺等[13]提出了多尺度融合Dropout(MSF Dropout)方法，這種方法利用驗證數據集對多個不同尺度的網絡模型進行訓練，通過學習得到符合該數據集特征的最佳尺度組合。MSF Dropout 具備自適應數據集的能力，網絡能夠使用最佳尺度來進行高精確度的預測。當選擇了合適的尺度數量和尺度梯度后，這種方法的預測精度獲得了明顯的提升，還能很好地控制計算時間。劉磊[14]提出了一種統一的Dropout 算法框架，將基于不同分布采樣的Dropout 方法統一到一個基于β分布的Dropout 框架中，進而將Dropout 方法選擇問題轉變為一個參數調節問題。這種方法被應用在視網膜病變的檢測場景下，驗證了魯棒性和先進性。

為了增強模型泛化能力，Wan 等[15]提出將每個神經元的權重或偏置以一定的概率設置為0，而不是將神經元的輸出設置為0。為簡化網絡結構，Molchanov 等[16]提出變分Dropout 正則化方法，基本思想是同時對全連接層和卷積層進行稀疏化，該方法對性能的影響很小，大大減少了標準卷積網絡的參數。Srivastava 等[17]提出了一種基于貝葉斯理論的方法，將Dropout 解釋為深度高斯過程的貝葉斯近似，總結出了一種估計神經網絡輸出置信度的簡單方法，此方法廣泛應用在不確定性估計中。Provilkov等[18]提出對BPE 算法進行Dropout 正則化（BPEDropout），使性能獲得了很大的提升。

深度神經網絡的參數眾多，其中有些參數對最終的輸出結果貢獻不大，這些參數稱為冗余參數。為此，一些學者提出了利用剪枝或量化來簡化網絡結構的方法。文獻[19]提出對卷積層進行完全的剪枝，但是對卷積輸出層進行剪枝時，也會對網絡層造成影響。Courbariaux 等[20]提出了二值化神經網絡（BNN），將參數進行量化，這種方法既快速又節能，但由于參數的精度下降，一定程度上會降低識別的正確率。

以上防止過參數化和過擬合的研究為提高深度神經網絡的性能提供了很好的思路，然而對自適應剪枝和針對特定嵌入式平臺的研究還值得進一步深入。受恒虛警檢測方法啟發，本文提出了一種基于恒虛警率檢測的Dropout 方法（CFAR-Dropout）。其主要思想是通過設計一個恒虛警檢測器，計算每個節點的激活值，利用恒虛警思想自適應地調整閾值，從而決定哪些節點需要Dropout。該方法在防止過擬合的同時，其本質上是在Dropout 時對不同樣本進行了區分，使系統對樣本的局部結構特征更加敏感，能趨向于保留對特征更感興趣的節點。

1 網絡模型與正則化方法

1.1 網絡模型

模型和計算平臺的契合程度決定了模型的實際表現。本文使用的平臺是嵌入式平臺PYNQ-Z2，考慮這個平臺的運算能力，創建了一種基于VGG16（Visual Geometry Group Network-16）的變種卷積網絡模型。VGG16 模型[3]包含13 層卷積層、5 層池化層、3 層全連接層。卷積層和全連接層都有權重系數，被稱為權重層，共16 個權重層（卷積-卷積-池化-卷積-卷積-池化-卷積-卷積-卷積-池化-卷積-卷積-卷積-池化-卷積-卷積-卷積-池化-全連接-全連接-全連接）；池化層則不涉及權重。該模型中13 層卷積層和5 層池化層負責進行特征的提取，最后3 層全連接層負責完成分類任務，其網絡結構參數如表1 所示。這種模型的優點是結構簡單、權重參數較少，能在一定程度上防止過擬合，但存在需要訓練的特征數量大、訓練時間過長和調參難度大等問題。由于需要的特征存儲容量大，不利于直接部署在嵌入式系統中。因此，需要對參數進行量化操作，減少運算量。

表1 網絡結構參數表Table 1 Network structure

1.2 Dropout 正則化方法

Dropout 作為消除冗余的重要方法，自從提出就得到了廣泛的應用，其工作原理如圖1 所示。圖1(a)示出了原神經網絡的節點連接狀態，圖1(b)示出了Dropout 正則化后的節點連接狀態，圖中虛線圓是被丟棄的節點，虛線箭頭是節省的運算通路，可以直觀地感受到通過Dropout 正則化，運算量將大大減少。

圖1 Dropout 正則化前后對比Fig. 1 Comparison before and after Dropout

經過Dropout 正則化產生的局部網絡本身屬于原網絡的一部分，雖然總的網絡個數增加了，但參數卻比原網絡更少，能有效防止模型過擬合問題。因此,在保持訓練復雜度的情況下可以同時得到多個網絡的訓練結果，當測試時再將這些局部網絡組合起來，可以提升網絡的泛化性。另一方面，神經網絡的節點之間相互影響，很容易擬合到一些噪聲，可能產生過擬合現象。Dropout 正則化隨機選擇節點刪除，打破了這種相互影響，能有效防止模型的過擬合問題[21]。這個過程可以表示為

式中：f(x)為激活函數；x是該層的輸入；W是該層的權值矩陣；y為該層的輸出；m為該層的掩膜（mask），mask 中每個元素為1 的概率為p。

Wan 等[15]提出的Dropconnect 方法是對Dropout正則化的一種泛化。與式（1）不同的是，式（2）中的M是一個掩模矩陣，相乘后權重以一定的概率被設置為0 和1。Dropconnect 正則化方法在訓練時網絡層的輸出可以被寫成

1.3 參數的優化方法

深度神經網絡訓練期間更新生成的參數包含大量冗余信息。對參數的量化主要包括神經網絡層的3 個方面：輸入激活、突觸權重和輸出激活。如果3 個部分都是二進制的，稱之為完全二值化；具有一個或兩個部分是二進制的情況稱為部分二值化[2]。本文對權重進行二值化。

深度神經網絡中的目標函數F(ω) 可以分解為多個函數f1,f2,···,fn。考慮經驗風險最小化，即

完成參數的二值化后，可以顯著減少計算參數權重需要消耗的資源，但實驗結果的準確性會有一定程度的下降。為了降低這種負面影響，可以適度地增加網絡層數，這就需要在實驗中進行權衡。

2 基于恒虛警率的Dropout 正則化方法

2.1 基于恒虛警率檢測的Dropout 正則化方法（CFARDropout）的基本原理

恒虛警率檢測是利用信號和噪聲的統計特性等信息來建立最佳判決的數學理論，常用在雷達系統中。它主要解決在受噪聲干擾的觀測中有無信號的判決問題[22]。恒虛警檢測的基本流程是在保持虛警概率（α）為恒定的條件下對接收機輸出的信號和噪聲進行判別，以確定目標信號是否存在。通過恒虛警檢測保持恒虛警率，可以有效地抗干擾。

在雷達信號檢測中，當外界干擾強度變化時，雷達能自動調整其靈敏度，使雷達的虛警概率保持不變，這種特性稱為恒虛警率特性。本文受此啟發提出了基于恒虛警率檢測的Dropout 正則化方法。設置一個恒虛警率，將深度神經網絡神經元的輸入看作輸入信號，將神經元的激活值看作輸出信號。這種方法可以在輸入數據不同和輸出結果分布不均勻時自適應調整閾值，使分類效果依然良好。

那么，節點的激活值為

在Dropout 正則化方法中，M是一個服從伯努利分布取值的掩模矩陣，其取值概率設置之后是固定的[1]。在稀疏性Dropout 正則化方法中，節點以激活值的中值為閾值取舍，其閾值也是固定的[15]。此時，M中的元素值取決于節點的激活值。當節點的激活值大于閾值λ時，mij取1；激活值小于閾值β時，mij取0。每次進行恒虛警檢測后，系統可以自適應地調整λ值，λ值在每一層都可能不同。

在實驗中，神經網絡訓練需要設置權重初始值，選取的初始值應當盡量使各層激活值的分布有適當的廣度。分別使用標準差為1 和0.01 的高斯分布作為權重初始值時,各層激活值的分布如圖2 所示。

圖2 權重初始值是標準差為1（a）和0.01（b）的高斯分布時激活值的分布Fig. 2 Initial weight value is the distribution with the activation value with Gaussian distribution of standard deviations 1（a） and 0.01（b）

圖2(a)顯示標準差為1 時，各層激活值呈偏向0 和1 的分布。偏向0 和1 的數據分布會造成反向傳播中梯度的值不斷變小，最后消失，會導致靠近輸入層的隱藏層權值更新緩慢或者更新停滯。這就導致在訓練時，只等價于后面幾層的淺層網絡的學習，這種現象稱為梯度消失。圖2(b)顯示標準差為0.01時，不同層的激活值過于集中在一個區域，這種現象意味著激活值表現的特征基本相同，很多特征被忽略，最后的識別效果會受影響。為了避免這兩種現象，使每一層能根據當前狀態自動調整，當前一層節點數為n時，將初始值設為標準差為√ 的高斯分布。此時激活值的分布如圖3 所示。

圖3 權重初始值是標準差為 1 / 的高斯分布時激活值的分布Fig. 3 Initial value of the weight is the distribution of the activation value with a Gaussian distribution of standard deviation 1/

理論上，高激活值的節點代表對樣本感興趣程度高的部分，低激活值的節點代表對樣本感興趣程度低的部分，所以低激活值節點Rjl應該刪除。但在實際應用中，數據分布并不均勻，中值并不能很好地區分高低激活，所以本文提出了基于恒虛警檢測的Dropout 正則化方法。

在雷達系統中，當接收機有信號輸入（D0），而檢測器判為無信號（H1）時，稱為漏警，漏警率為PM；當接收機無信號輸入（D1），而檢測器判為有信號（H0）時，稱為虛警，虛警率為PF。這兩個概率都是越小越好，但理論上兩者無法同時達到最小。在其他條件一定時，虛警概率越小，漏警概率就會越大；漏警概率越小，虛警概率就會越大。轉化為統計的語言就是一個假設檢驗犯第一類錯誤和第二類錯誤的概率，無法同時變小。所以，可采用的方法是給定其中一個錯誤的概率不超過某個值時，讓另一個錯誤的概率盡量小。本文中讓虛警率恒定，使漏警率最小，從而求得閾值。虛警率PF和漏警率PM分別為

利用拉格朗日乘子λ構造目標函數

當PF=α時，漏警率可以達到最小值。此時，目標函數J對輸入z求導。可得

然后，可由式（14）求出閾值λ

本文中假定激活值數據服從高斯分布，如果某個節點為高激活值節點，但判為低激活值節點，稱為漏警Rhl。如果某個節點為低激活值節點，但判為高激活值節點，這種情況稱為虛警Rlh。虛警率PF和漏警率PM分別為

由PF=α，可以求出R0，則λ為

經過以上步驟，得到調整后的閾值，可以將節點分為高激活值節點和低激活值節點。

文獻[23]指出相關性接近0 的弱相關節點對相關性高的節點有補充作用，所以低激活節點并非全無用。若保留比例為 γ (0 ≤γ ≤1) ，則相應的高激活值節點刪除的比率為1?γ。高激活值節點的掩模矩陣中的元素以伯努利概率P+取值為0 或1，低激活值節點的掩模矩陣中的元素以伯努利概率P?取值為0 或1。

按以下方式處理節點

其中：S為保留節點的比率；R+為保留的節點；R?為刪除的節點。CFAR-Dropout 的原理如圖4 所示。

圖4 CFAR-Dropout 原理簡圖Fig. 4 CFAR-Dropout schematic diagram

當進入新的一層進行計算時，輸入發生變化，依舊需要將虛警率保持為α，所以將α稱為恒虛警率。經過實驗得出α的最佳取值范圍為0.030～0.120，本文取0.1。

3 實驗驗證

3.1 實驗平臺

本文實驗在嵌入式平臺PYNQ-Z2 上完成。PYNQ 主要芯片采用ZYNQ XC7Z020，其內部異構雙核ARM-A9 CPU+FPGA，PS（ARM）和PL（FPGA）之間通過片上高速AXI 總線進行數據交互，能有效克服ARM 和FPGA 間數據傳輸的低速、延時、外界干擾等問題。在PYNQ 的ARM-A9 CPU 上運行的軟件包括Jupyter Notebooks 網絡服務器、 IPython 內核和程序包、Linux-Ubuntu 以及FPGA 的基本硬件庫和API。

PC 端負責進行數據集的準備和預處理，選擇合適的物體識別方案，搭建好網絡結構，訓練后得到參數權重。通過VIVADO HLS 創建卷積Pool 和池化Conv IP 核，設計的加速電路如圖5 所示。由于神經網絡中的卷積層與全連接層相似，所以全連接層可以復用卷積的IP 核。

圖5 卷積和池化部分IP 核Fig. 5 Binarization error rate convolution and pooling of IP cores

嵌入式平臺PYNQ-Z2 加載PC 端訓練的權重參數，將加速電路的比特流文件燒寫在PL 端形成加速電路。之后，系統通過相機或者以太網接口開始讀取圖片或者視頻幀。PS 端和PL 端通過AXI 總線進行信息交互， PS 端都會調用PL 端的加速電路進行運算神經網絡的每一層。運算結束后，實現物體識別。系統流程如圖6 所示。

圖6 物體識別系統檢測步驟Fig. 6 Object recognition system detection steps

3.2 實驗結果

3.2.1 基于公開數據集的實驗驗證 為了測試CFARDropout 正則化的效果，以Dropout 正則化方法作為比較對象，采用基于VGG16 的二值化模型。實驗采用3 種公開數據集，其中數據集CIFAR-10 包含6 萬張32×32 的RGB 圖片，共分為10 個類別，訓練數據50 000 張圖片(每類5 000 張)，測試數據10 000 張圖片；數據集MNIST 由大小為28×28 的手寫數字圖片組成，包含60 000 張訓練圖片和10 000 張測試圖片；數據集SVHN 是真實世界的街景門牌號數據集，結構與MNIST 類似，其訓練集含有73 257 張圖像，其測試集含有26 032 張圖像。

實驗中一次輸入的數據量不能過大，所以將訓練集分為多個批次，分批次訓練完成。如果批次數量取值過小，訓練數據就會非常難收斂；如果增大批次數量，相對處理速度加快，但所需內存容量增加，所以需要選擇合適的批次數量，在內存效率和內存容量之間達到平衡。訓練批次數量設置為200，測試集的批次數量設置為100。最終，數據集CIFAR-10和MNIST 各測試了100 批，共10000 次。數據集SVHN 測試了261 批，共26 032 次。所有測試集測試完畢，取各批次錯誤率的均值，得到平均錯誤率。

將虛警率α設置為不同大小，對3 個數據集進行多次重復實驗，其折線圖如圖7 所示。

由圖7 可知，當α為0.030～0.120 時，測試錯誤率較低。α取值過小，在實際中很難實現，恒虛警檢測沒有起到作用，最極端的情況下，虛警率取值等于0 時，相當于使用標準的Dropout 方法；α取值過大，相當于人為增加了誤差，錯誤率也會上升。

圖7 恒虛警率不同時的測試錯誤率Fig. 7 Test error rates with different constant false alarm rates

（1）正則化方法的過擬合性能測試。將本文的網絡模型命名為A，α設置為0.1。采用不同的正則化方法，對數據集CIFAR-10 和MNIST 各測試了10 000 次；對數據集SVHN 測試了26 032 次，實驗結果如表2 所示。

從表2 可以看到，當不使用正則化方法時，測試誤差遠遠大于訓練誤差，產生了過擬合現象。使用Dropout 和CFAR-Dropout 方法后，測試誤差接近訓練誤差，說明這兩種方法都能有效緩解過擬合。CFAR-Dropout 在3 個數據集上都取得了最好的實驗結果，但由于數據集本身不同的特征，CFAR-Dropout方法對訓練CIFAR-10 數據集的誤差降低最明顯。與Dropout 相比，CFAR-Dropout 方法由于更敏感，進一步降低了訓練和測試誤差，降低程度在2%左右。

表2 不同正則化方法的錯誤率Table 2 Error rates of different regularization methods

（2）在PYNQ-Z2 上的實驗。首先，嵌入式PYNQZ2 讀取加載訓練好的參數權重，將bit 流文件燒錄生成加速電路；然后，使用PYNQ-Z2 的以太網接口或者攝像頭讀取圖像，進行識別后輸出結果。實驗結果如表3 所示。

表3 不同的正則化方法在PYNQ 上的錯誤率Table 3 Error rates of different regularization methods on PYNQ

從表3 可以看到，CFAR-Dropout 方法的實測錯誤率比Dropout 方法更低。PYNQ 通過以太網接口直接讀取圖像和訓練時的測試誤差率差別極小，在0.5%之內，這一現象說明神經網絡成功部署在嵌入式平臺上，可以正常運行。使用相機拍照時，錯誤率略微上升。經過分析，這種現象的出現是因為受到外界光照、攝像頭性能等因素的影響。

（3）參數量化的效果測試。對神經網絡的權重進行二值化之后，速率大大提升，但是準確率會有一定程度的下降。在這種情況下，需要權衡網絡大小、速率和精度之間的關系。在MNIST 數據集上進行了一組實驗，重復實驗10 000 次，比較了網絡層數不同時的浮點錯誤率和二進制錯誤率，結果見表4。

表4 網絡層數對正確率的影響Table 4 Influence of network layer numbers on accuracy

從表4 可以發現，當神經元層數比較少時，錯誤率差別較大；當神經元層數增加時，錯誤率差別變小，能效比增加。實際應用中，可以通過增加一定層數的方式降低錯誤率，但當網絡層數增加時，運算量又會增大，這就需要對速率和準確率進行權衡，在具體的實驗中選擇最恰當的網絡層數。

實驗還表明，參數二值化可以極大地提高運算速率，表5 示出了不同網絡結構的參數量和運行速率對比結果。

表5 不同網絡結構的參數量和運行速率Table 5 Numbers of parameters and running rates of different network structures

對比本文和VGG16 的網絡結構可以發現，雖然兩者結構類似，卷積層和全連接層數量一致，但本文模型的參數量明顯減少，只有原網絡結構的8%，運行速率明顯增加。與其他網絡結構對比，本文的網絡結構的運行速率在嵌入式上具有明顯優勢。

3.2.2 基于移液機器人物體識別的實驗結果 以一個4×6 細胞培養板為例，實驗設備包括一臺PC、一臺PYNQ-Z2、一個攝像頭、一個顯示器、測試的圖片和物體，如圖8 所示。

圖8 實驗設備Fig. 8 Experimental equipment

（1）數據集的準備。訓練需要制作特定數據集，分別控制光照、背景和拍攝角度等變量，拍攝原始數據集圖片。但由于原始數據量始終有限，所以需要通過數據增強的方法增加樣本數。本文使用的是有監督單樣本數據增強，原始圖片經過加噪、模糊和顏色變換，然后進行翻轉、裁剪、變形和縮放等幾何操作，可以生成大量新的數據集圖片。將圖片轉換為類似于CIFAR-10 數據集的格式，包含數據：是一個numpy 格式數組，陣列的每一行存儲一個224×224 的彩色圖像。標簽：是一個列表，索引處的數字指示數組中對應的映像數據。標簽名：是一個列表，用來保存標簽名。

（2）輸入圖像的預處理。圖像由攝像頭輸入后，在PYNQ-Z2 上進行圖像的預處理。圖像預處理包括圖像尺寸、通道順序和圖像格式標準化的調整，目的是滿足識別網絡的要求。由于對象本身的透明和反光特殊性，對圖像首先進行中值濾波，之后采取了一種邊緣提取方法提升準確度，這種方法可以計算出更小的梯度變化。按照這種方法設置好x方向和y方向的3×3 邊緣檢測算子：

圖9 示出了一般物體的邊緣提取結果，圖10 示出了細胞培養板的邊緣提取結果。其中圖9（a）、圖10（a）為原圖，圖9（b）、圖10（b）為用Canny 算子進行邊緣提取，圖9（c）、圖10（c）為用本文算子進行邊緣提取。

圖9 一般物體邊緣提取Fig. 9 General object edge extraction

圖10 細胞培養板邊緣提取Fig. 10 Cell culture plate edge extraction

通過檢測可以發現，對于一般物體，Canny 算子和本文算子的提取效果近似。對于透明的細胞培養板，本文算子的提取效果更好。原因是透明物體的邊緣像素值相差比較小，本文算子通過將濾波器中的權重系數放大，從而增大了像素值間的差異。

由于輸入的是640×480、通道順序為BGR 的彩色圖像，為了適應識別網絡，需要調整圖像尺寸為224×224。PYNQ-Z2 是ARM+FPGA 雙核結構，安裝了Linux 系統，可以使用python 進行編譯工作。在系統頂層直接調用OpenCv 編寫函數作相應調整，用相應函數或模塊即可調整圖像尺寸，變更圖像通道順序，使圖像格式符合系統需要。

(3) 實驗結果。系統通過bin 文件加載好參數權重，再將bit 流文件燒錄形成加速電路，調用FPGA 部分進行加速運算，最終ARM 部分輸出結果如圖11所示。

圖11 細胞培養板的識別結果Fig. 11 Recognition results of cell culture plate

圖11(a)為程序中的判斷結果，圖11(b)為輸出在顯示器上的結果。實驗步驟包括關鍵目標檢測、語義標注和目標框選。嵌入式PYNQ-Z2 目標檢測完成后，在識別的物體周圍進行目標框選，并在左下角標注物體種類。圖11 中兩圖左下角標注均為“4×6 細胞培養板”，識別成功。通過函數記錄耗時，此次推理過程總共花了1538 μs，而優化之前推理需要250454 μs，速率顯著提升。

4 結束語

為進一步提高深度神經網絡Dropout 正則化算法的性能并驗證其在移液機器人物體識別中的應用效果，本文提出了基于恒虛警率的Dropout 正則化方法（CFAR-Dropout）。實驗結果表明，本文方法通過自適應地刪減神經元并對參數進行量化優化后，可以有效防止過擬合和過參數化現象。將優化的網絡結構部署在嵌入式PYNQ-Z2 上后，可以達到更好的識別精度和速率，可以應用于移液機器人系統來有效提高嵌入式物體識別系統的性能。