基于ERes-ECAM 的動物聲紋識別

摘 要：聲紋識別技術不僅在人類身份驗證領域廣泛應用，在動物種類識別方面也取得一定進展。現有模型存在特征表達能力不足的問題，同時，在保證性能的前提下，模型的時間復雜度和推理速度有待優化。提出用于發聲動物嵌入學習的改進的殘差塊連接改進的上下文感知掩蔽（Ｅｎｈａｎｃｅｄ Ｒｅｓ２ｂｌｏｃｋ ｃｏｎｎｅｃｔｅｄ Ｅｎｈａｎｃｅｄ Ｃｏｎｔｅｘｔ Ａｗａｒｅ Ｍａｓｋｉｎｇ，ＥＲｅｓ-ＥＣＡＭ）新型架構，采用了稠密連接的時延神經網絡（Ｄｅｎｓｅｌｙ-ｃｏｎｎｅｃｔｅｄ Ｔｉｍｅ Ｄｅｌａｙ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，Ｄ-ＴＤＮＮ）作為骨干，為了解決模糊不相關噪聲問題的同時能夠提取更多有效的關鍵信息，在Ｄ-ＴＤＮＮ 層中采用多粒度池化方法的改進的上下文感知掩蔽（Ｅｎｈａｎｃｅｄ Ｃｏｎｔｅｘｔ Ａｗａｒｅ Ｍａｓｋｉｎｇ，ＥＣＡＭ）模塊，前端連接殘差模塊，通過局部特征融合（Ｌｏｃａｌ ＦｅａｔｕｒｅＦｕｓｉｏｎ，ＬＦＦ）的方式，將殘差塊內提取的特征進行融合來提取局部信息，提升了聲紋驗證系統的準確性和魯棒性。在Ａｎｉｍ-Ｃｅｌｅｂ 和Ｐｉｇ-Ｃｅｌｅｂ 兩個測試集中分別實驗，實驗結果表明，所提架構的等錯誤率（Ｅｑｕａｌ Ｅｒｒｏｒ Ｒａｔｅ，ＥＥＲ）分別達到６． ８８％ 和７． ２４％ ，同時，對動物種類和豬只種類識別準確率達到了９３． １２％ 和９２． ７６％ 。

關鍵詞：深度學習；聲紋識別；上下文感知掩碼；局部特征融合；動物種類識別

中圖分類號：ＴＮ９１２． ３４ 文獻標志碼：Ａ 開放科學（資源服務）標識碼（ＯＳＩＤ）：

文章編號：１００３－３１１４（２０２４）０４－０７８９－１０

０ 引言

近年來，隨著人類對生態環境的影響，尤其是對生物棲息地的破壞［１］，各種類動物數量大幅下降。因此，無論是在復雜的野外環境還是在日常生產養殖方面，對動物種群進行有效監測是進行有效動物保護的重要途徑。目前，應用較多的是圖像觀測識別和ＤＮＡ 分析檢測方法［２］。但是這些方法存在著成本高、識別率有待提高等缺點。于是，借助聲紋特征進行動物種類識別進而估計分布區域逐漸成為研究熱點［３］。采用動物聲紋識別動物種類具有高效率、非損傷、低干擾、大范圍等優勢，有很好的應用前景［４］。

此前，很多學者對基于深度學習方法的說話人識別系統做了大量研究。Ｓｎｙｄｅｒ 等［５］提出一種基于時延神經網絡（Ｔｉｍｅ Ｄｅｌａｙ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＴＤＮＮ）的端到端說話人嵌入模型，該模型提取的說話人嵌入矢量稱為ｘ-ｖｅｃｔｏｒ。Ｄｅｓｐｌａｎｑｕｅｓ 等［６］提出的ＥＣＡＰＡ-ＴＤＮＮ 神經網絡完成說話人驗證的任務，采用的是Ｒｅｓ２Ｎｅｔ 中的Ｒｅｓ２ｂｌｏｃｋ，其具有更大的感受野，可獲取不同尺度的特征。

同時，基于動物聲紋的動物種類識別方法也得到了廣泛的研究。Ｃｈｅｎｇ 等［７］采用音頻信號的梅爾頻率倒譜系數作為輸入，利用高斯混合模型實現了基于鳥鳴的鳥類識別，最佳準確率達到９２． ５％ 。Ｔｏｗｓｅｙ 等［８］的研究中，可以在野外有噪聲環境中區別黑噪鐘雀、大石鸻、雄性考拉、海蟾蜍、亞洲家壁虎、地棲鸚鵡、綠嘯冠鶇、澳洲鴉等動物的聲音。Ｌａｒｒａｎａｇａ 等［９］研究匈牙利馬地犬叫聲，性別識別達到了８５． １３％ 的準確率，發育程度識別（幼年、成年、老年）達到了８０． ２５％ 的準確率。Ｓａｓｍａｚ 等［１０］采集了１０ 種動物的８７５ 段音頻構建動物叫聲數據集，使用的網絡模型由３ 個卷積層和３ 個全連接層組成，提取動物叫聲音頻的梅爾頻率倒譜系數特征并作為模型輸入進行物種分類，最終獲得了７５％的準確率。

雖然國內外學者對發聲動物的聲紋識別展開了深入研究，但仍存在一些問題：當前對發聲動物的聲紋識別的研究仍存在技術難點；忽視了不相關噪聲及缺乏局部信息交互的影響，不能提取更多有效的關鍵信息，導致模型特征表達能力不足；在不犧牲性能的前提下，現有模型的時間復雜度有待降低且推理速度有待提高。

針對上述問題，本文提出一種動物聲紋識別的新型架構，主要貢獻如下：

① 提出了改進的殘差塊連接改進的上下文感知掩蔽（Ｅｎｈａｎｃｅｄ Ｒｅｓ２ｂｌｏｃｋ ｃｏｎｎｅｃｔｅｄ Ｅｎｈａｎｃｅｄ ＣｏｎｔｅｘｔＡｗａｒｅ Ｍａｓｋｉｎｇ，ＥＲｅｓ-ＥＣＡＭ）架構利用動物聲紋進行身份識別，提取相關的聲紋特征訓練模型，建立了動物的聲紋識別系統，有效地對動物種類和豬只種類進行分類。

② 改進了稠密連接的ＴＤＮＮ（Ｄｅｎｓｅｌｙ-ｃｏｎｎｅｃｔｅｄＴｉｍｅ Ｄｅｌａｙ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，Ｄ-ＴＤＮＮ）骨干網絡以提升模型的表征能力，采用多粒度池化的方法使網絡模型在模糊不相關噪聲的同時能夠提取更多有效的關鍵信息。

③ 在ＥＲｅｓ２ｂｌｏｃｋ（Ｅｎｈａｎｃｅｄ Ｒｅｓ２ｂｌｏｃｋ，ＥＲｅｓ２-ｂｌｏｃｋ）中提出局部特征融合（Ｌｏｃａｌ Ｆｅａｔｕｒｅ Ｆｕｓｉｏｎ，ＬＦＦ）的結構，可以捕獲輸入信號中的本地模式，獲取更細粒度的特征，加強局部信息交互，從而提高聲紋識別系統的魯棒性和準確性。

１ 網絡結構

１． １ 總體架構

本文所提出的算法流程如圖１ 所示。首先，提取音頻Ｆｂａｎｋ 特征作為輸入；其次，將輸入的特征經過前端殘差模塊（Ｆｒｏｎｔ-ｅｎｄ Ｒｅｓｉｄｕａｌ Ｍｏｄｕｌｅ，ＦＲＭ）結構，計算局部關注權值，增強了局部信息的交互，從而獲得更高分辨率的時頻細節；再次，通過采用密集連接的Ｄ-ＴＤＮＮ 骨干網絡，包含３ 個塊，增加了網絡深度，減小了模型參數；然后，通過每個Ｄ-ＴＤＮＮ層的改進的上下文感知掩蔽（Ｅｎｈａｎｃｅｄ ＣｏｎｔｅｘｔＡｗａｒｅ Ｍａｓｋｉｎｇ，ＥＣＡＭ）模塊，在模糊不相關噪聲的同時能提取更多有效關鍵信息；最后，利用ＥＲｅｓ-ＥＣＡＭ 進行識別，得到識別結果。

本文提出的ＥＲｅｓ-ＥＣＡＭ 網絡模型總體框架結構如圖２ 所示。該體系結構主要由兩部分組成：ＦＲＭ 和Ｄ-ＴＤＮＮ 結構。ＦＲＭ 由多個殘差模塊組成，通過在時頻域對聲學特征進行編碼從而獲得更高分辨率的時頻細節。其中，在ＥＲｅｓ２ｂｌｏｃｋ 塊中通過在相鄰特征映射之間的類殘差連接中引入了一種注意特征融合（Ａｔｔｅｎｔｉｏｎａｌ Ｆｅａｔｕｒｅ Ｆｕｓｉｏｎ，ＡＦＦ）模塊，可對ＬＦＦ 進行增強。ＦＲＭ 所得到的特征圖隨后沿通道和頻率維度被平坦化，并用作Ｄ-ＴＤＮＮ 的輸入。

在Ｄ-ＴＤＮＮ 主干中包括３ 個塊，每個塊包含一系列Ｄ-ＴＤＮＮ 層，通過ＥＣＡＭ 為每層Ｄ-ＴＤＮＮ 的輸出特征分配不同的權重。本文在ＥＣＡＭ 模塊中采用多粒度池化的方法，將全局平均池化和分段平均池化進行結合，更有效聚合不同層次的上下文信息。通過密集鏈接的方式，將每個ＤＴＤＮＮ 層的輸出與前面的所有層連接起來作為下一層的輸入。

１． ２ Ｒｅｓ２ｂｌｏｃｋ 與ＥＲｅｓ２ｂｌｏｃｋ

Ｒｅｓ２ｂｌｏｃｋ［１１］通過增大感受野來提高模型的多尺度表示能力。在每個殘差塊內，使用分層類殘差連接提取通道維度上的多尺度特征，Ｒｅｓ２ｂｌｏｃｋ 結構示意如圖３ 所示。

在圖３ 中，將特征映射劃分為ｓ 個特征映射子集，用ｘｉ 表示，其中ｉ∈｛１，２，…，ｓ｝。每個特征子集ｘｉ 具有相同的空間大小，但通道數為１ ／ ｓ。除了ｘ１之外，每個ｘｉ 都要經過一個卷積濾波器Ｋｉ（·）輸出ｙｉ 的表達式如式（１）所示：

Ｒｅｓ２ｂｌｏｃｋ 的分割和拼接策略缺乏有效的局部信息交互。針對該問題，本文對其改進提出了ＥＲｅｓ２ｂｌｏｃｋ 模塊，其結構示意如圖４ 所示。在該模塊中提出ＬＦＦ 結構，該結構通過在相鄰特征映射之間的類殘差連接中引入了ＡＦＦ 模塊，可對ＬＦＦ 的進行增強，獲取更細粒度的特征，加強局部信息交互。并且ＬＦＦ 允許ＥＲｅｓ２ｂｌｏｃｋ 塊捕獲輸入信號中的本地模式，從而提高動物聲紋驗證系統的準確性和魯棒性。

在圖４ 中，特征映射用Ｘ∈ＲＤ×Ｔ×Ｃ 表示，其中Ｄ、Ｔ、Ｃ 分別表示頻率維度、時間維度和信道維度。將Ｘ 經過１ × １ 卷積后，根據通道維數分成不同的組ｘＥｉ，ｉ∈｛１，２，…，ｓ｝，其中，ＡＦＦ 模塊將前一組的輸出特征與另一組輸入特征映射進行融合，從而加強信息之間的交互。

在ＬＦＦ 模塊中的分層融合結構可以增加模型的接受域，并跨不同通道整合局部信息。ＥＲｅｓ２ｂｌｏｃｋ 的輸出如式（２）所示：

ＡＦＦ 模塊將相鄰特征映射ｘＥｉ 和ｙＥｉ－１ 作為輸入，其中計算局部關注權值Ｕ 如式（３）所示：

Ｕ＝ｔａｎｈ（ＢＮ（Ｖ２ *ＳｉＬＵ（ＢＮ（Ｖ１*［ｘＥｉ，ｙＥｉ－１］）））），（３）

式中：［·］為沿通道維度的連接，Ｖ１ 和Ｖ２ 分別為輸出通道大小為Ｃ/ｒ和Ｃ 的點向卷積，ｒ 為通道縮減比（本文設ｒ ＝ ４），ＢＮ（·）為批歸一化，ＳｉＬＵ（·）和ｔａｎｈ（·）分別為Ｓｉｇｍｏｉｄ Ｌｉｎｅａｒ Ｕｎｉｔ（ＳｉＬＵ）和ｔａｎｈ激活函數。根據特征的重要程度，該模塊進行動態加權和組合特征，提高模型從輸入信號中提取相關信息的能力。

１． ３ Ｆｒｏｎｔ-ｅｎｄ Ｒｅｓｉｄｕａｌ Ｍｏｄｕｌｅ

基于ＴＤＮＮ 的網絡沿著時間軸進行一維卷積，使用的卷積核覆蓋了輸入特征的完整頻率范圍。與二維卷積網絡相比，這種方法更難捕捉發生在某些局部頻率區域的發聲動物特征［１２］。通常，需要大量的濾波器來模擬完整頻率區域中的復雜細節。在本文中，每個Ｄ-ＴＤＮＮ 塊中使用較窄的層來控制參數的大小，可能導致在一些局部區域內難以準確捕捉特定頻率模式。于是，需要增強Ｄ-ＴＤＮＮ 對時間頻率領域中的微小和合理變化的魯棒性，并補償實際發聲動物的發音變化。

針對這個問題，本文提出在Ｄ-ＴＤＮＮ 網絡前連接一個二維ＦＲＭ［１２－１３］，在ＦＲＭ 中加入４ 個殘差塊，如圖５ 所示。

在圖５ 中，包含一個Ｒｅｓ２ｂｌｏｃｋ 塊和３ 個ＥＲｅｓ２ｂｌｏｃｋ 塊，所有殘差塊的通道數設置為３２。在最后３ 個ＥＲｅｓ２ｂｌｏｃｋ 塊中，本文在頻率維度上使用步幅２，導致在頻率域中進行８ 倍的下采樣。ＦＲＭ的輸出特征圖隨后沿通道和頻率維度展平，并用作Ｄ-ＴＤＮＮ 主干的輸入。

１． ４ Ｄ-ＴＤＮＮ 骨干結構

ｘ-ｖｅｃｔｏｒ 模型中的ＴＤＮＮ 最先采用沿時間軸擴展的一維卷積結構作為主干，目前ＴＤＮＮ 在說話人驗證任務中被廣泛應用。基于ＴＤＮＮ 改進的Ｄ-ＴＤＮＮ［１４］ 是一種高效的說話人嵌入模型，與ＤｅｎｓｅＮｅｔ［１５］類似，它采用密集連接，即各層之間以前饋方式直接連接。本文采用Ｄ-ＴＤＮＮ 作為ＥＲｅｓ-ＥＣＡＭ 網絡骨干，其與傳統的ＴＤＮＮ 相比，參數量更小，識別效果更好。

Ｄ-ＴＤＮＮ 的基本單元由前饋神經網絡（Ｆｅｅｄ-ｆｏｒｗａｒｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ，ＦＮＮ）和ＴＤＮＮ 層組成。在兩個連續Ｄ-ＴＤＮＮ 層的輸入之間通過直接連接的方式連接。第ｌ 層Ｄ-ＴＤＮＮ 表達式為：

Ｓｌ ＝ Hｌ（［ｓ０，ｓ１，…，ｓｌ－１］）， （４）

式中：ｓ０ 為Ｄ-ＴＤＮＮ 模塊的輸入，Ｓｌ 為第ｌ 層Ｄ-ＴＤＮＮ 的輸出， Hｌ 為第ｌ 層Ｄ-ＴＤＮＮ 的非線性變換。

普通的Ｄ-ＴＤＮＮ 有兩個塊，每個塊分別包含６ 和１２ 個Ｄ-ＴＤＮＮ 層。如圖６ 所示，本文增加Ｄ-ＴＤＮＮ 網絡深度，在最后添加一個額外的塊，并將每個塊的層數擴展到１２、２４ 和１６。同時，為了降低網絡的復雜性，在每個塊中采用更窄的Ｄ-ＴＤＮＮ 層，即將原始增長率ｋ 從６４ 降低到３２。

１． ５ ＥＣＡＭ

擠壓－激勵（Ｓｑｕｅｅｚｅ-Ｅｘｃｉｔａｔｉｏｎ，ＳＥ）［１６］將全局空間信息壓縮到通道描述符中，目的是模擬通道相互依賴性并重新校準濾波器響應。同時，利用自注意力機制來計算加權統計量，改進時序池化技術［１７－１９］。

ＣＡＭ［２０］通過專注于目標發聲動物并模糊不相關的噪聲，從而提高Ｄ-ＴＤＮＮ 的性能。但ＣＡＭ 僅應用于每個Ｄ-ＴＤＮＮ 塊之后的過渡層，并且有限的ＣＡＭ 模塊數量不足以提取有效的關鍵信息，針對該問題，本文在每個Ｄ-ＴＤＮＮ 層中插入了一個更輕的ＥＣＡＭ，以捕獲更多有用的目標發聲動物的聲紋特征。

本文將Ｄ-ＴＤＮＮ 塊中頭部ＦＮＮ 輸出的隱藏特征表示為Ｘ。將Ｘ 輸入ＴＤＮＮ 層，提取局部時間特征Ｆ 如式（５）所示：

Ｆ＝ （Ｘ）， （５）

式中：F （·）表示ＴＤＮＮ 層的變換，并只關注局部感受野。因此，比例子掩碼Ｍ 是基于提取的上下文嵌入來進行預測，并且期望包含有用的聲紋權值及噪聲特征，其表達如式（６）所示：

Ｍ*ｔ ＝σ（Ｗ２ δ（Ｗ１ ｅ＋ｂ１）＋ｂ２）， （６）

式中：σ （·）和δ （·）分別表示Ｓｉｇｍｏｉｄ 函數和ＲｅＬＵ 函數，Ｍ*ｔ 表示Ｍ 的第ｔ 幀，ｅ 表示上下文嵌入，Ｗ１ 和Ｗ２ 表示聲紋權值，ｂ１ 和ｂ２ 表示噪聲特征。

語音信號具有典型的層次結構，并在不同字段之間具有動態變化的特征。因此在特定的語段中，目標發聲動物也存在一種特定的發聲方式，此時通過全局池化［２０］的單個嵌入可能會導致精確的本地上下文信息丟失，從而導致次優屏蔽。

針對該問題，本文采用多粒度池化的方式替代傳統的單一全局池化，使網絡能夠在不同層次上捕獲更多的上下文信息，從而生成更準確的掩碼。使用全局平均池化來提取全局級別的上下文信息ｅｇ如式（７）所示：

式中：ｓｋ 為特征Ｘ 的第ｋ 段的起始幀。

對不同層次的上下文嵌入（ｅｇ 和ｅｓ）進行聚合，以預測上下文感知掩碼Ｍｋ*ｔ。式（６）可改寫為：

Ｍｋ*ｔ ＝σ（Ｗ２ δ（Ｗ１（ｅｇ ＋ｅｋｓ）＋ｂ１）＋ｂ２），ｓｋ≤ｔ≤ｓｋ＋１。（９）

使用預測的Ｍｋ*ｔ 進行校準并生成改進后的時間特征Ｆ ～ ，如式（１０）所示：

Ｆ～ ＝Ｆ（Ｘ）⊙Ｍｋ*ｔ， （１０）

式中：⊙表示逐元素的乘法。與傳統的ＣＡＭ 相比，式（１０）具有更簡單的形式和更少的可訓練參數。將這種高效的上下文感知掩碼插入到每個ＤＴＤＮＮ層中，以增強整個網絡中基本層的表示能力。

２ 實驗過程及結果分析

２． １ 聲音樣本集

為使得聲紋識別算法適應更多應用場景的需求，本文使用多種算法來驗證聲紋識別模型在動物數據集的應用效果。本文使用了自制的包含各種類動物叫聲數據集和自制的包含各種類豬只叫聲數據集。每個數據集詳細信息如下：

① Ａｎｉｍ-Ｃｅｌｅｂ：對于Ａｎｉｍ-Ｃｅｌｅｂ，使用Ａｎｉｍ-Ｃｅｌｅｂ１ 和Ａｎｉｍ-Ｃｅｌｅｂ２ 的開發集進行訓練，其中包括２４ 個動物種類，有鯨魚、青蛙、鳥、貓、狗、大象、鴨子、雞、牛、羊、豬等。數據集中的所有動物種類音頻材料來自于各個動物網站，總共７９２ 條音頻數據。對訓練數據進行預處理，使用Ｇｏｌｄｗａｖｅ 軟件將所收集到的所有音頻文件格式轉換為ｗａｖ 格式，并以４４． １ ｋＨｚ 的采樣頻率進行重采樣。使用Ａｕｄａｃｉｔｙ軟件收聽音頻，截取各個動物發聲片段并進行相應的標記，同時將短音頻進行拼接，保證每段音頻時長不小于５ ｓ。在Ａｎｉｍ-Ｃｅｌｅｂ 測試集中，每種動物都有多段發聲音頻。選擇對注冊的同種類發聲動物的所有語料嵌入進行平均，得到最終的發聲動物嵌入進行評估。

② Ｐｉｇ-Ｃｅｌｅｂ：對于Ｐｉｇ-Ｃｅｌｅｂ，使用Ｐｉｇ-Ｃｅｌｅｂ１和Ｐｉｇ-Ｃｅｌｅｂ２ 的開發集進行訓練，其中包含長白豬、大約克夏豬、杜洛克豬、香豬、寧鄉花豬、馬身豬等１０ 個種類的豬只，共計１ ７３８ 頭豬只。豬只全部音頻取自于各種類豬只音頻數據集的集合。在訓練數據的數據預處理中，制作數據集方法與各種類動物的相同，同樣以４４． １ ｋＨｚ 的采樣頻率進行重采樣，將短音頻進行拼接，保證每段音頻時長不小于５ ｓ，在Ｐｉｇ-Ｃｅｌｅｂ 測試集中，每個種類注冊的發聲豬只都有多段發聲音頻。選擇對注冊的同一種類發聲豬只的所有語料嵌入進行平均，得到最終的發聲豬只嵌入進行評估。

２． ２ 實驗設計

本文仿真實驗在每１０ ｍｓ 提取２５ ｍｓ 窗口，在２５ ｍｓ 長窗口中提取８０ 維的Ｆｂａｎｋ 特征作為輸入。采用速度擾動增強，通過從［０． ９，１． ０，１． １］中隨機抽樣一個比率。處理后的音頻被視為來自一個新的發聲動物［２１］。此外，在訓練過程中采用了兩種常見的數據增強技術，分別是使用ＲＩＲ 數據集模擬混響效果［２２］，同時，為了評估ＥＣＡＭ 的有效性，使用ＭＵＳＡＮ 數據集添加噪聲。

實驗均采用Ａｒｃ-Ｓｏｆｔｍａｘ 損失函數［２３］。Ａｒｃ-Ｓｏｆｔｍａｘ 損失的邊界余量和縮放因子分別設置為０． ２和３２。在訓練過程中，使用隨機梯度下降優化器，結合余弦退火調度器和線性熱身調度器，學習率在１０－４ 和０． １ 之間進行變化。動量設定為０． ９，權重衰減設定為１０－４。每個音頻樣本都會被隨機裁剪為３ ｓ 時長的片段，以構建訓練小批次數據。

本文使用余弦相似度得分進行評估，在后端沒有進行得分歸一化。本文采用等錯誤率（ＥｑｕａｌＥｒｒｏｒ Ｒａｔｅ，ＥＥＲ）和準確率作為評價指標。

ＥＥＲ 是錯誤拒絕率（Ｆａｌｓｅ Ａｃｃｅｐｔａｎｃｅ Ｒａｔｅ，ＦＡＲ）與錯誤接收率（Ｆａｌｓｅ Ｒｅｊｅｃｔｉｏｎ Ｒａｔｅ，ＦＲＲ）相等時的錯誤率。

ＦＡＲ：被錯誤檢索的正樣本數與所有標記的負樣本數之比，如式（１１）所示。

ＦＲＲ：被錯誤檢索的負樣本數與所有標記的正樣本數之比，如式（１２）所示。

ＦＡＲ＝ ＦＰ/ＦＰ＋ＴＮ， （１１）

ＦＲＲ＝ ＦＮ/ＴＰ＋ＦＮ， （１２）

式中：ＴＰ 表示識別正確的正樣本數，ＴＮ 表示識別正確的負樣本數，ＦＰ 表示識別錯誤的正樣本數，ＦＮ 表示識別錯誤的負樣本數。

ＥＥＲ：ＦＡＲ 與ＦＲＲ 相等時的錯誤率，如式（１３）所示。

ＥＥＲ＝ＦＡＲ＝ＦＲＲ， （１３）

準確率作為最常用的性能指標之一，可以從整體上衡量一個模型的性能，表示被正確檢索的正負樣本數和總樣本數之比。當使用ＥＥＲ 評估時，也等于１減等差率，如式（１４）所示：

Ａｃｃｕｒａｃｙ＝１－ＥＥＲ。（１４）

２． ３ 實驗結果分析

在本組仿真實驗中，對本文所提模型進行驗證，同時與ＴＤＮＮ［５］、ＥＣＡＰＡ-ＴＤＮＮ［６］、ＲｅｓＮｅｔ３４、Ｒｅｓ２Ｎｅｔ［１９］、Ｄ-ＴＤＮＮ［２４］、Ｄ-ＴＤＮＮ-Ｌ 模型進行性能比較，其中ＲｅｓＮｅｔ３４ 模型在每個塊中包含４ 個不同通道大小的剩余塊［６４，１２８，２５６，５１２］，ＥＣＡＰＡ-ＴＤＮＮ 模型所構建的通道數為１ ０２４，實驗結果如表１ 所示。

由表１ 可知，通過ＥＣＡＰＡ-ＴＤＮＮ 模型計算得到的ＥＥＲ 相較于ＴＤＮＮ 和Ｒｅｓ２Ｎｅｔ 有所提升，但其模型所需參數有所變大。而Ｄ-ＴＤＮＮ 采用密集連接的方式，相較于ＴＤＮＮ 可以在模型參數更少的情況下提升性能。本文對Ｄ-ＴＤＮＮ 進行深度及濾波器參數改進得到的Ｄ-ＴＤＮＮ-Ｌ 模型雖然性能優于Ｄ-ＴＤＮＮ，但與ＥＣＡＰＡ-ＴＤＮＮ 和ＲｅｓＮｅｔ３４ 相比仍具有性能差距。當本文將Ｄ-ＴＤＮＮ-Ｌ 作為骨干網絡與ＥＣＡＭ 和ＦＲＭ 結合時，ＥＲｅｓ-ＥＣＡＭ 在參數量及性能均優于本文所提其他模型。

為便于直觀分析數據，對Ａｎｉｍ-Ｃｅｌｅｂ 和Ｐｉｇ-Ｃｅｌｅｂ 測試集中的ＥＥＲ 實驗結果進行數據可視化，如圖７ 所示。

由圖７ 可以看出，ＥＲｅｓ-ＥＣＡＭ 對比其他基線模型有最低的ＥＥＲ。特別是Ｐｉｇ-Ｃｅｌｅｂ 測試集中，ＥＲｅｓ-ＥＣＡＭ 相比ＥＣＡＰＡ-ＴＤＮＮ，模型參數量減少４９％ 且ＥＥＲ 降低了６％ 。在Ａｎｉｍ-Ｃｅｌｅｂ 測試集上，ＥＲｅｓ-ＥＣＡＭ 相對比其他模型具有最低的ＥＥＲ。

為進一步驗證不同模塊對整體模型的性能影響，分別對ＥＣＡＭ 及ＦＲＭ 模塊進行消融實驗，實驗結果如表２ 所示。

由表２ 可知，采用多粒度池化的ＥＣＡＭ 在Ａｎｉｍ-Ｃｅｌｅｂ 和Ｐｉｇ-Ｃｅｌｅｂ 測試集上的ＥＥＲ 分別降低了９％和８％ ，在Ａｎｉｍ-Ｃｅｌｅｂ 和Ｐｉｇ-Ｃｅｌｅｂ 測試集上提高了０． ６４％ 和０． ６５％ 的識別準確率。結果進一步論證在不同層次上聚合上下文向量來執行注意力掩蔽的可行性。當去除ＦＲＭ 時，導致兩個測試集中的ＥＥＲ均提升，并且識別準確率明顯降低。實驗結果表明，本文所采用的二維卷積和基于ＴＤＮＮ 的混合網絡可以更好地提取發聲動物的聲紋特征。

２． ４ 多粒度池化與其他池化方法的性能對比

進一步對改進的多粒度池化ＣＡＭ 性能進行實驗仿真，本組仿真在Ａｎｉｍ-Ｃｅｌｅｂ 測試集中進行，并與Ｄ-ＴＤＮＮ、ＣＡＭ 進行對比。實驗結果如表３ 所示。

表３ 在Ａｎｉｍ-Ｃｅｌｅｂ 測試集上重新實現了文獻［２０］中提出的ＣＡＭ，并發現它能將ＥＥＲ 降低８％ ，但參數量增加了４４％ 。本文將ＥＣＡＭ 應用于Ｄ-ＴＤＮＮ，僅使用全局平均池化（Ｇｌｏｂａｌ ａｖｅｒａｇｅ Ｐｏｏ-ｌｉｎｇ，ＧＰ），這將使ＥＥＲ 得到類似的改善，但參數僅增加了８％ ，顯示出更好的參數效率。使用分段平均池化（Ｓｅｇｍｅｎｔ ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ，ＳＰ），并將其與ＧＰ融合，在不引入額外參數的情況下觀察性能提升。這些結果表明，在執行更準確的掩蔽時，局部的上下文信息對降低ＥＥＲ 起到重要作用。

２． ５ ＬＦＦ 模塊對模型的影響

進一步評估改進的殘差模塊Ｒｅｓ２ｂｌｏｃｋ 的有效性。附加實驗結果如表４ 所示，針對Ａｎｉｍ-Ｃｅｌｅｂ 測試集進行實驗。將ＦＲＭ 部分只應用Ｒｅｓ２ｂｌｏｃｋ 塊的ＥＲｅｓ-ＥＣＡＭ 作為基線模型。在Ａｎｉｍ-Ｃｅｌｅｂ 測試集上重新實現了基線模型和所提出的模型架構，將ＬＦＦ 的ＥＲｅｓ２ｂｌｏｃｋ 塊應用于ＦＲＭ，并將其與Ｒｅｓ２ｂｌｏｃｋ 塊融合，在不引入額外參數的情況下觀察性能提升。

表４ 的實驗結果顯示，Ｒｅｓ２ｂｌｏｃｋ 塊與Ｒｅｓ２ｂｌｏｃｋ＋ＥＲｅｓ２ｂｌｏｃｋ 塊參數相差無幾，但Ｒｅｓ２ｂｌｏｃｋ ＋ＥＲｅｓ２ｂｌｏｃｋ 塊在ＥＥＲ 降低了２％ ，識別準確率也有提高。這些結果表明，在提取聲紋特征時，ＦＲＭ 使用ＬＦＦ 結構，能夠獲取更細粒度的特征，加強局部信息交互，提高聲紋驗證系統的準確性和魯棒性。

２． ６ 聲紋識別在動物種類識別中的應用

使用動物的聲紋識別可以用來識別動物身份。這對動物保護和畜牧業發展具有重要意義，可以幫助監測動物數量、研究遷徙模式以及跟蹤動物的種群變化，同時，為大型養殖場的運用提供新方法。對比ＥＣＡＰＡ-ＴＤＮＮ 模型，ＥＲｅｓ-ＥＣＡＭ 模型大大減少了模型參數，在動物種類和豬只種類的識別準確率方面也有顯著的提升。Ａｎｉｍ-Ｃｅｌｅｂ 和Ｐｉｇ-Ｃｅｌｅｂ 測試集的準確率折線圖如圖８ 所示。

由圖８ 可以看出，在Ａｎｉｍ-Ｃｅｌｅｂ 和Ｐｉｇ-Ｃｅｌｅｂ 測試集上，相比ＥＣＡＰＡ-ＴＤＮＮ 及Ｒｅｓ２Ｎｅｔ，除了在ＥＥＲ 上的提高外，動物種類識別分別提升了０． ０５％和８． ４５％ 的準確率，豬只種類識別提升了０． ４３％ 和６． ２８％ 的準確率。對比其他基線模型，本文提出的模型對動物種類和豬只種類的識別準確率最高，其識別準確率分別達到了９３． １２％ 和９２． ７６％ 。

２． ７ 模型復雜性分析

本文比較了ＥＣＡＰＡ-ＴＤＮＮ、ＲｅｓＮｅｔ３４ 和ＥＲｅｓ-ＥＣＡＭ 模型的復雜性，包括參數量、浮點運算（Ｆｌｏａｔｉｎｇ Ｐｏｉｎｔ Ｏｐｅｒａｔｉｏｎｓ，ＦＬＯＰｓ）和實時率（Ｒｅａｌ-Ｔｉｍｅ Ｆａｃｔｏｒ，ＲＴＦ），如表５ 所示。

由表５ 可以看出，ＥＲｅｓ-ＥＣＡＭ 與ＲｅｓＮｅｔ３４ 相比，ＥＲｅｓ-ＥＣＡＭ 的參數量有所增大，但ＦＬＯＰｓ 有所降低。同時，ＥＲｅｓ-ＥＣＡＭ 的參數量和ＦＬＯＰｓ 只有ＥＣＡＰＡ-ＴＤＮＮ 的一半，而ＥＲｅｓ-ＥＣＡＭ 實現的推理速度是ＲｅｓＮｅｔ３４ 和ＥＣＡＰＡ-ＴＤＮＮ 的兩倍以上。

３ 結束語

本文提出了一種新穎的聲紋識別模型———ＥＲｅｓ-ＥＣＡＭ，用于對發聲動物進行動物種類分類。ＥＲｅｓ-ＥＣＡＭ 采用ＬＦＦ 和ＥＣＡＭ。ＬＦＦ 提取了保留目標發聲動物特征，加強了局部信息交互。ＥＣＡＭ 旨在關注目標發聲動物并提高提取特征的質量，其中，多粒度池化融合了不同層次的上下文信息以產生準確的注意力權重。本文在Ａｎｉｍ-Ｃｅｌｅｂ 數據集和Ｐｉｇ-Ｃｅｌｅｂ數據集上進行了全面的實驗，通過對比６ 種不同實驗模型，實驗結果表明本文所提出的模型在兩個數據集下ＥＥＲ 分別為６． ８８％和７． ２４％，相較于其他模型，獲得的ＥＥＲ 值最小。同時，對動物種類和豬只種類識別準確率分別達到了９３． １２％ 和９２． ７６％。此外，與ＥＣＡＰＡ-ＴＤＮＮ 和ＲｅｓＮｅｔ３４ 模型相比，ＥＲｅｓ-ＥＣＡＭ 具有更低的時間復雜度和更快的推理速度。

參考文獻

［１］ ＶＩＧＮＩＥＲＩ Ｓ． Ｖａｎｉｓｈｉｎｇ Ｆａｕｎａ ［Ｊ］． Ｓｃｉｅｎｃｅ，２０１４，３４５（６１９５）：３９２－３９５．

［２］ ＨＡＮＮＡＹ Ｄ Ｅ，ＤＥＬＡＲＵＥ Ｊ，ＭＯＵＹ Ｘ，ｅｔ ａｌ． ＭａｒｉｎｅＭａｍｍａｌ Ａｃｏｕｓｔｉｃ Ｄｅｔｅｃｔｉｏｎｓ ｉｎ ｔｈｅ Ｎｏｒｔｈｅａｓｔｅｒｎ ＣｈｕｋｃｈｉＳｅａ，Ｓｅｐｔｅｍｂｅｒ ２００７ － Ｊｕｌｙ ２０１１ ［Ｊ］． Ｃｏｎｔｉｎｅｎｔａｌ ＳｈｅｌｆＲｅｓｅａｒｃｈ，２０１３，６７：１２７－１４６．

［３］ ＭＩＥＬＫＥ Ａ，ＺＵＢＥＲＢＨＬＥＲ Ｋ． Ａ Ｍｅｔｈｏｄ ｆｏｒ ＡｕｔｏｍａｔｅｄＩｎｄｉｖｉｄｕａｌ，Ｓｐｅｃｉｅｓ ａｎｄ Ｃａｌｌ Ｔｙｐｅ Ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ Ｆｒｅｅｒａｎｇｉｎｇ Ａｎｉｍａｌｓ ［Ｊ］． Ａｎｉｍａｌ Ｂｅｈａｖｉｏｕｒ，２０１３，８６ （２）：４７５－４８２．

［４］ ＭＡ Ｋ． Ｂｉｏｄｉｖｅｒｓｉｔｙ Ｍｏｎｉｔｏｒｉｎｇ Ｒｅｌｉｅｓ ｏｎ ｔｈｅ Ｉｎｔｅｇｒａｔｉｏｎ ｏｆＨｕｍａｎ Ｏｂｓｅｒｖａｔｉｏｎ ａｎｄ Ａｕｔｏｍａｔｉｃ Ｃｏｌｌｅｃｔｉｏｎ ｏｆ Ｄａｔａ ｗｉｔｈＡｄｖａｎｃｅｄ Ｅｑｕｉｐｍｅｎｔ ａｎｄ Ｆａｃｉｌｉｔｉｅｓ［Ｊ］． Ｂｉｏｄｉｖｅｒｓｉｔｙ Ｓｃｉｅｎｃｅ，２０１６，２４（１１）：１２０１－１２０２．

［５］ ＳＮＹＤＥＲ Ｄ，ＧＡＲＣＩＡＲＯＭＥＲＯ Ｄ，ＳＥＬＬ Ｇ，ｅｔ ａｌ． Ｘｖｅｃｔｏｒｓ：Ｒｏｂｕｓｔ ＤＮＮ Ｅｍｂｅｄｄｉｎｇｓ ｆｏｒ Ｓｐｅａｋｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ［Ｃ］∥２０１８ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ）． Ｃａｌｇａｒｙ：ＩＥＥＥ，２０１８：５３２９－５３３３．

［６］ ＤＥＳＰＬＡＮＱＵＥＳ Ｂ，ＴＨＩＥＮＰＯＮＤＴ Ｊ，ＤＥＭＵＹＮＣＫ Ｋ．ＥＣＡＰＡＴＤＮＮ：Ｅｍｐｈａｓｉｚｅｄ Ｃｈａｎｎｅｌ Ａｔｔｅｎｔｉｏｎ，Ｐｒｏｐａｇａｔｉｏｎ ａｎｄ Ａｇｇｒｅｇａｔｉｏｎ ｉｎ ＴＤＮＮ Ｂａｓｅｄ Ｓｐｅａｋｅｒ Ｖｅｒｉｆｉｃａｔｉｏｎ［Ｃ］∥２０２０ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ ＳｐｅｅｃｈＣｏｍｍｕｎｉｃａｔｉｏｎ Ａｓｓｏｃｉａｔｉｏｎ （ＩＮＴＥＲＳＰＥＥＣＨ）． Ｓｈａｎｇｈａｉ：ＩＳＣＡ，２０２０：３８３０－３８３４．

［７］ ＣＨＥＮＧ Ｊ Ｋ，ＸＩＥ Ｂ Ｇ，ＬＩＮ Ｃ Ｔ，ｅｔ ａｌ． Ａ ＣｏｍｐａｒａｔｉｖｅＳｔｕｄｙ ｉｎ Ｂｉｒｄｓ：Ｃａｌｌｔｙｐｅｉｎｄｅｐｅｎｄｅｎｔ Ｓｐｅｃｉｅｓ ａｎｄ Ｉｎｄｉｖｉｄｕａｌ Ｒｅｃｏｇｎｉｔｉｏｎ Ｕｓｉｎｇ Ｆｏｕｒ Ｍａｃｈｉｎｅｌｅａｒｎｉｎｇ Ｍｅｔｈｏｄｓａｎｄ Ｔｗｏ Ａｃｏｕｓｔｉｃ Ｆｅａｔｕｒｅｓ ［Ｊ］． Ｂｉｏａｃｏｕｓｔｉｃｓ，２０１２，２１（２）：１５７－１７１．

［８］ ＴＯＷＳＥＹ Ｍ，ＷＩＭＭＥＲ Ｊ，ＷＩＬＬＩＡＭＳＯＮ Ｉ，ｅｔ ａｌ． Ｔｈｅ Ｕｓｅｏｆ Ａｃｏｕｓｔｉｃ Ｉｎｄｉｃｅｓ ｔｏ Ｄｅｔｅｒｍｉｎｅ Ａｖｉａｎ Ｓｐｅｃｉｅｓ Ｒｉｃｈｎｅｓｓｉｎ Ａｕｄｉｏｒｅｃｏｒｄｉｎｇｓ ｏｆ ｔｈｅ Ｅｎｖｉｒｏｎｍｅｎｔ ［Ｊ］． ＥｃｏｌｏｇｉｃａｌＩｎｆｏｒｍａｔｉｃｓ，２０１３，２１（３）：１１０－１１９．

［９］ ＬＡＲＲＡＮＡＧＡ Ｐ，ＰＯＺＡ Ｍ，ＹＵＲＲＡＭＥＮＤＩ Ｙ，ｅｔ ａｌ．Ｓｔｒｕｃｔｕｒｅ Ｌｅａｒｎｉｎｇ ｏｆ Ｂａｙｅｓｉａｎ Ｎｅｔｗｏｒｋｓ ｂｙ Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍｓ：Ａ Ｐｅｒｆｏｒｍａｎｃｅ Ａｎａｌｙｓｉｓ ｏｆ Ｃｏｎｔｒｏｌ Ｐａｒａｍｅｔｅｒｓ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ ＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，１９９６，１８（９）：９１２－９２６．

［１０］ＳＡＳＭＡＺ Ｅ，ＴＥＫ Ｆ Ｂ． Ａｎｉｍａｌ Ｓｏｕｎｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｕｓｉｎｇａ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ［Ｃ］∥ ２０１８ ３ｒｄ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ（ＵＢＭＫ）． Ｓａｒａｊｅｖｏ：ＩＥＥＥ，２０１８：６２５－６２９．

［１１］ＧＡＯ Ｓ，ＣＨＥＮＧ Ｍ，ＺＨＡＯ Ｋ，ｅｔ ａｌ． Ｒｅｓ２Ｎｅｔ：Ａ ＮｅｗＭｕｌｔｉｓｃａｌｅ Ｂａｃｋｂｏｎｅ Ａｒｃｈｉｔｅｃｔｕｒｅ［Ｊ］． ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，２０２１，４３（２）：６５２－６６２．

［１２］ＴＨＩＥＮＰＯＮＤＴ Ｊ，ＤＥＳＰＬＡＮＱＵＥＳ Ｂ，ＤＥＭＵＹＮＣＫ Ｋ．Ｉｎｔｅｇｒａｔｉｎｇ Ｆｒｅｑｕｅｎｃｙ Ｔｒａｎｓｌａｔｉｏｎａｌ Ｉｎｖａｒｉａｎｃｅ ｉｎ ＴＤＮＮｓａｎｄ Ｆｒｅｑｕｅｎｃｙ Ｐｏｓｉｔｉｏｎａｌ Ｉｎｆｏｒｍａｔｉｏｎ ｉｎ ２Ｄ ＲｅｓＮｅｔｓ ｔｏ Ｅｎｈａｎｃｅ Ｓｐｅａｋｅｒ Ｖｅｒｉｆｉｃａｔｉｏｎ［Ｃ］∥２０２１ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｐｅｅｃｈ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ａｓｓｏｃｉａｔｉｏｎ（ＩＮＴＥＲＳＰＥＥＣＨ）． Ｂｒｎｏ：ＩＳＣＡ，２０２１：２３０２－２３０６．

［１３］ＬＩＵ Ｔ，ＤＡＳ Ｒ Ｋ，ＬＥＥ Ｋ Ａ，ｅｔ ａｌ． ＭＦＡ：ＴＤＮＮ ｗｉｔｈＭｕｌｔｉｓｃａｌｅ Ｆｒｅｑｕｅｎｃｙｃｈａｎｎｅｌ Ａｔｔｅｎｔｉｏｎ ｆｏｒ Ｔｅｘｔｉｎｄｅｐｅｎｄｅｎｔ Ｓｐｅａｋｅｒ Ｖｅｒｉｆｉｃａｔｉｏｎ ｗｉｔｈ Ｓｈｏｒｔ Ｕｔｔｅｒａｎｃｅ［Ｃ］∥２０２２ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ ）． Ｓｉｎｇａｐｏｒｅ：ＩＥＥＥ，２０２２：７５１７－７５２１．

［１４］ＬＩＵ Ｂ，ＣＨＥＮ Ｚ Ｙ，ＷＡＮＧ Ｓ，ｅｔ ａｌ． ＤＦＲｅｓＮｅｔ：ＢｏｏｓｔｉｎｇＳｐｅａｋｅｒ Ｖｅｒｉｆｉｃａｔｉｏｎ Ｐｅｒｆｏｒｍａｎｃｅ ｗｉｔｈ Ｄｅｐｔｈｆｉｒｓｔ Ｄｅｓｉｇｎ［Ｃ ］∥ ２０２２ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ ＩｎｔｅｒｎａｔｉｏｎａｌＳｐｅｅｃｈ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ａｓｓｏｃｉａｔｉｏｎ （ＩＮＴＥＲＳＰＥＥＣＨ）．Ｉｎｃｈｅｏｎ：ＩＳＣＡ，２０２２：２９６－３００．

［１５］ＨＵＡＮＧ Ｇ，ＬＩＵ Ｚ，ＶＡＮ ＤＥＲ ＭＡＡＴＥＮ Ｌ，ｅｔ ａｌ． ＤｅｎｓｅｌｙＣｏｎｎｅｃｔｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ［Ｃ］∥２０１７ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ）． Ｈｏｎｏｌｕｌｕ：ＩＥＥＥ，２０１７：２２６１－２２６９．

［１６］ＨＵ Ｊ，ＳＨＥＮ Ｌ，ＳＵＮ Ｇ． ＳｑｕｅｅｚｅａｎｄＥｘｃｉｔａｔｉｏｎ Ｎｅｔｗｏｒｋｓ［Ｃ］∥ ２０１８ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄＰａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）． Ｓａｌｔ Ｌａｋｅ Ｃｉｔｙ：ＩＥＥＥ，２０１８：７１３２－７１４１．

［１７］ＯＫＡＢＥ Ｋ，ＫＯＳＨＩＮＡＫＡ Ｔ，ＳＨＩＮＯＤＡ Ｋ． Ａｔｔｅｎｔｉｖｅ Ｓｔａｔｉｓｔｉｃｓ Ｐｏｏｌｉｎｇ ｆｏｒ Ｄｅｅｐ Ｓｐｅａｋｅｒ Ｅｍｂｅｄｄｉｎｇ［Ｃ］∥２０１８Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｐｅｅｃｈ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ａｓｓｏｃｉａｔｉｏｎ （ＩＮＴＥＲＳＰＥＥＣＨ）． Ｈｙｄｅｒａｂａｄ：ＩＳＣＡ，２０１８：２２５２－２２５６．

［１８］ＺＨＵ Ｙ Ｋ，ＫＯ Ｔ，ＳＮＹＤＥＲ Ｄ，ｅｔ ａｌ． Ｓｅｌｆａｔｔｅｎｔｉｖｅ ＳｐｅａｋｅｒＥｍｂｅｄｄｉｎｇｓ ｆｏｒ Ｔｅｘｔｉｎｄｅｐｅｎｄｅｎｔ Ｓｐｅａｋｅｒ Ｖｅｒｉｆｉｃａｔｉｏｎ［Ｃ ］∥ ２０１８ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ ＩｎｔｅｒｎａｔｉｏｎａｌＳｐｅｅｃｈ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ａｓｓｏｃｉａｔｉｏｎ （ＩＮＴＥＲＳＰＥＥＣＨ）．Ｈｙｄｅｒａｂａｄ：ＩＳＣＡ，２０１８：３５７３－３５７７．

［１９］ＩＮＤＩＡ Ｍ，ＳＡＦＡＲＩ Ｐ，ＨＥＲＮＡＮＤＯ Ｊ． Ｓｅｌｆ Ｍｕｌｔｉｈｅａｄ Ａｔｔｅｎｔｉｏｎ ｆｏｒ Ｓｐｅａｋｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ［Ｃ］∥２０１９ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｐｅｅｃｈ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ａｓｓｏｃｉａｔｉｏｎ（ＩＮＴＥＲＳＰＥＥＣＨ）． Ｇｒａｚ：ＩＳＣＡ，２０１９：４３０５－４３０９．

［２０］ＹＵ Ｙ Ｑ，ＺＨＥＮＧ Ｓ Ｑ，ＳＵＯ Ｈ Ｂ，ｅｔ ａｌ． Ｃａｍ：Ｃｏｎｔｅｘｔａｗａｒｅ Ｍａｓｋｉｎｇ ｆｏｒ Ｒｏｂｕｓｔ Ｓｐｅａｋｅｒ Ｖｅｒｉｆｉｃａｔｉｏｎ ［Ｃ］∥２０２１ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ）． Ｔｏｒｏｎｔｏ：ＩＥＥＥ，２０２１：６７０３－６７０７．

［２１］ＣＨＥＮ Ｚ Ｙ，ＨＡＮ Ｂ，ＸＩＡＮＧ Ｘ，ｅｔ ａｌ． Ｂｕｉｌｄ ａ ＳＲＥ Ｃｈａｌｌｅｎｇｅ Ｓｙｓｔｅｍ：Ｌｅｓｓｏｎｓ ｆｒｏｍ ＶｏｘＳＲＣ ２０２２ ａｎｄ ＣＮＳＲＣ２０２２［Ｃ］∥２０２２ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ ＩｎｔｅｒｎａｔｉｏｎａｌＳｐｅｅｃｈ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ａｓｓｏｃｉａｔｉｏｎ （ＩＮＴＥＲＳＰＥＥＣＨ）．Ｄｕｂｌｉｎ：ＩＳＣＡ，２０２３：３２０２－３２０６．

［２２］ＫＯ Ｔ，ＰＥＤＤＩＮＴＩ Ｖ，ＰＯＶＥＹ Ｄ，ｅｔ ａｌ． Ａ Ｓｔｕｄｙ ｏｎ ＤａｔａＡｕｇｍｅｎｔａｔｉｏｎ ｏｆ Ｒｅｖｅｒｂｅｒａｎｔ Ｓｐｅｅｃｈ ｆｏｒ Ｒｏｂｕｓｔ ＳｐｅｅｃｈＲｅｃｏｇｎｉｔｉｏｎ［Ｃ］∥２０１７ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅｏｎ Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＡＳＳＰ）．Ｎｅｗ Ｏｒｌｅａｎｓ：ＩＥＥＥ，２０１７：５２２０－５２２４．

［２３］ＤＥＮＧ Ｊ Ｋ，ＧＵＯ Ｊ，ＹＡＮＧ Ｊ，ｅｔ ａｌ． Ａｒｃｆａｃｅ：ＡｄｄｉｔｉｖｅＡｎｇｕｌａｒ Ｍａｒｇｉｎ Ｌｏｓｓ ｆｏｒ Ｄｅｅｐ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ ［Ｃ］∥２０１９ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ ＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）． Ｌｏｎｇ Ｂｅａｃｈ：ＩＥＥＥ，２０１９：４６９０－４６９９．

［２４］ＹＵ Ｙ Ｑ，ＬＩ Ｗ Ｊ． Ｄｅｎｓｅｌｙ Ｃｏｎｎｅｃｔｅｄ Ｔｉｍｅ Ｄｅｌａｙ ＮｅｕｒａｌＮｅｔｗｏｒｋ ｆｏｒ Ｓｐｅａｋｅｒ Ｖｅｒｉｆｉｃａｔｉｏｎ［Ｃ］∥２０２０ Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｐｅｅｃｈ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ａｓｓｏｃｉａｔｉｏｎ （ＩＮＴＥＲＳＰＥＥＣＨ）． Ｓｈａｎｇｈａｉ：ＩＳＣＡ，２０２０：９２１－９２５．

作者簡介：

侯衛民 男，（１９７２—），博士，教授。主要研究方向：人工智能、圖形處理和應用、陣列信號處理和無線通信。

（*通信作者）孫藝菲 女，（１９９８—），碩士研究生。主要研究方向：人工智能、聲紋識別。

劉峻滔 男，（１９９８—），碩士研究生。主要研究方向：遙感圖像處理、數字圖像處理和深度學習。

基金項目：河北省省級科技計劃項目（２０３５５９０１Ｄ，２１３５５９０１Ｄ）