基于特征融合與RCB?EffcientNet網絡的校園安全聲檢測方法

摘" 要： 聲音分類技術在校園事件監測中至關重要。然而，聲音識別領域存在諸多挑戰，如特征提取方法的適配性不足、現有方法難以平衡學習、理解能力與模型復雜度之間的關系等。為解決這些問題，文中提出一種基于LM?H聲學特征和RCB?EfficientNet模型的改進算法。從原始音頻中提取Log?Mel和Hilbert譜圖特征，融合為全新的LM?H特征來描述校園異常聲，并提出輕量化音頻分類模型RCB?EfficientNet。通過減少主要模塊的堆疊和模型參數量，并添加特征層間的跳躍連接保證信息傳遞，同時通過替換注意力模塊來避免信息丟失。最后，在基于數個公開數據集重組而成的自建數據集上進行實驗，改進后的模型參數量為2.69 MB，減少了1.32 MB，總體下降32%，同時實現了98.70%的精度。證實了該改進算法在維持輕量級計算的同時，具有高準確性和穩健性。

關鍵詞： 聲音分類； 特征融合； 校園異常聲； 聲學特征； 輕量化； 注意力模塊

中圖分類號： TN912?34" " " " " " " " " " " " " "文獻標識碼： A" " " " " " " " " " " " 文章編號： 1004?373X（2025）07?0079?06

Campus security sound detection method based on feature fusion and RCB?EfficientNet

SUN Kaiwei1， WANG Mei1， KAN Ruixiang2， LIU Xin1， QIU Hongbing2， LIN Guiyao1

（1. College of Computer Science and Engineering， Guilin University of Technology， Guilin 541006， China;

2. School of Information and Communication， Guilin University of Electronic Technology， Guilin 541004， China）

Abstract： Sound classification technology is critical for campus event monitoring. However， the sound recognition is confronted with numerous challenges， for example， the inadequate adaptability of feature extraction methods and the difficulties in balancing the learning and comprehension capabilities and the model complexity in contemporary approaches. In view of the above， an improved algorithm based on LM?H acoustic features and the RCB?EfficientNet model is proposed. Log?Mel and Hilbert spectrogram features are extracted from the raw audio and fused into a novel LM?H feature， so as to describe the abnormal sound in the campus. In addition， a lightweight audio classification model， RCB?EfficientNet， is introduced. The stack of primary modules and model parameters are reduced， and skip links between feature layers are incorporated， so as to ensure information transfer. At the same time， information loss is avoided by replacing attention modules. A custom?built dataset is assembled based on several public datasets to demonstrate the experiment results. It can be seen that the improved model achieves a parameter count of 2.69 MB， a reduction of 1.32 MB， for a total reduction of 32%. At the same time， it achieves an accuracy rate of 98.70%， confirming that the proposed algorithm maintains high accuracy and robustness while ensuring computational efficiency.

Keywords： sound classification; feature fusion; abnormal sound in campus; acoustic feature; lightweight; attention module

0" 引" 言

近年來，校園內各類違法犯罪行為日益增加，嚴重威脅到了在校師生的身心健康與安全[1]。現有研究主要側重于使用攝像機進行自動監控[2]，但受限于光線、視野等問題。因此，聲信號在特定情景下更適合實際需求[3?4]。本文將探討校園環境聲場景下的關鍵問題，如聲學特征提取、識別準確性和模型能力。

在音頻分類任務中，如何正確表達音頻的聲學特征是該領域的一個關鍵問題。文獻[5]通過Log?Mel譜圖、時頻譜圖和相位譜圖進行特征融合來共同表征環境聲音，提高了在環境音識別中的分類精度。而校園異常聲音包含一些緊急的事件，如爆炸聲、槍聲等，這些事件在時頻域上可能表現出較高頻率的尖銳成分和持續時間較短等特性。因此，需要針對高頻率與瞬時性這些特性提出一種合理且高效的特征提取方法來解決這一問題。

音頻分類模型的選擇也是該領域中的一個重要環節。文獻[6]提出了一種自適應卷積神經網絡（RACNN），該網絡通過自適應卷積（RAC）模塊以更低成本生成相同數量的特征映射，有效提取音頻的時間和頻率特征。文獻[7]提出一種具有分層結構的音頻網絡HTS?AT，該網絡能夠更好地結合標記語義模塊，從而使模型能夠進行音頻事件檢測。然而，上述的核心流程中在一些復雜場景中由于分類模型上下文感知能力欠缺與資源調配方案不佳等問題，正在逐漸暴露其局限性。文獻[8]在聲音識別問題上提出利用輕量級模型EfficientNet進行聲音分類的方法，并取得了令人滿意的分類結果。其中EfficientNet網絡[9]集成了一種“擴張?激活”（Squeeze?and?Excitation， SE）注意力模塊，在該模塊中，特征圖被擴張后再進行激活，以確保通道權重的重要性。擴張卷積操作的執行可能導致聲音信號信息的一部分丟失，進而導致某些情況下聲音分類結果不理想。因此，如何在計算能力和模型性能之間實現有效的平衡是本文需要解決的問題。

本文的主要貢獻概括為以下兩方面。

1） 提出了一種新的聲學特征組合策略LM?H，用于描述校園安全聲。該融合特征由一個聚焦于全局特征的Log?Mel譜圖和一個聚焦于局部特征的Hilbert譜圖組成，每個通道側重于不同頻譜特征，可以更好地捕捉語音信號中的語音特征，相互之間形成補充。

2） 提出了一種改進的輕量化模型RCB?EfficientNet，該模型減少網絡中重疊模塊的同時，將網絡模型中的SE注意力機制替換為CBAM（Convolutional Block Attention Module）注意力機制，通過引入空間注意力，RCB?EfficientNet可以動態調整不同頻率分布的權重，從而使模型更加關注譜圖的局部特征，有效避免了一些信息的丟失。

1" LM?H特征

針對校園異常場景下可能出現的聲音特征，如爆炸聲、玻璃破碎等，這些事件在時頻域上可能表現出較高頻率的尖銳成分等特性。當僅關注全局特征進行特征提取時，可能無法充分捕捉瞬時聲音中存在的局部變化，或無法有效獲取關鍵的時序信息。而若只關注于局部特性，可能無法獲取整個聲音信號的全局信息，從而影響對聲音特征的全面理解和分析。這可能導致遺漏一些重要的聲音特征，從而影響異常聲識別的準確性和完整性。

因此，本文提出一種結合Log?Mel譜圖和Hilbert譜圖的特征融合策略。Log?Mel通過從全局特征的角度出發，更全面地反映聲音信號的頻率分布情況。而Hilbert譜圖適用于分析信號的瞬時變化和包絡特征，且具有較強的抗噪性，能夠在復雜的環境中提取出清晰的聲音特征。在異常聲特征提取中，Hilbert譜圖能更好地關注信號的瞬態性。圖1顯示了該融合策略的提取過程。

圖2a）、圖2b）分別展示了爆炸聲的Log?Mel和Hilbert聲學特征。由圖2a）可以看出，Log?Mel譜圖捕獲了爆炸聲的全局特征，包括頻譜能量分布和整體頻率成分。同時，通過圖2b）的Hilbert譜圖可以觀察到其弱化了Log?Mel譜圖中低分貝的頻率特性，特別對于噪聲成分或無關信息來說，Hilbert譜圖可能會將其抹除或弱化。這種現象是由于Hilbert變換更加注重信號的相位信息，對于振幅較低或噪音成分不重要的頻率會被視為次要特征而被抑制。因此，Hilbert譜圖突出了異常聲的關鍵信號特性，這些關鍵特征有助于突顯信號中重要的局部特性。綜上所述，利用LM?H特性作為聲信號的提取方法在理論上是可行和有效的。

1.1" Log?Mel譜圖

1） 分幀和加窗。分幀的目的是將長時信號劃分為短時幀，以便在每一幀內進行分析。實驗幀長設為1 024，幀移設為512。漢明窗的數學表達式為：

[ω（n）=0.54-0.46cos2πnN-1，" " 0≤n≤N-1] （1）

式中：[ω（n）]是窗口在第[n]個采樣點的值；[N]是窗口的長度；[cos2πnN-1]是漢明窗的余弦部分。這個函數使得窗口兩端逐漸趨近于零，有助于減小頻譜泄漏。

2） 傅里葉變換。它將信號從時域轉換到頻域，分析一個信號，將其表示為不同頻率的正弦和余弦函數的組合。公式如下：

[x（f）=-∞+∞x（t）?e-j2πftdt，" " "0≤k≤N-1] （2）

式中：[x（f）]是頻率域中的復數表示，表示信號在頻率[f]處的分量；[x（t）]是時域中的信號；j是虛數單位（j2=?1）；[表示積]分。

3） Mel濾波器組。它是一組在Mel頻率刻度上均勻分布的濾波器，用于將音頻信號分解為不同頻率區間的能量分布，以生成Mel頻譜圖。

[Mel（f）=2 595lg1+f700] （3）

式中：[f]是線性頻率；Mel（[f]）是對應的Mel頻率。

1.2" Hilbert譜圖分析

1） 解析信號。對原始信號進行解析，得到其復數形式的解析信號。解析信號通常由原始信號與希爾伯特變換濾波器的輸出構成。希爾伯特變換濾波器在頻率域中將正頻率部分保留不變，而將負頻率部分相位旋轉180°，從而產生解析信號。解析信號[xa（t）]可以表示為：

[xa（t）=x（t）+j2H{X（t）}] （4）

式中：[x（t）]是原始信號；j2是虛數單位；[H{X（t）}]是[x（t）]的Hilbert變換。

2） 取幅度譜。從解析信號中取幅度譜，表示信號在頻率上的強度分布。幅度譜[A（f）]可以通過解析信號的幅度計算得到。

[A（f）=Re2（f）+Im2（f）] （5）

式中：[Re（f）]是解析信號的實部在頻率[f]處的值；[Im（f）]是解析信號的虛部在頻率[f]處的值。

3） Hilbert譜圖。Hilbert譜圖[H（f）]可以通過取幅度譜的對數得到。

[H（f）=lgA（f）] （6）

2" 本文核心方法

2.1" EfficientNet

EfficientNet網絡是一種高效的卷積神經網絡架構，通過使用復合縮放來調整網絡的深度、寬度和分辨率，在保持性能的同時減小計算成本，更加適用于資源分配要求較高的傳感網絡環境中，強調了計算效率和性能之間的平衡。MBConv（Mobile Inverted Bottleneck Convolution）模塊是該網絡架構的關鍵組成部分之一，該模塊結合了深度可分離卷積、普通卷積和SE注意力模塊用于提高模型的表現力和計算效率，具有高效的特征提取和表示能力。

研究發現，EfficientNet堆疊較多的MBConv模塊會使網絡深度過大，進而增加模型的復雜度，導致泛化能力下降。此外，不同類型的音頻樣本具有某些相似性，如槍聲和爆炸聲都屬于高強度的瞬態聲音，具有突然性和強烈的頻率成分，為使聲音分類任務有較好的分類精度，應加強模型對音頻特征的學習能力。

2.2" RCB?EfficientNet

針對以上這些問題，本文對EfficientNet進行了以下幾個方面的改進。

1） EfficientNet是由16個MBConv模塊堆疊而成的網絡結構。本文針對在實際場景中，無線傳感器受制于有限的計算資源和帶寬的限制問題，將原始的16個MBConv模塊縮減為9個，以此來減少模型的參數量和復雜性。同時，為了避免因為模塊的減少造成信息丟失的問題，本文模型在相鄰不同尺寸的MBConv模塊之間引入了3×3卷積的跨層連接。這種跨層連接旨在確保特征信息的有效傳遞，并合理化信息傳遞過程中的損失，進而提升模型的特征學習和表達能力。

2） 用CBAM模塊代替MBConv模塊中的SE模塊，CBAM注意力機制結合了空間和通道注意力，相較于SE注意力機制，它引入了空間注意力，可以幫助模型動態調整不同頻率分布的權重。通過考慮每個通道在譜圖空間上的重要性，使模型更加關注譜圖的局部特征，有效避免了一些信息的丟失。

圖3展示了RCB?EfficientNet的結構圖。首先，音頻經過聲學融合后生成的LM?H特征譜圖以224×224×3 的尺寸輸入到RCB?EfficientNet網絡；接著，利用5組經過改進的MBConv模塊獲取音頻更多的細節信息。經過這些模塊的處理后，得到7×7×1 280通道的特征圖；最后，將特征圖輸入全連接層進行分類，得到最終的音頻分類結果。

2.3" 改進的注意力模塊

SE模塊首先對輸入的特征圖進行全局池化操作，以獲取每個通道全局信息的向量；然后對該向量進行降維操作，這可能會導致細節信息的丟失，并且異常聲的聲音特性通常表現為尖銳、突然等局部特點，這種降維操作可能無法充分表達數據的全部特性，尤其是局部特征的重要性。

CBAM模塊結構如圖4所示。CBAM結合了空間注意力和通道注意力，能更好地捕獲這些局部特性。

圖5分別展示了通道注意力結構和空間注意力結構。CBAM注意力模塊首先通過通道注意力機制自適應地調整不同通道的重要性，強調重要頻率成分。隨后通過空間注意力機制關注時頻圖中不同位置的顯著性，以捕捉關鍵時間點和頻率成分的變化。這也意味著CBAM能夠更妥善地關注通道間的關系和特征圖的局部信息，有助于提高模型對空間和通道特征的感知能力。另外，CBAM模塊采用共享權重參數的設計，因此替換后的模塊參數量是可以忽略不計的。

這兩個注意力模塊分別更加注重通道上自適應調整的權重與空域信息的理解、泛化過程，為校園異常聲檢測打下堅實基礎。通道注意力[MC]和空間注意力[MS]計算公式為：

[MC（F）=σ（MLP（AvgPool（F））+MLP（MaxPool（F）））=σ（W1（W0（FCavg））+W1（W0（FCmax））） ] （7）

[MS（F）=δ（f7×7（[AvgPool（F）;MaxPool（F）]））=δ（f7×7（[FSavg;FSmax]））] （8）

式中：[σ]和[δ]為sigmoid函數；[FCavg]、[FCmax]和[FSavg]、[FSmax]分別表示經過全局最大平均池化和全局最大池化操作后得到的通道特征圖和空間特征圖；[W0]和[W1]是卷積層的權重參數；[f7×7]表示濾波器大小為7×7。

3" 實驗與分析

3.1" 數據集

由于目前沒有統一的異常聲數據庫，本文從公開數據集ESC?50、UrbanSound8k、FSD?50K[10]中挑選符合校園場景的音頻數據，最終共選取了11個類別，每個類別包含200個音頻樣本，隨后對原始音頻進行數據擴增處理（隨機時間拉伸、動態范圍壓縮和隨機音高移動[11]），這有效擴充了訓練數據集的規模和多樣性。最終，每個類產生1 000個音頻樣本，總計11 000個音頻樣本，形成的一個基準數據集SS?11，如圖6所示。

3.2" 基線模型

本文采用了經過遷移學習的EfficientNet?B0作為基準模型。在訓練階段，選擇交叉熵損失函數作為損失函數，并設置每批次的樣本數為128，訓練周期（Epoch）為100。實驗環境搭建在一臺搭載Core i5?12400f處理器和RTX 4060Ti（16 GB顯存）顯卡的計算機上，所有實驗均在PyTorch 1.10.0和Python 3.11.5環境下進行。

3.3" 實驗結果分析

3.3.1" 對比不同輸入特征的效果

為了深入探究不同聲學特征在音頻描述中對不同方面信息的側重，并了解其對實驗結果的影響，本文旨在驗證由Log?Mel譜圖和Hilbert譜圖組成的LM?H特征的卓越性能。在基線模型EfficientNet上進行了消融實驗，選取的特征方案有Log?Mel、Hilbert、LM?H這三種。表1展示了在100輪迭代中，各個特征組合所取得的最佳實驗結果。

從表1得出的實驗結果可知，LM?H特征在校園安全聲音分類任務中展現出卓越的性能，這種特征組合不僅能夠捕捉聲音信號的全局特征，還能有效分析信號的局部變化，相互之間形成補充。從而在分類精度上顯著優于其他兩種特征組合，驗證了該特征組合在校園安全聲音表征方面的高效性。

3.3.2" 對比相關模型效果

本文以校園安全聲音檢測為核心，必須從實際需求出發，并綜合考慮后續傳感器的部署情況。因此，在這一場景下，參數量少、算力要求低且高效的網絡模型是符合本文需求的。為了驗證本文提出的RCB?EfficientNet的分類優勢，實驗中將選取SS?11作為實驗數據集，采用LM?H作為輸入特征進行消融實驗，消融實驗的網絡模型方案為：模型A為RCB?EfficientNet；模型B為EfficientNet；模型C為在基線模型上減少堆疊模塊；模型D為在基線模型上用CBAM模塊取代SE模塊。

不同模型的性能結果如表2所示。

從表2結果來看，減少堆疊模塊后EfficientNet的分類精度并未降低，這歸功于引入了跨層連接，確保了特征信息的有效傳遞。同時，將基線模型EfficientNet中的SE模塊替換為CBAM模塊后，在不增加過多模型復雜度的前提下，有效提升了復雜場景中校園異常聲識別的精度，相較原本以SE模塊為核心的方法提升了1.3%。這表明CBAM模塊不僅繼承了SE模塊通道注意力機制的優勢，還通過引入空間注意力模塊幫助模型更好地理解不同頻率特征之間的關聯，進而提高了聲音分類的準確性。最終，RCB?EfficientNet在分類精度方面優于其他三個模型，并且其所需的參數量也相對較少。這進一步證實了本文提出的RCB?EfficientNet具有準確率高、參數量少等特點，符合構建輕量級網絡的要求。

3.3.3" 對比不同框架的效果

為了進一步驗證本文提出的分類框架的高效性能，將本文方法與目前一些主流模型進行比較。表3展示了該實驗結果。

通過實驗結果可見，本文提出的分類框架在保持高準確性的同時，有效減少了參數量和計算復雜度。該框架在校園場景聲音分類任務中表現出色，取得了理想的分類效果。圖7展現了該音頻分類框架的混淆矩陣，從圖中可以看出，改進后的模型在準確識別各類別方面表現突出，這也是該模型取得優異性能指標的主要原因。

4" 結" 語

本文提出了一種適用于校園異常場景的LM?H雙聲道聲學特征組合策略，該策略不僅能展現音頻樣本的全局特征，還能分析信號的瞬時變化和包絡特征，實現互補效果，并針對深度神經網絡模型的性能與資源消耗之間的平衡問題，提出一種改進型網絡RCB?EfficientNet。實驗證明，該網絡不僅識別準確率高，而且具有較低的模型參數量和運算量，更易部署到跨平臺和移動設備中。

然而，音頻分類框架在處理多個重疊聲音時存在不足之處。在真實場景中，校園異常聲音發生時可能伴隨其他聲音，從而影響分類精度。為此，未來的工作將重心轉移到處理重疊聲音和低信噪比場景中易混淆聲信號的多分類任務中，專注于優化分類算法，使其在噪聲環境中表現更加穩健。

注：本文通訊作者為王玫。

參考文獻

[1] HUANG D K， CECCATO V， KYTTA M. Safety perceptions in university campuses： the role of environment [J]. Crime prevention and community safety， 2022， 24（3）： 266?285.

[2] DING B Y， ZHANG T， WANG C， et al. Acoustic scene classification： A comprehensive survey [J]. Expert systems with applications， 2024， 238： 121902.

[3] CHANDRAKALA S， JAYALAKSHMI S L. Environmental audio scene and sound event recognition for autonomous surveillance： A survey and comparative studies [J]. ACM computing surveys （CSUR）， 2019， 52（3）： 1?34.

[4] SINGH V K， SHARMA K， SUR S N. A survey on preprocessing and classification techniques for acoustic scene [J]. Expert systems with applications， 2023， 229： 120520.

[5] GUO J M， LI C K， SUN Z P， et al. A deep attention model for environmental sound classification from multi?feature data [J]. Applied sciences， 2022， 12（12）： 5988.

[6] FANG Z， YIN B， DU Z H， et al. Fast environmental sound classification based on resource adaptive convolutional neural network [J]. Scientific reports， 2022， 12（1）： 6599.

[7] CHEN K， DU X J， ZHU B L， et al. HTS?AT： A hierarchical token?semantic audio transformer for sound classification and detection [C]// 2022 IEEE International Conference on Acoustics， Speech and Signal Processing （ICASSP）. New York： IEEE， 2022： 646?650.

[8] KIM J W， LEE G W， PARK C S， et al. Sound event detection using EfficientNet?B2 with an attentional pyramid network [C]// 2023 IEEE International Conference on Consumer Electronics （ICCE）. New York： IEEE， 2023： 1?2.

[9] TAN M X， LE Q V. EfficientNet： Rethinking model scaling for convolutional neural networks [C]// International Conference on Machine Learning. New York： PMLR， 2019： 6105?6114.

[10] FONSEACA E， FAVORY X， PONS J， et al. FSD50K： an open dataset of human?labeled sound events [J]. IEEE/ACM transactions on audio， speech， and language processing， 2021， 30： 829?852.

[11] 劉臣，倪仁倢，周立欣.多任務實時聲音事件檢測卷積模型與復合數據擴增[J].計算機應用研究，2023，40（4）：1080?1087.

[12] NASIRI A， HU J J. SoundCLR： Contrastive learning of representations for improved environmental sound classification [EB/OL]. [2021?03?04]. https：//arxiv.org/abs/2103.01929.

[13] ADAPA S. Urban sound tagging using convolutional neural networks [EB/OL]. [2019?10?02]. http：//arxiv.org/abs/1909.12699.

[14] GONG Y， CHUNG Y A， GLASS J R. AST： Audio spectrogram transformer [EB/OL]. [2024?03?05]. https：//arxiv.org/abs/2104.01778.

作者簡介：孫凱瑋（1998—），男，河南焦作人，碩士研究生，研究方向為環境聲識別、傳感器網絡。

王" 玫（1963—），女，山西壽陽人，教授，研究方向為位置感知與協同定位、傳感器網絡、能效優化等。

收稿日期：2024?06?25" " " " " "修回日期：2024?07?16

基金項目：國家自然科學基金項目（62071135）；國家自然科學基金項目（61961010）；桂林電子科技大學研究生創新項目（2023YCXB05）