聲景生態學數據分析與應用

王靜怡,李春明,林嬰倫,李大鋒

1 中國科學院城市環境研究所,福建省流域生態學重點實驗室,城市環境與健康重點實驗室,廈門 361021

2 中國科學院大學,北京 100049

3 福建農林大學資源與環境學院,福州 350002

4 廣東省林業科學研究院,廣州 510520

聲景生態學是研究景觀中生物與非生物聲音在多種時空尺度下的聲學格局與過程,揭示聲音與人類,以及聲音與自然之間關系的學科[1],由Pijanowski和Farina開創,吸納了景觀生態學、生物地理學、聲學生態學及生物聲學的內涵,具有多學科交叉融合的特征(圖1)。Pijanowski認為對聲景的研究可參考景觀生態學中不同尺度上格局與過程的交互,以及生物地理學中不同生物物理梯度中物種分布和多樣性的變化來進行,聲景生態學還吸收了聲學生態學[2]中人對環境聲音感知為核心的研究,并拓展了聚焦于單個物種或物種間對比的生物聲學[3]的研究范圍。采用社會生態系統的研究方法,更關注宏觀群落聲學,并且更強調景觀中聲音的生態特征及其呈現的生態環境的多維時空格局與動態變化。

Pijanowski基于景觀生態學[4—5],結合“人與自然耦合系統”[6]理論,提出了聲景生態學的概念性框架(圖1),指出生物聲、地理聲和人類聲共同組成了完整的聲景(圖1-層次Ⅱ),且三者之間相互作用(圖1-層次Ⅲ)。同時,還提出了6個研究領域：(1)聲音的測量和量化,(2)不同尺度的時空動態分析,(3)揭示聲景與環境協變量的聯系,(4)評估聲景對生態系統的影響,(5)評估聲景對人類的影響,(6)評估人類對聲景的影響[1](圖1-層次Ⅳ及①、②及③)。

圖1 聲景生態學的產生、概念性框架及其研究內容

隨著存儲介質成本的降低及網絡傳輸技術的進步,聲景大數據逐漸形成。盡管Pijanowski所提的6個研究領域已為聲景生態學數據的應用指明了方向,但由于對聲音這類非結構化數據的分析存在困難,目前有關聲景生態學研究內容和技術方法的研究案例仍然較少。本文從聲景生態學的研究內容出發,詳細介紹了聲景生態學數據在聲景元素解析、生物多樣性評估、人類身心健康三大應用領域的前沿分析方法；梳理了從各類傳統方法到新興的機器學習方法的技術細節與優劣勢對比；并從數據分析技術的優化與標準化以及與多學科融合的方面對聲景生態學數據分析方法的發展進行了展望,以期為聲景生態學數據分析方法的完善和應用領域的拓展提供參考。

1 聲景元素解析

1.1 人工識別

聲景元素的解析是聲景生態學研究中的基本內容。傳統的方法主要依靠人工識別,除了由動物學專家根據鳴聲頻率高低、時長、婉轉程度等顯性特征進行具體物種的識別之外,在實際研究中應用更為廣泛的是通過直觀的聽覺感知進行聲源識別和分類。包括研究者基于其聲景專業知識事先進行研究空間內聲源類別的定義與劃分,進一步將其用于聲景感知的問卷調查或實驗室模擬感知等研究中。如侯建鑫等[7]在城市公共開放空間中,通過實地考察、網上查閱及居民訪問確定城市公共開放空間中存在的42種主要聲音,進一步進行各類聲音愉悅程度和煩惱程度的問卷調查；甘永洪等[8]在廈門市集美區的城鄉視聽景觀研究中,通過實地聲景觀調查記錄樣點的聲音類型,將其劃分為地質聲、生物聲和人工聲三大聲景元素,并基于此開展實驗室聲景觀認知評價；周武忠等[9]將城市公園聲景觀區分為人工聲、自然聲、生活聲和歷史文化聲四大類別,選取江陰市的市中心公園進行城市公園各類聲景觀的調查與評價分析；劉江等[10]在德國瓦爾內明德區的城市多功能區中進行聲景信息的標準化主觀記錄,識別出人工聲、生物聲、地理聲三大類具體27種通俗可辨識的聲源,并繪制出反映聲景組成時空動態的聲源地圖。也有學者強調公眾對于聲源的感知,利用問卷直接獲取特定場地中常見的聲景類型。如馬蕙等[11]在城市公園聲景觀要素定量分析中,通過在問卷中設計“在公園中常常能被感知到的聲音是什么？”這一問題,引導公眾對聲源類別進行識別,由此確定了交通噪聲、流水聲、噴泉聲、鳥鳴聲、風聲、波浪聲和海鳥聲7種用作聲學心理實驗的聲音刺激。

1.2 機器識別

機器學習算法可根據聲音特征進行分類,實現聲景元素的解析。首先,采用等長向量計算其特征,其中關鍵是找到特征向量的表示形式,使其成為某物種某一特定類型鳴聲的參考向量。然后,根據提取的特征向量進行分類,可采用無監督方式[12](如自組織映射網絡),或有監督學習方式(如支持向量機[13],決策樹[14])來實現聲元素的識別。

機器學習算法尤其是深度學習雖能快速和批量地實現物種識別,但和人工識別結果仍然存在差距。Priyadarshani等[15]對自動鳥類識別技術進行了綜述,介紹了當前常見的鳥鳴識別軟件,包括SoundID、Raven Pro、Song Scope、Sound Analysis Pro 2011、Avisoft-SASLab Pro、Arbimon、Kaleidoscope Pro,以及R語言中的monitoR包。然而,總體而言這些工具仍不能滿足物種識別的需求,背景噪聲及鳴聲微弱的問題仍然是應用時的主要挑戰,導致識別結果存在假陽性及假陰性。假陰性主要由于目標物種發聲微弱或檢測閾值設置而造成；假陽性的原因則有很多,如自然地理或人工機械噪聲的影響或物種之間高相似度造成誤判等。另一方面,機器學習算法的輸入也會影響精確度,如以頻譜圖作為輸入時,一些短促的鳥鳴聲和雨滴聲的頻譜圖相似,導致聲源的可觀測屬性重疊,此時機器將難以識別,但人類可以通過聽覺有效區分。實際上,頻譜圖作為算法輸入會導致許多時間精細結構信息的丟失,應該進一步改進算法,以完整的音頻數據作為輸入實現聚類和鳴聲識別[16]。

一些優化策略也可以用作機器學習算法的改進,包括進行相關知識的遷移學習或綜合人工識別與機器識別的優勢。比如可以結合監測對象的相關知識,進行遷移學習或多任務學習。如Chen等[17]在熱帶蝙蝠的識別任務中,開發的Waveman軟件,通過繪制物種的系統發育樹來說明種群之間的遺傳關系,并將其嵌入到蝙蝠網絡(BatNet)網絡中,最終實現36種熱帶蝙蝠物種的自動識別,各物種的識別準確率均在86%以上,總體精度超過90%。也有研究采取自動聚類和人工驗證相結合的半自動化方法。其中,自動聚類方法可以過濾噪聲,減少后期人工審查的工作量,而通過回放音頻或目視解譯頻譜圖進行人工審查可以減少假陽性,二者結合可以一定程度上提高識別結果的準確度[18]。

總體而言,進行聲源分類的人工識別方式不需要過于專業的專家知識,常結合問卷調查用于城市開放空間的聲景研究或實驗室聲景模擬研究,但這種方法無法進行具體的物種識別。基于專家知識的人工識別可以實現物種識別,準確度高,但耗時長,可推廣性差。而機器學習的方法基于大量音頻數據庫自動提取數百萬個特征,從而有效捕捉物種內的特定變異,實現更準確的自動識別。

2 生物多樣性評估

聲學生態位假說[19]、形態學適應假說[20],與聲學適應性假說(Acoustic Adaptation Hypothesis)[21—22]為通過聲音來反映生物多樣性的合理性提供了理論基礎。目前通過聲音進行生物多樣性評估的方法主要有基于聲音能量和頻率的聲學指數法,以及基于聲音特征的語譜圖和機器學習法。

2.1 聲學指數法

聲學指數是通過統計聲學能量分布,得出關于聲音時頻或振幅的復雜程度、異質性等信息[23],從而間接用于反映生物的多樣性。聲學指數種類繁多,典型的包括時間熵(H[t])、頻譜熵(H[s])、聲學復雜指數(ACI)、聲學豐富度指數(AR)、聲學均勻度指數(AEI)、標準差異聲景指數(NDSI)、聲學多樣性指數(ADI)等[24]。當前使用較廣泛的聲學指數計算軟件包括MATLAB、SoundscapeMeter2.0[25],及R語言中的Tune R、Seewave、Soundecology程序包[26—27]。

隨著研究者對各類聲學指數的深入理解以及計算軟件的發展,聲學指數廣泛應用于生物多樣性評估領域。同時,越來越多的學者針對聲學指數的指標性能展開研究。然而由于研究對象和所使用的數據集存在差異,難以從各類研究得到的聲學指數評價中總結一致的結論。Gasc等[28]提出聲學指數代表物種豐富度的三個標準：(1)在衡量生物多樣性時對噪聲不敏感；(2)在指示物種多樣性時對同一物種的不同個體識別不敏感；(3)在指示物種豐富度時受物種均勻度和鳴聲之間的重疊影響小。然而他的實驗研究表明,沒有一個聲學指數可以同時滿足三個標準。

另一方面,使用聲學指數進行生物多樣性評估還存在其他局限性：(1)絕大多數指數對噪音敏感,需要在分析前對音頻進行降噪處理,預處理步驟更復雜且會造成一定程度的信息丟失[29]；(2)實際應用較復雜,需要綜合考慮數學與生態意義,即單一的聲學指數往往難以說明問題,需要進行加權組合才更加適用,此外,指數需要進行歸一化處理,或當其最大值、最小值具有生態意義時,才便于使用[24,30]；(3)聲學指數存在閾值問題,難以檢測微弱的或是超過閾值的鳴聲,當聲學特征存在冗余或存在高頻聲音的重疊時,聲學指數對生物聲音的預測也會達到閾值,使得指數只能在低于這一閾值所代表的生物多樣性的群落中有效地應用[28, 31]；(4)聲學指數雖然能在局部環境下預測關鍵的生態指標,但無法在更大的生態梯度上發揮作用[32],也無法轉換并適用于新環境[33],即相同或相近的聲學指數數值在不同的生態系統下的生態內涵可能具有較大的差異,難以反映大尺度下時空格局的過程演變。

總體而言,聲學指數的信息特征有限,對指數的生態學解釋也僅適用于特定區域,且需要結合目標物種的聲學特征,進行有針對性的指數選擇。另外,還需進一步分析不同鳴聲類型(強/軟,持續/零星)、不同植被結構、采樣半徑等對指數分析的影響。

2.2 語譜圖分割法

語譜圖用于生物多樣性評估,包括基于語譜圖的鳴聲識別以及識別特定鳴聲后的聲音特征分析。鳴聲識別可以結合頻率進行閾值設定,采用中值剪切方法,即當頻率超過了語譜圖相關列和行的中位數的預定義倍數時,這些信號會被識別為鳥鳴,相關的圖像處理技術如基本形狀形態學方法可用于改進這一過程[34—36]。另外,可以選取合適的濾波器剔除非目標音頻信號,以便進行后續特征分析。

通過鳴聲識別提取目標物種音頻后,基于語譜圖進一步進行聲音特征的分析。蔣錦剛等[37]認為聲學指數針對的通常是聲景結構或功能的某一方面,具有一定的局限性。另一方面,傳統的頻譜分析主要應用統計分析方法評估頻譜特征的復雜性和差異性,缺少圖像時頻結構特征的分析。基于此,他將遙感領域的面向對象圖像分割技術引入語譜圖分割,在完成鳴聲識別后,進行圖像紋理和幾何結構信息的提取,最終提出適合于自然界鳥類生物多樣性提取的知識規則和斑塊統計分析聚類方法,充分挖掘了音頻文件中的時間-頻率結構特征,提供了多維度的生物叫聲綜合特征分析,包括頻譜圖中斑塊數目反映的鳥類生物叫聲和多樣特性、斑塊面積周長比反映的鳥類叫聲婉轉度,以及斑塊時長反映的鳴聲長短等豐富的生態信息參數。

語譜圖分割的方法不需要對音頻文件進行降噪處理,能夠反映聲音頻率隨時間的變化特征,但處理過程中人為參與較多,如閾值和分割尺寸的設定,主觀的經驗性因素會對結果造成影響。且此方法不適用于缺乏清晰度的微弱鳴聲,在長時間的聲景監測數據中的應用效果也未得到驗證。另外,如何將語譜圖中提取的斑塊屬性與生物鳴聲特征聯系起來進行定量分析仍是需要解決的問題。

2.3 機器學習法

利用特定的機器學習算法實現鳴聲識別或分類之后,可采取一定的數據處理技術實現生物多樣性的評估。包括直接以聚類結果的個數指示生物多樣性,或對聚類結果進行一定的數學運算作為物種生物多樣性評估的預測數據。也可以通過可視化聚類結果,呈現生物多樣性的時間、空間特征。

Xie等[38]基于聲學事件檢測(AED)技術和多標簽學習方法,提出了一種估算青蛙群落鳴聲活動和物種豐富度的智能系統。具體而言,使用隨機森林進行聲學事件檢測,以過濾掉未包含蛙鳴的音頻,而對于豐富度計算,則是使用線性預測編碼系數(LPCs)、梅爾倒譜系數(MFCCs)、線性倒譜系數(LFCCs)、聲學復雜度指數(ACI)、聲學多樣性指數(ADI)和聲學均勻度指數(AEI)六個聲學特征訓練三個多標簽分類模型并進行音頻的分類,最后分別通過AED和多標簽學習的結果進行累積計算,從而預測青蛙群落鳴聲活動豐富度和物種豐富度。 Ulloa等[39]設計了一種新的方法用以自動檢測音頻結構,稱為聲學多樣性多分辨率分析,其目的是基于音頻特征將聲學群落分解為若干基本成分(即聲學類型)。首先通過短時傅里葉變換檢測感興趣區域(ROIs),然后通過頻率中值估算和二維小波分析來表征這些ROIs,最后使用基于模型的子空間聚類技術對ROIs進行分組,使ROIs自動注釋并聚類為特定的聲音類型,聲音類型的個數即作為該環境的聲學類型豐富度。 Sethi等[33]采取VGGish(一種類視覺幾何組模型)的卷積神經網絡(CNN),將音頻樣本逐個輸入具有11個權重層的視覺幾何組(VGG)模型,生成128維的特征,進一步通過“統一流形逼近與投影(UMAP)”降維工具，將聚類結果降至二維以此可視化,揭示了其聲景數據在生態(不同生境質量)、時間(季節與晝夜)、空間(不同地理位置)三方面的結構,以此反映生物多樣性的時空信息。與傳統的反映低維度特征的聲學指數方法相比,將音頻樣本置入共同的高維特征空間能夠避免特定生態系統產生的偏差,從而準確地量化大尺度下生境質量的時空變化,并實現異常聲音事件的監測。

機器學習的方法在聲景監測的鳴聲識別和分類中具有廣泛前景,目前受限于訓練數據集的缺乏,機器學習方法的有效性仍待驗證和發展。但其在生物多樣性評估中的應用將隨著聲景監測網絡的建設、聲音標簽庫的豐富、神經網絡等深度學習方法的改進,可能成為生物多樣性實時評價技術的突破口。

3 人類身心健康評價

在聲景研究的發展進程中,眾多學者利用聲景數據,結合社會學、心理學或生理學的理論與方法進行聲景評價。如采取愉悅度、豐富度等反映聲景感知的心理學指標,或反映壓力水平的皮質醇等生理學指標,或利用腦成像、神經成像等生理醫學領域的方法進行聲景認知的研究,并進一步揭示評價結果與人類身心健康的關系。研究表明,積極的聲景對健康及生活質量存在潛在的正效益。如Hunter等[40]通過實驗研究創造性地提出“自然藥丸”的處方,實驗結果表明每天20—30分鐘置身自然環境可以大大降低應激激素皮質醇水平,從而提高工作效率和生活質量。Liu等[41]結合眼動追蹤實驗與傳統主觀心理測量,指出鳥鳴伴蟲聲、流水或輕音樂伴古剎鐘聲可以顯著降低腦力負荷,積極的自然聲音和山頂景觀有利于緩解游客心理壓力；Erfanian等[42]研究了心理健康和人口統計學因素對人類聲景感知的影響,研究數據結果顯示以自然聲音為主導的地點,聲景的愉悅度最高；Jo等[43]基于視聽交互視角,研究人類行為特征對城市公園聲景感知的影響,指出自然聲音可以減少聽者困惑和不愉快的感覺,人發出的聲音在降低公園平靜感的同時增加了對公園活力的體驗感；Buxton等[44]通過文獻綜述及薈萃分析方法,研究國家公園中自然聲音及其分布的健康效益,他結合心理學上的注意力恢復理論與壓力恢復理論,指出自然界的流水聲和鳥鳴聲對身心治愈和壓力紓解的作用最大。

聲景在生態保護、公共健康等方面發揮著積極的作用,反映生物多樣性的自然聲音對民眾身心健康具有重要的服務功能。隨著近年來公共衛生事件的爆發,城市人居環境與公眾健康研究快速發展[45],應進一步加強聲景與人類生理、心理健康的相關性研究,從而為聲景促進人類健康、緩解公共醫療壓力的研究提供理論依據。

4 結論與展望

4.1 技術進步下的聲景研究發展趨勢

隨著聲元素標簽庫的豐富、人工智能技術的發展,以及聲景大數據的形成,聲景生態學數據分析技術得到了快速發展。目前已在聲景元素解析、生物多樣性評估、人類身心健康評價等方面得到了應用,充實了聲景生態學的研究內容。聲景生態學數據分析技術的發展正在經歷從人工到機器、從單一特征計算到多維特征提取、從單學科研究到多學科聯合分析的狀態,并不斷拓展著聲景生態學的研究深度與廣度。

4.2 加強分析技術的優化與標準化

目前,神經網絡算法與深度學習在自動識別與聚類分析方面的優勢得到顯著體現,但需要進一步優化和標準化,以此提高方法的通用性和研究結果的可比性。各種途徑的分析技術也存在一定的局限性,如聲學指數法存在閾值和通用性差等問題,語譜圖分割法則面臨不同設備頻譜圖的差異問題,機器學習的方法在神經網絡的超參數設置中也存在標準化問題。這意味著要實現標準化及可比性,應開發移植性更強的聲學指數,統一語譜圖分析中頻譜圖規格和提取方法,或優化神經網絡模型結構和參數設置。逐漸形成聲景生態學自身的技術方法體系,進而基于標準化的聲景數據分析方法實現研究結果之間的可比性。

4.3 推動聲景生態學的多學科融合

從聲景生態學的發展以及聲景數據的綜合性特征來看,注重多學科交叉融合是聲景領域研究的重中之重。盡管Pijanowski已明確提出聲景生態學的6個研究領域,但仍然缺乏針對6項內容的共識性結論和具體分析方法的研究,需要借助其他學科的理論體系及技術手段進行聲景生態學的理論突破與深入剖析。聲景作為一種重要的聽覺景觀,同樣具有顯著的時空異質性,因此,聲景監測可以參考景觀生態學的研究方法,從大區域尺度采樣,采取多尺度分析方法,充分量化其空間異質性格局,在此基礎上結合時間維度,反映聲景的時空格局變化。另一方面,聲景監測在應用于物種識別及其生物多樣性評估時,需要進一步結合物種生態學、生物聲學的相關理論,明確各類物種在環境中的發聲特性和相互關系,如鳥類發聲存在倫巴第效應[27]。而關注人類身心健康的聲景生態學研究則需要結合心理學、生理學及其相關指標,進行二者相互作用機制的研究,以此揭示聲景對人類健康正向效益的定性或定量結果。還可以結合聲學領域從物理、工程的角度研制靈敏度更高,頻率響應范圍更廣,環境適應性更強的聲學傳感器,從而采集涵蓋更多種群與生態系統的數據信息。同時結合計算機學科,進一步挖掘有針對性的機器學習方法,提高物種識別和生物多樣性評估的精度。總而言之,未來的聲景生態學應當靈活借鑒其他學科的智慧,進一步豐富其研究內容,并完善其自身技術體系。