音樂律動在智能照明領(lǐng)域的應用研究

林友欽，馬 凡

(立達信物聯(lián)科技股份有限公司， 福建 廈門 361010)

引言

LED光源作為新一代光源已全面進入到通用照明領(lǐng)域，它易于進行數(shù)字化控制，可以依據(jù)人們對照明的需求進行精密調(diào)節(jié)[1]。Zigbee、Bluetooth、Wi-Fi短距離無線通訊技術(shù)依據(jù)各自通訊距離、傳輸速率等方面的特點[2]，在智能設(shè)備領(lǐng)域取得了大范圍的應用。長期以來，智能照明系統(tǒng)如雨后春筍般在市場涌現(xiàn)，其主要功能包含了遠程控制、定時控制、分組和場景、設(shè)備聯(lián)動等。隨著智能照明行業(yè)的發(fā)展，市場上出現(xiàn)了以音樂律動為創(chuàng)新點的智能照明產(chǎn)品。對于這些產(chǎn)品，有的產(chǎn)品只是定期改變燈的顏色而不是與音樂匹配，有的過于生硬、律動感不好。除此之外，目前大部分燈光產(chǎn)品只能對單個燈具進行控制，效果過于單調(diào)，無法起到利用燈光調(diào)節(jié)整體氣氛的目的[3]。同時，在音源較遠的遠場應用場景下，其音樂律動的效果顯著下降。

因此，優(yōu)化音源數(shù)據(jù)的處理算法，建立音樂特征值與色域的算法模型，整合無線通訊技術(shù)來提升音樂律動體驗有非常重要的現(xiàn)實意義。

1 系統(tǒng)設(shè)計

本文以Wi-Fi+BLE的雙協(xié)議燈為硬件載體，實現(xiàn)多燈音樂律動的系統(tǒng)。主要涉及BLE技術(shù)、Wi-Fi Beacon技術(shù)和Wi-Fi Sniffer技術(shù)(圖1)。

圖1 音樂律動系統(tǒng)Fig.1 Music rhythm system

音樂律動的過程為：

1)智能手機APP通過BLE偵聽，選擇與其最近的Wi-Fi+BLE 雙協(xié)議智能燈，并與該智能燈建立BLE連接。被選中的智能燈則作為主節(jié)點，其他Wi-Fi+BLE 雙協(xié)議智能燈為從節(jié)點，從節(jié)點打開自己的Wi-Fi Sniffer功能。

2)開啟音樂律動后，APP開啟麥克風拾音，并將提取后的音樂特征通過轉(zhuǎn)換算法轉(zhuǎn)換為燈光控制指令，通過BLE發(fā)送給主節(jié)點。

3)主節(jié)點將燈光控制指令通過Wi-Fi Beacon廣播發(fā)送，并執(zhí)行該燈光控制指令。

4)從節(jié)點執(zhí)行接收到的燈光控制指令。

2 音樂特征及聲音的拾取實現(xiàn)

聲音的特征包括強度(單位為分貝，dB)，頻率(單位為赫茲，Hz)。在音樂理論中，根據(jù)十二平均律和純八度理論，每一個音符都存在著與之相應的頻率[3]，其中絕大多數(shù)音符的頻率均低于5 kHz，如表1所示。

表1 音符與頻率關(guān)系Table 1 The relationship between musical note and frequency

根據(jù)音符的頻率范圍分布和香農(nóng)采樣定理，采樣數(shù)量越多，得到的聲音頻譜分辨率越高。因絕大多數(shù)音符低于5 kHz，考慮到系統(tǒng)處理時間，本文采用44.1 kHz的采樣頻率，采集間隔為20 ms，單次采樣點數(shù)為1 024個。

以某次采集的音樂數(shù)據(jù)為例，獲得分貝—頻率分布情況如圖2所示。

根據(jù)圖2，我們可以得出有效分貝(即振幅最大的分貝值)為53 dB，有效頻率(即振幅最大的頻率值)位于2.56 kHz。

圖2 分貝—頻率分布Fig.2 Decibel-frequency distribution

連續(xù)采集一小段音樂，我們可以得到一段聲音特征值(包含音樂的強度和頻率)，如圖3和圖4所示。

圖3 有效分貝變化Fig.3 The changing of effective-decibel

圖4 有效頻率變化Fig.4 The changing of effective-frequency

3 音樂律動轉(zhuǎn)換算法分析和實現(xiàn)

對于音樂特征值，秦玉龍[4]總結(jié)了音樂特征的組成，即基本特征：音高、音長、力度、速度和音色。從音樂基本特征推導出音樂的復雜特征：旋律、節(jié)奏和和聲。進而進一步推導出音樂的曲式結(jié)構(gòu)、情感內(nèi)涵和音樂風格。

王樂等[5]提出了音樂基本特征與彩燈色彩之間的映射關(guān)系，即將音強與亮度、音色與飽和度、音高與色域建立起了多維度的關(guān)聯(lián)關(guān)系，對音樂和色彩的關(guān)聯(lián)進行了嘗試和探索。

上述方法在實現(xiàn)上較復雜，在色彩與旋律關(guān)聯(lián)效果的體驗上不夠明晰。本文提出以下轉(zhuǎn)換算法。

對于音強，考慮音強受到音源距離的影響，本文對于音強的處理采用差分值的方法，將其與燈光亮度建立聯(lián)系。即根據(jù)采集到的有效分貝值，將突然的下降拐點(即波峰)判斷為音樂的節(jié)奏點，并在節(jié)奏點時，將燈光的亮度值調(diào)到最高，隨后燈光亮度漸變回落，以此實現(xiàn)音強到燈光亮度控制的轉(zhuǎn)換。

假定第N次采集到的有效分貝值為DN。則音樂節(jié)奏點判定的條件為：

①DN>DN-1且DN-1>DN-2，DN-1為節(jié)奏點；

②當前節(jié)奏點與上一節(jié)奏點的分貝差大于δ(δ為根據(jù)實際測試結(jié)果設(shè)置的去抖值)。

對于音高、速度和音長，結(jié)合到背后所表達的情感屬性，將其與燈光色彩建立聯(lián)系。為了提高燈光色彩的表現(xiàn)力，色彩飽和度采用最大值。

音樂旋律本身可以分為傷感或者歡快，色彩的性格屬性也可以分為冷靜或者熱情。不同音樂旋律類型所具有的特質(zhì)如表2所示。

表2 音樂旋律的類型及特征Table 2 The type of music and their characters

基于表2中不同音樂旋律類型的特征，循環(huán)統(tǒng)計和計算固定時間段內(nèi)(例如5s)音樂節(jié)奏點的以下參數(shù)，推算出該時間段內(nèi)的音樂旋律類型。

根據(jù)表1音符與頻率的關(guān)系，定義頻率低于1 kHz的音符為低頻音。假設(shè)固定時間周期內(nèi)低頻音音樂節(jié)奏點的數(shù)量為M，總的音樂節(jié)奏點的數(shù)量為S。則低頻音的比例R1為：

(1)

定義兩個連續(xù)音樂節(jié)奏點的分貝差值大于5 dB為一個突變。假設(shè)固定時間周期內(nèi)突變的數(shù)量為N，總的音樂節(jié)奏點的數(shù)量為S。則突變的比例R2為：

(2)

對音樂旋律的簡約判斷算法如下：

①如果R1>R2且R1-R2≥0.03，則音樂旋律為傷感；

②如果R2>R1且R2-R1≥0.03，則音樂旋律為歡快；

③其他情況，則音樂旋律為中性。

在實際的應用過程中，可以進一步優(yōu)化算法，例如在判斷當前音樂旋律的類型時，通過修改值0.03來調(diào)節(jié)中性音樂旋律的范圍。

色彩(冷靜)對應為圖5色環(huán)中綠色、藍色、紫色相關(guān)區(qū)域，色彩(熱情)對應為圖5色環(huán)中黃色、橙色、紅色相關(guān)區(qū)域。

圖5 色相環(huán)Fig.5 The color circle

由此，我們基于對音樂旋律類型的識別，將音樂旋律的“傷感”對應到照明色彩中“冷靜”，將音樂旋律的“歡快”對應到照明色彩中“熱情”，將音樂旋律的“中性”對應到全部色彩范圍。以固定時間長度，周期性判斷音樂旋律的類型，然后在對應色彩范圍中隨機選擇色彩進行燈光呈現(xiàn)。

4 無線通訊技術(shù)實現(xiàn)

藍牙低功耗(Bluetooth Low Energy，BLE)是由藍牙技術(shù)聯(lián)盟設(shè)計和維護的一種無線通訊技術(shù)。相較經(jīng)典藍牙，低功耗藍牙旨在保持同等通信范圍的同時顯著降低功耗和成本。應用BLE的通用訪問協(xié)議(GAP)規(guī)范、通用屬性協(xié)議(GATT)規(guī)范，將智能手機與設(shè)備之間建立BLE連接，智能手機APP通過設(shè)備自定義的UUID服務進行控制指令的讀寫操作。

在無明顯干擾的典型室內(nèi)距離(5 m)，測試BLE GATT丟包率和延遲情況如表3所示。

表3 低功耗藍牙GATT通信測試結(jié)果Table 3 The test results of BLE GATT communication

Wi-Fi Beacon即Wi-Fi信標幀，是IEEE 802.11管理幀的一種。Wi-Fi Beacon主要以廣播的方式用來宣告某個網(wǎng)絡(luò)的存在，也可以用來傳輸應用數(shù)據(jù)。IEEE 802.11是現(xiàn)今無線局域網(wǎng)通用的標準，它是由國際電氣與電子工程師協(xié)會(IEEE)所定義的無線網(wǎng)絡(luò)通信的標準[6]。Wi-Fi標準是802.11標準的一個子集，由Wi-Fi聯(lián)盟負責管理。

Wi-Fi Sniffer即Wi-Fi 探針技術(shù)，它是基于Wi-Fi探測技術(shù)來識別周圍無線網(wǎng)絡(luò)設(shè)備的一種技術(shù)。當一個Wi-Fi設(shè)備在Wi-Fi Sniffer的偵聽范圍內(nèi)， Wi-Fi設(shè)備發(fā)送任何一幀數(shù)據(jù)包，探針都能截獲并分析出此幀MAC層與物理層的一些信息，比如發(fā)送與接收設(shè)備的MAC地址、幀類型、信號強度等。

在無明顯干擾的典型室內(nèi)距離(5 m)，發(fā)送者以150 ms間隔發(fā)送10 000個Wi-Fi Beacon幀(每個Beacon包以10 ms為間隔重發(fā)4次)，測試接收者收到Wi-Fi Beacon丟包率和延遲情況如表4所示。

表4 Wi-Fi Beacon通信測試結(jié)果Table 4 The test results of Wi-Fi Beacon communication

5 應用效果

對本文的音樂律動系統(tǒng)，就燈光控制與音樂節(jié)奏的同步性、主從節(jié)點之間燈光變化的同步性以及音樂旋律類型與燈光色彩的關(guān)聯(lián)性進行評估和試驗。

如表5所示，將測得時間進行匯總，我們得到了燈光變化與音樂節(jié)奏之間的平均總遲滯時間為不超過90 ms。實際的音樂律動體驗中，可以感覺到良好的同步性。

表5 燈光效果與音樂節(jié)奏之間遲滯時間分析Table 5 The analysis of lag time between light effect and music rhythm

由于從節(jié)點的控制指令來源于主節(jié)點的轉(zhuǎn)發(fā)，我們對主從節(jié)點之間的時間延遲進行測試，以評估主節(jié)點與從節(jié)點在燈光變化上的同步性(表6)。

表6 主從節(jié)點之間遲滯時間測試結(jié)果Table 6 The test result of lag time between master node and slave node

從表6測試結(jié)果來看，從節(jié)點的燈光變化相對于主節(jié)點的平均延遲約為35.4 ms，最大延遲為219 ms。實際的音樂律動體驗中，主從節(jié)點之間的同步性總體非常良好，在極小概率下會有由于環(huán)境干擾等因素導致的較大延遲，這種現(xiàn)象肉眼可感知。

選擇一首傷感音樂和一首歡快音樂，對本文提出的音樂旋律類型判斷算法進行驗證，其測試結(jié)果如表7所示。

表7 音樂旋律類型識別算法測試結(jié)果(傷感音樂和歡快音樂)Table 7 The test result of identifying the music rhythm type algorithm(blue music and happy music)

從測試結(jié)果來看，算法對這兩首較典型的傷感和歡快音樂旋律的判斷準確率為100%，效果較好。按照上述方法，繼續(xù)擴大驗證樣本，得到測試結(jié)果如表8所示。

從表8的測試結(jié)果來看，算法對典型的傷感或歡快音樂旋律的判斷準確率平均在90%以上，該算法具有較好的實用價值。

表8 音樂旋律類型識別算法測試結(jié)果(擴大驗證樣本)Table 8 The test result of identifying the music rhythm type algorithm(expand validation samples)

從實踐來看，音樂律動時的燈光色彩跟音樂旋律類型有了較好的同步效果，實現(xiàn)了燈光對音樂情感的人性化表達，可以滿足用戶對音樂律動的多樣化、人性化、智能化需求。

6 總結(jié)與展望

照明與音樂的律動是智能照明走向娛樂照明、情景照明等細分領(lǐng)域的一個重要方向。本文設(shè)計的音樂律動系統(tǒng)，在燈光控制與音樂節(jié)奏的同步性以及音樂旋律與燈光顏色的情感化關(guān)聯(lián)方面都取得了預期的性能指標，能很好地滿足用戶體驗。該系統(tǒng)目前已經(jīng)在多款智能照明產(chǎn)品上得到應用，系統(tǒng)運行穩(wěn)定。在音樂特征與燈光控制的轉(zhuǎn)換算法、通訊技術(shù)的創(chuàng)新與組合等方面，還值得從業(yè)者繼續(xù)探索和研究。在用戶體驗打磨和產(chǎn)品差異化應用方面，音樂律動技術(shù)必將是照明產(chǎn)品提升競爭力的一大突破點。