基于STFT算法的聲光自適應映射技術研究

中圖分類號：TN912.3 文獻標識碼：A 文章編號：2096-4706（2025）12-0114-05

Research on Acousto-optic Adaptive Mapping Technology Based on STFT Algorithm

YE Linjun， CHEN Peiwen （TPVDisplay Technology（Xiamen） Co.，Ltd.，Xiamen 3611o1，China）

Abstract：Theconversion ofaudio signals into light usually involves converting the frequencyinformation of the audio signalsintotheintesityolor，orbrighesschangesofthlghtsignals，esultingintepenomenoofisucientcolorand intensityofthe light signalsand displaydelay.Acontrol methodforaudioacousticsignal adaptive mappingof opticalsignal technologyisproposedinispperIepreprocesingstage，itextractsthespectralcharacteristicsofthespectralergyand spectralcenter，focusingonanalyzingvarious characteristicsof pitch，timbre，hythmanddynamicchanges inaudiosignals. Acording tothemappingofthespectralcenterofthaudiosignalsontothecolorspectrum，diferentfrequenciescorsond to diferentcolor，andthebrightnessofthelightiscontrolledaccordingtothespectralenergylevelTheresultsshothatoundlightadaptive mapping technology basedon STFTalgorithm has significant advantages inspeedand efectivenessof audio frequency mapping color display，verifying the efectiveness ofthe proposed color mapping and display delay strategy.

Keywords： LED; liquid crystal display; FFT; window function; spectrum analysis

0 引言

音頻信號的頻率轉換為光頻率是一個將聲音信號轉換為視覺信號的創意過程，通常用于藝術、娛樂或輔助技術中。要實現這個過程，需要涉及將音頻信號的頻率特性映射到光的頻率上，例如聲音的頻率、強度和節奏可以采用色彩、亮度或光的位置變化來表示。音頻信號的不同頻率對應不同的顏色，例如，用藍色的光表示低頻，用綠色的光表示中頻，用紅色的光表示高頻。聲音的強度可以轉換為光的亮度，響度較大的部分可以對應更亮的光，而較輕的部分則對應較暗的光。節奏和打擊樂部分可以通過光的閃爍來表示，閃爍的頻率和節奏可以與音樂同步。

實現音樂音頻信號到光的轉換，這種轉換技術應用在音樂可視化、燈光秀和音樂會的燈光設計，以及輔助聽力障礙設計中。由于音頻信號是連續非平穩信號，在智能液晶電視中，可以將輸入的音頻信號轉換為光信號。

需要通過DSP芯片聲音功能處理模塊采用短時傅里葉變換[1-4]，分析音頻信號在時間上的頻率變化，提取音頻信號的頻譜中心和頻譜能量的特征，根據頻譜特征映射光的顏色和強度，由LED驅動芯片驅動智能液晶電視四邊的環境光LED燈條顯示，讓用戶沉浸在美妙的音樂過程中，同時通過視覺來感受音樂的節奏和情感。

1聲光映射算法

1.1 時頻分析技術

頻譜分析是通過應用傅里葉變換，將音頻信號從時間域轉換為頻率域，可以將音樂信號分解為由不同頻率的正弦波和余弦波組成的組合。這些正弦波和余弦波，是頻率成分的代表，在音樂中承載著不同的音高和音色。由于Audio信號是持續不穩定的信號，因此可以透過短時傅里葉變換（STFT）來分析Audio信號在時間上的頻率變化。對信號進行時間窗處理以實現信號的穩定化，然后對經過時間窗處理的分段信號進行快速傅里葉變換（FFT），從而獲取音頻信號的頻譜[5-6]。

STFT的函數公式為：

其中， 表示時間 t 和頻率 f 的短時傅里葉變換結果； w（n） 表示窗口函數，定義了每一幀的加權；x（n） 表示音頻原始信號，每個 x（n） 對應音頻信號中加窗后的一個幀； N 表示窗口函數的長度，即每個幀的采樣點數； f 表示頻率，它是窗口函數中采樣點的位置，范圍從0到 N-1 。

1.2基于STFT聲光自適應映射算法

對采樣量化音頻信號進行幀加窗，然后進行FFT計算和提取相關特征值，最終執行自適應顏色映射轉換及驅動環境光LED 顯示[7-8]，是聲光自適應映射算法的整體流程。如圖1所示，聲光自適應映射算法的整體流程框圖，具體步驟如下。

1.2.1 音頻信號的預處理

嵌入式微處理器通過采樣將持續不平穩的音頻模擬信號轉變成離散的數字信號，再由量化將采樣得到的連續幅度值轉變成有限數量的離散數值的過程。

對每個頻帶的信號進行處理時，使用幀長為256ms 、幀移為 32ms 的漢明窗對其加權，在短時傅里葉變換（STFT）中的作用是對每個時間幀施加加權。降低相鄰幀間頻譜泄漏。窗函數 w（n） 的計算公式為：

其中， n 表示第 n 幀信號， N 表示信號的幀數。

通過分幀之后每一幀的信號可視為短時平穩的，這些幀通常是連續的，并且會有一定的重疊，以便更好地對每一幀信號信息分析。

1.2.2 頻譜特征提取

音頻信號經過FFT后，對頻譜進行分析，提取頻譜能量 E 的特征，頻譜能量是指音頻信號在頻域中的能量總和，可以反映音頻信號的強度或音量。通過計算每個頻譜分量的平方來獲得每一幀長的頻譜能量E ，計算式如下：

其中， X（k） 表示傅里葉變換后得到的第 k 個頻率分量的復數幅度， N 表示頻譜中頻率分量的總數。由于頻譜能量的特性是反映音頻信號的強度，因此可以根據頻譜能量的高低來控制光的亮度。頻譜能量高可以對應較亮的燈光，而頻譜能量低則對應較暗的燈光。

通過提取音頻信號的頻譜中心（SpectralCentroid）特征及進行分析，用它來表示音頻信號的“平均頻率”。它是頻譜能量的加權平均頻率，其計算方法是將每個頻率分量的能量乘以其對應的頻率，然后將這些乘積相加，最后除以總的能量。頻譜中心的計算式如下：

其中， f_k 表示第 k 個頻率分量的頻率， E_k 表示對應的能量， N 表示頻率分量的總數。

頻譜中心的高低可以反映聲音音頻信號的高低，頻譜中心較高意味著高頻成分的能量較大，聲音聽起來更明亮；頻譜中心較低則意味著低頻成分的能量較大，聲音聽起來更低沉。

1.2.3 顏色映射

通常依據人耳的聽覺范圍 20Hz 到 20000Hz 將音高按頻率范圍進行分級，包括超低音、低音、低中音、中音、中高音、高音和超高音的頻率范圍。由于不同音域通常與特定的情感或氛圍相關聯，一些常見的情感與音域的關聯：高音通常與強烈、激動、尖銳、明亮和活力相關，它能夠引起聽者的注意，產生興奮或緊張的感覺。中音通常與平衡、溫暖、舒適和平靜相關，給人一種親切和自然和諧的情感。低音通常與力量、沉穩、莊嚴、憂郁和深度的情感相關，給人一種安定和踏實的感覺。

而不同顏色的光在視覺藝術和心理學中常常與特定的情感或心理狀態相聯系。常見顏色的光及其可能表達的情感：紅色，表示激情、能量、熱情、力量、愛情、危險、憤怒等方面情感；綠色，通常與平靜、希望、和諧、自然、安全、舒適、成長等方面情感相關；藍色，表示的情感有寧靜、信任、忠誠、智慧、專業、悲傷、孤獨。

音頻信號經過短時傅里葉變換，提取頻譜中心特征值，將頻譜中心值范圍由 20Hz 到 20000Hz 劃分為C0，C1，C2，…，C1021，C1022，C1023共1024等級，頻譜中心值分別與音高頻率分級對應。如圖2所示，利用音域與情感的關聯和顏色與情感的關聯特性，建立音頻信號頻率到光信號顏色對應關系，實現聲光自適應顏色映射。

1.2.4驅動環境光顯示

在智能電視的液晶顯示屏[9-10]四周，設置環境光LED燈條，LED燈條分布在上邊區、下邊區、左邊區和右邊區四個區域，由LED驅動芯片調控LED顯示顏色和亮度調整。依據智能電視環境光配置的需要，可以靈活設計形成單邊、雙邊、三邊或四邊區域環境光，如圖3所示。

RGB顏色映射空間轉換，將音頻聲信號轉換到顏色光信號，通過環境光驅動控制器激活LED發光顯示。

圖4系統流程圖

圖3LED燈條和圖像分區示意圖

音頻信號經過短時傅里葉變換，提取頻譜中心、頻譜能量特征值，通過聲光自適應映射轉換得到顏色RGB數據，同時由頻譜能量轉換為顏色亮度。由智能電視集成的主控制器通過SPI接口傳送顏色RGB和顏色亮度數據到環境光驅動控制器，再由環境光驅動控制器控制LED燈條實時顯示，避免顯示延遲。

2 硬件設計與實現

基于STFT聲光自適應映射技術算法在帶有環境光的智能電視上應用，圖4系統流程圖中，主控制器通過獲取音頻聲信號，對采集聲信號進行數字信號處理，由加時間窗短時傅里葉變換產生頻譜圖，對頻譜分析提取頻譜能量和頻譜中心特征值，啟動自適應系統的主控制器芯片采用聯發科MST9638芯片，環境光驅動控制器芯片采用TI公司的TLC5971LED驅動芯片，能夠驅動12通道16位RGBPWM信號。主控制器芯片MST9638具備高性能多核CPU，基于ARM架構支持多格式音視信號采集，具有數字信號處理，頻譜分析等功能。

主控制器芯片MST9638與環境光驅動控制器芯片TLC5971之間的數據傳輸采用SPI通信的主-從模式（Master-Slave）的控制方式[1]。如圖5所示，SCKI-BUF是時鐘線（SCLK）用于同步數據傳輸，由主設備MST9638產生；SDI-BUF是MOSI（MasterOutSlaveIn）是主設備（MST9638）輸出到從設備（TLC5971）輸入的線路，通常用于發送數據[12-14]

圖2顏色映射

圖5LED驅動連接圖

從HDMI音視頻接口輸入的音頻信號，從USB口加載或APP在線多媒體音視頻文件，經過主芯片MT9638音頻信號解碼，通過DSP聲音功能進行STFT變換處理，對音頻信號變換后的頻譜進行分析，提取頻譜中心和頻譜能量的特征，通過聲光自適應映射轉換得到顏色RGB數據和顏色亮度。由主控制器芯片MST9638通過SPI接口，發送顏色RGB數據和顏色亮度數據到LED驅動控制器TLC5971，再由LED驅動控制器TLC5971，驅動控制環境光LED燈條動態實時顯示。

3 實驗結果

在智能電視的邊框周圍三邊布置環境光，將LED燈條部署在左邊區、上邊區和右邊區三個區域，通過LED驅動芯片TLC5971，驅動控制環境光LED燈條開關顯示。從USB口加載音視頻文件，經過主芯片MT9638音頻信號解碼和STFT變換處理，提取每一幀音頻信號的頻譜中心和頻譜能量的特征，通過STFT算法的聲光自適應映射轉換，頻譜中心轉換得到顏色RGB數據和頻譜能量轉換為顏色亮度。最后將每一幀的顏色RGB和亮度數據，通過SPI串行總線接口順序發送給LED驅動控制器點亮對應的LED燈條。中低音與深沉、溫暖和情感深度相關，可以營造出一種親密和親切的氛圍，如圖6（a）音頻正弦波 500Hz 中低音，由主控制芯片數字信號處理，得到圖6（b）音頻正弦波 500Hz 的頻譜圖，提取頻譜中心特征值 500Hz ，由設定的顏色映射關系，映射為藍色光，如圖6（c）聲光映射LED燈條顯示藍色效果，營造安定和踏實的感覺。

圖6音頻正弦波 500Hz 聲光映射

音頻信號頻率在 1kHz 中音時，通常與平衡、舒適和平靜相關。如圖7（a）所示，由主控制芯片數字信號處理，得到圖7（b音頻正弦波 1kHz 的頻譜圖，提取頻譜中心特征值 1kHz ，由設定的顏色映射關系，映射以青色和黃色為主，如圖7（c）聲光映射LED燈條顯示效果，創造一種平靜和舒適的氛圍，激發快樂和積極的情緒。

圖7音頻正弦波 11kHz 聲光映射

音頻信號頻率在 12kHz 以上時，以紅色為主表示激情、力量，引起聽者的注意，產生興奮或緊張的感覺。如圖8（a）所示，由主控制芯片數字信號處理，得到圖8（b）音頻正弦波 20kHz 的頻譜圖，提取頻譜中心特征值 20kHz ，由設定的顏色映射關系，映射以紅色和橙為主，如圖8（c）聲光映射LED燈條顯示效果。

圖8音頻正弦波 20kHz 聲光映射

4結論

本文給出了基于STFT聲光自適應映射算法，利用頻譜分析法對音頻信號進行頻譜分析，提取音頻信號的頻譜中心和頻譜能量的特征。根據音域與情感的關聯和顏色與情感的關聯特性，建立音頻信號頻率到光信號顏色對應關系，實現聲光自適應顏色映射。通過SoC主控制器由SPI通信傳送聲光映射顏色RGB數據和亮度數據到LED驅動芯片，再由LED驅動芯片控制LED燈條實時無延遲顯示。結果表明，基于STFT聲光自適應轉換算法對音頻頻率映射顏色顯示的速度和效果具有顯著優勢，驗證了所提顏色映射和顯示延遲策略的有效性。

參考文獻：

[1]陳曉梅，王曉瑋，鐘波，等.采用雙譜特征的語音可懂度評價算法[J].聲學技術，2022，41（5）：678-684.

[2]艾學忠，袁天奇，閆敏，等.時頻分析法在鍋爐承壓管線泄漏檢測中的應用研究[J].聲學技術，2022，41（2）：282-287.

[3]洪欽智，王志君，郭一凡，等．一種支持多數據塊混合處理的FFT優化方法[J].西安電子科技大學學報，2022，49（6）：42-50.

[4]周洲.基于FPGA的FFT設計優化及實現[D].成都：電子科技大學，2023.

[5]李守闖.實時頻譜分析儀信號處理技術研究[D].杭州：杭州電子科技大學，2023.

[6]李帥，李靜.基于MATLAB仿真分析頻譜信號的誤差[J].工業控制計算機，2021，34（1）：86-87+89.

[7]劉沅玲，王金莉.基于頻率跟蹤的LED數控恒流驅動電源設計[J].電子器件，2023，46（5）：1406-1412.

[8]宿然，鄭喜鳳，陳宇，等.溫度波動對LED顯示屏白平衡主要參數及圖像色調的影響[J].發光學報，2023，44（2）：346-355.

[9]任克強，王傳強.基于STM32F4的多通道串口驅動TFT液晶屏顯示系統設計[J].液晶與顯示，2020，35（5）：449-455.

[10]楊超普，方文卿，劉明寶，等.LED背光液晶屏的低色溫調節及光譜分析[J].發光學報，2019，40（12）：1531-1537.

[11]姜育生，梁妮，賀國旗.基于MDM9607平臺的SPI接口驅動解析及應用[J].現代信息科技，2023，7（2）：149-152.

[12]盛楊博嚴.基于SPI總線的Arduino顯示與控制模塊設計[J].單片機與嵌入式系統應用，2020，20（3）：74-76+80.

[13]劉維.基于SPI全雙工通信的ICNI健康管控系統[J]電子測量技術，2024，47（19）：34-43.

[14]楊梓鶴，彭秋雨，李湛藝，等.SPI接口仿真設計與實現[J].科技與創新，2022（19）：121-123+126.

作者簡介：葉林俊（1974一），男，漢族，福建平和人，高級工程師，碩士，研究方向：嵌入式軟件系統、Android電視系統；陳培文（1975一），男，漢族，福建惠安人，工程師，本科，研究方向：液晶平板顯示技術、智慧顯示系統。