面向人工智能的數(shù)字信號處理課程案例設(shè)計

張海劍，夏桂松，余 磊，江 昊

（武漢大學(xué)，武漢 430072）

現(xiàn)如今，計算機技術(shù)、大數(shù)據(jù)、云計算、移動通信及各種互聯(lián)網(wǎng)技術(shù)發(fā)展迅速，促進了以這些新型信息技術(shù)為核心的人工智能系統(tǒng)的高速發(fā)展。人工智能已經(jīng)成為引領(lǐng)新一輪科技革命和產(chǎn)業(yè)變革的戰(zhàn)略性技術(shù)以及世界上眾多國家的戰(zhàn)略需求，國內(nèi)外越來越多的高等學(xué)校開始設(shè)立與人工智能相關(guān)的專業(yè)、學(xué)科或課程體系，全球已經(jīng)有超過400 所高校建立了人工智能研究方向。教育部印發(fā)了《高等學(xué)校人工智能創(chuàng)新行動計劃》，要求高校全面貫徹黨的十九大精神，以習(xí)近平新時代中國特色社會主義思想為指導(dǎo)，貫徹創(chuàng)新、協(xié)調(diào)、綠色、開放、共享的新發(fā)展理念，圍繞科教興國、人才強國、創(chuàng)新驅(qū)動發(fā)展、軍民融合等戰(zhàn)略，加快構(gòu)建高校新一代人工智能領(lǐng)域人才培養(yǎng)體系和科技創(chuàng)新體系，全面提升高校人工智能領(lǐng)域人才培養(yǎng)、科學(xué)研究、社會服務(wù)、文化傳承創(chuàng)新及國際交流合作的能力，推動人工智能學(xué)科建設(shè)、人才培養(yǎng)、理論創(chuàng)新、技術(shù)突破和應(yīng)用示范全方位發(fā)展，為我國構(gòu)筑人工智能發(fā)展先發(fā)優(yōu)勢和建設(shè)教育強國、科技強國、智能社會提供戰(zhàn)略支撐。在新工科建設(shè)背景下，人工智能專業(yè)旨在培養(yǎng)中國人工智能產(chǎn)業(yè)的應(yīng)用型人才，截至2020 年全國有215所高校獲批設(shè)置人工智能本科專業(yè)，武漢大學(xué)、華中科技大學(xué)和浙江大學(xué)獲批設(shè)置人工智能交叉學(xué)科。國務(wù)院發(fā)布的《新一代人工智能發(fā)展規(guī)劃》確立了我國新一代人工智能的“三步走”戰(zhàn)略目標(biāo)，將我國人工智能技術(shù)與產(chǎn)業(yè)發(fā)展上升為國家重大發(fā)展戰(zhàn)略，使得人工智能成為各行各業(yè)發(fā)展的助推器。教育部、科技部和國家發(fā)展改革委等多個國家部委相繼頒布指南和創(chuàng)新計劃，指導(dǎo)高校進一步完善人工智能學(xué)科體系。

人工智能（AI）是一門以信息技術(shù)為基礎(chǔ)，面向計算機、神經(jīng)生理學(xué)等多個學(xué)科方向的應(yīng)用型交叉學(xué)科。目前的AI 課程群除涉及人工智能導(dǎo)論、數(shù)據(jù)結(jié)構(gòu)與算法、模式識別、自然語言處理、知識表示與處理及計算機系統(tǒng)基礎(chǔ)等傳統(tǒng)內(nèi)容外，還增加了人工智能現(xiàn)代方法、智能體、語音處理、深度學(xué)習(xí)、強化學(xué)習(xí)、認知心理學(xué)和腦科學(xué)等內(nèi)容，其中一些增加的課程已經(jīng)出現(xiàn)在MIT、CMU 及Stanford 等國外高校開設(shè)的AI 課程中。人工智能專業(yè)和課程體系的發(fā)展將給電子信息類的課程帶來理論和實踐等各方面的改革與創(chuàng)新，如優(yōu)質(zhì)AI 教學(xué)資源的開放共享平臺及“人工智能+X”相關(guān)的各類產(chǎn)學(xué)研實踐項目等。對于未來高校的課程體系改革，強調(diào)人工智能與其他學(xué)科、課程深度交叉融合，已經(jīng)成為必然趨勢。大量的人工智能技術(shù)已經(jīng)應(yīng)用在電子信息類專業(yè)中的信號處理、機器視覺和智能系統(tǒng)等方面，如何從信號處理和信息處理基礎(chǔ)課程體系出發(fā)，融合最前沿的人工智能教學(xué)內(nèi)容，以構(gòu)建電子信息類人工智能專業(yè)人才培養(yǎng)模式，成為信號處理類課程發(fā)展所面臨的問題之一。

數(shù)字信號處理（DSP）課程是面向電子信息類學(xué)科專業(yè)開設(shè)的基礎(chǔ)課程，同時也是電子與計算機專業(yè)等信息領(lǐng)域?qū)W科的專業(yè)基礎(chǔ)課程，與語音處理、圖像處理、機器學(xué)習(xí)及計算機視覺等人工智能核心課程具有千絲萬縷的聯(lián)系。筆者認為，在當(dāng)前人工智能領(lǐng)域高速發(fā)展時期，面向AI 方向的電子信息類課程內(nèi)容和框架需要作出相應(yīng)調(diào)整，原因在于以下幾點。（1）技術(shù)發(fā)展趨勢與國家人才培養(yǎng)需求。AI 技術(shù)已經(jīng)應(yīng)用在電子信息類專業(yè)中的信號處理、智能系統(tǒng)和機器學(xué)習(xí)等方面，如何從信號與信息處理基礎(chǔ)課程體系出發(fā)，融合最前沿的AI 教學(xué)內(nèi)容與案例，迎合了國家對AI 人才的培養(yǎng)需求。（2）行業(yè)發(fā)展背景需求。隨著人工智能技術(shù)的迅猛發(fā)展，AI 方向畢業(yè)的學(xué)生就業(yè)市場前景廣闊，社會各行業(yè)對AI 人才的需求將會越來越大。雖然AI 專業(yè)及其課程受到了學(xué)生的歡迎，但不同學(xué)科的AI 課程設(shè)置與改革仍然是制約人工智能發(fā)展的重要因素。因此，將前沿的AI 案例融入DSP 課程的體系框架，可以讓學(xué)生更順利過渡到AI 的核心課程體系，對電子信息類專業(yè)中的AI人才培養(yǎng)具有重要意義。

一、面向AI 的DSP 課程案例設(shè)計

當(dāng)前人工智能主流技術(shù)知識體系均建立在信號處理理論基礎(chǔ)之上，例如“卷積運算”“不確定性分析”等，相應(yīng)的課程包括信號與系統(tǒng)、數(shù)字信號處理、圖像處理、語音處理及機器視覺等。信號與信息處理學(xué)科為人工智能提供了堅實的理論基礎(chǔ)，其基本原理和方法已經(jīng)應(yīng)用到幾乎所有的物理系統(tǒng)和社會計算中，可以實現(xiàn)通信、語音及圖像等信號采樣、傳輸與分析全科研鏈條的智能化處理。數(shù)字信號處理課程作為信號處理系列課程中的重要環(huán)節(jié)，主要以離散時間序列與線性時不變系統(tǒng)的分析與處理為核心內(nèi)容，圍繞DTFT、DFT、Z 變換及濾波器等分析與處理手段展開討論。面向電子信息類專業(yè)的AI 人才培養(yǎng)，應(yīng)該結(jié)合AI 專業(yè)自身培養(yǎng)定位與課程體系結(jié)構(gòu)，有針對性地將DSP 課程的建設(shè)思路從“信號”偏向于“數(shù)據(jù)”，重構(gòu)以“信號分析與處理”為核心、“數(shù)據(jù)學(xué)習(xí)”為導(dǎo)向的DSP 課程框架。

我們在經(jīng)典的DSP 課程結(jié)構(gòu)基礎(chǔ)上，通過創(chuàng)建由信號（離散序列）構(gòu)成的樣本庫，設(shè)計利用深度神經(jīng)網(wǎng)絡(luò)（DNN）實現(xiàn)信號分析與處理的AI 案例，以突出“數(shù)據(jù)學(xué)習(xí)”為導(dǎo)向的DSP 課程新結(jié)構(gòu)，如圖1 所示。該課程結(jié)構(gòu)在幫助學(xué)生建立信號與系統(tǒng)分析與處理知識結(jié)構(gòu)的同時，引入了語音、圖像等前沿領(lǐng)域的AI 教研案例和科研成果，可以滿足學(xué)生對人工智能相關(guān)領(lǐng)域的知識需求。最終目標(biāo)是讓電子信息類學(xué)生從數(shù)字信號處理中研究時域/頻域的基礎(chǔ)方法過渡到人工智能專業(yè)的主干核心課程中來，例如圖像處理和模式識別近幾年的研究熱點——時頻分析、稀疏表示、深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)等。

圖1 面向AI 的DSP 課程案例設(shè)計（信號分析與處理+AI 案例）

數(shù)字信號處理課程知識點繁多，其中傅里葉變換和濾波器設(shè)計是DSP 的兩大核心知識點。在大數(shù)據(jù)時代背景下，以“數(shù)據(jù)”為核心成為了人工智能的典型特點，所以培養(yǎng)學(xué)生掌握數(shù)據(jù)分析、處理的方法是人工智能方向DSP 課程的重要任務(wù)之一。接下來，我們圍繞傅里葉變換（信號分析）和濾波器卷積運算（信號處理）兩個核心內(nèi)容，進行跨學(xué)科探索性研究，設(shè)計面向人工智能的“數(shù)據(jù)學(xué)習(xí)”課程案例。

二、信號分析案例：基于數(shù)據(jù)學(xué)習(xí)的智能語音分離

傅里葉變換及其二維時頻變換作為信號頻率分析的重要手段，一直是DSP 課程的核心知識點。近來，智能語音成為《國家新一代人工智能標(biāo)準(zhǔn)體系建設(shè)指南》中的關(guān)鍵領(lǐng)域技術(shù)之一，我們以語音信號為課程案例設(shè)計對象，設(shè)計了一個基于“數(shù)據(jù)學(xué)習(xí)”和注意力機制的編碼網(wǎng)絡(luò)模型，以替換經(jīng)典數(shù)字信號處理中短時傅里葉變換（STFT）的角色，并應(yīng)用于混合語音信號的智能分離。

該案例中設(shè)計的編碼模塊與分離模型可以直接取代傳統(tǒng)語音分離中的STFT 與二值掩膜預(yù)測，無需任何調(diào)整，且具有更低的算法復(fù)雜度。值得一提的是，當(dāng)語音信號源數(shù)增加且未知時，所提算法的性能相比于現(xiàn)有算法在所有任務(wù)中均能持續(xù)顯著提高。更多的案例細節(jié)可以參考我們github 網(wǎng)站的開源代碼：https：//github.com/yimingxiao1/speech-separation。

三、信號處理案例：基于數(shù)據(jù)學(xué)習(xí)的二維卷積運算

傅里葉變換和卷積處理均建立在信號頻率分析基礎(chǔ)之上，傳統(tǒng)DSP 課程通過設(shè)計數(shù)字濾波器增強或者減弱某個頻帶信號，且通過卷積處理實現(xiàn)數(shù)字濾波器。定義數(shù)字濾波器沖激響應(yīng)序列為h[n]，當(dāng)輸入序列為x[n]時，系統(tǒng)的輸出可以表示為h[n]與x[n]的卷積形式。我們以信號的二維卷積運算為例，設(shè)計了一個基于“數(shù)據(jù)學(xué)習(xí)”的卷積神經(jīng)網(wǎng)絡(luò)（CNN），以替換經(jīng)典數(shù)字信號處理中二維卷積的角色，并應(yīng)用于非平穩(wěn)信號的時頻分析。

時頻域分辨率和多分量導(dǎo)致的交叉項是制約信號時頻分析效果的兩大重要因素。傳統(tǒng)的Cohen 類二次型時頻分布基于經(jīng)典的維格納-威利分布（WVD），在模糊函數(shù)域設(shè)計一個合適的濾波器（即核函數(shù)）進行交叉項抑制，從而得到信號的無交叉項時頻分布。如果將濾波器的沖激響應(yīng)h[n]設(shè)計為低通序列，那么用于時頻分析的核函數(shù)等價于一個低通數(shù)字濾波器。通過設(shè)計該低通濾波器沖激響應(yīng)的頻率特性，可以得到濾波器或者卷積輸出y[n]的頻率成分。然而，該類方法受到時頻分析中“交叉項”與“分辨率”不能同時提升性能的限制，即盡管抑制了交叉項，但往往以犧牲信號時頻域分辨率為代價。根據(jù)傅里葉理論中的頻譜卷積定理，我們觀察到，核函數(shù)和WVD 在時頻域滿足二維卷積的運算關(guān)系，這對卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計具有一定的指導(dǎo)意義，啟發(fā)我們構(gòu)思出利用基于“數(shù)據(jù)學(xué)習(xí)”的卷積核代替?zhèn)鹘y(tǒng)人為調(diào)參的核函數(shù)。具體來說，我們設(shè)計了一個數(shù)據(jù)驅(qū)動模型，通過大量數(shù)據(jù)挖掘信息，可實現(xiàn)同時提高分辨率和抑制交叉項的任務(wù)。該數(shù)據(jù)驅(qū)動模型是一種多通道的可學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)，由兩部分組成，分別為普通二維卷積塊和短接二維卷積塊。普通二維卷積塊由多個較大尺寸的二維多通道卷積核以及非線性函數(shù)堆疊而成，通過尋找信號時頻分布中主要的方向信息，完成對原始WVD 平滑的任務(wù)；而短接二維卷積塊則由多個較小尺寸的二維多通道卷積核以及非線性函數(shù)堆疊而成，另外還引入了短接的操作以防止信息在網(wǎng)絡(luò)傳遞的過程中丟失導(dǎo)致網(wǎng)絡(luò)性能退化。值得注意的是，實驗驗證了尺寸較小的卷積核更適用于提高分辨率任務(wù)，所以在短接二維卷積塊中需要使用尺寸較小的卷積核。為了進一步精確判斷信號時頻分布中各時頻點的方向，我們引入了人工智能瓶頸注意力模塊（BAM），對短接二維卷積塊輸出中的每一個點進行加權(quán)。實驗結(jié)果證明，提出的可學(xué)習(xí)卷積核模型在提高分辨率的同時，也能極大程度抑制交叉項。更重要的是，雖然訓(xùn)練網(wǎng)絡(luò)模型的數(shù)據(jù)集僅使用了合成信號（由不交疊/交疊非平穩(wěn)信號組合而成），但訓(xùn)練好的網(wǎng)絡(luò)模型在合成信號和實際蝙蝠回聲信號測試上均取得了較好的效果。

在訓(xùn)練數(shù)據(jù)量充足和參數(shù)最優(yōu)化的情況下，該案例設(shè)計的CNN 打破了“交叉項”與“分辨率”難以兼顧的限制，相比于現(xiàn)有的Cohen 類二次型時頻分布，可以取得比經(jīng)典DSP 中的確定性卷積運算更顯著的信號分析效果。更多的案例細節(jié)和實驗結(jié)果可以參考我們的開源網(wǎng)站：https：//github.com/teki97/KL-TFD。

上述案例與DSP 課程中的傅里葉分析和濾波器卷積運算形成了鮮明的對比，體現(xiàn)了如何以“數(shù)據(jù)學(xué)習(xí)”的方式解決信號分析與處理的問題。另外，通過布置基于Python 的案例設(shè)計課程作業(yè)，學(xué)生可以舉一反三，將具有共性的思維方式應(yīng)用于課程中的其他專業(yè)問題求解。我們認為，面向AI 的DSP 案例真正發(fā)揮了DSP 課程與AI 類課程之間的橋梁紐帶作用，不僅讓學(xué)生們熟悉了神經(jīng)網(wǎng)絡(luò)等AI 課程知識，而且大大提高了他們的專業(yè)課學(xué)習(xí)興趣。因此，通過重構(gòu)信號處理系列課程的體系框架，在信號與信息處理類課程中引入前沿的人工智能教學(xué)案例，讓學(xué)生從專業(yè)基礎(chǔ)課程順利地過渡到了人工智能專業(yè)的主干核心課程。

四、結(jié)束語

面向AI 的信號與信息處理類課程致力于構(gòu)建基礎(chǔ)理論人才與“AI+X”復(fù)合型人才并重的培養(yǎng)體系，探索深度融合的學(xué)科建設(shè)和人才培養(yǎng)新模式。本文以DSP課程為研究對象，提出面向AI 的DSP 課程案例建設(shè)，以改進傳統(tǒng)的DSP 課程知識體系，為學(xué)生學(xué)習(xí)不同學(xué)科的思想方法以及進一步學(xué)習(xí)與應(yīng)用人工智能技術(shù)奠定基礎(chǔ)。我們以二維傅里葉變換（STFT）和二維卷積運算為例，闡釋如何設(shè)計前沿的AI 教學(xué)案例配合DSP 課堂教學(xué)，不僅使學(xué)生了解了AI 行業(yè)發(fā)展的最新動態(tài)，也能讓學(xué)生更深刻地理解課程核心知識點。同時，通過設(shè)計和分享AI 的最新科研成果，也進一步提升了教師的科研和教學(xué)能力。后續(xù)工作會建立以Python 語言為基礎(chǔ)的教學(xué)實踐資源，以完善實踐課程內(nèi)容。