基于聲紋識別的電網調度認證系統設計

孫麗麗，翟 啟，張延童，翟洪婷，張慶銳

（國網山東省電力公司信息通信公司，山東 濟南 250001）

0 引言

隨著人工智能技術成熟和新一代電網系統設備集成化程度提高，電網系統對管理信息化的要求與日俱增，智能化電網調度已成為當前的研究熱點和實現形式。調度系統對“統一集中調度，各級按權管理”的需要，導致調度中心處理的數據量不斷增加。雖然智能電網自動調度平臺系統內部已經建立相對較完備高效的多級權限管理控制機制，能滿足系統日常運營的實時調度業務需求，但系統調度執行過程管理中，各類系統安全性問題不斷產生，例如，調度系統中可能存在崗位無關人員或使用系統其他部門人員提供的賬戶，進行超出正常權限范圍操作等問題。此類問題根源在于現有調度系統主要以人工通過調度電話專線或者網絡發送操作指令的通信形式來實現［1］，調度流程中缺乏足夠的人員身份認證，對某些特殊調度指令缺少二次確認和真偽鑒別，對電網安全造成潛在威脅。

在人工智能技術飛速發展的今天，聲紋識別等相關技術無疑為提高電網調度效率和保障安全提供了新可能［2］。聲紋識別作為目前所有生物特征驗證方法體系中唯一的非接觸與遠程識別驗證的方法，在調度運行領域具有天然優勢。近年來，越來越多的調度系統采用聲紋識別調度，但實際上該技術的應用僅僅集中在聲學模型、語言模型及分析應用等幾個方面。文獻［3-4］在小規模詞語庫場景中進行實驗和驗證，提出基于高斯混合-隱馬爾可夫模型（gaussian mixture hidden markov model，GMM-HMM）的電力調度場景下的聲學模型，但未能全面系統考慮語言模型變化對語音識別系統性能帶來的影響。文獻［5］設計一些在小規模電網語音調度系統場景下較簡單并且實用有效的語法規則，用于電網語音調度系統中語音命令交互語法規則設計，但該設計所提各種語義信息均不夠全面充分。文獻［6］在雙向編碼的TransFormer 模型基礎上提出一種全新的電網調度場景下語音識別模式，在現有基于BERT的語音識別模型上，刪改一部分語音片段特征并添加關鍵字特征、命名實體特征。上述文獻表明：針對現有電網語音調度系統的研究，大多只關注調度語音的表層語義信息，沒有考慮短語音和欺騙性語音等引發的安全問題。

為此，針對此類電網調度安全挑戰，提出基于深度卷積神經網絡的聲紋識別技術和動態口令技術，設計一種結合語音識別和聲紋識別技術的身份驗證方法，以提升在電網調度語音指揮業務中調度員身份聲紋識別準確率，實現調度員身份驗證。此外，還結合調度指令可行性校驗，確保調度的安全性。

1 聲紋識別技術相關研究

1.1 聲紋識別

現有聲紋識別模型多基于身份向量（identity vectors，i-vectors）方法建立。在這些模型中，以無監督的方式學習映射矩陣T，使得數據最大似然化。矩陣T將通用背景模型（universal background model，UBM）的高維統計信息映射為已知的低維特征信息向量ivectors。通過計算兩個信息向量ivectors的距離，可以判斷兩個聲紋是否歸屬于同一人。近期，有學者提出另一種基于xvectors方法的解決方案，這類方法利用深度神經網絡（deep neural networks，DNN）對訓練數據中的說話人進行分類。訓練完成后，利用特征嵌入層提取特征信息xvectors。概率線性判別分析（piecewise linear discriminant analysis，PLDA）［7］分類器用于比較特征信息，從而實現聲紋識別。這些方法大多采用人工設定的特征，如FilterBank 系數和梅爾頻率倒譜系數（mel-frequency cepstral coefficients，MFCC）［8］。上述人工特征均依據人的表征特征感知能力而設計，難以適用于高效的聲紋識別任務。為解決這一缺陷，將卷積神經網絡（convolutional neural networks，CNN）應用在了聲紋識別領域。

CNN 因為權值共享、局部濾波和池化等操作，有助于提高模型健壯性和表征能力，被廣泛應用于圖像領域。但是，語音樣本的數據量相對于圖像樣本的數據量小，因此在使用CNN聲紋識別時，卷積層中的參數個數不能太大，否則容易過擬合。此外，CNN在訓練樣本數量較少的情況下，學習到的濾波器往往包含噪聲，因此無法有效地表示聲紋信號。為解決這些問題，SincNet［9］減少第一卷積層中需要學習的參數并用Sinc 函數代替卷積從而實現帶通濾波器，SincNet比標準CNN收斂速度更快，效果更好。

1.2 短時語音識別

近年來，聲紋識別技術發展迅速，各類研究逐漸成熟，人們逐漸將研究方向轉向更具有挑戰性的復雜環境，例如信道失配、短時語音和背景噪聲等。聲紋識別系統對短時語音識別效果直接影響用戶的體驗，短時語音一般指時長5 s 以內的語音，超過5 s 的語音錄入會讓用戶反感。然而在實際應用中，現有聲紋識別系統僅能對長度足夠的語音發揮較好的識別性能［10］，包括支持向量機（support vector machine，SVM）［11］、基于高斯混合模型（gaussian mixture model，GMM）的聲紋識別模型［12］等，隨著語音長度的縮短，這些聲紋識別系統的性能迅速下降，聲紋模型能從語音中學習到的身份信息較少，且從短時語音中提取的特征更易受說話人狀態、語音內容和語調的影響，在語音數據不足的情況下如何充分挖掘語音特征進行身份識別成為研究熱點。文獻［13］對比各類網絡模型的優缺點，發現CNN 在短時語音識別領域的優勢。基于卷積神經網絡的聲紋識別系統，以語音語譜圖為輸入，同時利用語音的時域信息和頻域信息，能更好地克服短時語音數據量不足的問題，同時運算速度更快，可以與用戶進行實時互動。

1.3 欺騙性語音檢測

隨著聲紋識別系統的廣泛使用，欺騙性語音逐漸成為威脅聲紋識別系統安全的因素，欺騙性語音攻擊方式主要有3 種：語音合成（text to speech，TTS）、語音轉換（voice conversion，VC）［14］以及錄音重放（recapture）。語音合成技術是指對給定的文本信息運用合成技術，將其轉換為一段音色接近于目標說話人的自然語言序列［15］；語音轉換技術則是通過技術手段對某一個人的自然語音波形進行修改變換，使之聽起來與目標說話人的聲音相似，達到難以區分的程度；錄音重放攻擊指攻擊者事先采集目標說話人的音頻，再通過播放設備重放音頻來欺騙聲紋身份認證系統，獲得非法授權，相比其他兩種欺騙性語音，錄音重放攻擊的成本低廉且沒有技術門檻，極難被聲紋身份認證系統抵擋。

為應對欺騙性語音挑戰，尤其是錄音重放攻擊，除在聲紋識別算法上進行改進外，在身份認證系統中引入動態認證也是一種有效手段［16］。動態身份認證加入時間因子作為參數，使用固定時間間隔隨機產生的口令代替傳統的靜態口令，進而避免口令語音泄露帶來的安全問題。動態身份認證系統會設定時間限制，例如聲紋身份認證系統中，以動態口令生成時間為起點，要求待認證用戶必須在規定時間內錄入動態口令語音，否則不予通過。由于動態口令的隨機性，攻擊者無法在短時間內獲取包含指定內容的目標用戶語音。運用基于動態口令的身份驗證方法可有效保證系統的可靠性和訪問的安全性［17］。

2 方案設計

2.1 調度認證系統構建

針對提出的各種基于聲紋識別的身份認證挑戰，構建一種基于聲紋識別的調度認證系統，解決電網調度場景中可能存在的多種未知欺騙攻擊和錯誤調度指令問題。該系統的目標是判斷訪問用戶的輸入語音是否為真實語音以及實現對未知訪問用戶的身份驗證，對調度人員進行訪問控制。此外為避免錯誤擬定指令對電網造成安全威脅，保障調度系統能夠發布合規的調度指令，該系統會對指令正確性進行校驗，對調度指令進行有效約束。考慮電網調度場景的實時性需求，該系統應實現高效響應用戶的請求，在執行身份認證的同時給予及時有效的相關反饋。

文中設計的調度認證系統如圖1 所示，主要分為四層架構：數據層、功能層、接口層和業務應用層。每一層均包含相應的功能組件，各層之間通過層級關系進行數據傳輸以及功能連接，層級結構保障整體系統高內聚、低耦合的特征。前端業務應用層主要實現用戶和系統之間的交互，該層向用戶提供身份認證入口，后臺會對采集的語音進行身份驗證和指令校驗，然后向用戶返回“通過”并發布調度指令，或者“拒絕”；接口層是應用層和功能層的橋梁，根據當前身份認證需求提供相應的功能接口；功能層主要提供系統核心的聲紋處理功能，實現語音預處理、聲紋識別、語音識別和指令校驗功能；數據層則包括聲紋數據庫、隨機文本庫和調度術語庫，實現對聲紋特征和調度術語的存儲，以及動態口令的生成，為功能層提供數據支持。

圖1 基于聲紋識別的調度認證系統架構Fig.1 Dispatching authentication system architecture based on voiceprint recognition

提出的基于聲紋識別的調度認證系統的實現流程如圖2所示。

圖2 調度認證系統的實現流程Fig.2 The implementation process of dispatching authentication system

調度認證系統的實現步驟如下：

1）聲紋認證階段。待驗證人員首先錄入調度指令語音，聲紋模型提取語音輸入聲紋特征并在聲紋數據庫中檢索該聲紋特征，若匹配聲紋成功則進入動態驗證環節。

2）動態驗證階段。基于隨機文本庫生成隨機口令，并展示給待驗證人員，待驗證人員錄入動態口令語音，首先將該語音輸入語音識別模型，轉換為文本序列，與展示的隨機口令文本進行匹配，同時將該語音輸入聲紋識別模型提取聲紋特征，與步驟1）中提取的聲紋特征進行匹配。若兩次匹配均通過則進入步驟3）指令檢驗階段。

3）調度指令檢驗階段。首先將錄入的調度指令語音輸入語音識別模型，得到文本序列，并在調度術語數據庫中檢索該調度指令內容，旨在發現錄入的調度指令中存在的問題，例如不合規術語和超出閾值的異常數值，對調度指令進行安全性校驗。如果發現調度指令存在安全隱患，則不予執行并將調度指令退回，直至調度人員對指令進行修改，通過合規性校驗后，系統再發布調度指令。

2.2 人員聲紋認證

在電網調度場景中，為避免指令歧義等隱患引起的安全風險，調度系統通常要求調度員使用一套統一且嚴謹的調度術語體系進行聯系匯報，這使得調度指令較為簡練，語音時長較短，同時也導致聲紋識別系統難以獲得大量聲紋信息，無法提取出足夠的聲紋特征［18］。因此在電網調度系統中，如何從有限的聲紋數據中獲取盡可能多的聲紋特征用于聲紋人員認證，具有較大的研究價值。

傳統的聲紋識別方法難以從原始語音中提取充足的信息來檢測短時語音，針對該短時語音安全挑戰，引入卷積神經網絡CNN 對聲紋進行建模，CNN是近年來語音處理領域中最流行的架構之一，其權重共享、局部感知域和池化層等特征有助于發現語音信息中魯棒的特征表示，因此引入CNN 可以有效解決短時語音挑戰中語音信息量不足的問題［19］。首先，將說話者的語音信號劃分為短時語音段；然后，從短時語音段生成短時間頻譜圖，并取對數獲得短時間對數頻譜圖；接著，將多個短時對數頻譜圖疊加為一組獲取特征譜圖，以減小樣本大小，并準確地獲得穩定的聲紋特征。最后，將特征譜圖輸入到卷積神經網絡中，預測出最有可能的說話人，采用卷積神經網絡對聲紋特征進行提取，可以充分利用時域和頻域的特征，提高聲紋識別系統的性能［20］。

所設計的聲紋認證階段主要分為訓練、注冊和識別3 個流程。在訓練流程中，首先從非相關人員中采集大量的訓練語音，然后將訓練語音進行預處理得到語譜圖，最后將語譜圖作為聲紋模型的輸入，訓練出用于聲紋識別的通用背景模型，流程如圖3所示。

圖3 聲紋認證階段訓練流程Fig.3 Voiceprint authentication phase training process

在注冊流程中，首先需要采集相關調度人員的注冊語音，將注冊語音預處理生成語譜圖后，輸入到通用背景模型中得到聲紋嵌入向量，然后將同一個調度人員的多個聲紋嵌入向量進行平均，最終得到屬于每一個調度人員的聲紋模型，存儲到聲紋數據庫中即視為完成注冊，流程如圖4所示。

圖4 聲紋認證階段注冊流程Fig.4 Voiceprint authentication phase registration process

在識別流程中，首先對語音信號進行預處理得到語譜圖，然后將語譜圖輸入訓練得到的聲紋模型中，得到待識別語音的聲紋嵌入向量，最后與聲紋數據庫中的聲紋模型進行對比，計算并評估聲紋嵌入向量與所有聲紋模型的相似性，得到大小為N的余弦距離矩陣（N表示說話人數量）。使用該余弦距離矩陣中的值作為相似度得分，若數據庫存在相似度大于設定閾值的聲紋特征則判斷為通過，進入動態驗證階段，若無高于閾值的聲紋特征則不予通過，流程如圖5所示。

圖5 聲紋認證階段識別流程Fig.5 Voiceprint authentication phase identification process

2.3 口令動態驗證

除短時語音安全挑戰外，欺騙性語音也是一個威脅聲紋識別身份認證的安全挑戰，欺騙性語音即系統闖入者使用語音合成、錄音重放等方法欺騙聲紋身份認證系統，試圖利用虛假語音通過身份認證，獲取系統操作權限，實行不法行為。如何應對欺騙性語音無疑對聲紋身份認證系統提出更高的要求。通過技術合成的人工語音，無法完全模仿目標用戶的真實語音，合成語音與真實語音在高頻區分布差別較大，難以合成連貫且自然的語音，先進的聲紋識別算法可以識別合成語音與真實語音的差異，在一定程度上抵御合成語音威脅。而錄音重放的語音取自真實目標用戶的語音，基于聲紋識別技術的身份驗證系統無法識別驗證語音是否為系統用戶本人錄入，抑或是錄音重放，因此現有聲紋身份認證系統難以抵御此類攻擊。

針對欺騙性語音安全挑戰，文中采用動態口令驗證技術來解決該問題。聲紋識別技術可以分為文本有關型、文本無關型和文本提示型。3種聲紋識別技術各有其特色：文本相關型使用說話人的發音關鍵詞和常用語句作為訓練文本，識別時，按照固定內容發音，識別性能優異，但更容易被盜用真實用戶語音；文本無關型的說話人識別方法，無須限制識別時的語音內容，使用起來更加靈活方便，但是性能不能得到保證；文本提示型同時具備文本有關型和文本無關型的優勢，既有良好的識別效率，也能防范欺騙性語音。動態口令驗證技術屬于文本提示型聲紋識別技術，每次執行身份認證時，系統會從預先設定的文本庫中隨機選擇并生成動態文本，要求說話人依照展示文本發音，系統同時也會設置時限，闖入者很難在短時間合成目標用戶語音，更不可能提前獲取包含提示文本的目標用戶的真實語音，通過動態口令驗證技術可以很好地解決欺騙性語音問題。

文中提出的動態口令驗證階段實現流程如圖6所示。

圖6 動態驗證階段流程Fig.6 Dynamic verification phase process

動態口令驗證階段實現步驟如下：

1）從文本庫中隨機生成動態口令，展示給待驗證人員，待驗證人員須在規定時間錄入動態口令語音，否則驗證失敗。

2）將動態口令語音輸入語音識別模型，得到文本識別結果，將識別結果與展示的動態口令進行匹配，若不匹配則要求重新錄入。

3）若識別結果與動態口令匹配，則繼續進行聲紋特征提取，將動態口令語音輸入到聲紋識別模型中，得到聲紋嵌入特征，與之前錄入的調度指令語音進行聲紋特征余弦相似度判決，給出核驗結果；

4）若判決的余弦相似度大于設定的閾值，則判斷調度指令語音不屬于欺騙性語音，調度員身份檢驗通過，繼續執行指令校驗階段，若相似度低于閾值則不予執行。

2.4 指令有效性校驗

隨之電網智能化進程的推進，電網安全問題時有發生，例如無權限調度和錯誤調度等。這些風險時刻威脅著電網系統的正常調度，加強電網風險管控，提高電網調度操作水平迫在眉睫。針對可能出現的錯誤調度指令，文中提出了加入指令校驗過程的構想，調度指令校驗是指當系統即將執行調度指令時，先對調度指令進行可行性校驗，即檢查指令的合規性和安全性，當發現調度指令存在安全隱患或表達歧義等問題時，系統會退還調度指令并提示調度人員更改指令，直至指令通過校驗后才被允許發布。對調度指令進行校驗既可以提升電網風險管理水平，還能提高電網調度效率，最大程度上規避錯誤調度引起的安全事故。

文中提出的調度指令校驗實現流程如圖7所示。

圖7 調度指令校驗流程Fig.7 Dispatching instruction verification process

調度指令校驗實現步驟如下：

1）首先將調度指令語音輸入語音識別模型和word2vec，輸出文本識別結果，接著計算文本中所有單詞的詞嵌入，最后對所有詞嵌入取平均。

2）計算識別文本詞嵌入和調度術語數據庫中記錄的所有調度指令的詞嵌入之間的余弦相似度，得到余弦距離矩陣。

3）若余弦距離矩陣中存在大于設定閾值的值，即說明該調度語音是存在記錄在數據庫中的合規調度指令，判斷允許執行；反之，若不存在則要求重新錄入調度指令語音。

3 結束語

針對傳統電網調度系統中缺乏調度認證的問題，結合電網運行特點及調控需求，設計基于聲紋識別的調度認證系統，幫助遠程識別現場的調度下令人員的真實身份，并校驗調度指令的可行性。首先，引入深度學習算法模型提取語音特征，有效地抽取輸入語音更深層次的信息，提高模型的運算速度，解決短時語音問題；其次，引入動態口令驗證，剔除虛假調度語音，核驗現場人員的真實身份，解決欺騙性語音問題；最后，對調度指令進行可行性校驗和風險評估，減少不合規調度指令造成的風險，提高電網調度的效率，同時避免重大安全事故。