基于PyQt的多表情智能語音聊天機器人系統

關鍵詞： PyQt信號與槽; 智能語音調節; 人機互動; 多表情切換; 情緒識別

中圖分類號：TP3 文獻標識碼：A

文章編號：1009-3044（2024）28-0118-03

0 引言

聊天機器人，是一種基于AI的應用程序軟件，其核心功能在于利用自然語言[1]實現人與人之間交流的某種形式的仿真。通常情況下，這個系統的運行環境是在某種專門的軟件平臺上，而且主要是在各種移動設備上，比如電腦、智能手機等。

ELIZA[2]（伊莉莎）是最早的聊天機器人，由JosephWeizenbaum于1966年研發完成，它在模擬對話過程中采用模式匹配和替換方法。這款機器的最初設計目標是為了能夠幫助心理咨詢師解決患者精神問題。1988 年，尤內克斯顧問（UNIX Consultant） [3]聊天機器人系統問世，開發者為加州大學伯克利分校（UC Berkeley） 的Robert Wilensky等人。在設計過程中基本延續了伊莉莎的設計思路和技術原理，主要作用是根據不同用戶對UNIX系統的熟悉程度、應用場景、學習需求進行建模實驗，幫助用戶更好地進行系統的學習。

自1990年起，在美國科學家Hugh G.Loebenr設立的勒布納人工智能獎項激勵下，聊天機器人智能化進程全面提速，其中最具代表性的聊天機器人系統主要有：愛麗絲（ALICE） 、YAP[4]系統（主要用途為查詢英國電話黃頁）、CSIEC[5]系統（主要用途為針對外語學習者，搜索學習伙伴）、Sofia[6]系統（主要應用于哈佛大學勒布納獎學數學教學）等。但是聊天機器人系統目前存在一種難以解決的問題，即在與人類進行交流時并不能像人類本身一樣實時表現出相對應的表情。

基于以上問題，本文提出了一個基于PyQt的多表情智能語音聊天機器人系統，本系統不僅可以與用戶對話交流，還可根據用戶語音中的情緒實時地切換表情，提升聊天機器人的情感表達效果。

1 智能語音調節裝置

所提出的智能調節裝置主要有以下幾個模塊：喚醒模塊、情緒識別模型、情緒對話策略和語音生成模塊。其結構如圖1所示。

喚醒模塊的設計主要目的是對語音調節裝置進行喚醒，喚醒方式主要有兩種：語音喚醒和距離喚醒。語音生成模塊的主要作用是根據前序任務完成后生成的對應模型，在網絡狀態下生成系統設定的聲音特征及相應的情感文字語音，并通過生動的方式播放。

深度學習算法是當前人工智能領域中最受歡迎的情緒識別模型，能夠實時識別用戶語音中的各種情緒，例如快樂、悲傷、憤怒或平靜等。

在對情緒進行識別之前，必須針對語音信號中包含的情感特征進行識別與確定。關于該識別方式，本課題從頻譜關聯、韻律特征、聲學質量特征、融合特征以及深度學習條件下的語音特征等方面進行情感分析。目前，我們已經對聲學特征與情感之間的相互關系進行了初步研究，如表1所示。

經過前面的研究，選取有效的特征作為識別模型的輸入，使用卷積神經網絡的模型應用于頻譜圖或音頻特征（例如Mel頻率倒譜系數（MFCC） [7]和低級描述符（LLD） [8]） ，對源自原始音頻信號的信息進行訓練。與此同時，使用低級描述符（LLD） 和深度神經網絡提取與不同角色相對應的語音特征。雖然低級描述符（LLD） 和高級統計功能（HSF） 只能獲取語音特征的局部信息，而非全局信息，且隨著特征抽取維數的增加，深度神經網絡的復雜性也隨之增加，難以進一步提升識別精度。在此基礎上，本課題提出在原始語音輸入中加入全局信號，在一定程度上限制人工合成的特征維數，并獲取完整的語音信息。

基于上述研究，本課題提出利用人工合成的 HSF 與 CRNN [9-10]的聯合表達，側重研究特定部位和整體部位的表達，以精準判斷語音情緒的強弱。該方法的具體操作方式如下：首先為了使不同類型特征能夠投影到相同的特征空間，因此添加隱藏層；其次，對初始確定的特征維度進行降低維度的處理。

網絡結構包含以下兩項內容：第一項是卷積式特征提取器，該采集器的輸入層為一張頻譜圖，其中縱坐標表示頻率，橫坐標表示時間，中心坐標表示語音數據量。在此基礎上，本課題提出了一種基于顏色的三維坐標系數值表示方法，并利用顏色有效地表征。在處理預切分的語音時，可通過該方法取得任一段的卷積神經網絡學習特征[11]。第二項為BMLSTM，在此基礎上，每個時間步都與原聲音的某一部分相對應，既避免了對音頻的剪切，也避免了對語音的填充，又能在一定程度上保持長時依存關系。在計算過程中，將最大池化層、平均池化層和最小池化層進行運算，實現池化矢量的集成化。

2 PyQt 的信號與槽機制

正文內容在PyQt 中，每一個QObject 對象以及PyQt中每個繼承了QWidget的控件（這些都是QObject的子對象）均支持信號與槽機制。當信號發射時，連接的槽函數將會自動執行。在PyQt中，信號與槽通過object.signal.connect（）方法進行連接。

其中，信號和槽是其中最主要的接口，主要應用于多個對象的互相通信。在Qt的各種特性中起著核心作用，取代了原本復雜混亂的函數指針，使得通信程序的編寫過程得以簡化。信號和槽包含在所有從QObject或其子類（如QWidget） 派生的類中。當這些對象的狀態由于各種因素而發生變化時，該對象會立即發射與之對應的信號，結構如圖2所示。

槽的主要作用是接收信號，但通常它們是對象的成員函數。一個槽無法判斷是否存在其他信號與其進行連接。同時，在這一過程中，對象也不需要了解底層的通信機制。單個槽可以與多個信號建立連接，同樣，單個信號也可以與多個槽建立聯系。即使兩個信號之間建立了相關連接，這種操作也是可以實現的。在這種情況下，無論第一個信號何時發射，系統都會立即響應，并發射第二個信號。

本文將通過智能語音調節裝置在線識別出的用戶語音中表達的開心、悲傷、憤怒或平靜等情緒作為信號（每種情緒對應一個信號），傳遞給相應的槽函數（需要提前準備展示機器人表情圖片的函數，每種情緒準備一個槽函數，利用PyQt GUI界面[12]） ，通過將一個信號與一個槽連接，實現表情的切換。

3 服務器端

由于該部分涉及的工作冗余性較強，因此解析規則顯得尤為重要。在有效獲取語音數據后，可以將用戶的語音上傳至相應的服務器，并使用對應的、帶有明顯特征的標簽，來有效提取其中所包含的數據內容。同時，針對不同的語音和文檔，設計便于區分且具有相關性的文檔名稱解析規則，即為每個文檔提供多種正則表達式模板。在確定標簽中所包含的數據范圍后，對其進行分塊，分析其中的目標信息。針對已分析的數據，采用統一格式：id_情感_性別_年齡_ 姓名等。

最后，將已解析出的數據有序存儲在HDFS中，并根據分析結果自動完成指定的備份次數。

在本文中，將數據備份為三份，以方便未來的數據存儲和數據查詢工作。圖3為服務器端存儲數據的基本流程。

4 結論實驗及相關結果

正文描述了通過語音喚醒多表情智能語音聊天機器人的過程。喚醒前，機器人的初始表情如圖4所示；喚醒后，機器人的表情如圖5所示。

當多表情聊天機器人識別說話者語音時，機器人的表情如圖6所示。

在與用戶對話時，多表情聊天機器人的表情會根據用戶的語音情緒而實時切換。例如：

1） 當聊天語句帶有開心的情緒時，機器人的表情如圖7所示。

2） 當聊天語句帶有生氣的情緒時，機器人的表情如圖8所示。

3） 當聊天語句帶有害羞的情緒時，機器人的表情如圖9所示。

4） 當聊天語句帶有無聊的情緒時，機器人的表情如圖10所示。

5） 當聊天語句帶有無奈的情緒時，機器人的表情如圖11所示。

6） 當聊天語句帶有悲傷的情緒時，機器人的表情如圖12所示。

5 結論

本系統利用語音調節裝置識別用戶的實時語音與情緒，將用戶實時的語音轉換為文字，通過相關搜索生成語音與用戶的交流；同時，將識別出的情緒作為信號，結合PyQt的信號與槽機制進行實時的表情切換。多次實驗表明，利用PyQt的信號與槽機制傳遞智能語音調節設備識別出的情緒信號連接到相應的槽函數中，可以實現多表情的切換，使聊天機器人的情感表達更加貼近實際，提升了用戶體驗。