機器人智能交互新一代人工智能開放創新平臺

葉國偉 杜軼鋒 周國華

【摘? 要】 機器人創新研究是當前我國技術研究的重點課題，機器人及其智能技術研究成功對國家技術創新以及高新技術發展而言至關重要。文章研究的機器人智能交互新一代人工智能開放創新平臺就是目前智能機器人的技術研究重點，人工智能技術作為機器人運行核心技術，利用該技術創新人工智能平臺將有利于機器人功能升級。文章在研究中結合新技術，提出創新平臺的研究框架，包括對開放平臺、共享服務等模塊進行創新，創建一個完整的智能交互開放創新平臺。

【關鍵詞】 機器人；智能交互；新一代；智能開放創新平臺

一、機器人智能交互新一代人工智能開放創新平臺研究基本情況

（一）智能開放創新平臺研究目標

制訂平臺研發目標，后續的設計及應用都需滿足目標需求，確保平臺創新應用更加嚴謹，提升平臺設計效果。以下是對平臺創新研究目標的總結。

1. 以打造行業領先的機器人智能交互開放創新平臺為目標，研究綜合行業關鍵技術資源，為機器人產業提供通用化的智能應用服務，促進機器人智能交互應用平臺化、標準化、快速化的建設和實施。

2. 以解決當前人工智能方向細分領域“機器人智能交互”存在的中小微企業核心技術研發能力不足，產品落地周期長的困境為研究目標。平臺在進行研究的過程中，構建開放的機器智能交互創新平臺，重點解決開放平臺中企業用戶數據私有化下的安全高效率機器學習，以及開展中、英、粵等多語種語音識別、開放域個性化對話、基于知識圖譜動態更新的模型增量學習、小樣本個性化語音轉換/合成等領域前沿基礎和關鍵技術創新研究，形成標準化、模塊化的模型、中間件及應用軟件，實現前沿創新、核心技術、方案落地。

（二）智能開放創新平臺研究內容

確定研究內容也是研究的核心，了解研究內容才能夠確保技術研究具有針對性，實踐性。

研究內容1：機器人智能交互開放創新平臺建設。

研究內容2：多語種識別與合成技術引導的個性交互、增量領域知識圖譜自動構建與推理、多模態交互下的情感認知與開放域個性化對話。

研究內容3：全棧智能交互產品服務體系構建、一站式智能人機交互平臺服務。

二、機器人智能交互新一代人工智能開放創新平臺設計研究

（一）機器人智能交互技術創新分析

該次機器人智能交互新一代人工智能開放創新平臺設計研究的過程中，在傳統交互技術基礎上實施了技術創新，應用了前沿新技術。

1. 應用語言合成技術，實現個性化交互。研究的新交互平臺支持中、英、日等多個語種識別以及支持廣東話、河南話、四川話等方言識別的多語種識別技術，以及支持中英粵等語音合成技術。在此基礎上，研究在音色、自然度等方面的表現接近甚至超過人聲的個性化語音生成技術。

2. 應用增量領域知識圖譜自動構建與推理技術。項目研究關鍵詞提取、詞法句法分析、語義角色標注，在此基礎上進行知識更新建模與動態圖注意力機制結合的非結構化知識抽取策略學習，引入K-折交叉、預訓練語言模型與多源異構網絡關聯等實現數據自動去噪與知識增量融合、關聯。在大規模語料庫與增量領域知識圖譜基礎上，通過增量編碼、動態圖注意力機制，進一步實現數據驅動與知識驅動的對話生成，提升智能交互過程的推理能力。

3. 項目研究機器人智能交互下的多模態范式聚焦于各模態下的情感特征變化機理，通過構建細粒度多模態情感對話數據集，開展多模態情感識別、個性化識別、情感原因推理、對話狀態識別、個性與情感引導的對話生成、場景內容視覺感知等方面的機理建模與技術研究。

（二）智能開放創新平臺具體設計

1. 基本創新建設思路。該次創新是在智能交互平臺基礎上實施創新，采用新技術，形成新理念，以確保創新后的平臺滿足機器人智能交互功能需求。

（1）平臺應用科大訊飛華南有限公司機器人領域的AI技術，包括AI核心能力、管理能力、運營能力，同時還提供有效地開放的一站式全鏈路深度學習平臺，實現為能力的生產者（如行業專家、優質合作伙伴、機器人領域開發者等）提供的穩定的標準工具。

（2）平臺在算法模型基礎之上完成框架、研發、測試與標準的設計，在標準平臺上完成開放共享。

2. 平臺基礎功能體系建設。該次創新智能交互平臺完成基礎功能體系建設應用非常關鍵，平臺設計圍繞交互機器人數據中臺、機器人AI能力中臺、業務前臺為核心進行展開。而其各項功能的設計也是為滿足機器人交互應用的不同場景。以下是對其功能設計進行綜合分析。

（1）數據中臺的基本功能

數據中臺設計是圍繞數據構建平臺數據采集、處理、分析以及管理等服務，將機器人產生的數據作為基礎服務提供給業務方，業務方可以以自助的方式在數據中臺上獲取數據、進行數據處理、數據探索、數據挖掘、分析鉆取、多維分析、自主化報表、數據共享等，以快速實現自己的商業價值。

（2）機器人AI能力中臺功能

能力中臺是交互平臺應用的主要功能，該功能在AI技術基礎上完成各項功能，借助AI優勢確保功能發揮良好，應用技術應用效率，以下是對AI應用進行分析。

①AI能力服務功能。以API（應用程序編程接口）接口調用方式對外開放了科大訊飛的核心人工智能能力，包含語音、圖像、語義認知多個方面的幾十項AI服務能力，提供一站式深度學習研發實驗環境給有相應技術能力的機器人產業公司/開發者來滿足公司更高層次的人工智能創新需求，實現了AI能力模型的開放共享。

②AI管理平臺功能。管理平臺提供了機器人的管理能力，包括角色權限管理、多租戶管理、服務資源管理、知識庫管理、會話管理、技能管理、可視化配置流程引擎、配置中心等能力。

③AI運營平臺功能。運營平臺提供了通用的機器人運營管理能力，包括機器人運營分析指標、分析報告、自主挖掘分析、數據運營服務、人工后臺服務等能力。

④AI監控平臺功能。監控平臺提供了對機器人能力調用、服務運行狀態的監控和預警，提供平臺的監控服務。包括性能監控、狀態反饋、預警通知等。

（3）機器人業務前臺

業務前臺是在機器人交互實現后，能夠獨立承接業務，完成不同業務，確保各項工作滿足使用者需求。該次平臺設計以API開放標準化服務的模式提供機器人產業公司通用化的面向不同場景（如教育，醫療，智能服務、智能外呼、展廳、圖書館、酒店、黨建等）技術服務，同時提供相應可自主快速配置化的前端模板，實現機器人大規模快速復制上線。

（4）平臺端云一體化開發設計

交互平臺設計的過程中，一體化開發設計的主要目的在于解決隱私保護和數據共享的沖突問題。為此在平臺設計中引入聯邦學習，從而對模型原型在測試環境中保持持續學習，高效管理和維護海量設備及其具有的各種功能模型，同時有效處理個人隱私及安全問題。隨著5G時代的到來，模型訓練和推理均可以利用每個端側設備獨有的部署環境和原始數據進行初步數據處理和推理，而在云側針對設備的個性化需求進行在線訓練，實現設備的在線自動學習與更新。

3. 平臺核心技術應用設計。通過平臺設計思路研究發現，平臺在設計的過程中，創新應用增量領域知識圖譜自動構建與推理技術和多語種識別與合成技術，為確保兩項技術應用合理，平臺在設計中也針對兩項技術進行重新構建。

（1）應用增量領域知識圖譜自動構建

該項目將研究大規模的知識自動構建技術，提升機器人與人的交流互動能力。主要涉及三個方面，一是數據的自動獲取，通過大規模的云服務器集群結合網絡抓取技術獲取多源異構數據。二是結合大數據處理、自然語言理解技術和領域知識庫實現識別和抽取文本中的三元組信息。三是自動糾錯和自主學習，結合智能模型和強化學習方法，通過人際交互接口對代表性錯誤三元組進行人工糾正，通過強化學習提高模型的識別精度和魯棒性，實現自動糾錯和自主學習。

（2）該項目計劃開展通用語法和語義分析技術研究、知識圖譜及邏輯推理算法研究

①該項目將規模化開展面向中文的通用語法和語義分析技術研究，在建立大規模的標注數據集合基礎上，構建能準確分析出句子的分詞、詞性、主謂賓動狀補等語法結構以及實事、受事等語義角色的通用語法及語義分析技術。

②知識圖譜及邏輯推理算法：知識圖譜是指利用三元組等形式對客觀世界進行描述的一種知識表示和存儲方式，是基于知識邏輯推理的認知智能技術的基礎。

（3）多語種識別與合成技術應用

該次技術設計，采用多語種語音識別技術、多語種語音合成技術以及個性化語音合成技術，確保語音交互功能更符合新時期機器人交互需求。

①基于自注意力機制的端到端識別網絡，在編碼端基于遷移學習方式強化大數據中文與其他較少數據語種之間的關聯性，突破多語種訓練數據受限的瓶頸；在解碼端，融合文本語料進行輔助對抗訓練，提升解碼端的語言模型覆蓋度；最終構建一套實現多語種混合解碼的語音識別系統。

②通過聯合多語種多話者的端到端神經網絡建模，分離語種相關與話者相關的深層語音表征，融合前端韻律分析與后端聲學特征預測，實現對各語種合成語音發音人特征的靈活控制。

③通過聯合個性化發音人的端到端神經網絡建模，融合前端韻律分析與后端聲學特征預測，實現對個性化語音合成語音發音人特征的靈活控制。該項目目前可通過錄入10句個性化發音人話語，實現了采集量只有行業平均的1%。

三、機器人智能交互新一代人工智能開放創新平臺實踐效果研究

目前，文章設計研究的機器人智能交互新一代人工智能開放創新平臺已經搭建成功，完成了在教育，醫療，智能服務、智能外呼、展廳、圖書館、酒店、黨建等8大示范應用場景的建設，提升了機器人多模態交互領域各種業務形態的自主技術能力。

在眾多研究機器人智能交互平臺的方案中，機器人與人交互，并不僅僅是內容、信息交互的難度非常，最為困難的是實現情感的交互。相對內容而言，情感能傳遞最多的狀態信息，不同情感狀態下大腦的計算資源分配方式差距巨大，會采取完全不同的思維執行路徑，從而產出最后不同的結果，因此目前來看研究相對困難。從人類表達的角度出發，說話者表述的內容既受到他當前的情感狀態影響，也受到他從小到大形成的人格，甚至他的性別、年齡、所處的環境等信息的影響。傳統的對話生成內容一般不考慮情感因素或者只考慮到簡單的高度抽象的情感因子（一般不超過7種），因而難以真正實現足夠人類的交互表達。該項目建立機器人的個性模型，賦予機器人人格、年齡、性別，并且動態地根據對話雙方的情感調整自身的情緒狀態，然后根據這些信息指導生成相對應的回復，實現個性化且有情感約束的交互表達，提高智能交互企業和機構的開發和生產交付效率，有效降低開發成本，證明平臺應用效果非常好，具有可推廣價值。

四、結語

機器人智能交互新一代智能開放創新平臺是機器人智能化研究的重點技術。本平臺致力打造行業領先的機器人智能交互開放創新平臺，整合行業關鍵技術資源，為機器人產業提供通用化的智能應用服務，促進機器人智能交互應用平臺化、標準化、快速化的實施，降低行業技術研發和使用門檻，實現安全且有效的數據特征共享，使中小微企業或行業開發者能專注于行業內、場景內的差異化、零散化數據建模與產品研發，從而構建穩健的產業生態，促進機器人智能交互產業持續快速發展。希望文章的研究能夠對機器人智能交互應用領域有所幫助。