機器人在車輛人機交互中的應用

冉光偉，蔡吉晨,李艷明

(廣州汽車集團股份有限公司汽車工程研究院，廣東廣州 511434)

0 引言

新一代智能座艙人機交互技術的發展趨勢是逐漸融入人體生物特征識別及人工智能技術[1]，當前，國內外各大汽車企業正在致力于語音識別控制[2]、交互界面個性化定制等技術的研發，同時與智能網聯技術關聯，開發基于云端信息的駕駛人身份識別技術、場景識別技術，進一步實現了人機交互的智能化與個性化。

車載機器人是一種運用于汽車智能座艙人機交互場景的服務機器人，屬于社交類機器人范疇[3]。基于機器視覺、智能語音以及機器學習等技術，車載機器人協同影音娛樂系統(AVNT)、駕駛員監控系統(DMS)以及高級駕駛輔助系統(ADAS)，能夠響應語音交互、影音娛樂狀態切換以及駕駛輔助提醒等功能，通過擬人化、情感化地表達，整體提升駕駛和乘車體驗。以車載機器人作為主要人機交互接口，能夠有效擺脫車內人機交互過程中給用戶帶來的設備感和生硬感，使交互過程更自然、友好，使得交互形式從人-機交互向人-人交互進化。

1 整體系統設計與工作原理

1.1 整體技術方案

車載機器人系統中，通過影音娛樂系統完成語音交互及場景感知，由車載機器人控制器完成機器人行為決策、表情顯示及動作執行。系統框圖如圖1所示，影音娛樂系統與機器人頭部攝像頭、麥克風及喇叭等外圍設備連接，通過各個應用層軟件分別完成人臉識別、聲源定位、語義解析等功能；車載機器人與影音娛樂系統通過USB及CAN總線通信，以獲取用戶、車輛狀態及車內外環境等感知數據[4]，進而完成場景分析、機器人行為決策及行為輸出(包括機器人語速、語調、表情、動作、幅度、頻率、態度等)。機器人控制器集成增量學習算法，能夠不斷優化場景分析，對駕駛行為進行學習及預測[5]。影音娛樂系統的人機交互界面能夠配合車載機器人進行擴展顯示，即部分場景的圖文顯示由車載機器人控制器控制。

圖1 車載機器人系統架構

1.2 車載機器人行為決策

車載機器人行為包括頭部轉動、表情顯示及語音播報等3個維度。機器人頭部能夠完成水平旋轉和前后轉動兩個自由度的轉動，并通過電機協同控制來保證轉動過程中動作的連貫性及擬人化；機器人表情通過圖片渲染實現不同表情切換過程中的平滑過渡。語音播報能夠變換語速、語調和語氣，可以體現機器人的情緒和性格。車載機器人部分表情和姿態的交互定義見表1。

表1 車載機器人表情及動作關聯表

車載機器人在不同的細分場景下能夠做出不同的行為決策，通過同步用戶賬號信息達到用戶級的個性化交互場景設計，再結合地域信息、車型信息以及用車里程、駕駛模式等駕駛行為偏好向用戶推送符合用戶喜好的媒體類及新聞類服務，從而實現千人千面的智能交互。比如當車內同時有孩子和媽媽的場景下，通過增量學習預測兩人的共同愛好，并為他們推薦相對應的媒體內容。此外，機器人應用考慮了安全與隱私的設計原則，將用戶隱私信息進行加密；同時用戶可清除駕駛習慣記憶等相關歷史記錄。

1.3 增量學習功能算法

車載機器人應用不局限于根據預先設定的行為決策進行條件執行，還能夠主動學習到環境變化而做出主動適應、反應和行動。車載機器人控制器集成了適用于車載場景的增量學習框架，該框架是一種高性能的輕量級人工智能學習系統，特點是消耗資源少，運算速度快，無需借助網絡云平臺，借助汽車前端硬件就能支撐其計算能力實現離線訓練，在越來越多的復雜車載場景任務中能夠通過增量學習進行行為決策的高效重建。

增量學習框架核心是寬度學習算法[6-7]。寬度學習即將深度學習從串并聯改為并聯，減少模型訓練時間，利于模型訓練前段化，適合嵌入式系統。智能座艙的人機交互場景的樣本量較小，寬度學習算法適用于基于小樣本數據進行場景識別，將寬度學習算法應用于車載場景，能夠實現車載場景中人機交互的連續性學習。寬度學習算法模型如圖2所示。

圖2 寬度學習算法模型

例如在實際的車載場景中，由于語音指令的定義不能全面地覆蓋各地習慣用語，可以通過增量學習記錄用戶習慣用語。如通過語音指令“打開空調”來控制車內空調的開啟，由于各地習慣用語的不同，某些地區用戶的語音指令會變成“打開冷氣”或“打開冷風機”等。當“打開冷氣”指令沒有被系統響應時，用戶可以通過手動打開空調，在進行多次操作后，寬度學習算法能夠記錄用戶的操作習慣，建立“打開冷氣”語音指令和打開空調行為的對應關系，進而學習到新的技能。

1.4 云+端混合自然語言處理引擎

自然語言處理(Natural Language Processing，NLP)是理解人類語言、說話方式的應用程序和服務，是人工智能的一個子領域[8]。NLP目標是讓機器對語言理解像人類一樣智能，減小交流(自然語言)和理解(機器語言)之間的差距。NLP 技術基于大數據、知識圖譜、機器學習、語言學等技術和資源，形成機器翻譯、深度問答、對話系統等應用系統，進而服務于各類實際業務和產品。

云端的NLP引擎為平臺化方案，即由娛樂系統采集語音指令傳送到云端進行語義解析，特點是通用性強，適合閑聊以及豐富的生態類服務。在無網絡或信號弱情況下，語義需要在影音娛樂系統中進行解析，由于系統端詞庫有限，較難涵蓋并準確理解用戶的語音指令。為了在網絡狀況不佳情況下能夠進行語義理解并適應用戶的說話習慣，機器人系統集成了輕量化的離線NLP引擎，其特點是能夠收窄認知范圍并針對特定車載場景進行個性化語義訂制，從而保證沒有網絡時或用戶使用自定義語義時，機器人能夠有效執行語音指令。云端NLP引擎與機器人系統端NLP引擎形成互補，構建了云+端的混合NLP引擎，具體協作流程如圖3所示。

圖3 云+端的混合NLP引擎協作流程

離線NLP引擎支持多輪對話和自動補充詞槽功能，如圖4所示，能夠根據增量學習對用戶習慣的預測結果自動補充詞槽內容，避免用戶進行繁復操作。比如用戶發出開空調的指令，離線NLP引擎將根據空調參數歷史數據、用戶的空調溫度及風速等調節習慣預測結果，自行補充詞槽內容，不需要再通過多輪對話補充語音指令中缺少的“溫度”及“風速”詞槽。

圖4 離線NLP引擎問答技術架構

1.5 車載機器人交互場景定義

車載機器人交互場景是將出行場景按照人、車、環境等3個維度進行劃分及組合，完成數百個基礎場景、經典場景、創新場景以及未來超前場景定義，其交互場景維度見表2。所有交互場景的功能需求按照安全、便捷及運營框架進行梳理，進而制定細分交互場景下對應的機器人初始行為決策，再通過增量學習實現不同用戶的個性化交互策略，以協助完成千人千面的智能交互理念。

表2 車載機器人交互場景維度

1.6 車載機器人的互聯網生態體系構建

車載機器人應用通過對接豐富的互聯網生態類應用，如充電、停車、資訊、餐飲、維修等便利服務，為用戶構建按需推薦、場景化智能分發的服務整合體系，以期為用戶提供出行全程以及汽車全生命周期的完整生態鏈，提高出行服務體驗。同時，借助車載機器人適時推送各類服務信息，能夠加強生態類應用的推送深度及可接受度，從而進一步提高車載生態類應用的運營能力。

適用于車載機器人應用對接的互聯網應用類型舉例如下：

(1)充電：提供充電樁點位查詢、充電樁導航等服務，如充電未來；

(2)停車：停車位查詢、停車場導航、停車費支付，如ECTP、泊鏈等；

(3)代駕：呼叫代駕、代駕行為監管、費用支付，如E代駕等；

(4)娛樂：電臺收聽、音樂播放、短視頻等娛樂服務，如喜馬拉雅、唱吧等；

(5)閑聊：與用戶閑聊，以及提供相關客服服務，如圖靈機器人；

(6)信息服務：天氣、新聞、航班、股票等信息的查詢、播報；

(7)生活服務：餐飲、外賣、旅游、維修保養服務，如美團等。

2 功能驗證及分析

通過對車載機器人系統的人臉識別、語音交互、車輛狀態提醒及信息推送等各項功能進行測試，分別驗證車載機器人的語音識別準確性、交互場景的判斷能力和生態服務的智能分發能力。具體測試功能項及測試結果見表3，測試結果表明車載機器人的各項功能達到了預期效果與設計目標。

表3 車載機器人的功能測試驗證結果

3 結束語

車載機器人以“車內智能化、情感化、個性化的交互體驗”為概念，于座艙內布置機器人實體，通過語音識別、人臉識別、車內環境及車輛狀態感知，對駕駛員及乘客、車輛狀態及車內外環境等3個感知維度進行場景分析，從而完成機器人的行為管理，包括機器人的表情、姿態、聲調、態度及行為節奏等。車載機器人能夠進一步提升車內多模交互能力，同時擴展具有競爭力的生態類服務，從而提升用戶體驗，滿足駕駛員及乘客的個性化和情感化交互需求。