“大白”追尋之路
——訪合肥工業(yè)大學(xué)先進智能機器研究院院長任福繼

文/本刊記者 馬銘陽

看完電影《超能陸戰(zhàn)隊》，每人都想擁有一個暖心“大白”。現(xiàn)在看來，擁有這樣一個善良、體貼、有情有義的智能機器人，已經(jīng)不再遙遠。人機共生，這個曾經(jīng)只出現(xiàn)在科幻小說和電影中的場景，正在走進我們的生活。

合肥工業(yè)大學(xué)先進智能機器研究院院長、情感計算與智能機器人安徽省重點實驗室主任任福繼，就是一位潛心情感機器人研究的專家。他傾心追尋“大白”近20年，已在人工智能，特別是情感機器人領(lǐng)域取得了頗為顯著的成績。自受聘為合肥工業(yè)大學(xué)先進智能研究院院長后，他與國內(nèi)有了更多的交集與碰撞。

因為他的影響力，引領(lǐng)和帶動了他培養(yǎng)的不少優(yōu)秀博士生的回歸，使得我國在情感機器人研究領(lǐng)域短期內(nèi)達到了世界先進水平，并在文本情感計算、情感陪護機器人領(lǐng)域成為世界領(lǐng)頭羊。

任福繼，日本工程院院士，歐盟科學(xué)院院士，日本工程會院士，IEICE Fellow。教育部“長江學(xué)者獎勵計劃”講座教授，中科院“海外杰出青年學(xué)者基金”獲得者，國際特聘千人計劃入選者。日本大川信息通信基金評審專家，中國科協(xié)海智專家，中國國務(wù)院僑辦科技專家委員。

主要研究領(lǐng)域包括：自然語言處理、多語機器翻譯和信息檢索；大規(guī)模知識獲取和人機會話；情感計算與智能機器人。

“大白”應(yīng)如何

把機器人從一個工具變成一個“伙伴”，是任福繼開始從事情感計算與情感機器人研究的初衷。

那是2001年前后，任福繼在日本德島大學(xué)任職教授。此前，他曾求學(xué)于北京郵電大學(xué)、中科院計算機所、日本國立北海道大學(xué)等高校院所，并在一些公司從事計算機相關(guān)研究，在自然語言處理和人工智能研究領(lǐng)域積累了豐富經(jīng)驗。

比如他曾在1999年提出“多語言、多功能、多媒體智能化”的概念，引起自然語言處理和人工智能領(lǐng)域?qū)＜业膹V泛關(guān)注，并獲IEEE best paper獎。這些都為他之后關(guān)于情感機器人的研究打下了基礎(chǔ)。

“那時，我除了在大學(xué)外，也兼任一些公司的技術(shù)顧問，開始對情感計算與情感機器人有了興趣。”任福繼介紹，情感計算這一概念，在1997年由麻省理工學(xué)院（MIT）一位教授提出。情感計算的目的是通過賦予計算機識別、理解、表達和適應(yīng)人的情感的能力來建立和諧人機環(huán)境，并使計算機具有更高、更全面的智能。

但情感是多么主觀的存在，喜怒哀愁、七情六欲，人與人的交流有時都會不暢，更何況機器。情感要怎樣計算？要如何量化成機器可以理解并表達的數(shù)據(jù)？真正的情感機器人又應(yīng)該是怎樣的呢？

在任福繼看來，除了硬件結(jié)構(gòu)的不斷發(fā)展，真正的情感機器人還應(yīng)該擁有以下關(guān)鍵技術(shù)能力——基于大數(shù)據(jù)庫自主學(xué)習(xí)的多源視聽信號融合感知能力；多模態(tài)情感的融合分析與推理能力；多模態(tài)情感的表達與交互能力；具備個性化情感建模能力。

情感陪護機器人”思思“

任福繼版機器人

里奧兒童陪伴機器人

里奧商務(wù)機器人

簡單來講，就是讓機器人能夠感覺到人的情緒、了解人的情緒，并能夠根據(jù)這些情緒做出正確的反饋。

情感機器人發(fā)展的最終目標，是實現(xiàn)“自然”的人機交互，而其首要任務(wù)就是讓機器人具備情感交互能力，即讓機器人像人一樣具備情感表達和理解能力。這并不是一件容易的事。

“給機器人裝大腦，給機器人制造心，這個大腦和心怎么進行？我們用先進智能理論，用人工智能、自然智能+情感計算，以此來制造出智商。同時提出數(shù)據(jù)、信息、知識、智能大轉(zhuǎn)換，轉(zhuǎn)換過程，這樣就可以制造它的情商，反饋給我們的大數(shù)據(jù)，包括面部表情、聲音、語言、生理信息大數(shù)據(jù)，最終形成一個反饋，成就靜態(tài)的進化過程?！倍嗄陙恚胃＠^就是沿著這樣的研究思路，明知難為仍為之。

讓“大白”有情有義

為了研制出有情有義的“大白”，任福繼確立了大數(shù)據(jù)驅(qū)動的情感協(xié)同感知、推理與交互的總體研究思路，并定下了自己的“三步走”戰(zhàn)略——

第一步，把情感形式化、量化，讓機器人能夠識別，具備感知能力，會“看”。

第二步，構(gòu)建一個足夠大的情感語料庫，讓機器人不斷學(xué)習(xí)，進而具備分析、推理能力，能“懂”。

第三步，機器人在不斷學(xué)習(xí)之后，能對不同場景、不同語境中話語做出正確反饋，及至可自然“交流”。

三步之后，一個有情有義的“大白”便初具形制。初步完成這三步，任福繼建立了情感計算領(lǐng)域三大機制（面向多源大數(shù)據(jù)的類人智能感知機制、面向情感交互的多模態(tài)協(xié)同分析與推理機制以及大數(shù)據(jù)驅(qū)動的情感創(chuàng)生與交互機制），前后用了20年，而近5年在多源感知、深度推理、情感創(chuàng)生等領(lǐng)域發(fā)表的200余篇高質(zhì)量論文記錄了團隊前進的每一步。

“看到”包括識別，感知。要讓機器人“看到”情感，首先要把情感量化、形式化。為此，任福繼在世界上首次提出了“心狀態(tài)轉(zhuǎn)移網(wǎng)絡(luò)”理論，使情感計算在工程上得以實現(xiàn)。

在心狀態(tài)轉(zhuǎn)移網(wǎng)絡(luò)中，人的情感分為N個狀態(tài)，各狀態(tài)都可以在外界刺激（即情感能量）下互相轉(zhuǎn)移，狀態(tài)轉(zhuǎn)移的概率與前一狀態(tài)及情感能量的強度有關(guān)。

基于此，他們根據(jù)文本、語音、面部表情、生理信息和行為5種信息，計算出每一個時間點的情感能量。當心理調(diào)查規(guī)模足夠大、數(shù)據(jù)足夠多，他們就可以計算出不同狀態(tài)在不同情感能量刺激下做出轉(zhuǎn)移的概率，得出不同情感的狀態(tài)轉(zhuǎn)移規(guī)律，從而建立并完善心狀態(tài)轉(zhuǎn)移網(wǎng)絡(luò)參數(shù)模型，進而推斷情感。

以這一理論為出發(fā)點，他們進一步研究了情感語義分析與表達，構(gòu)建了情感語義計算的理論和技術(shù)體系，使得情感語義計算建立在堅實的理論基礎(chǔ)上。

“看到”之后是“懂得”。人類的語言豐富多彩，為了讓機器人“見多識廣”，具備自主深度學(xué)習(xí)能力，任福繼帶領(lǐng)團隊構(gòu)建了世界規(guī)模最大、層次最多、粒度最細的情感語料庫Ren-CECps，在中文的語義基礎(chǔ)資源建設(shè)、知識表示、知識獲取、語義分析技術(shù)以及文本理解等方面取得了創(chuàng)新性成果。

Ren-CECps，是一個富含多層次語義信息的大規(guī)模漢語基礎(chǔ)資源庫和知識庫，以文本情感表達的空間模型為框架，從多粒度（篇章、段落、句子、詞語）、多角度（各粒度的多維情感類別、篇章主題、句子情感、情感對象等），采用自動標注與人工校驗相結(jié)合的方法構(gòu)建。

它的標注體系分為文本層、段落層、句子層三個層次，每一個層次都包括不同的情感標注信息，層層架構(gòu)，形成了體現(xiàn)中文信息處理特色的語義信息處理體系。

在現(xiàn)有數(shù)據(jù)庫基礎(chǔ)上，綜合機器學(xué)習(xí)和人工檢校技術(shù)構(gòu)建的大規(guī)模情感語義庫詞規(guī)模超過3千萬。截至目前，已授權(quán)東京大學(xué)、哈佛大學(xué)、香港理工大學(xué)等國內(nèi)外近300所高校及研究機構(gòu)用于情感識別的研究。

最難的一點，人類的情感表達不止靠語言，還憑借語音，還有個性。語音不同傳遞的情感不同，還會根據(jù)不同人的個性化表達衍生出不同的意義，而且人的情感狀態(tài)會伴隨交流的推進發(fā)生變化，極其復(fù)雜。任福繼介紹，這其中涉及到了多模態(tài)情感語義協(xié)同計算機理、多維度情感狀態(tài)應(yīng)激轉(zhuǎn)移機制、多場景情感行為生成表達模型等科學(xué)問題。

心狀態(tài)轉(zhuǎn)移網(wǎng)絡(luò)

圍繞這些問題，團隊進行了深入研究，在無數(shù)次的嘗試與實驗之后，才最終攻克了情感感知由單模態(tài)到多模態(tài)協(xié)同、情感狀態(tài)由靜態(tài)到動態(tài)轉(zhuǎn)移、情感表達由仿真到系統(tǒng)實裝等技術(shù)難點。

同時，他在國際上率先提出了融合人工智能、自然智能及情感計算的“先進智能”概念，從更高層面引領(lǐng)相關(guān)研究的推進，并得到了國內(nèi)外學(xué)術(shù)前輩的支持和積極響應(yīng)。

最終，基于心狀態(tài)轉(zhuǎn)移網(wǎng)絡(luò)理論、多模態(tài)情感計算理論與先進智能理論，任福繼帶領(lǐng)團隊搭建出了具有自主知識產(chǎn)權(quán)的中文情感語義計算系統(tǒng)，使情感機器人有了與人一樣的“心腦”，能夠進行情感交互。

這一步，真正將情感機器人推向了產(chǎn)業(yè)化進程。“從系統(tǒng)層面，情感機器人的實現(xiàn)需要四大條件，一是大規(guī)模、多模態(tài)、高質(zhì)量的數(shù)據(jù)，為情感機器人技術(shù)發(fā)展奠定知識基礎(chǔ)；二是基于先進智能理論的情感計算理論模型，為情感機器人技術(shù)發(fā)展裝備‘心腦’模型；三是先進且較完備的深度學(xué)習(xí)算法，推動情感機器人技術(shù)實現(xiàn)；四是用于支撐上述三個方面的硬件支撐，如強大的計算能力。”任福繼介紹，上述四個條件已基本具備，情感機器人的實現(xiàn)已真實可期。

身邊的“大白”

其實機器人技術(shù)最早是工業(yè)領(lǐng)域的，他們在實現(xiàn)業(yè)務(wù)流程自動化、提高生產(chǎn)力方面，發(fā)揮了非常積極的作用，如今應(yīng)用也非常廣泛。

伴隨相關(guān)技術(shù)的不斷發(fā)展，機器人的應(yīng)用邊界得以拓展，機器人技術(shù)已經(jīng)從傳統(tǒng)的工業(yè)制造領(lǐng)域，逐步向生物醫(yī)療、教育娛樂、救災(zāi)救援等領(lǐng)域擴展。難得的是，任福繼所帶領(lǐng)的團隊在工業(yè)機器人與服務(wù)機器人兩方面都已取得了不錯的產(chǎn)業(yè)化成果。

·基于先進智能的工業(yè)視覺檢測技術(shù)體系

南京匯川工業(yè)視覺技術(shù)開發(fā)有限公司總經(jīng)理李勃

李勃，南京匯川工業(yè)視覺技術(shù)開發(fā)有限公司（以下簡稱“匯川視覺”）總經(jīng)理，他還有一個身份——任福繼的學(xué)生+助手。他們合作多年，從學(xué)校到企業(yè)，從老師和學(xué)生轉(zhuǎn)變?yōu)槭紫茖W(xué)家和總經(jīng)理，目的就是推動基于先進智能的工業(yè)檢測技術(shù)落地應(yīng)用。

如今看來，他們做得還不錯。

2016年，匯川視覺成功自主研發(fā)“基于深度學(xué)習(xí)的全流程灌裝缺陷視覺檢測系統(tǒng)”，填補了深度學(xué)習(xí)在灌裝缺陷檢測領(lǐng)域的空白。該產(chǎn)品創(chuàng)新的采用深度卷積神經(jīng)網(wǎng)絡(luò)等技術(shù)，具有多類目標定位、目標識別和缺陷檢測功能，覆蓋灌裝生產(chǎn)線瓶口、瓶蓋、標貼、噴碼和裝箱等全部關(guān)鍵質(zhì)檢環(huán)節(jié)，能夠解決灌裝缺陷檢測面臨的品種多、瓶型多、干擾多、形變大、參數(shù)多、調(diào)試復(fù)雜等棘手問題，在兼容性、易用性、高效性、準確性等指標方面相比于行業(yè)水平和傳統(tǒng)方法都有大幅提升，基本實現(xiàn)“0”漏檢，誤檢率＜0.1%。具有顯著的經(jīng)濟效益和社會效益。

2017年，他們又成功研發(fā)了“基于深度學(xué)習(xí)的屏幕缺陷檢測系統(tǒng)”，創(chuàng)新性運用深度學(xué)習(xí)技術(shù)，采用良品學(xué)習(xí)模式，讓機器仿真人類認知，大大提高了系統(tǒng)的檢測性，所有缺陷的漏檢率＜0.5%，誤檢率＜8%，新型號實現(xiàn)1h內(nèi)換型。

2018年，國內(nèi)首創(chuàng)的“機器視覺+人工智能深度學(xué)習(xí)”融合的視覺控制器麒麟IV700發(fā)布，采用“傳統(tǒng)圖像處理+人工智能”深耦合技術(shù)，讓機器不但能看清而且能看懂，讓機器像人一樣思考。基于平臺中的工具，可輕松構(gòu)建解決實際問題的作業(yè)工程，獲得軟件加硬件的一體化解決方案，大大降低了視覺應(yīng)用的門檻，使普通工程師、技術(shù)員也能輕松完成視覺現(xiàn)場應(yīng)用，讓深度學(xué)習(xí)技術(shù)更方便地覆蓋到更多應(yīng)用場景，推動了人工智能技術(shù)在工業(yè)自動化領(lǐng)域的廣泛應(yīng)用，也為國內(nèi)工業(yè)視覺企業(yè)在視覺技術(shù)上彎道超車開辟了新的方向。

走到今天，他們已經(jīng)以基于先進智能的工業(yè)檢測技術(shù)為核心，開發(fā)了一系列工業(yè)視覺檢測產(chǎn)品，形成了一整套基于先進智能應(yīng)用的工業(yè)視覺檢測技術(shù)體系，為我國先進智能應(yīng)用，工業(yè)視覺檢測的理論研究、技術(shù)應(yīng)用、系統(tǒng)實現(xiàn)及產(chǎn)業(yè)化發(fā)展提供了技術(shù)保障。同時，相關(guān)技術(shù)和產(chǎn)品的應(yīng)用為客戶節(jié)約了人工成本，為產(chǎn)品全生命周期的質(zhì)量追溯提供了支撐，減少了高強度燈檢給人眼帶來的視覺疲勞和損傷，經(jīng)濟效益與社會效益顯著。截至2017年底，項目成果聯(lián)合匯川技術(shù)的其它產(chǎn)品，共創(chuàng)造經(jīng)濟效益47.8億元，直接利潤10.6億元。

2018年10月，被譽為“中國智能科學(xué)技術(shù)最高獎”的吳文俊人工智能科學(xué)技術(shù)獎最新一屆擬授獎名單公布，南京匯川圖像視覺技術(shù)有限公司榮獲“企業(yè)技術(shù)創(chuàng)新工程項目”獎項。這一獎項的取得，無疑是對任福繼、李勃以及匯川視覺的最大肯定與鼓勵。

·基于先進智能的機器人們

這個有點呆頭呆腦的機器人叫“里奧”，身高40cm，是任福繼與青島里奧機器人技術(shù)有限公司合作推出的產(chǎn)業(yè)化產(chǎn)品之一。

這個“里奧”不簡單，它能夠?qū)崿F(xiàn)精準語音識別與智能對話、情感感知等功能，是針對4～12歲兒童智力啟蒙、性格塑造的關(guān)鍵階段研發(fā)的兒童成長陪伴機器人，還曾首次出口到機器人先進國日本。

人們都說，陪伴是最長情的告白。對于成長期的兒童來說，陪伴的重要性不言而喻，而有情感的陪伴更會對孩子的一生產(chǎn)生影響。

里奧就是為了有情感的陪伴而出現(xiàn)。任福繼團隊前期的研究成果，使它具備了情感交互能力和自主學(xué)習(xí)能力，為它賦予了感情，能夠滿足孩子的心理需求。

先進的加工檢測設(shè)備

目前里奧已擁有成熟的機器人本體、機器人智能操作系統(tǒng)、云端服務(wù)平臺。并已經(jīng)獲得關(guān)于直線運動型伺服電機、三線制直流電機、座椅式充電裝置、識圖識物系統(tǒng)、基于安卓的機器人控制系統(tǒng)等9項專利權(quán)。

除了兒童陪伴，任福繼還將自己的成果在心理康復(fù)領(lǐng)域進行了驗證，并研發(fā)出了高級交互式代步機器人。

該機器人不但具有高可靠性和安全性，同時還具有一定程度的智能化和自動化，可實現(xiàn)室內(nèi)外自主定位導(dǎo)航、語音控制、人機自然語言情感會話、自主充電、頭姿/手勢控制等功能，可以在家庭和醫(yī)療場所對老年人進行陪護，并對特定病情（孤僻癥和抑郁癥）有輔助康復(fù)作用。

基于先進智能的高級交互式代步機器人，榮獲2014年吳文俊人工智能科學(xué)技術(shù)獎進步獎三等獎。

南京匯川麒麟產(chǎn)品發(fā)布會現(xiàn)場，麒麟研發(fā)團隊主要成員合照

未來之路

無論意愿如何、歡迎與否，機器人已經(jīng)實實在在走進我們的生活，掃地、擦窗、早教、養(yǎng)老，是最常見的幾個應(yīng)用場景。但是，能對話有回應(yīng)的機器人，就是真正的智能機器人了嗎？他們足夠成熟了嗎？

不盡然。

正如任福繼所說：盡管大數(shù)據(jù)應(yīng)用技術(shù)已成為現(xiàn)實，但關(guān)于它的實際應(yīng)用并不充分，盡管很多研究者都已經(jīng)在工業(yè)機器人、服務(wù)機器人等領(lǐng)域取得一定的社會和經(jīng)濟效益，但它們的功能仍有待完善，應(yīng)用范圍仍有待拓展。

基于此，任福繼已經(jīng)規(guī)劃好了團隊的下一步研究方向——

他們將繼續(xù)以先進智能為導(dǎo)向，以情感計算為核心與特色，以先進智能機器為載體，開展情感計算與先進智能機器的研究。“主攻面向多源大數(shù)據(jù)的類人智能感知機制、面向情感交互的多模態(tài)協(xié)同分析與推理機制以及大數(shù)據(jù)驅(qū)動的情感創(chuàng)生與交互機制等重大科學(xué)問題的理論研究、技術(shù)突破及系統(tǒng)實現(xiàn)?！?/p>

在大數(shù)據(jù)方面，“目前，大數(shù)據(jù)驅(qū)動與深度機器學(xué)習(xí)方法的實際應(yīng)用還不充分?，F(xiàn)有的大規(guī)模、高質(zhì)量多源情感語義數(shù)據(jù)庫及積累的深度機器學(xué)習(xí)方法，為進一步探索基于多源大數(shù)據(jù)庫和深度學(xué)習(xí)的多源視聽融合感知技術(shù)實現(xiàn)理論奠定了基礎(chǔ)，后續(xù)將為基于多源大數(shù)據(jù)庫和深度學(xué)習(xí)的情感服務(wù)機器人、工業(yè)機器人系統(tǒng)等提供理論與技術(shù)支撐?！?/p>

在產(chǎn)業(yè)化應(yīng)用拓展方面，“有必要立足既有項目成果在完善多模態(tài)情感計算理論與技術(shù)體系的同時，重點發(fā)展先進智能機器核心技術(shù)，將智能機器人（情感服務(wù)機器人、工業(yè)機器人等）作為核心應(yīng)用點和主戰(zhàn)場，拓展其功能和應(yīng)用范圍?！?/p>

人類情感的最美妙之處在于其不可預(yù)知無法揣測，機器人的情感終究是由人設(shè)計的。從這個意義上來說，情感機器人還有很長的路要走。但我們?nèi)詽M懷期待，期待真正的“大白”早日來到我們身邊。