基于認知模型的室內移動服務機器人人機耦合協同作業機制

江濟良，屠大維，張國棟，趙其杰

(1.上海大學機電工程與自動化學院，上海 200072;2.上海大學 上海市機械自動化及機器人重點實驗室，上海 200072)

隨著社會人口老齡化，以及由于各種原因導致的大量肢殘人士及運動、語障患者的出現，發展先進的助老助殘服務機器人成為社會發展和進步的迫切需求［1-2］.服務機器人是非結構化環境下為人類提供服務的集成多種高技術的智能系統，即具有一定“智能”的自動化機械［3］.但要發展具有完全自主行為的智能機器人在當前及可預見的將來仍有一定的困難［4］.20世紀 90年代初，錢學森、戴汝為、路甬祥、陳鷹等專家學者從不同角度提出了“人機智能”、“人機一體化智能系統”等概念的理論體系和技術立論［5-8］.人機智能系統強調智能的“人”與智能的“機器”共同感知、共同認知、共同決策、平等合作，彼此執行自己最擅長的工作，實現人的智能與機器智能在決策層面融合，產生更高的智能形式.在那以后的十幾年，研究人員針對不同應用系統，尋求能發揮人類定性、判斷、決策的智能，并與機器定量、計算、推理的智能相結合的人機一體化體系［9-11］.例如，劉雁飛和吳朝暉基于ACT-R(adaptive control of thought-rational)認知體系建立了符合真實駕駛認知行為的認知模型，并應用于車輛輔助駕駛系統［12］.AMANT等基于ACT-R認知行為架構，設計開發的手機菜單人機交互模式極大地提高了交互效率［13］.

對于行動不便的老人、肢殘人士、運動和語障患者這些心智正常并具有基本認知行為能力的對象與服務機器人構成的人機智能系統，也需要設計一種新的人機界面和工作機制.本文針對室內移動的助老助殘服務機器人，提出了基于ACT-R認知架構的人機耦合協同作業機制，通過人機耦合，建立人機一體化決策機制，實現在室內半結構化環境下人機協同路徑規劃、避障等功能.

1 ACT-R認知架構

美國心理學家Anderson于1976年提出了ACTR(理性思維的適應性控制)認知架構模型，試圖揭示人類組織知識、產生智能行為的思維運動規律［14］，包括感知與注意力、學習和記憶、問題解決與決策推理等.到目前為止，已發布多個ACT-R版本，并實現了對不同系統操作平臺的支持.ACT-R架構主要有3種類型的部件組成:基本模塊(modules)、緩沖(buffers)和模式匹配(pattern matcher)，其工作原理如圖1所示.

圖1 ACT-R認知架構Fig.1 ACT-R cognitive architecture

基本模塊有感知運動模塊(perceptual-motor modules)和記憶模塊(memory modules)2種類型.感知運動模塊負責系統與外界的交互，ACT-R較完善的感知運動模塊是視覺和操作模塊，例如看到一個房間，走了進來.記憶模塊有2類，即說明性記憶(declarative memory)模塊和過程性記憶(procedural memory)模塊.說明性記憶也叫做陳述性知識，由事實陳述構成，如上面例子中關于房間的知識.過程性記憶也叫過程性知識，是關于怎么做事情的知識，如上面例子中先走到房門位置，然后穿過房門，最后進入房間的全過程.模式匹配是在知識庫中搜索和緩沖狀態一致的生成規則，如果規則匹配則被模型觸發.生成規則實質上是當條件滿足時被激發的條件反射的觸發規則，同一時間只有1個規則被觸發，觸發結果修改緩沖狀態從而改變系統的狀態.緩沖是實現生成規則與其他基本模塊交互的接口，緩沖的內容標識ACT-R目前的狀態.ACT-R認知架構的認知過程實質上就是生成規則的不斷觸發.

本文從ACT-R認知架構模型及其實質出發，對移動服務機器人的人機一體化系統進行總體設計，通過建立人機耦合協同作業平臺，使人的智能和機器智能建立在共同的ACT-R認知架構下，達到人機協同決策的目的.

2 基于ACT-R的人機一體化系統

基于ACT-R認知架構的室內移動服務機器人的人機耦合協同作業系統如圖2所示.

圖2 移動服務機器人人機耦合協同作業系統Fig.2 Human-robot coupling and collaborative operation system for mobile service robot

該系統中人(用戶)的行動不便，但具備基本的認知能力，用戶通過人機界面實現人與機器(計算機和機器人)之間的耦合，移動服務機器人處在室內半結構化環境中，其環境特征為室內房間、走廊、門窗等尺寸精確固定，室內家具、雜物等可以移動.在ACT-R認知架構下用戶通過人機效應通道與人機耦合界面之間進行信息交互，人機耦合界面感知到人的意愿需求并將控制命令傳達給移動服務機器人，機器人發揮局部自主智能執行對應的任務，同時將執行數據、作業環境等信息實時地反饋到人機耦合界面，并能與人協同決策.人機耦合界面與移動服務機器人之間的信息耦合通過基于C/S結構的無線通信來實現.

2.1 人機效應通道和人機耦合界面

對于老年人和殘疾人這類特殊用戶群體來說，首先要解決人機效應通道問題，課題組面向助老、助殘應用，研究開發了基于“視覺－眼動”、“聽覺－語音”等簡單自然雙向人機效應通道的人機交互裝置［15-17］.其次，通過簡單自然的人機效應通道，設計了基于ACT-R認知架構的人機耦合智能界面，它主要由橫向排列的任務對話框和信息耦合界面組成.任務對話框由一系列的任務列表組成，當用戶通過人機效應通道與人機耦合界面交互時，該任務對話框可以進行智能展開和左右延伸并進行響應，自由而充分地表達用戶的意愿需求.信息耦合界面由簡單自然的耦合窗口組成.

此外，為降低老年人和殘疾人這類特殊用戶群體在交互過程中的負擔，在人機界面設計上采用基于ACT-R認知架構的主動引導、用戶適應、機器學習等智能模塊.計算機(或機器人)在交互或執行任務過程中遇到困難時，通過上下文提示、語義聯想等主動引導缺省信息，要求用戶做出響應;針對不同用戶的行為特點和個性化參數，自適應修正系統參數，提高系統可靠性;計算機(或機器人)通過不斷學習獲得新的陳述性知識和過程性知識.如圖3所示.

圖3 基于ACT-R的人機交互Fig.3 Human-robot interaction based on ACT-R

2.2 移動服務機器人

移動服務機器人安裝了差動驅動的左右主動輪及各種機載傳感器，包括左右驅動電機編碼器、LMS200激光雷達、CCD、聲吶、數字羅盤、GPS等.其中德國SICK公司的LMS200激光雷達在一個平面作水平掃描獲取該平面內場景的距離信息，筆者設計了一個擺動機構使之俯仰擺動，成為三維激光雷達傳感器，獲取場景三維圖像(range image)［18］，如圖4所示.三維激光雷達傳感器與CCD傳感器聯合使用，使機器人既獲得場景中二維物體的輪廓及顏色、文字、符號等信息，又獲得場景三維空間信息，兩者在時間上同步，視場上重合，且相互映射(mapping).

圖4 移動服務機器人Fig.4 Mobile service robot

該移動機器人具有局部自主智能，一方面依賴其內存中的室內固定環境電子地圖，如走廊、門、墻等的位置和尺寸;另一方面，利用其自身攜帶的傳感器感知環境信息，特別是環境中的障礙物信息.移動機器人局部自主路徑導航和智能避障同樣基于ACT-R認知架構，即系統采用以環境電子地圖描述的固定信息為基礎的陳述性知識和以傳感器獲得的場景信息為基礎的過程性知識，通過緩沖，生成執行規則，完成局部路徑規劃、避障等功能.執行規則是一系列特征匹配和預測控制算法［19］.

3 用戶與機器人的空間環境耦合

對室內移動機器人來說，用戶與機器人在空間環境耦合是實現人機協作導航進行避障的關鍵.利用電子地圖和左右電機編碼器、GPS、機載數字羅盤可以實現機器人在環境中的實時定位和姿態檢測.利用OpenGL三維動畫技術構建移動服務機器人與室內環境的三維模型，當機器人在室內移動時同步顯示其在環境中的位置和姿態改變，將這一空間環境呈現在用戶界面(見圖5)，實現用戶與機器人在空間環境的耦合.

圖5 人－機－環境耦合Fig.5 Human-robot-environment coupling

因此，必須不斷地將移動服務機器人的執行數據實時反饋到用戶界面，并通過這些數據在人機耦合界面實時驅動移動服務機器人三維模型的相應運動.反過來也一樣，當人機耦合界面中的移動服務機器人三維模型在用戶的命令下發生運動時，實際環境中移動服務機器人也應該保持相應的同步運動.

圖6為移動機器人運動學分析，其左右主動輪中心之間的距離為Ld，主動輪和從動輪之間的距離為Lp.圖6中建立了2個坐標系W和P.W為世界坐標系{xw，ow，yw}，P 為機器人坐標系{xp，op，yp}，其中op為機器人主動輪軸的中點，xp為主動輪軸線方向，yp為機器人前進方向.在世界坐標系W下，機器人的位姿為(xp，yp，θp)，其中(xp，yp)為點 op在世界坐標系W中的坐標，θp為坐標系P相對于世界坐標系W的旋轉角，稱為機器人的航向角.

圖6 移動機器人運動學分析Fig.6 Kinematic analysis of the mobile service robot

對其左右主動輪進行運動分析，如圖6所示.已知左右輪的半徑相同為R，設輪心o1、or的速度大小分別為V1和Vr，由于輪子受非完整約束，其在地面作無滑動的純滾動，可得

在世界坐標系W中，op點的速度Vp為

式中:|Vp|為op點的速度大小.由式(1)～(3)整理得

4 人機協同決策作業機制

該系統采用人－機一體的技術路線，人與機器共同組成一個系統，人機共同感知、共同認知、共同決策、平等合作，彼此執行自己最擅長的工作;在充分發揮人的智能的基礎上，適當地去開發機器的智能，旨在實現人的智能與機器智能在決策層面的融合，以產生更高的智能形式.圖7為基于ACT-R認知架構的移動服務機器人人機一體化決策模型.整個系統中，除了用戶具有人的智能，人機耦合界面和機器人也具有基于ACT-R認知架構的智能.

人機耦合界面主要由任務需求對話框和4個耦合窗口組成，4個耦合窗口分別為CCD二維視頻窗口、激光雷達三維圖像窗口、人－機－環境耦合三維模型窗口和環境幾何地圖窗口，如圖8所示.視頻窗口顯示機器人前方視頻圖像;激光雷達三維圖像窗口顯示三維激光雷達通過掃描獲得的前方場景距離圖像;人－機－環境耦合三維模型窗口顯示與實際移動服務機器人同步運動的三維作業模擬圖像;環境幾何地圖窗口顯示室內環境電子地圖.人機作業進程中，在界面上就會產生虛實結合、多維、交互的人機耦合效果.

圖7 基于ACT-R的人機協同決策模型Fig.7 Human-robot decision model based on ACT-R

圖8 人機耦合界面設計Fig.8 Design of human-robot coupling interface

圖9為移動服務機器人人機一體化決策協同作業機制的原理圖.用戶通過“視覺－眼動”、“聽覺－語音”等簡單自然的人機效應通道與人機耦合界面進行交互，人機耦合界面與機器人之間通過基于C/S架構的無線通信實現信息耦合，機器人通過其操作模塊和感知模塊與環境之間發生相互作用，用戶和環境之間形成一條交互耦合通道，實現人－機－環境的空間耦合感知，以實現人機一體化決策.

移動服務機器人接收到用戶的決策命令時，機器人自身也進行決策，權衡用戶決策的合理性和可行性，如果合理可行，則執行用戶的決策命令，否則將機器決策的相關信息反饋到耦合界面供用戶參考.機器人在執行任務過程中，當自身的局部智能遇到困難時，會通過消息發送器和消息對話框在人機耦合界面上自主彈出消息，給予用戶適當提示，請求用戶參與決策.表1列出了移動服務機器人人機協同作業的條件響應生成規則.例如人機協同避障條件－響應生成規則中，如果同時滿足條件1)處于前進、左轉或右轉運動狀態;2)前方安全距離范圍內檢測到障礙物;3)機器智能有限不能避開這類障礙物，則觸發人機協同避障進程，機器人在安全距離處停止運動，向人機界面發送消息“左轉，右轉?”，請求用戶參與避障決策.人機作業進程中，用戶主要負責定性判斷和決策，例如轉彎方向判斷、目的地選擇等.移動服務機器人是作業任務的執行者，主要承擔定量計算和推理工作，它一方面將環境信息和相關執行信息實時地反饋到人機耦合界面上，另一方面運用陳述性知識和過程性知識，通過緩沖，生成規則，發揮自主局部智能，例如轉彎半徑選擇、自主避障等.用戶和移動服務機器人通過人機協同決策和分工合作來完成復雜的作業任務.

圖9 人機一體化決策協同作業機制Fig.9 Human-robot integrated and collaborative decision operation mechanism

表1 人機協作條件－響應生成規則Table 1 Condition-action productions of HRC

5 室內人機協同作業實驗

實驗系統如圖10所示，其中圖10(a)為在走廊中的移動服務機器人，圖10(b)為在房間內的用戶及人機交互界面.用戶使用語音、視覺等簡單自然的人機效應通道，在具有ACT-R認知特征的智能人機界面進行人機交互.

圖10 實驗系統Fig.10 Experiment system

圖11為移動服務機器人人機耦合協同作業過程中的幾幅畫面.圖11(a)～(c)表示機器人利用自身攜帶的傳感器檢測到前方存在障礙物，發揮機器自主智能在安全距離處停止運動，并在界面上給予用戶適當的提示:“左轉，右轉?”(見圖12(a));用戶通過人機耦合界面感知到這一提示，作出右轉決策命令，機器人在用戶決策命令下發揮機器智能自主避開障礙物.圖11(d)～(f)表示機器人即將行至房門位置面臨多個房間選擇時，提示用戶:“請問進入哪一房間?”(見圖12(b));用戶選擇所要進入的房間后，機器人依據內部電子地圖和自身攜帶的傳感器自主進入該房間.

圖11 人機耦合協同作業過程的幾幅畫面Fig.11 Pictures of human-robot collaborative operation

圖12為人機協同作業時的人機耦合界面，其中圖12(a)是機器人在安全距離處停止運動時的人機耦合協同決策界面，這時界面上的人－機－環境耦合三維模型窗口上會彈出“左轉，右轉?”消息字樣;圖12(b)是機器人即將到達房門位置存在多個房間選擇時的人機耦合協同決策界面，這時界面上的人－機－環境耦合三維模型窗口上會彈出“請問進哪一房間?”消息字樣，且任務需求對話框也發生相應變化，列出所有的房間號供用戶選擇.環境幾何地圖窗口中的圓點及箭頭表示機器人在地圖上的位姿(圓點中心位于粗實線的中心線上)，曲線為實驗中所保留的機器人的運動軌跡.圖13為機器人進入指定房間時界面上的環境幾何地圖窗口，該窗口顯示了人機耦合協同作業過程中機器人的運動軌跡.

圖12 人機耦合界面Fig.12 Human-robot coupling interface

圖13 環境幾何地圖窗口Fig.13 Environment geometric map window

6 結束語

本文將具備基本認知能力的老、殘、障這類特殊服務對象納入到人機系統中，提出了基于ACT-R認知架構模型的移動服務機器人人機耦合協同作業機制，用戶與機器人共同感知、共同決策、平等協作地完成室內避障、導航等作業任務.從該系統人機耦合協同作業機制的實現上看，設計了基于ACT-R認知架構的人機耦合智能界面，用戶通過與交互界面之間的自然友好交互和人與機器人之間的空間環境耦合感知，實現了人機一體化協同決策作業.該人機耦合協同作業機制以移動服務機器人為例，在室內環境下進行人機耦合協同避障導航實驗，順利、高效地完成了作業任務.

［1］MIURA J，SHIRAI Y，SHIMADA N，et al.Development of a personal service robot with user-friendly interfaces［C］//Proceedings of the 4th International Conference on Field and Service Robotics.Lake Yamanaka，Japan，2003:293-298.

［2］GRAF B，HANS M，SCHRAFTL R D.Care-O-bot II—development of a next generation robotic home assistant［J］.Autonomous Robots，2004，16(2):193-205.

［3］LEE K W，KIM H R，YOON W C，et al.Designing a human-robot interaction framework for home service robot［C］//Proceedings of the 14th IEEE International Workshop on Robots and Human Interactive Communication.Nashville，USA，2005:286-293.

［4］陸新華，張桂林.室內服務機器人導航方法研究［J］.機器人，2003，25(1):80-87.

LU Xinhua，ZHANG Guilin.Summarization on indoor service robot navigation［J］.Robot，2003，25(1):80-87.

［5］錢學森，于景元，戴汝為.開放的復雜巨系統及其方法論［J］.自然雜志，1990，13(1):3-10，64.

［6］戴汝為.“人機結合”的大成智慧［J］.模式識別與人工智能，1994，7(3):181-190.

DAI Ruwei.Metasyntactic wisdom of man computer cooperation［J］.Pattern Recognition and Artificial Intelligence，1994，7(3):181-190.

［7］路甬祥，陳鷹.人機一體化系統科學體系和關鍵技術［J］.機械工程學報，1995，31(1):1-7.

LU Yongxiang，CHEN Ying.Academic architecture and key techniques of the humachine system［J］.Chinese Journal of Mechanical Engineering，1995，31(1):1-7.

［8］王巍，王志良，鄭思儀.人機交互中的個性化情感模型［J］.智能系統學報，2010，5(1):10-16.

WANG Wei， WANG Zhiliang， ZHENG Siyi. Affective model in human-robot interaction［J］.CAAI Transactions on Intelligent Systems，2010，5(1):10-16.

［9］楊燦軍，陳鷹，路甬祥.人機一體化智能系統理論及應用研究探索［J］.機械工程學報，2000，36(6):42-47.

YANG Canjun，CHEN Ying，LU Yongxiang.Study of the humachine intelligent system and its application［J］.Chinese Journal of Mechanical Engineering，2000，36(6):42-47.

［10］蘇相國，樊繼壯，臧希喆.改進的多機器人協作探索策略研究［J］.哈爾濱工程大學學報，2010，31(3):350-354.

SU Xiangguo，FAN Jizhuang，ZANG Xizhe.An improved method for multi-robot coordinated exploration［J］.Journal of Harbin Engineering University，2010，31(3):350-354.

［11］KAUPP T，MAKARENKO A，DURRANT-WHYTE H.Human-robot communication for collaborative decision making—a probabilistic approach［J］.Robotics and Autonomous Systems，2010，58(5):444-456.

［12］劉雁飛，吳朝暉.駕駛ACT-R認知行為建模［J］.浙江大學學報:工學版，2006，40(4):1657-1662.

LIU Yanfei，WU Chaohui.Driver behavior modeling in ACT-R cognitive architecture［J］.Journal of Zhejiang University:Engineering Science，2006，40(4):1657-1662.

［13］AMANT R S，HORTON T E，RITTER F E.Model-based evaluation of cell phone menu interaction［C］//Proceedings of the SIGCHI Conference on Human Factors in Computing Systems.Vienna，Austria，2004:343-350.

［14］ANDERSON J R.ACT-R:a simple theory of complex cognition［J］.American Psychologist，1996，51(4):355-365.

［15］趙其杰.服務機器人多通道人機交互感知反饋工作機制及關鍵技術［D］.上海:上海大學，2005:14-38.

ZHAO Qijie.Information perception and feedback mechanism and key techniques of multi-modality human-robot interaction for service robots［D］.Shanghai:Shanghai University，2005:14-38.

［16］屠大維，趙其杰，尹海榮.自動適用用戶頭部位置變化的眼睛盯視輸入系統［J］.儀器儀表學報，2005，25(6):828-831.

TU Dawei，ZHAO Qijie，YIN Hairong.Eye-gaze input system being adaptive to the user’s head movement［J］.Chinese Journal of Scientific Instrument，2005，25(6):828-831.

［17］趙其杰，屠大維，高達明，等.人機交互方法及裝置:中國，1584791［P］.2005-02-23.

［18］羅榮貴.基于視覺傳感集成的移動機器人環境感知研究［D］.上海:上海大學，2011:25-54.

LUO Ronggui.Research of mobile robot’s environmental perception based on vision sensors integration［D］.Shanghai:Shanghai University，2011:25-54.

［19］黃志華，屠大維，趙其杰.基于人機交互的移動服務機器人導航系統［J］.機器人，2009，31(3):248-253.

HUANG Zhihua，TU Dawei，ZHAO Qijie.A human-robotinteraction-based navigation system for mobile service robot［J］.Robot，2009，31(3):248-253.