孫立寧,許 輝,王振華,陳國棟
(蘇州大學機器人與微系統研究中心 蘇州,215000)
近年來,人工智能、云計算、物聯網等技術快速發展[1],推動主要工業國家提出了面向智能制造的戰略規劃,包括德國的“工業4.0”、美國的“工業互聯網”、中國的“中國制造2025”等[2-3],助推制造業從數字制造向智能制造轉型升級,在以數據和信息處理為核心的數字制造系統的基礎上,自動化裝備融合智能感知、智能規劃、智能控制等技術,構成以知識和推理為核心的智能制造系統[4-5]。在具體的轉型升級方式上,工業機器人作為一種自動化裝備,通過與智能技術、工藝數字化技術等先進技術融合,實現了面向不同作業場景、作業任務、作業工藝的智能化應用,加快了制造業的轉型升級進程。因此,從單臺柔性工作站到大型柔性流水生產線,工業機器人已發展成為智能制造系統的核心和主體裝備[6],在工業生產和社會發展中正發揮越來越重要的作用。
在制造業中作業方式單一、重復等簡單工序上,傳統的工業機器人已得到廣泛應用。從技術角度劃分,這類工業機器人仍然屬于第1代(Robotics 1.0)示教再現型機器人[7],其不足之處是缺乏智能性,主要應用于周圍環境狀態已知、變化小的結構化工作場景中,如標準化的流水線生產、組裝和機械式重復作業等場景。而在汽車零部件、3C電子、陶瓷衛浴及五金壓鑄等行業,還存在大量目標工件與環境都是高度非結構化的作業場景,如噴涂、拋磨、裝配等自動化程度低、作業環境惡劣的工序,仍以人工結合專用設備作業為主,生產效率的提升受到限制。現有的人工結合專用設備的生產模式,不僅嚴重影響作業人員的身體健康,而且其生產效率和產品質量無法滿足巨大的市場需求。因此,為了解決巨大的市場需求與生產效率低下的矛盾、作業人員身體健康問題以及其作業技能無法適應高端裝備的矛盾,基于智能化、數字化技術對現有的工業機器人系統進行升級改造,使其具備第2代(Robotics 2.0)、第3代(Robotics 3.0)工業機器人的特性[8]。
隨著我國制造業向智能制造轉型升級的需求不斷增長,以及機器人和相關智能技術的成熟,使工業機器人智能化技術從研究領域拓展至產業化應用領域,將促進機器人從第1代快速發展至第3代[8-9],即具備智能屬性的智能機器人。基于智能化、數字化技術的工業機器人應用系統,不僅可以解決工業機器人在傳統制造業中的智能化應用問題,而且還可以解決因產品定制化需求增長而導致的傳統工業機器人作業方式無法滿足工藝多樣性要求的問題,使工業機器人的應用范圍拓展至更多的制造業領域。
制造業升級改造的目的之一是解放生產力,提高產品質量和生產效率。在真實的工業現場,工業機器人及其配套設備正逐漸取代工人以及傳統的自動化裝備,而在數字世界中,機器人技術與人工智能、大數據、云計算及工業互聯網等技術融合,為傳統的控制策略賦予智能屬性[10]。如圖1所示,通過“云-邊-端”系統的協同,實現真實的現場與數字世界的融合。因此,工業機器人的智能化應用的核心是硬件智能化和軟件智能化的融合。硬件智能化的實現方式是通過改變工業機器人本體形態或在機器人系統中集成視覺、力覺等智能傳感器,為機器人本體增加感知多模態信息的硬件設備;軟件智能化的實現方式是將經驗化的產品加工工藝與機器人、人工智能、大數據等技術的融合,轉化為可以驅動機器人硬件執行作業任務的數字化工藝。

圖1 工業機器人與工業互聯網融合的技術路線Fig.1 The technical route of the integration of industrial robot and industrial internet
從生產工藝角度分析,作業人員通常利用工具或手工,按照生產工藝的要求,對各種原料、材料、半成品進行加工或處理,使之成為合格的成品。無論是數字制造還是傳統手工作業,在向智能制造升級的過程中,對原有生產工藝的吸收、借鑒以及改進,是基礎實施過程中關鍵的一環。因此,根據作業工藝、作業人員所處的環境以及與作業對象之間的接觸關系,將工業現場常見的作業類型劃分為非接觸式作業(如噴涂、焊接等)、接觸式作業(如打磨、拋光、裝配等),二者的區別在于作業人員與作業對象之間是否產生直接的相互作用力。在改造升級的過程中,以工業機器人替代人工作為執行裝備,與配套的智能傳感器、自動化裝備共同組成機器人智能化應用系統[10]。
非接觸式和接觸式作業主要描述的是工業機器人與作業對象之間的力接觸關系。單個制造工序經過智能化升級后,可以與其他已升級工序組成標準化生產線,其特點是生產效率高。由于設備是固定不變的,不需要經常換產,相應地提高了設備利用率,降低了生產成本。隨著定制化產品需求的不斷提升,相應的產品種類隨之增多,而同一種類的產品數量需求則以小批量為主[11],導致生產設備需要根據產品類型快速地切換生產工藝,而傳統的標準化、大批量生產模式無法滿足定制化作業對生產線頻繁換產的要求。作為定制化作業的解決方案,人機協作系統能夠滿足多樣化、小規模、周期可控等特點,是未來制造業的趨勢。人機協作系統的核心是人與機器人,人天然具備智能性,可以根據外部環境變化做出相應的反饋,而機器人需要借助智能傳感器為其賦予智能屬性,感知非結構化場景的變化,結合運動規劃算法,配合人類完成作業任務。
因此,基于硬件智能化和軟件智能化升級改造的思路,工業機器人在不同制造業場景的智能化應用可以歸納為圖2所示的技術路線。首先,根據現有手工或專機作業流程,對原有的生產工藝進行數字化轉化;其次,基于工業機器人和智能傳感器的功能特點,研究環境建模、位姿估計、力/位混合控制等智能化技術,對數字化工藝進行適配和改造,在保證產品質量的前提下提升生產效率。

圖2 工業機器人智能化應用的典型技術路線Fig.2 Typical technical route of intelligent application of industrial robots
與人類相比,傳統工業機器人的應用范圍局限于簡單、重復的一致性、標準化作業,而人類可以基于眼睛感知視覺信息、皮膚感知力覺信息,從而利用大腦融合并處理視覺和力覺信息以引導手臂完成工藝復雜的高難度任務。因此,工業機器人向智能化發展的重要硬件基礎是智能傳感器。智能傳感器的感知屬性為工業機器人賦予了與外部真實世界進行交互的能力[12],一方面,為工業機器人提供了豐富的工藝數據,引導其執行自主作業;另一方面,工業機器人以感知數據作為反饋信息,在作業過程中實現全局閉環控制,提升作業質量。
視覺感知系統是機器人集成應用系統的重要組成部分,以非接觸的方式為機器人提供豐富的二維和三維信息。在復雜的三維工業場景中,引入二維和三維視覺系統,基于視覺重建和理解技術[13],完成機器人智能化應用環節中的環境建模、位姿估計等任務。
相較于視覺系統的非接觸屬性,力傳感器則應用于打磨、拋光、裝配及人機協作等接觸式作業場景。在機器人系統中部署力傳感器,用于感知受力情況,形成力/位置閉環系統,保護機器人和作業對象免受機械損傷的同時,提高產品質量。同時,在面向多品種、小批量需求的人機協作場景,安全性是第一位的,基于力傳感器的精確力感知技術是柔順控制與人機安全保障的基礎。
三維環境重建技術是以數學的方式描述真實的三維作業空間內機器人、工件及障礙物的立體信息,是后續位姿估計、運動規劃的數據基礎。在工業場景中,根據建模對象不同,三維重建主要分為兩類:①面向目標工件的局部高精度三維重建技術;②面向全局空間的實時三維重建技術。
為了提升產品質量,獲取高精度的工件模型是前提條件。工業現場工件的成像質量受光照影響較大,可以利用偏振視覺系統采集工件表面反射光強度信息,進行三維重建,以減小不穩定光源的影響[14]。針對偏振光三維重建方法無法確定模型相對于傳感器的絕對坐標信息的問題,通過融合偏振視覺與立體視覺,以坐標變換的方式求解重建模型的坐標信息,實現對無紋理高反光工件的高精度三維重建[15]。
從工業機器人三維作業空間的全局角度分析,需要對非結構化的全局環境進行建模,以確定機器人與障礙物的相對位置關系。相較于局部的高精度建模,全局建模更注重實時性。隨著Kinect,Intel RealSense等消費級設備的出現,實質性地推動了實時三維重建的研究[16],三維重建的模型通常是以點云的形式進行描述和存儲,研究者通常將基于點云數據的建模方法與三維柵格[17]結合,離散化的柵格可以加快密集點云數據的處理[18]。
位姿估計是對局部高精度三維重建模型的進一步處理,目的是獲取目標工件相對于工業機器人基坐標系的立體位姿信息。現階段,在工業領域應用的位姿估計算法,根據技術原理不同,主要分為基于點特征類算法、基于模板匹配類算法及基于深度學習類算法。
基于點特征的物體位姿估計算法包含諸多經過實驗驗證的算法[19],其算法流程通常是先根據待識別的物體外形提取顯著特征點,并構建基于點云的特征描述子,然后基于特征描述子在物體原始點云模型中搜索與其特征匹配的點位,利用點云配準算法(iterative closest point,簡稱ICP[20])求解二者相對空間變換矩陣[21-22]。
基于模板匹配的物體位姿估計算法以離線與在線融合的方式從全局匹配最優解,有效地解決了少紋理或無紋理物體的位姿估計問題。基于模板匹配的物體位姿估計算法借鑒圖像識別領域的思想,在離線階段,建立待識別物體在不同位姿狀態下的模板庫,在線階段將視覺傳感器獲取的數據與模板庫中的模板快速匹配,獲得相似度最高的模板[23],從而確定待識別物體的最終位姿[24]。
基于深度學習的位姿估計算法包括:①利用端到端的深度學習方式對視覺采集的數據進行訓練,輸出工件的位姿[25];②根據RGB-D數據的特點,利用基于卷積神經網絡的實例分割算法提取目標物體的輪廓及像素占據信息,獲得目標物體的點云,再基于點云配準算法求解目標物體的位姿[26]。
機器人的柔順控制主要有被動柔順控制方法和主動柔順控制算法,其中主動控制主要是通過安裝在機器人上的力傳感器或者檢測的關節電機輸出的力矩,對機器人與目標工件之間的接觸力進行實時的監測,并通過理想接觸力與實際接觸力之間的誤差修正工業機器人末端運動軌跡的方式進行調節[27]。被動柔順控制方法主要是在末端執行結構中加入具有柔性的機構,比如彈簧或者柔性法蘭,相比主動柔順控制,其具有更直接的儲能效果,降低了力響應的帶寬與位置的精準度。但被動柔順具有局限性,受到安裝環境的限制,柔性機構的反饋速度較慢。
遷移學習技術是一種深度學習模型訓練方法,采用已訓練的知識模型對不同但相關領域問題的期望值進行預測,可以提高深度學習模型的泛化性能[28]。當在工業現場中部署深度學習模型時,構建大規模的、完善的、標注良好的數據集非常困難,而且如果對每一種工件從原材料至成品的各個階段進行數據采集和標注,需要投入大量的時間成本,所以構建大規模數據集不符合工業生產對快速部署、高效換產的要求。遷移學習技術不要求當前任務的訓練數據必須與測試數據獨立且同分布,通過利用遷移學習技術,可以解決工業現場中普遍存在的訓練數據不足的問題。因此,遷移學習技術積極推動了深度學習算法在工業現場的應用進程和范圍,在機器人智能化應用中發揮著越來越大的作用。
在建立完成的環境模型中,基于約束條件在機器人的自由構型或工作空間中搜索出一系列中間位姿,使機器人從初始位姿安全地運動到目標位姿,這個過程即是機器人運動規劃,是機器人技術中的基本問題之一。
目前,面向靜態非結構化環境,應用于工業機器人運動規劃領域的算法主要有隨機采樣算法和基于深度學習的運動規劃算法等。基于隨機采樣的運動規劃算法[29]可以分為多次查詢算法和單次查詢算法。隨機路圖法(probabilistic roadmaps,簡稱PRM)是典型的多次查詢算法[30],在工作環境不變的情況下,在預處理階段構建高維空間的路圖,在查詢階段利用圖搜索算法確定最優路徑。與PRM算法不同,快速擴展隨機樹(rapidly-exploring random trees,簡稱RRT)是一種單次查詢算法,具有更高的規劃效率,因此在高維空間的運動規劃中應用的更加廣泛[31]。基于深度強化學習的運動規劃算法是將深度學習與自監督學習的強化學習相結合,通過機器人自主地與場景互動,觀測并記錄場景反饋,并以行動試錯和獎勵的方式進行訓練,根據結果優化行動策略,獲得貼近人類決策方式的結果[32]。
在動態非結構化環境中,尤其是在人機交互的環境中,預先規劃的路徑可能會被障礙物阻擋,如果機器人不能及時在線生成新的運動路徑,則會與障礙物發生碰撞,導致機器人與障礙物損壞。針對非結構化環境中的機器人在線運動規劃問題,通常有兩類方法:反應式控制和全局運動規劃。反應式控制通常基于人工勢場法(artificial potential field,簡稱APF)構建控制策略[33],屬于被動式的避障方法,用于局部動態避障[34],許多學者對其進行了研究及應用[35-36]。全局動態運動規劃方法則是在整個機器人構型空間內搜索可行的路徑,典型的算法是一種基于PRM的動態路圖法[37],該方法將大量路圖計算在預處理階段完成,以縮減在線階段的動態規劃時間,達到實時性要求[38-39]。
基于智能化、數字化、網絡化等思想,采用以深度學習為代表的人工智能技術,融合工藝數字化模型,構建多種行業解決方案,對現有的工業機器人作業系統進行升級改造,圖3所示為總體技術框架。工業機器人智能化應用為減少工人在現場的高污染、高勞動強度提供了保障,同時提高了生產效率,改變了行業生產模式,為制造業轉型升級提供堅實的技術支撐。
陶瓷衛浴的生產從粉料混合開始,經過成型、打磨、噴涂、燒成、分揀及包裝入庫等60余道工序,在智能化升級的過程中,主要面臨如下問題:①產品型號多,且不同產品混合生產;②多臺工業機器人程序復用的效率問題;③噴釉等工匠型工人的技術經驗難以傳承。針對上述問題,通過分析工業機器人作業工藝存在的不足,利用深度學習等人工智能技術對工業機器人進行升級,改善了工藝流程。在解決以上問題的過程中,主要采用如下智能化技術。

圖3 典型應用案例技術架構Fig.3 Technical architecture of the typical application case
1)針對噴涂過程中涂層厚度分布不規律的問題,基于自平衡無動力關節臂快速示教技術,提出了融合噴涂工藝參數進行自主學習優化并快速自動生成機器人程序的方法,如圖4所示。通過對噴涂現場的調研完成噴涂工藝分析,基于人工智能的大數據分析技術,建立涂料沉積速率模型,選取期望涂層厚度和最大允許涂層厚度偏差為約束條件、涂層分布均勻性作為優化目標,對噴涂參數進行優化,優化求解得到的結果將會以噴涂工藝的形式融合在噴涂路徑規劃的算法中。

圖4 無動力示教臂工作原理Fig.4 Operating principle of unpowered teaching manipulator
2)針對衛浴陶瓷產品噴涂工藝標準不統一以及快速換產的問題,基于自學習機器人噴涂工藝及多機器人快速示教技術,構建了工匠技術數字化平臺。基于機械式標定裝置及機器人標定技術,實現了噴涂技術的數字化以及群機器人系統快速示教和程序復用,降低對群機器人系統的設備制造和安裝要求,提高系統部署柔性,實現群機器人高效噴涂和大規模快速換產。
3)針對衛浴陶瓷行業勞動強度大、生產環境惡劣、效率低、工序多而復雜、能耗大及管理困難等問題,基于機器人智能生產線集成及智能管控技術,將機器人噴涂、在線檢測、分級分揀及儲坯輸送等系統有機集成。通過多機器人、多工藝融合智能生產線的混線生產和集成技術,開發具有設備動態監控、智能管控及故障診斷等功能的制造執行系統(manufacturing execution system,簡稱MES)系統,使得生產線總體生產效率比傳統人工線提高50%以上,相同產量可以減少一半人員,同時產品優等率提高至98.5%。
基于3D點云的機器人自編程是機器人智能化應用的關鍵技術,尤其在機器人表面修整工藝中應用居多。該技術的應用大幅提升了工業機器人在工業現場的柔性和智能化水平,如基于3D點云的陶瓷衛浴修坯、金屬鑄件的打磨、拋光等,如圖5所示。針對金屬打磨作業領域的工業機器人應用,主要采用如下智能化技術。
1)基于高精度3D視覺系統,開發了面向工件表面的三維點云數據采集系統,提出基于數據高速采集系統、三維模型重建與局部特征識別、模型工藝分解的在線打磨軌跡生成技術。針對不同批次工件不一致及修整過程磨料磨損的問題,采用主動恒力裝置的力反饋技術實時對打磨軌跡進行全局修整,降低對現場工人的機器人示教及離線編程等的技術要求,并基于結構光高速掃描技術與精確配準算法,重建工件三維模型,融合在線三維局部特征目標識別技術,實現局部軌跡修整要求。
2)針對復雜曲面自動路徑規劃困難的問題,提出了基于曲面分片算法和點云切片技術進行智能路徑規劃的方法。對于簡單曲面融合相關的打磨工藝要求直接采用點云切片技術進行打磨路徑規劃,如果曲面比較復雜,則采用曲面分片算法得到一系列分片,然后在每個分片上使用點云切片算法完成打磨路徑規劃。

圖5 機器人三維感知曲面并柔性打磨過程Fig.5 Three-dimensional surface perception and flexible polishing process
3)針對金屬鑄件打磨的工藝問題,選取材料去除量作為衡量打磨質量的關鍵指標,基于Preston方程和赫茲接觸理論對材料去除量進行建模和仿真,基于人工智能技術統計分析打磨工藝參數對材料去除量的影響,選取期望打磨深度和材料去除的均勻性作為約束條件,求取打磨過程中最優參數。通過三維點云數據與點云模型進行比對處理,建立物理模型與虛擬模型的差異化模型,構建工具、工藝、材料及3D差異模型之間的映射關系,實現打磨工藝數字化,從而為機器人軌跡自動生成提供工藝依據,結合機器人動力學模型,實現機器人自動表面修整。
針對精密裝配中感知信息不全及機器人力控柔性的問題,提升工業機器人智能化水平,提出基于視觸覺融合感知機理及機器人變剛度控制的精密裝配理論及方法。該研究針對視觸覺融合感知、機器人變剛度控制及智能操作環境構建等3個核心問題的研究,提升了機器人感知智能、控制智能及應用智能等3個方面的智能化水平,對提升工業機器人在相關領域的應用提供理論依據和方法支撐,對促進我國工業機器人智能化水平具有重要作用。智能化升級改造過程中,主要采用如下智能化技術。
1)基于主/被動柔順結合的設計思想,設計了一種具有被動柔順性且可以結合工業機器人實現主動柔順控制功能的軸孔柔順裝配裝置。首先,結合自研的柔順裝置,提出一種基于融合目標多模態特征的視觸覺融合感知方法,解決視觸覺融合中的模態信息弱配對問題;其次,搭建一種融合感知與控制的智能裝配操作環境,從而實現機器人裝配任務的智能操作。
2)通過對軸孔裝配過程的分析,提出了一種基于可變柔順中心的軸孔裝配策略。該策略基于力/位/視覺混合控制算法,規劃工業機器人的裝配流程,機器人僅根據反饋信號進行主動位置控制,即可在一個軸徑的偏差內完成裝配任務。同時,基于該策略開發了一個柔順裝配控制系統,該系統具有控制簡單、響應速度快的特點。如圖6和圖7所示,通過在工業機器人智能裝配平臺和工業現場的測試,驗證了所設計的柔順裝置和裝配策略的有效性。

圖6 軸孔柔順裝配的算法流程圖Fig.6 Algorithm flow chart of shaft-hole compliant assembly

圖7 軸孔裝配作業流程Fig.7 Process flow of shaft-hole assembly operation
傳統的示教編程、離線編程、遙操作等使得機器人具備一定的作業操作技能,能夠滿足結構化場景,實現位置和力控制任務。而面向非結構化工作環境或頻繁換產場合,甚至復雜任務的批量化復現,機器人操作技能開發周期較長、效率低、工作量大且不能滿足需求的多樣化。該研究針對上述問題,搭建具有技能在線感知與標注的技能學習平臺,將多模態數據作為自注意模型輸入,構建多模態信息融合與跨模態關系建模,實現復雜技能分割與學習,基于遷移學習技術,開展了跨領域的應用研究,驗證了操作技能學習方法的魯棒性和泛化性。在機器人實現對復雜操作技能學習的過程中,主要采用如下智能化技術。
1)基于七軸機器人、雙臂機器人、六軸協作機器人、仿生手爪以及時空連續動作捕捉系統、立體視覺和觸覺傳感器,搭建技能在線采集及標注平臺。通過層次化任務分解,將復雜任務分解為元任務,再基于構建技能的過程自回歸隱馬爾可夫模型,將感知的環境信息、機器人軌跡、力感知、觸覺感知以及接近覺感知等多類型數據作為自注意模型的輸入,聯合多模態數據特征更新交互層數據,最終形成具有標注的技能數據,并對技能數據實現在連續、高維空間的自動、魯棒分割及知識化表達。
2)基于技能層次化分割和基元技能知識化表達方法,研究機器人智能感知系統獲取的不同模態信息之間的關聯,建立跨模態關系模型以融合多模態信息。圖8所示為基于視觸覺融合的抓取作業流程,面向由視覺感知、觸覺感知和機器人等關鍵部件組成的作業系統,首先,根據技能采集和標注的結果得到成功抓取所需的抓取姿態以及抓取力;其次,搭建抓取點檢測神經網絡,將視覺圖像輸入訓練后的神經網絡,輸出抓取點信息以及物體所有可能的類別,并根據觸覺標簽獲得預抓取力。

圖8 基于視觸覺融合的抓取作業流程Fig.8 Grasping process based on visual and tactile fusion
3)針對機器人作業類型的多樣化挑戰,基于遷移學習技術,將已訓練的機器人操作技能應用到新的不同機器人平臺、不同任務以及不同環境中。技能學習領域的遷移學習技術,目的是在尋找不同平臺、不同任務以及不同環境之間的映射關系。圖9所示為機器人技能遷移流程和新目標物體的抓取驗證,首先,根據任務目標選擇合適的共享源技能,建立目標環境與源技能所在環境之間的物體映射關系;其次,使用該映射機制實現從源技能到任務目標的適應和改變,成功執行改編之后的技能序列,實現了機器人高效、自主、魯棒的技能遷移,提高了機器人智能化水平。

圖9 機器人技能遷移流程及驗證Fig.9 Robotic skills transfer process and Validation
工業機器人因其具備的兼容性、適應性、可擴展性等特點,成為智能制造的核心設備,通過與智能技術、工藝數字化技術等先進技術融合,實現了面向不同作業場景、作業任務、作業工藝的智能化應用,加快了制造業的轉型升級進程。經過分析,制造業升級改造的流程通常是自下向上、由點及面的逐步推進,在單個工作站的生產工藝和作業方式實現數字化的基礎上,通過引入工業機器人、智能傳感器和智能化技術,實現單個工作站的智能化改造,逐步實現整個流水線或系統的智能化升級,帶動相關制造行業的智能化改造。因此,筆者在對相關智能技術的研究現狀進行綜述分析之后,重點介紹機器人技術和智能技術在噴涂、打磨、裝配等典型領域的應用情況,對相關行業有重要的示范意義。通過推進機器人智能化應用系統,可以解決普通工人無法操作復雜工業機器人的難題,達到快速推廣機器人系統的目的,大大提高我國傳統產業的機器人應用數量,提升行業的自動化水平。隨著應用系統的推廣規模增加,必將吸引其他減速器、控制器、電機及機械加工等配套企業發展,進而提高我國相關科技的綜合競爭力。