面向復雜加工裝備的功能聚合與作業手勢交互設計

張富強，曾夏，白筠妍，趙睿英

面向復雜加工裝備的功能聚合與作業手勢交互設計

張富強a,b，曾夏a,b，白筠妍a,b，趙睿英a

（長安大學 a.道路施工技術與裝備教育部重點實驗室 b.智能制造系統研究所，西安 710064）

為了解決當前復雜加工裝備人機交互過程中存在手勢和功能映射模糊、缺少規范等問題，研究將人機交互技術賦能復雜加工裝備的智能化升級。首先，采用譜系聚類法進行復雜加工裝備的人機交互功能聚合，為手勢映射提供基礎；其次，基于手勢交互定義原則對作業手勢進行規范性定義，完成手勢庫的設計；最后，根據作業場景進行調整并完成人機交互功能與作業手勢的映射。通過聚類將40個子功能元聚合為16個二級功能和4個一級功能，依據手勢定義規則設計出一套動、靜態結合的混合手勢庫，實現了人機交互功能映射。該研究為交互服務識別與計算提供基礎的理論支持，可方便、自然地對復雜加工裝備進行遠程操作與監控。

復雜加工裝備；功能聚合；作業手勢定義；交互合計

工業5.0的提出及人工智能、虛擬現實、物聯網等新興技術快速發展，人本智造成為現代信息技術和先進制造業深度融合的焦點，更加強調以人為本的生產環境[1-2]。周濟院士提到，面向新一代智能制造的人–信息–物理系統2.0（HCPS2.0）的關鍵核心技術包括人機協同與人機交互技術[3]。因此，面向復雜加工裝備的數字化、網絡化和智能化演變與發展需求，人機交互技術賦能復雜加工裝備的智能化升級是當前的研究熱點問題之一，將人們的使用意圖轉換為機器可以理解并執行具體操作的信息輸入，從而配合完成人們的需求。現有人機交互過程缺乏針對性，對復雜加工裝備運行過程中的各類功能分類不明晰，從而導致了手勢交互定義與交互功能無法形成規范的映射關系，使人機交互的流暢性和效率受到一定的影響。

當前，國內外關于復雜加工裝備的人機交互功能聚類的直接文獻較少，而復雜加工裝備的模塊化功能分析可為人機交互設計提供指導參考。產品模塊化設計是將產品根據特定規則分解成多個功能模塊，接著按照實際需求對分解完成的功能模塊進行下一步應用，從而再迅速達到應用領域的目標要求[4-5]，如功能模塊到結構模塊的映射應用，可以快速構建出產品模型；功能模塊到人機交互模塊的映射，可以為人機交互的方式提供新思路。例如：Li等[6]基于模糊聚類分析對數控機床的模塊進行劃分，并以Matlab為運行環境，形成了數控機床的動態聚類圖。董慶偉等[7]基于產品設計結構理論對淬火機床功能部件進行分析，采用聚類分析法完成模塊劃分。高羨明等[8]提出了基于譜系聚類的模塊劃分方法，對數控機床完成模塊劃分并對其功能模塊和結構模塊進行關系映射。王鵬家等[9]結合層次分析法和譜系聚類法對數控機床進行模塊化分析，采用VB編程語言和Matlab軟件開發出一套輔助模塊劃分系統并證明其通用性及實用性。張海燕等[10]在變雙曲圓弧齒線圓柱齒輪的專用機床模塊化設計過程中，提出結合間隙統計和自組織神經網絡映射的方法對其進行聚類研究。

綜上所述，目前的模塊劃分方法大多是自下向上、基于底層子功能元的聚類方法，然而對結構和功能復雜、功能元數量眾多的設備進行模塊劃分時，上述方法存在處理過程復雜和計算量龐大等問題，人為進行的相關度分析導致結果主觀因素占據過多，從而會造成結果存在差異。因此，對復雜加工裝備進行模塊化分析，采用層次分析法進行聚合，可以實現相關度分析客觀化、計算過程自動化。

1 面向復雜加工裝備手勢交互的實現流程

手勢交互作為一種結合先進感知技術和計算機模式識別技術的新型交互方式，為實現人機交互的高效自然性提供了良好的選擇。以復雜加工裝備為研究對象，進行手勢識別交互設計。首先需要對復雜加工裝備的功能進行分解；其次根據不同的功能對交互手勢庫進行設計；最后對交互功能與作業手勢進行映射，實現手勢與功能之間高質量、不混淆對應。整體的實現流程如圖1所示，其分為兩大塊，分別為復雜加工裝備的功能分解和手勢交互設計。在功能聚類層面，采用譜系聚類法對復雜加工裝備進行模塊化的分析，其中選用層次分析法確定各功能元屬性之間的權重，從而構造距離矩陣，得到劃分結果；在手勢交互設計層面，根據手勢定義規范對手勢庫進行設計，設計過程基于手勢易于學習、安全有效、符合習慣、有包容性、交互反饋、系統引導性等特點。

圖1 整體實現流程

2 復雜加工裝備作業功能元的聚合方法

譜系聚類算法采用降維技術，更適用于高維數據聚類。由于復雜加工裝備功能豐富、類別多樣，使用譜聚類算法對其進行分析是合適的選擇。同時，譜系聚類法可以計算出功能元素之間的相關矩陣，因此對解決復雜加工裝備的功能聚類問題非常有效。面向復雜加工裝備的功能模塊劃分方法流程，見圖2。

圖2 復雜加工裝備的功能模塊劃分流程

2.1 基于譜系聚類法的功能元聚合

譜系聚類法是一種基于層次結構的聚類方法[11-12]。首先將復雜加工裝備的功能元分解出來；其次計算各功能元之間的距離，將距離最相近（即最相似）的聚合成一個小功能類；再將聚合的小功能類按其之間的相似性進行再聚合；最后隨著各功能類之間相似性的逐漸減小，得到按相似性大小不同而聚合起來的一個譜系圖，聚合步驟包括：對復雜加工裝備的所有子功能進行分解，形成獨立的子功能元；計算各個子功能元之間的相關性（通過層次分析法確定各相關準則指標的權重，從而計算出功能元之間的相關度）；計算各個功能元之間的相關矩陣和距離矩陣，對功能元進行聚合得到譜系聚類圖，最終確定功能分類模塊。

2.2 基于層次分析法的權值計算

層次分析法通過專家等經驗來判斷各項準則指標的重要程度并且進行量化，確定各個準則指標的權重系數。首先通過對復雜加工裝備的各個功能元相關性準則指標的重要性進行比較和判斷，得到判斷矩陣；其次計算判斷矩陣的特征向量，并根據特征向量得到各個評價指標的權重值；最后對判斷矩陣進行一致性檢驗，若其滿足一致性要求，則可視為合理的，反之則需對判斷矩陣進行相應修正，以確保得到合理的權重。具體的權重求解過程如下。

2.2.1 確定判斷矩陣

對每個層次中的因素，建立一個判斷矩陣，該矩陣描述了每個因素對其他因素的重要性和影響力，通常采用一定的評分標準進行評價，其重要程度見表1。

表1 重要程度標度

Tab.1 Scale of importance

且應符合以下性質：

2.2.2 計算權重向量與求解一致性

2）對一致性指標進行求解，計算公式如下：

3）檢驗對應的平均隨機一致性指標。

取值見表2。

表2取值

Tab.2 Values of RI

4）計算出一致性比率值，進而得到判斷矩陣是否需要進行修正，計算公式如下：

2.3 相關矩陣和距離矩陣的計算

得到功能元之間的相關度后，計算相關矩陣和距離矩陣，相關矩陣表示如下：

相關矩陣與距離矩陣的轉換關系計算公式如下：

距離矩陣表示如下：

3 基于映射規則的作業手勢定義

3.1 作業手勢的定義和分類

手勢通過手指、手掌、手腕、手臂等部位的運動軌跡和具體形態來實現。根據手勢的運動特點，手勢可以分為靜態手勢和動態手勢兩大類，見圖3。靜態手勢主要通過手部外形與輪廓形狀的不同來傳遞信息。動態手勢是指在一定時間內，手部的姿勢和位置產生位移變化。動態手勢一般可以分為準備、開始、執行、結束、收回五個階段[13-14]。根據動靜態手勢各自的特點，對應所需實現的功能采用動、靜態手勢結合的方式進行作業手勢定義。

圖3 根據運動特點的手勢分類

Fig.3 Gesture classification based on motion characteristics

3.2 基于映射規則的作業手勢定義

在面向復雜加工裝備的手勢交互過程中，基于手勢設計的映射是將作業手勢與人機交互功能相關聯，在進行兩者間的映射之前需要對作業手勢進行定義[15]。考慮到在復雜加工裝備實際工作中的結構、功能、操作流程等多個方面，為確保交互設計的高效性、可靠性與安全性，參照Nielsen[16]的交互設計原則，可將復雜加工裝備手勢交互設計原則總結歸納為以下四項。

1）操作保證安全可靠，不會因誤操作等導致設備損壞或用戶受傷。手勢交互在設計和實現過程中應該考慮到安全可靠性因素，比如允許手勢較大程度地模糊操作，對手勢交互系統進行全面的風險評估與安全測試，確保其在各種情況下都能夠保持安全可靠性。

2）簡潔且易于學習。手勢交互設計應簡潔明了、易于理解，以減少操作人員的學習和認知負擔，確保操作人員可以輕松地理解和適應手勢交互功能，從而提高交互效率和易用性。

3）具有用戶包容性。不同操作人員在交互過程中允許存在差異性，比如手掌形態和粗細等的差異性，這種差異不影響整體的交互行為。

4）動作的差異性與連貫性。不同的交互行為的手勢設計要清楚區分，避免交互過程中互相影響和誤操作。同時手勢動作具有連貫性，更加符合人體行為習慣。因此，復雜加工裝備在進行手勢交互的過程中，應該依照以上規則進行手勢庫的設計，完成基于映射規則的作業手勢定義。

4 案例分析

4.1 復雜加工裝備交互功能分析

通過文獻調研得出操作人員與復雜加工裝備之間可用手勢進行交互的功能匯總，為了完成后續功能的聚類，將人機交互功能進行一級功能、二級功能和三級功能分解。分為視圖功能、加工功能、附屬功能、輔助功能4個一級功能，然后繼續進行二級功能和三級功能分解，一級功能分解如圖4所示，二級和三級部分功能展示見圖5—6。

得到操作人員與復雜加工裝備的手勢交互的子功能元后，為了方便后續功能聚類的描述，對三級功能的各個功能元進行編號，見表3。

圖4 一級功能分解

Fig.4 Decomposition of primary functions

圖5 部分二級功能分解

Fig.5 Decomposition of some secondary functions

圖6 部分三級功能展示

4.2 層次分析法的權重計算

為了計算出各個功能元之間的相關度，從而得到相關矩陣和距離矩陣，然后完成功能元的聚類，首先需要對相關的準則指標進行權重計算。在對功能元進行聚合時，著重要綜合考慮功能元之間的相關準則指標，其中包括功能、空間、動力、信息、工藝五項準則指標。因此，如表1所示，此處選用層次分析法來構造判斷矩陣，計算出功能相關度的各個權重。根據各項準則指標之間的重要性兩兩進行比較與判斷，通過比較結果得到判斷矩陣。

根據計算可以得到不同屬性的權重值，各類屬性權重分布見圖7。

表3 三級功能元編號

Tab.3 Tertiary function element number

圖7 各類屬性權重分布

Fig.7 Weight distribution of various attributes

進一步計算可以得到判斷矩陣的最大特征根：

計算一致性指標=0.038 575，結合表2中的數據計算出=0.034<0.1，數據表明該判斷矩陣通過一致性檢驗。

4.3 功能元譜系聚類及手勢定義

圖8 功能元的譜系聚類圖

Fig.8 Pedigree clustering diagram of function element

圖9 人機交互功能匯總

Fig.9 Summary of human-machine interaction functions

在此基礎上遵循手勢設計原則，考慮到手勢的易學習性和易操作性，基于人工交互功能到手勢之間的作業映射關系，設計出一套適用于復雜加工裝備的混合手勢操作實現人機交互，其中包含靜態手勢、動態手勢、單手操作及雙手同時操作的手勢模型，見表4。

表4 功能到手勢映射

Tab.4 Mapping from function to gesture

表4是結合人機交互功能的聚合分類和手勢定義的準則，并根據實際應用的便利性進行調整，完成兩者間的映射。面向對象是復雜加工裝備的孿生系統，包括人機交互界面的手勢交互和對孿生模型的交互控制。比如進入界面后顯示4個一級功能，Hand_one、Hand_two、Hand_three、Hand_four分別對應這4個一級功能選項并進入到相應界面，進入到輔助界面后繼續通過Hand_one、Hand_two、Hand_three可以查看冷卻系統、清洗系統和潤滑系統。其他手勢定義與功能的映射交互與其類似。

5 結語

針對復雜加工裝備的人機交互規范程度低的問題，設計了交互功能模塊劃分的方案，提出采用譜系聚類法聚合并用層次分析法確定功能、空間、動力、信息、工藝等準則的相關權重，完成復雜加工裝備的人機交互功能聚合，將40個子功能元聚合為16個二級功能和4個一級功能。隨后選用作業手勢為人機交互的方式，完成對作業手勢的定義和與交互功能的逐一映射，其聚類結果可以全面地反映復雜加工裝備功能及其對應手勢的關聯關系，提升了人機交互的規范性與針對性，為復雜加工裝備與新一代人機交互方式融合提供了基礎。下一步的研究工作，通過采用問卷調查方式來對作業操作功能和手勢的映射結果合理性進行評價。

[1] 姚錫凡, 馬南峰, 張存吉, 等. 以人為本的智能制造：演進與展望[J]. 機械工程學報, 2022, 58(18): 2-15.YAO Xi-fan, MA Nan-feng, ZHANG Cun-ji, et al. Human-Centric Smart Manufacturing: Evolution and Outlook[J]. Journal of Mechanical Engineering, 2022, 58(18): 2-15.

[2] 孫效華, 張義文, 秦覺曉, 等. 人機智能協同研究綜述[J]. 包裝工程, 2020, 41(18): 1-11. SUN Xiao-hua, ZHANG Yi-wen, QIN Jue-xiao, et al. Review on Human-Intelligent System Collaboration[J]. Packaging Engineering, 2020, 41(18): 1-11.

[3] ZHOU Ji, ZHOU Yan-hong, WANG Bai-cun, et al. Human-Cyber-Physical Systems (HCPSS) in the Context of New-Generation Intelligent Manufacturing[J]. Engineering, 2019, 5(4): 624-636.

[4] ZHANG Hai-yan, HOU Li, LIANG Shuang, et al. Modular Configuration Design of a Special Machine Tool for Variable Hyperbolic Circular-Arc-Tooth-Trace Cylindricalgears[J]. Mechanical Sciences, 2022, 13(1): 55-65.

[5] YANG Mei, XIA Yi-min, JIA Lian-hui, et al. A Modular Design Method Based on TRIZ and AD and Its Application to Cutter Changing Robot[J]. Advances in Mechanical Engineering, 2021, 13(7): 1-18.

[6] LI Fei, LI Xu-dong, XIE Hua-long. Modular Design Research of Computer Numerical Control Machine Tools Oriented to Customer Requirements[J]. Advances in Mechanical Engineering, 2020, 12(4): 1-18.

[7] 董慶偉, 韓芳潔, 周群起, 等. 淬火機床的模塊化設計應用研究[J]. 機床與液壓, 2021, 49(7): 62-66. DONG Qing-wei, HAN Fang-jie, ZHOU Qun-qi, et al. Modular Design and Application Research for Quenching Machine Tool[J]. Machine Tool & Hydraulics, 2021, 49(7): 62-66.

[8] 高羨明, 洪軍, 劉瑞萍, 等. 多準則數控機床模塊譜系聚類的劃分方法研究[J]. 西安交通大學學報, 2011, 45(5): 131-136. GAO Xian-ming, HONG Jun, LIU Rui-ping, et al. Numerical Control Machine Tool Module Partition with Multi-Criteria Pedigree Clustering Method[J]. Journal of Xi'an Jiaotong University, 2011, 45(5): 131-136.

[9] 王鵬家, 鞏亞東, 劉永賢, 等. 基于譜系聚類的數控機床模塊劃分系統[J]. 東北大學學報(自然科學版), 2014, 35(5): 739-742.WANG Peng-jia, GONG Ya-dong, LIU Yong-xian, et al. Module Division System of CNC Machine Tools Based on Hierarchical Clustering[J]. Journal of Northeastern University (Natural Science), 2014, 35(5): 739-742.

[10] 張海燕, 侯力, 羅嵐, 等. 變雙曲圓弧齒線圓柱齒輪專用機床的模塊化設計[J]. 機械工程學報, 2021, 57(3): 77-86. ZHANG Hai-yan, HOU Li, LUO Lan, et al. Modular Design for Machine Tools of Variable Hyperbolic Circular-Arc-Tooth-Trace Cylindrical Gear[J]. Journal of Mechanical Engineering, 2021, 57(3): 77-86.

[11] RAN Xing-cheng, XI Yue, LU Yong-gang, et al. Comprehensive Survey on Hierarchical Clustering Algorithms and the Recent Developments[J]. Artificial Intelligence Review, 2022: 1-46.

[12] MUNSHI A. A Survey of Advances in Hierarchical Clustering Algorithms and Applications[J]. International Journal of Computer Science and Network Security, 2022, 22 (5): 17-24.

[13] 張維, 林澤一, 程堅, 等. 動態手勢理解與交互綜述[J]. 軟件學報, 2021, 32(10): 3051-3067. ZHANG Wei, LIN Ze-yi, CHENG Jian, et al. Survey of Dynamic Hand Gesture Understanding and Interaction[J]. Journal of Software, 2021, 32(10): 3051-3067.

[14] OLIVAS-PADILLA B E, GLUSHKOVA A, MANITSARIS S. Motion Capture Benchmark of Real Industrial Tasks and Traditional Crafts for Human Movement Analysis[J]. IEEE Access, 2023, 11: 40075-40092.

[15] WANG Bai-cun, ZHENG Pai, YIN Yue, et al. Toward Human-Centric Smart Manufacturing: A Human-Cyber- Physical Systems (HCPS) Perspective[J]. Journal of Manufacturing Systems, 2022, 63: 471-490.

Interaction Design of Function Aggregation and Operation Gesture for Complex Machining Equipment

ZHANG Fu-qianga,b, ZENG Xiaa,b, BAI Jun-yana,b, ZHAO Rui-yinga

(a. Key Laboratory of Road Construction Technology and Equipment of MOE b. Institute of Smart Manufacturing Systems Engineering, Chang'an University, Xi'an 710064, China)

The work aims to empower the intelligent upgrading of complex machining equipment with human-machine interaction technology, in order to solve the problems in the human-machine interaction process of complex machining equipment, such as blurred gesture and function mapping and lack of standards. Firstly, the hierarchical clustering method was used to aggregate the human-machine interaction functions of complex machining equipment, providing a foundation for gesture mapping. Next, the definition of operation gestures was standardized based on mapping rules, and the gesture library was designed. Finally, the mapping between human-machine interaction functions and operation gestures was adjusted and completed according to the operation situation. By clustering, 40 sub-functional elements were aggregated into 16 secondary functions and 4 primary functions, and a set of dynamic and static hybrid gesture library was designed based on gesture definition rules. This study provides basic theoretical support for interactive service recognition and computation, and can realize the convenient, natural and remote operation and monitoring of complex machining equipment.

complex machining equipment; function aggregation; operation gesture definition; interaction design

TH 165；TB472

A

1001-3563(2023)12-0060-08

10.19554/j.cnki.1001-3563.2023.12.006

2023–01–07

國家重點研發計劃（2021YFB3301702）；陜西省科技重大專項（2018zdzx01-01-01）

張富強（1984—），男，博士，副教授，主要研究方向為面向人機交互的智能制造。

趙睿英（1985—），女，博士，副教授，主要研究方向為工業機器人控制。

責任編輯：陳作