基于慣性傳感器的智慧工廠產線管控系統*

盧 贏，歐 文，王衛東，劉 洋

(1. 中國科學院大學 微電子學院，北京 100029；2. 中國科學院物聯網研究發展中心 智能傳感器工程中心，江蘇 無錫 214315)

基于慣性傳感器的智慧工廠產線管控系統*

盧 贏1,2，歐 文1,2，王衛東1,2，劉 洋1,2

(1. 中國科學院大學 微電子學院，北京 100029；2. 中國科學院物聯網研究發展中心 智能傳感器工程中心，江蘇 無錫 214315)

在智慧工廠中，可以利用物聯網技術和設備監控技術對員工進行管控。在工業生產線的評價體系中，生產線的生產質量可以根據最終產品的品質和數量進行判斷，但是生產線上的每一名工人卻無法以此評價。為了評價每一個工人的工作效率，提出了一種基于慣性傳感器的管控系統。工人在生產線上工作時佩戴帶有慣性傳感器的手環，該手環可以實時檢測工人手腕的運動軌跡，然后通過運動軌跡來判斷工人從生產線上取件和放件的過程，進而得到該工人完成一個工件的時間和單位時間內完成的工件數量，這樣就可以評價該工人的工作效率。實驗結果表明，該方法可以較為準確地檢測出工人在單位時間完成的工件數量。

慣性傳感器；手環；管控；工作效率

0 引言

隨著“中國制造2025”概念的提出，我國的制造產業高速發展。為提高生產效率，越來越多的工廠采用流水化作業。流水化的作業方式在裝配企業中不僅可以提高工廠的裝配效率、加快生產進度，而且可以統計每個工人的生產信息狀況以供管理人員調查[1-2]。但是，在一條流水線生產系統中，某一個工人的裝配速度都有可能影響整條流水線的效率。因此，需要一套流水線管控系統來監控每個工人的工作效率。

目前的流水線監控系統主要是工人使用采集器掃描工件上的條形碼，通過采集器中工人的工號和掃描條形碼的時間來判定一個工人的操作時間和操作的工件數量。這種方式雖然可以準確地檢測工人的操作時間，但是需要在生產線上額外加上條形碼系統和采集器，增加了工人的工作量，降低了流水線的工作效率[3-4]。文獻[5-7]中提出了基于計算機視覺的監控工人裝配動作的方法，但這種監控方式只適合于流水線中的傳送帶上無遮擋物的情況下，并且基于圖像的檢測方法存在一定的檢測誤差，容易被遮擋，并不適用于大部分的流水線裝配系統。

為此，本文提出了一種基于慣性傳感器的產線管控系統。工人在工作期間需要佩戴上帶有慣性傳感器的手環，該手環可以檢測工人的實時狀態和運動軌跡，檢測工人在傳送帶上取件和往傳送帶上放回工件的動作。實驗結果表明，該方法可以比較準確地檢測工人的取件和放回工件動作，從而可以評價工人的工作效率。

1 系統概述

本系統要實現的主要功能是檢測操作工人在工作時的動作狀態。操作工人在正常工作時，主要會進行3個操作：從傳送帶上取工件、加工工件、將工件放回傳送帶。為了檢測操作工人加工完成的工件數量和相應的工件加工時間，本系統主要檢測如下4個動作：空手取件、帶件返回、放回工件、縮手。裝配流水線示意圖如圖1所示。

圖1 裝配流水線示意圖

本系統主要是運行在手環內部，手環內部主要包含3個部分：數據采集、數據處理、數據傳輸。系統結構圖如圖2所示。數據采集部分采用九軸慣性傳感器，它主要包含加速度計、陀螺儀和電子羅盤，用以采集工人在工作時的加速度、角速度和地磁場信息。數據處理部分采用STM32單片機，它是本系統的核心部分，用于數據濾波、姿態解算、軌跡追蹤和動作檢測。數據傳輸部分采用無線藍牙傳輸方式，主要負責與流水線上的上位機監控系統進行通信，發送操作工人的操作工件數和相應的操作時間到流水線上的上位機信息監控系統。

圖2 系統結構圖

硬件部分，本系統的數據采集部分采用InvenSense公司生產的九軸慣性傳感器MPU9250，該傳感器是全球首例整合九軸運動姿態檢測的數字傳感器，其內部集成了三軸加速度計、三軸陀螺儀和三軸電子羅盤。加速度測量范圍可以達到±16 g，角速度測量范圍±2 000°/s。MPU9250傳感器的輸出數據采用串行外設接口SPI(Serial Peripheral Interface)或者I2C(Inter-Integrated Circuit)總線方式與單片機進行高速通信。本系統采用SPI方式與微處理器進行數據交互，傳輸速度可以達到1 MHz。數據處理部分采用STM32單片機，型號為STM32F302K8。該處理器體積小、功耗低，同時其內部帶有DSP(Digital Signal Processor)和FPU(Float Point Unit)，可以快速地進行姿態解算和動作檢測。無線數據傳輸部分采用藍牙串口透傳模塊HC-05，該模塊體積小、功耗低，最大發射功率為8 db，最大傳輸距離80 m，可以比較方便地和上位機監控系統進行無線通信。

軟件部分，主要分為數據采集和濾波、姿態解算、軌跡追蹤、動作檢測和數據發送5個部分。系統流程圖如圖3所示。數據采集和濾波部分主要是微處理器通過SPI總線讀取九軸慣性傳感器內的寄存器信息得到原始加速度、角速度和地磁場數據，然后經過零漂補償、平滑濾波和低通濾波得到較為準確的加速度、角速度和地磁場數據。姿態解算部分[8]采用基于四元數的捷聯式慣性導航方法解算出運動載體的歐拉角，即偏航角、翻滾角和俯仰角，這三者可以描繪出運動載體在空間中的實時姿態。軌跡追蹤[9]是根據姿態解算出的四元數確定出狀態矩陣進行載體坐標系和地理坐標系之間的坐標轉換，然后計算出去除重力后的運動加速度數據，通過二次積分可以得到載體在空間中的運動軌跡。動作檢測部分是根據軌跡和實時的歐拉角數據檢測空手取件、帶件返回、放回工件和縮手四個動作，進而判斷何時完成一個工件的完整加工過程。數據發送部分是當工人加工完成一個工件后，發送工件數量和時間信息到上位機信息監控系統中。

圖3 動作檢測流程圖

2 基于慣性傳感器的動作檢測方法

為了檢測工人的操作動作，首先需要確定出工人在工作時手環的實時位置信息，進而繪制出完整的運動軌跡。因此，在檢測動作之前需要對工人的工作軌跡進行實時追蹤。

2.1基于慣性傳感器的軌跡追蹤

載體的運動軌跡是根據慣性傳感器采集到的運動數據經過一系列的處理得到的位置信息繪制而成，其原理圖如圖4所示。

圖4 軌跡追蹤原理圖

加速度、角速度和地磁場數據經過濾波、姿態解算和卡爾曼濾波可以解算出表示載體空間狀態信息的四元數[9-10]。四元數是一個超復數，表達式為：

Q(q0,q1,q2,q3)=q0+q1i+q2j+q3k

(1)

(2)

由式(2)可以求得載體在空間位置相對于地面的加速度：

(3)

(4)

根據式(4)，對運動速度再次進行積分可以得到載體運動的位移：

(5)

2.2動作檢測方法

本系統主要檢測的動作為以下4個：空手取件、帶件返回、放回工件和縮手。通過慣性傳感器采集操作工人在完整的裝配工件過程中的所有動作，經過軌跡追蹤之后可以得到如圖5所示的運動軌跡圖(XY平面)。從圖5中可以看出，空手取件和帶件返回的軌跡基本重合，可以歸結為取件過程；在工作過程中會長時間停留在工作臺上；放回工件動作和縮手的動作基本重合，可以歸結為放件過程。

圖5 運動軌跡圖

圖6 動作判斷流程圖

根據圖5所示的運動軌跡圖可以比較準確地判斷出工人在操作時所處的位置區域。

得到實時的位置坐標后，可以根據坐標中x和y的大小判斷出工人操作時是處在工作過程、取件過程還是放回工件過程。判斷的具體流程如圖6所示。

判斷出工人是處在取件過程還是放回工件過程后還要對工人是否完成了一次完整的工件操作進行判斷。在取件和放回工件過程中，工人的運動軌跡存在著重合，這就需要對運動方向進行判斷。這兩個過程存在一定的相似性，接下來將以放回工件的過程為例來介紹如何進行運動方向判斷。

在運動方向判定上，采用載體運動坐標的一階微分計算。即：

Δx(ti)=x(ti)-x(ti-1)

(6)

Δy(ti)=y(ti)-y(ti-1)

(7)

式中，x(ti)、y(ti)為i時刻載體位置的坐標。

載體運動中的方向向量為：

(8)

由式(8)得到方向向量后，就可以判斷出在取件過程中是空手取件還是帶件返回動作，在放件過程中是放回工件還是縮手動作。

當連續檢測到完整的取件過程、工作過程和放件過程，則可以判定為工人完成了一次工件的操作，此時應將工人完成的工件數量增加一個，同時記錄下完成這個過程所需要的時間，最后將數據以藍牙方式發送到生產線上的信息監控系統中。至此，就完成了一次動作檢測過程。

3 實驗結果分析

為了驗證本文提出的基于慣性傳感器的動作檢測方法的性能，進行了多次現場測試。在實驗過程中，首先將工人的操作過程分解為三個部分分別進行測試，即工作過程、取件過程和放件過程，實驗結果如表1所示。

表1 分解過程實驗數據

從表1中可以看出本方法在分解動作識別過程中可達到較高的準確率。這為整體測試提供了較好的基礎數據。

在評價工人工作效率中，主要檢測的是連貫的一套動作，所以本文后續進行了連續動作的測試，通過記錄工人每次操作所需要的時間來進行判斷，如果準確測出連續動作則記錄測出的時間，如果未測出連續操作動作則將測出的時間記為0。測試結果如圖7所示。

圖7 完整動作測試結果

從圖7可以看出，在100次實驗中本系統有95次可以正確地識別出完整的動作，正確率達到95%。經過計算可以得出時間誤差平均為2.3 s。實驗結果表明，本系統可以比較準確地測出操作工人操作工件的數量和相應的操作時間，進而確定出工人的工作效率。

4 結論

本文提出了一種基于慣性傳感器的產線管控系統。首先介紹了實現該系統的硬件和軟件平臺，然后著重介紹了基于慣性傳感器的軌跡追蹤算法和動作檢測方法。實驗結果表明，本文設計的產線管控系統在檢測工人的取件和放件過程中有較高的準確率，可以為工廠評價工人的工作效率提供重要參考。

[1] 王麗萍.流水線:世界經濟助推器[J].理財， 2009(10):41-42.

[2] 方敏，周蟬.淺談傳統傳送帶式流水線生產方式與細胞式生產方式的比較[J].中國商界，2010(7):164-165.

[3] 楊海, 楊小虎.基于流水線裝配型生產的計算機輔助工序質量管理[J].計算機集成制造系統，2000,6(3):86-90.

[4] 李哲林，姜立軍，羅杜宇. 裝配型企業生產現場質量監控系統[J]. 江蘇大學學報(自然科學版)，2006,27(S1):5-8.

[5] 尚淑玲. 基于計算機視覺的物流暴力分揀行為識別[J].計算機仿真，2013,30(12):430-433.

[6] BOWYER K W, CHANG K, FLYNN P. A survey of approaches and challenges in 3D and multimodal 2d+3d face recognition[J]．Couputer Vision and Image Understanding,2006,101(1):1-15.

[7] CHEN H M, LEE S, RAO R M, et al. Imaging for concealed weapon detection[J]. IEEE Signal Processing Magazine,2005,22(2):52-61.

[8] 孫冬梅，田增山，韓令軍. 捷聯慣導系統中四元素法求解姿態角仿真模擬[J].彈箭與制導學報，2009,29(1):51-53.

[9] 鄧正隆. 慣性導航原理[M]. 北京:宇航出版社, 1994.

[10] 秦永元. 慣性導航[M]. 北京:科學出版社, 2006.

Production line management and control system based on inertial sensor

Lu Ying1,2, Ou Wen1,2, Wang Weidong1,2, Liu Yang1,2

(1. School of Microelectronics, University of Chinese Academy of Sciences, Beijing 100029, China;2. Intelligent Sensors Engineering Center, Chinese Academy of Sciences R&D Center for Internet of Things, Wuxi 214315, China)

In the smart factory, staff can be managed and controlled by the Internet of Things technology and equipment monitoring technology. The quality of an industrial product line can be judged from the quality and quantity of the product, but we cannot evaluate the efficiency of each worker from the final product quality. This paper proposed a management-control system based on inertial sensor in order to test the efficiency of each worker. Workers wear bracelets with inertial sensors when they work on the assembly line. This bracelet can detect the movement of workers arm, from the movement, we can judge the process of picking and placing, and then calculate the time for the worker to complete a piece of work and quantity completed per unit time, so as to evaluate the efficiency of the workers. The experimental results show that this method can accurately detect the number of workpieces completed per unit time and the time of completion of each workpiece.

inertial sensor; bracelet; monitoring; work efficiency

TP274+.3

：A

10.19358/j.issn.1674- 7720.2017.17.002

盧贏，歐文，王衛東，等.基于慣性傳感器的智慧工廠產線管控系統[J].微型機與應用，2017,36(17)：4-7,14.

2017-04-12)

江蘇省科技支撐重點項目(BE2014003)；江蘇省自然科學基金(BK20161149)

盧贏(1991-)，男，碩士研究生，主要研究方向：智能傳感器及其網絡。

歐文(1966-)，男，研究員，碩士生導師，主要研究方向：半導體器件物理、超大規模集成電路技術。

王衛東(1982-)，男，副研究員，碩士生導師，主要研究方向：智能傳感器及其網絡。