基于混合现实技术的设备管理系统的开发

时间：2022-05-19 20:25:32

关键字：混合现实技术机械手二维码

手机看文章

扫描二维码
随时随地手机看文章

[导读]摘要:在现代化智能制造过程中,制造业类工厂已大规模引进了中高端设备,同时也发生了设备管理的问题。为了解决设备管理系统功能局限、工作效率低的问题,研究了一种基于混合现实(MR)技术的设备管理系统,佩戴HoloLens头显,可以实现对设备实时运行状态的快速监测,对于大规模工厂来说,这对提高设备管理者的工作效率有着积极意义。

引言

生产设备是生产力的重要组成部分和基本要素之一,是企业从事生产经营的重要工具和手段,是企业生存与发展的重要物质财富,也是社会生产力发展水平的物质标志。生产设备无论从企业资产的占有率上,还是从管理工作的内容上以及企业市场竞争能力的体现上,都占有相当大的比重和十分重要的位置。管好用好生产设备,提高设备管理水平对于促进企业进步与发展有着十分重要的意义。

经过20多年的发展,混合现实相关技术已经取得了长足的进步,展示出了强劲的发展动力。人机交互是混合现实的重要支撑技术,也是近年来国内外的研究热点。多年来,混合现实中的人机交互研究一直在探索更加自然和高效的交互方式。在这一背景下,本项目研究了一种基于混合现实(MR)技术的设备管理系统,基于采用混合现实(MR)技术的HoloLens平台,开发HoloLens与机器设备的交互系统。戴上HoloLens头显,眼睛注视着机器设备,HoloLens的摄像头将对机床外壳的二维码进行扫描,识别完成相对应的机床型号,通过互联网通信,在眼镜正前方即可成像显示设备当前的运行状态。戴上二次开发后的HoloLens头显,公务繁忙的高管或经理可非常方便又快捷地了解各台设备的运行情况。

为进一步深入研究和开发基于混合现实的设备管理系统,本文将从三维模型设计、系统开发与运行测试三个方面进行较为详细的阐述。

1三维模型设计

模型搭建是系统开发的必要环节,是组成数据库的重要内容,也是实现虚拟拆装的基石,采用3dsMax三维建模软件进行模型搭建。由于本系统虚拟拆装是在HoloLens增强现实环境下进行的,考虑到实际虚拟拆装过程中要进行模型移动和旋转等操作,所以搭建的三维模型不仅要在外形上追求真实,还要尽可能地减少其内部面数并优化其结构,这样才不会使HoloLens的内存和GPU由于模型太复杂而过度消耗,影响人机交互的实时性和系统运行的稳定性。本文以仿生同步机械手为例,以更好地测试与检验所开发的基于混合现实的设备管理系统。如图1、图2所示,设计为一种实时显示数据的设备管理系统,主要有三大部分:二维码框架、仿生同步机械手、数据显示框。仿生同步机械手的五指结构独立运动,采用LsC-20系列舵机控制器,并利用LsC系列控制板通信协议V1.1进行数据传输。

基于混合现实技术的设备管理系统的开发

2系统开发

本系统采用射线碰撞检测的方式实现虚拟模型的选取,射线碰撞原理如图3所示。系统通过HoloLens向用户眼睛凝视方向发射一条射线与虚拟三维模型零部件之间进行碰撞检测。射线与泵的某个虚拟部件交点为P。射线与前后剪切面相交于P1(X1,Y1,Z1)和P2(X2,Y2,Z2)点,通过P1点与P2点的坐标及连线可确定P点的信息。

交互手势的实现是本系统另一大亮点,选中目标后可以通过交互手势进行移动和旋转,以便更好地了解设备的运行状态。本系统主要采用动态手势检测,将手放置于用户眼前120o×120o的视角里,通过采集人体手部骨骼节点的深度图,得出骨架节点的运动轨迹作为主要的手势识别特征;通过对比骨架节点的起点、终点和移动距离,然后处理计算分类,最终得出手势识别结果。两个重要手势分别为:(1)Manipulation手势:保持点击手势,在3D世界中绝对运动;(2)Airtap手势:主要是执行点击与确认命令。

实现二维码的生成与识别对设备管理系统至关重要,二维码的构成如图4所示。位置探测图形是定位图案,一共有3个,用于标记二维码的矩形大小。这3个定位图案中的白边叫位置探测图形分隔符。之所以是3个而不是4个,是因为3个就可以标识一个矩形了。定位图形也是用于定位的,原因是二维码有40种尺寸,尺寸过大了之后需要有根标准线,否则扫描的时候可能会扫歪了。