当前位置:首页 > 公众号精选 > 嵌入式微处理器
[导读]通过帅气的手势,操控投影在眼前的电子成像,这不就是科幻片里的基础配置嘛。现在,有人把它从科幻电影中带入了现实。动动手指,实现对眼前世界的掌控。热衷于制作智能小物件的油管博主TeemuLaurila,利用树莓派DIY了一副可识别自定义手势的AR眼镜。将自己想设置的手势录入装置,即可...


通过帅气的手势,操控投影在眼前的电子成像,这不就是科幻片里的基础配置嘛。



现在,有人把它从科幻电影中带入了现实。动动手指,实现对眼前世界的掌控。


热衷于制作智能小物件的油管博主Teemu Laurila,利用树莓派DIY了一副可识别自定义手势的AR眼镜。



将自己想设置的手势录入装置,即可实现炫酷操作。



我有了一个大胆的想法!





自制AR眼镜中的世界

先开始表演吧!


捏住手指上下拉,就可以完成调整亮度指令。(这是你的第一人称视角)



对手势识别,叠加显示在镜头成像中。



再来一个更直观点的视角,通过眼镜看看效果。





DIY过程

AR眼镜本身就充满了科技感,让现实世界充满赛博朋克的味道。


那不如更炫酷一点。打个响指,就能运行命令,这不必博人传燃?


说干就干,首先需要设计出,装置会包含有哪些部分。



除了本体眼镜框架,硬件部分还包括了透镜组,0.6 mm PETG投影镜片,配件部分由聚乳酸材料3D打印制成。


毕竟它是智能装置的DIY,怎么可以不请万能迷你电脑树莓派出场。


而软件部分,手势识别程序依赖于python开源项目MediaPipe。


除此之外,Teemu Laurila还写了两个程序脚本。


一个是通过捏手指控制亮度的应用示例,另一个是捕获实时视频中的手势传送到电脑进行处理,并通过智能眼镜叠加显示。


条件都齐了,那么动手组装起来试试。


经历多次调整,各部分零件最终组合成如下装置。



想让程序在装置上可用,首先,需要一个树莓派作为程序支持。


随后设置好内存、驱动、运行环境、多媒体接口、网络等条件,让整个装置超频运行。


硬件软件环境都准备好以后,调试应用程序。


应用程序功能的核心——手势识别模型由3个框架组成,包括手掌识别模型BlazePalm(用于识别手的整体框架和方向)、Landmark模型(识别立体手部节点)、手势识别模型(将识别到的节点分类成一系列手势)。


识别算法的训练过程中,BlazePalm模型识别手掌初始位置,对移动端的实时识别进行优化。


在BlazePalm识别到的手掌范围内,Landmark模型识别其中21个立体节点坐标。


手势识别模型则在此基础上,根据关节角度识别每根手指状态,将状态映射到预定义的手势上,预测基础静态手势。


通过树莓派Zero W,对手势信息捕获。图像信息传输到电脑中,由手势识别AI进行处理。之后再传达给装置,发出对应的手势命令,并同步在投影图像中。




它的前世今生

等一下,有摄像头,有微型投影仪,还有电脑处理器,并且还是一侧投影显示。这样的AR眼镜好像在哪里见过。

没错,就连用到的手势识别代码也都是谷歌开源的。


虽然没有谷歌智能眼镜类似智能手机的功能,但是相比其语音控制和触控功能,Teemu Laurila的智能眼镜选择了使用自定义手势触发命令,更多一分黑科技的味道。


另外,谷歌眼镜摄像头只用来拍照录像,Teemu Laurila的摄像头还承担了接受手势指令、传达指令功能。同时,投影也选择了更大尺寸的方形镜片,方便视野观察。


这款装置已经是Teemu Laurila完成的第二版智能眼镜,在外观和性能上均有优化。


材料的选择上,采用了0.6mm厚度投影镜片替代1mm厚度;以聚乳酸材料代替丙烯酸;增加了螺栓固定支架,弃用胶水。


最重要的优化是,照相机使用方形透镜让画面更清晰。



Teemu Laurila将自己补充的两段代码,分享在了GitHub平台,供感兴趣的观众自己复刻。


参考链接:
https://www.tomshardware.com/news/raspberry-pi-smart-glasses-recognize-hand-gestures
https://www.youtube.com/watch?v=60Os5Iqdbsw
https://www.youtube.com/watch?v=Gu4oOYo38rQ

GitHub链接:
https://github.com/Teneppa/CameraStream
https://github.com/Teneppa/HandTrackingBrightnessControl


END
来源:量子位版权归原作者所有,如有侵权,请联系删除。
嵌入式ARM

扫描二维码,关注更多精彩内容

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

9月2日消息,不造车的华为或将催生出更大的独角兽公司,随着阿维塔和赛力斯的入局,华为引望愈发显得引人瞩目。

关键字: 阿维塔 塞力斯 华为

加利福尼亚州圣克拉拉县2024年8月30日 /美通社/ -- 数字化转型技术解决方案公司Trianz今天宣布,该公司与Amazon Web Services (AWS)签订了...

关键字: AWS AN BSP 数字化

伦敦2024年8月29日 /美通社/ -- 英国汽车技术公司SODA.Auto推出其旗舰产品SODA V,这是全球首款涵盖汽车工程师从创意到认证的所有需求的工具,可用于创建软件定义汽车。 SODA V工具的开发耗时1.5...

关键字: 汽车 人工智能 智能驱动 BSP

北京2024年8月28日 /美通社/ -- 越来越多用户希望企业业务能7×24不间断运行,同时企业却面临越来越多业务中断的风险,如企业系统复杂性的增加,频繁的功能更新和发布等。如何确保业务连续性,提升韧性,成...

关键字: 亚马逊 解密 控制平面 BSP

8月30日消息,据媒体报道,腾讯和网易近期正在缩减他们对日本游戏市场的投资。

关键字: 腾讯 编码器 CPU

8月28日消息,今天上午,2024中国国际大数据产业博览会开幕式在贵阳举行,华为董事、质量流程IT总裁陶景文发表了演讲。

关键字: 华为 12nm EDA 半导体

8月28日消息,在2024中国国际大数据产业博览会上,华为常务董事、华为云CEO张平安发表演讲称,数字世界的话语权最终是由生态的繁荣决定的。

关键字: 华为 12nm 手机 卫星通信

要点: 有效应对环境变化,经营业绩稳中有升 落实提质增效举措,毛利润率延续升势 战略布局成效显著,战新业务引领增长 以科技创新为引领,提升企业核心竞争力 坚持高质量发展策略,塑强核心竞争优势...

关键字: 通信 BSP 电信运营商 数字经济

北京2024年8月27日 /美通社/ -- 8月21日,由中央广播电视总台与中国电影电视技术学会联合牵头组建的NVI技术创新联盟在BIRTV2024超高清全产业链发展研讨会上宣布正式成立。 活动现场 NVI技术创新联...

关键字: VI 传输协议 音频 BSP

北京2024年8月27日 /美通社/ -- 在8月23日举办的2024年长三角生态绿色一体化发展示范区联合招商会上,软通动力信息技术(集团)股份有限公司(以下简称"软通动力")与长三角投资(上海)有限...

关键字: BSP 信息技术
关闭
关闭