当前位置:首页 > 消费电子 > 触控感测
[导读] 汽车行业ADAS功能需求日益增长,防疲劳驾驶是一个热门方向,对于驾驶员状态的检测,人脸识别是基础,只有快速准确地识别到人脸,才能对人脸状态进行分析。本文将介绍基于S32V来实现人脸识别的应用。

汽车行业ADAS功能需求日益增长,防疲劳驾驶是一个热门方向,对于驾驶员状态的检测,人脸识别是基础,只有快速准确地识别到人脸,才能对人脸状态进行分析。本文将介绍基于S32V来实现人脸识别的应用。

一、S32V视觉处理平台

NXP于2015开始推出S32V平台,现在已经推出了第二代型号S32V234,第三代目前已经在样品阶段,该平台定位为ADAS视觉处理,提供了视觉系统应用所需的性能和功能。

对于图像处理,S32V具有自己的特色,硬件方面:具有两路CSI和两路并口摄像头接口,提供了可图形化编程的ISP、APEX,以及3D渲染的GPU。其中可编程的ISP可以对通过CSI输入的摄像头图像数据进行处理,支持HDR、颜色转换、色调映射等。APEX提供了并行图像处理的能力。还提供了H264硬件编解码等,基本覆盖了图像处理所需要的硬件资源。

软件方面:提供了VSDK,包含S32V平台的各个外设驱动,并配有相关例程。API方面提供了OpenCV、FFmpeg、OpenCL、OpenGL、EGL等常用图像处理相关库。

图1 S32V内部框图

二、人脸识别方案介绍

采用索尼的IMX224摄像头作为图像输入,移植人脸识别库,建立演示demo将检测到的人脸实时用方框标记出来。

1. 方案框图

图 2 人脸识别方案框图

2. Demo搭建

获取摄像头数据

首先,基于VSDK实现iMX224摄像头的数据获取。通过NXP提供S32 Design Studio for Vision Version软件建立iMX224的ISP处理流程,如下图所示。

图 3 ISP处理流程

这里通过运行在IPUS0中的debayer_rgb_simple_interleaced,实现了摄像头Debayer数据转RGB,然后通过FDMA传输到DDR中供算法调用。如果对于图像有特殊要求的,可以自己建立对应的IPUS核,对图像数据进行相关处理。

 交叉编译相关库

移植人脸识别算法库,该库基于NCNN神经网络上搭建人脸识别系统,依赖的库有OpenCV、NCNN以及Sqlit3。这些库需要交叉编译,其中OpenCV和Sqlit3的ARM版S32V已经提供不需要再进行编译,编译后的NCNN和人脸识别算法库都是静态库,不需要拷贝到目标板上。

人脸检测demo

通过Qt来实现界面显示,首先在pro文件中添加VSDK中获取摄像头数据的相关库,算法移植的相关库,然后通过如下API接口获取图像数据。

int getCImg(cv::Mat &cimg);

再调用如下接口进行人脸检测:

void detectMaxFace(ncnn::Mat& img_, std::vector《Bbox》& finalBbox);

3. Demo效果

最后将检测结果通过Qt界面显示出来,如下图所示。

图4 人脸检测结果

通过测试,人脸检测耗时如下所示:


 

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

9月2日消息,不造车的华为或将催生出更大的独角兽公司,随着阿维塔和赛力斯的入局,华为引望愈发显得引人瞩目。

关键字: 阿维塔 塞力斯 华为

加利福尼亚州圣克拉拉县2024年8月30日 /美通社/ -- 数字化转型技术解决方案公司Trianz今天宣布,该公司与Amazon Web Services (AWS)签订了...

关键字: AWS AN BSP 数字化

伦敦2024年8月29日 /美通社/ -- 英国汽车技术公司SODA.Auto推出其旗舰产品SODA V,这是全球首款涵盖汽车工程师从创意到认证的所有需求的工具,可用于创建软件定义汽车。 SODA V工具的开发耗时1.5...

关键字: 汽车 人工智能 智能驱动 BSP

北京2024年8月28日 /美通社/ -- 越来越多用户希望企业业务能7×24不间断运行,同时企业却面临越来越多业务中断的风险,如企业系统复杂性的增加,频繁的功能更新和发布等。如何确保业务连续性,提升韧性,成...

关键字: 亚马逊 解密 控制平面 BSP

8月30日消息,据媒体报道,腾讯和网易近期正在缩减他们对日本游戏市场的投资。

关键字: 腾讯 编码器 CPU

8月28日消息,今天上午,2024中国国际大数据产业博览会开幕式在贵阳举行,华为董事、质量流程IT总裁陶景文发表了演讲。

关键字: 华为 12nm EDA 半导体

8月28日消息,在2024中国国际大数据产业博览会上,华为常务董事、华为云CEO张平安发表演讲称,数字世界的话语权最终是由生态的繁荣决定的。

关键字: 华为 12nm 手机 卫星通信

要点: 有效应对环境变化,经营业绩稳中有升 落实提质增效举措,毛利润率延续升势 战略布局成效显著,战新业务引领增长 以科技创新为引领,提升企业核心竞争力 坚持高质量发展策略,塑强核心竞争优势...

关键字: 通信 BSP 电信运营商 数字经济

北京2024年8月27日 /美通社/ -- 8月21日,由中央广播电视总台与中国电影电视技术学会联合牵头组建的NVI技术创新联盟在BIRTV2024超高清全产业链发展研讨会上宣布正式成立。 活动现场 NVI技术创新联...

关键字: VI 传输协议 音频 BSP

北京2024年8月27日 /美通社/ -- 在8月23日举办的2024年长三角生态绿色一体化发展示范区联合招商会上,软通动力信息技术(集团)股份有限公司(以下简称"软通动力")与长三角投资(上海)有限...

关键字: BSP 信息技术
关闭
关闭