当前位置:首页 > 芯闻号 > 厂商文章
[导读]作者:LitchllResNet模型前言我们自己训练一个ResNet模型,并在以下三个环境中进行性能的对比。AIStudio CPU: 2 Cores 8GB MemoryAIStudio GPU: V100 16GB VMemEdgeboard训练模型模型使用AIStudio 进行训练,RESNET、M

作者:Litchll

ResNet模型

前言

我们自己训练一个ResNet模型,并在以下三个环境中进行性能的对比。

AIStudio CPU: 2 Cores 8GB Memory

AIStudio GPU: V100 16GB VMem

Edgeboard

训练模型

模型使用AIStudio 进行训练,RESNET、MOBILE训练和预测代码有兴趣的同学请手动移步到百度AI社区相关帖子里查看详细内容。百度AI社区——EdgeBoard板块。

测试结果

我们执行预测,忽略掉预处理的速度,仅仅计算模型前向传播的时间。

对于AIstudio平台,我们计算以下代码的运行时间

 

百度大脑EdgeBoard计算卡基于Resnet50/Mobile-SSD模型的性能评测

对于Edgeboard上面的PaddleMobile,我们计算以下代码的运行时间

 

百度大脑EdgeBoard计算卡基于Resnet50/Mobile-SSD模型的性能评测

以下为两个模型的评测数据

ResNet

Edgeboard:

 

百度大脑EdgeBoard计算卡基于Resnet50/Mobile-SSD模型的性能评测

CPU:

 

百度大脑EdgeBoard计算卡基于Resnet50/Mobile-SSD模型的性能评测

GPU:

 

百度大脑EdgeBoard计算卡基于Resnet50/Mobile-SSD模型的性能评测

Mobile_Net

Edgeboard:

 

百度大脑EdgeBoard计算卡基于Resnet50/Mobile-SSD模型的性能评测

GPU:

 

百度大脑EdgeBoard计算卡基于Resnet50/Mobile-SSD模型的性能评测

CPU:

 

图片1.png

总结:

下表为两个模型预测速度的对比,从中来看,其速度相对于V100的GPU甚至还有一定的优势,让人难以相信。个人的分析是由于以下几个原因

Paddle-mobile较为启动预测,与AIstudio的完整版Paddlepaddle相比有启动效率上的优势,AIstudio启动预测可能较慢。

整个预测模型batch size相当于1,发挥不出GPU的优势。

部署预算按三年算的话,GPU V100价格大概是10万,CPU 1万, EdgeBoard 5千,性价比还是蛮高的。如果大家对Edgeboard感兴趣的话,可自行到百度AI市场购买体验,我在这里不做过多赘述。

 

百度大脑EdgeBoard计算卡基于Resnet50/Mobile-SSD模型的性能评测

我在进行模型预测的时候,使用钳表对功率进行了大概的估计(条件有限),钳表的读数在0.6A-8A之间变化。结合使用的12V适配器,我大概估计Edgeboard的功耗为8W.

以8W的功耗,在单张图片的预测速度上面领先了几十倍功耗的GPU与CPU。Edgeboard的表现还是令我比较惊喜。本来想继续移植一个前段时间的大尺度的分割网络Unet进行尝试,想继续试试他最大可以跑的模型大小,但似乎Edgeboard目前还不支持分割,存在了一定遗憾。

另外我在进行调试的时候,发现过有几个发布版本的固件不是很稳定,有些op有些问题。还发现了Edgeboard在我的两台笔记本电脑上网络不是很稳定,经常出现相互无法ping通的情况,更换PC后正常,暂时还没发现为什么。

Edgeboard是我第一款接触的嵌入式神经网络加速设备。Paddle-mobile也是我接触的第一个移动端神经网络框架,也是我接触的第一个基于FPGA实现的加速框架。从我了解这个框架到现在仅仅不到半年的时间,已经发布了多个模型转换工具,降低了开发难度,并且支持EasyDL这种方式。虽然目前仍然有一些不成熟的坑需要填,不过相信在软件的迭代下面,它能成为一个很好的嵌入式原型设计平台。

Mobile-SSD模型

这次我们自己训练一个Mobilenet-SSD模型,增加了不同输入维度的情况下,模型运行效率的对比

AIStudio CPU: 2 Cores 8GB Memory

AIStudio GPU: V100 16GB VMem

Edgeboard

训练模型

模型使用AIStudio提供的官方工程进行训练,Mobilenet-SSD训练和预测代码有兴趣的同学请手动移步到百度AI社区相关帖子里查看详细内容。百度AI社区——EdgeBoard板块。

运行预测

我们执行预测,忽略掉预处理的速度,仅仅计算模型前向传播的时间。

对于AIstudio平台,我们计算以下代码的运行时间

 

百度大脑EdgeBoard计算卡基于Resnet50/Mobile-SSD模型的性能评测

对于Edgeboard上面的PaddleMobile,我们计算以下代码的运行时间

 

百度大脑EdgeBoard计算卡基于Resnet50/Mobile-SSD模型的性能评测

以下图片为预测结果,由于时间有限,没有很细致去训练模型,仅仅对比了模型运行的速度。

 

百度大脑EdgeBoard计算卡基于Resnet50/Mobile-SSD模型的性能评测

下表为模型在不同维度下的预测速度的对比,从中来看,其速度相对于V100的GPU基本处于同一个数量级,远远领先与CPU

 

百度大脑EdgeBoard计算卡基于Resnet50/Mobile-SSD模型的性能评测

在之前的文章里我们提到,本来想继续移植一个前段时间的大尺度的分割网络Unet进行尝试,想继续试试他最大可以跑的模型大小,但似乎Edgeboard目前还不支持分割,所以我们更换了目标检测网络进行尝试。在mobilenet-SSD这个模型上,Edgeboard最大可以跑到700*700的输入维度,并且能保持在16fps之上(不包含输入图像的语出过程),基本上具有实时性。

之前我提到的,在我的两台笔记本电脑上网络不是很稳定,经常出现相互无法ping通的情况,目前经过试验之后,发现问题为板子的网卡在与不支持千兆的网卡进行通信时候,不能正确的协商,仍然使用千兆模式,使用以下命令固定为百兆即可正常连接

ethtool -s eth0 speed 100 duplex full

Edgeboard是我第一款接触的嵌入式神经网络加速设备。Paddle-mobile也是我接触的第一个移动端神经网络框架,也是我接触的第一个基于FPGA实现的加速框架。从我了解这个框架到现在仅仅不到半年的时间,已经发布了多个模型转换工具,降低了开发难度,并且支持EasyDL这种方式。虽然目前仍然有一些不成熟的坑需要填,不过相信在软件的迭代下面,它能成为一个很好的嵌入式原型设计平台。

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

9月2日消息,不造车的华为或将催生出更大的独角兽公司,随着阿维塔和赛力斯的入局,华为引望愈发显得引人瞩目。

关键字: 阿维塔 塞力斯 华为

加利福尼亚州圣克拉拉县2024年8月30日 /美通社/ -- 数字化转型技术解决方案公司Trianz今天宣布,该公司与Amazon Web Services (AWS)签订了...

关键字: AWS AN BSP 数字化

伦敦2024年8月29日 /美通社/ -- 英国汽车技术公司SODA.Auto推出其旗舰产品SODA V,这是全球首款涵盖汽车工程师从创意到认证的所有需求的工具,可用于创建软件定义汽车。 SODA V工具的开发耗时1.5...

关键字: 汽车 人工智能 智能驱动 BSP

北京2024年8月28日 /美通社/ -- 越来越多用户希望企业业务能7×24不间断运行,同时企业却面临越来越多业务中断的风险,如企业系统复杂性的增加,频繁的功能更新和发布等。如何确保业务连续性,提升韧性,成...

关键字: 亚马逊 解密 控制平面 BSP

8月30日消息,据媒体报道,腾讯和网易近期正在缩减他们对日本游戏市场的投资。

关键字: 腾讯 编码器 CPU

8月28日消息,今天上午,2024中国国际大数据产业博览会开幕式在贵阳举行,华为董事、质量流程IT总裁陶景文发表了演讲。

关键字: 华为 12nm EDA 半导体

8月28日消息,在2024中国国际大数据产业博览会上,华为常务董事、华为云CEO张平安发表演讲称,数字世界的话语权最终是由生态的繁荣决定的。

关键字: 华为 12nm 手机 卫星通信

要点: 有效应对环境变化,经营业绩稳中有升 落实提质增效举措,毛利润率延续升势 战略布局成效显著,战新业务引领增长 以科技创新为引领,提升企业核心竞争力 坚持高质量发展策略,塑强核心竞争优势...

关键字: 通信 BSP 电信运营商 数字经济

北京2024年8月27日 /美通社/ -- 8月21日,由中央广播电视总台与中国电影电视技术学会联合牵头组建的NVI技术创新联盟在BIRTV2024超高清全产业链发展研讨会上宣布正式成立。 活动现场 NVI技术创新联...

关键字: VI 传输协议 音频 BSP

北京2024年8月27日 /美通社/ -- 在8月23日举办的2024年长三角生态绿色一体化发展示范区联合招商会上,软通动力信息技术(集团)股份有限公司(以下简称"软通动力")与长三角投资(上海)有限...

关键字: BSP 信息技术
关闭
关闭