基于Enclustra瑞苏盈科XCZU15EG核心板及PE1底板

最新更新时间:2021-05-17来源: EEWORLD关键字:瑞苏盈科  AI  机器视觉 手机看文章 扫描二维码
随时随地手机看文章

AI: 机械手石头剪刀布,基于Enclustra瑞苏盈科XCZU15EG核心板及PE1底板


人工智能(AI)正在占据越来越多的应用和生活场景,例如图像检测和分类,翻译和推荐系统等等。基于机器学习技术的应用数量庞大且还在不断增长。采用Enclustra(瑞苏盈科)结合FPGA和ARM处理器的核心板模块,在离线和边缘使用AI前所未有的容易。

 

image.png


为了展示“基于FPGA的AI,机器视觉,运动控制”,Enclustra打造了机械手和人互动玩石头剪刀布的demo。

 

image.png


FPGA低延时、低功耗的特性在这个demo中体现出了优势。搭载Synthara IP核的神经网络运行在基于Xilinx Zynq UltraScale+的Enclustra水星Mercury+ XU7-15EG 核心板模块(SoM based on XCZU15EG)和水星Mercury+ PE1底板,分析摄像头采集的流媒体数据。手势是被实时检测的,每张图片的推理只需要8~9 ms,灵敏度超过100 fps。常见的摄像头为30或者60 fps,所以瓶颈在于摄像头的帧率。机械手伺服电机根据游戏规则做出反应。

 

image.png


值得一提的是这个demo实现了在单个设备中处理各种传感器和信号:图像处理、神经网络推理、机械手都在一个FPGA中被控制。


image.png

image.png


玩家手势的图片被分为5类:石头,剪刀,布,非法手势,无手势。为了让神经网络能对图片进行精准的分类,Enclustra从几位玩家录制的视频中采集了多样化的图片:不同的玩家,男/女玩家,不同饰品(手表,腕带,长袖…),不同亮度,左/右手玩家,不同的移动速度,不同的距离,等等。在神经网络学习了近一万张图片后,具备了快速打败新玩家的能力。


关键字:瑞苏盈科  AI  机器视觉 编辑:张工 引用地址:基于Enclustra瑞苏盈科XCZU15EG核心板及PE1底板

上一篇:高云半导体宣布发布USB 2.0接口解决方案
下一篇:瑞萨电子推出入门级MPU RZ/V2L

推荐阅读

理想内部全员信:2030年成为全球领先人工智能企业
理想汽车发布全员信,其中提到2030年目标:成为全球人工智能行业的领导者。理想汽车表示,在创立之初,“我们希望15年后的理想汽车可以在人工智能领域(软件2.0)构建完整的体系化能力”。理想汽车认为,今年软件2.0的技术产品落地将在中国正式开启。在智能电动车领域,基于BEV感知和Transformer模型,实现端到端训练的城市NOA导航辅助驾驶(不依赖HDMAP)会在2023年底开始落地。众所周知,新能源汽车竞争正进入下半场,车企竞争的重点由电动化转向智能化。在这样的大背景下,不仅是新势力,传统车企也在纷纷加码智能化,ADAS辅助驾驶、自动驾驶、智能座舱等成为重点布局领域。一直以来,理想汽车是智能驾驶全栈自研的车企之一,围绕BEV重点
发表于 2023-01-28
理想内部全员信:2030年成为全球领先<font color='red'>人工智能</font>企业
NVIDIA 和戴尔科技扩展 AI 产品组合
NVIDIA 和戴尔科技扩展 AI 产品组合NVIDIA 全栈式AI方案现已登陆15款全新戴尔 PowerEdge 服务器,助力企业更快、更高效地构建和部署 AI 工作负载2023 年 1 月 17 日 —— NVIDIA 和戴尔科技今日发布了由 NVIDIA 提供加速的多款戴尔 PowerEdge 系统,助力企业通过 AI,高效地实现业务转型,这是双方有史以来在AI 方面最大规模的合作。15 款下一代戴尔 PowerEdge 系统可利用 NVIDIA 全栈 AI 解决方案(包括 GPU、DPU 和 NVIDIA AI Enterprise 软件套件),为企业构建各类 AI 应用程序奠定了基础,包括语音识别、网络安全、推荐系统、以及
发表于 2023-01-18
NVIDIA 和戴尔科技扩展 <font color='red'>AI</font> 产品组合
自动驾驶融合算法研究:BEV带动算法革命,AI大模型推动算法迭代
自动驾驶算法技术框架核心分为环境感知、决策规划、控制执行三部分。环境感知:将传感器数据转换成车辆所处场景的机器语言,具体可以包括:物体检测、识别跟踪、环境建模、运动估计等;决策规划:基于感知算法输出结果,给出最终行为动作指令,包括行为决策(车辆跟随、停止和超车)、动作决策(汽车转向、速度等)、路径规划等;控制执行:在决策层的输出结果下,调动底层模块,向油门、刹车等核心控制部件发出指令,推动车辆按照规划线路行驶。BEV带动算法革命近年来BEV感知受到了广泛的关注,BEV模型主要提供了一个统一的空间,方便各项任务、传感器的融合。其主要有以下优势:BEV统一了多模态数据处理维度,使多模态融合更加容易BEV感知系统可以将多个摄像头或雷达得到
发表于 2023-01-15
自动驾驶融合算法研究:BEV带动算法革命,<font color='red'>AI</font>大模型推动算法迭代
NVIDIA 和 Evozyne 创建用于生成蛋白质的生成式 AI 模型
科学家使用 NVIDIA BioNeMo 创建出能够生成高质量蛋白质的大型语言模型,以此加快药物研发并助力创造更具可持续性的环境。2023 年 1 月 12 日 - 摩根大通医疗健康大会 - 初创企业 Evozyne 使用 NVIDIA 提供的预训练 AI 模型,创造了两种在医疗和清洁能源领域具有重大潜力的蛋白质。今日发布的一篇联合论文描述了这一过程及产出的蛋白质氨基酸序列。其中一种蛋白质用于治疗一种先天性疾病,另一种用于消耗二氧化碳以减少全球变暖。初步研究结果展示了一种加速药物研发的新方法。Evozyne 联合创始人、论文共同作者 Andrew Ferguson 表示: “令人欣喜的是,这个 AI 模型第一轮产出的合成蛋白质就像自
发表于 2023-01-13
NVIDIA 和 Evozyne 创建用于生成蛋白质的生成式 <font color='red'>AI</font> 模型
比尔·盖茨谈科技热词:AI颇具革命性,不太看好Web3和元宇宙
北京时间1月12日下午消息,据报道,微软联合创始人比尔·盖茨(Bill Gates)对一些热门科技概念发表了看法。他透露自己不太看好Web3和元宇宙,但认为人工智能“颇具革命性”。  盖茨是在美国社交新闻网站Reddit一年一度的Ask Me Anything活动上发表这些看法的,他借此机会回答了Reddit用户针对各种主题提出的一些问题。  一位Reddit用户问:“许多年前,估计大约是2000年,我听你在电视上说,‘大家过分高估了互联网5年后的潜力,但也过分低估了10年后的潜力。’现在是否有什么重要的技术转型也处于类似的阶段?”盖茨回答道:“人工智能就是一项重大技术。我不认为Web3有那么重大,也不认为元宇宙本身具有什么革命性,
发表于 2023-01-13
嵌入式机器视觉系统的三种实现方式
现有的大多数机器人,都采用单片机作为控制单元,以8位和16位最为常见,其处理速度较低,没有操作系统,无法实现丰富的多任务功能,系统的潜力没有得到充分的发掘和应用。随着科技的发展和更多业务需求的增长,嵌入式视觉系统也迎来了更多的挑战,比如功耗、复杂的算法、处理器的性能、更高的图像分辨率等,人们需要的是更加智能化的系统,嵌入式视觉系统是实现智能化系统重要的组成部分。作为系统的输入CMOS和CCD是目前图像采集采用的两种领先技术,CCD能够提供更高的图像质量,但是经过过去10年的发展CMOS与其的差距也越来越小了,在功耗、成本和功耗方面大有超过CCD之势。此外很多应用都需要高效的并行处理系统,因此需要采用专用的硬件处理器比如GPU、DSP
发表于 2023-01-12
小广播
何立民专栏 单片机及嵌入式宝典

北京航空航天大学教授,20余年来致力于单片机与嵌入式系统推广工作。

换一换 更多 相关热搜器件
电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2023 EEWORLD.com.cn, Inc. All rights reserved