大咖观点丨智能视觉助力 AI 大模型新拐点 Arm 创新生态服务本土市场
纵观整个数字经济创新发展史，每一次颠覆式创新往往伴随着新范式的产生。古有“读万卷书，不如行万里路”的说法，精准诠释了亲身体验和实践的重要性：人类通过视觉、听觉等主要感知方式接受外界信息，并加以思考进而付诸行动，由此对世界进行理解、改变和创造。回到现在，随着算力不断的提升，AI 的发展也由于大模型的突破迎来了加速时代，今有机器人、自动驾驶等技术为代表的新范式，将重新定义人机交互的模式。我们也将见证专属于人类的感知，思考和行动能力逐渐实现向机器的转移。
在模型和行动无处不在的新时代，智能视觉将变得必不可少
人类获取的信息 70% 来自于视觉，目前，智能视觉已深入到智慧家居、智慧城市、智慧零售和智能制造之中，而在模型和行动无处不在的新时代，智能视觉也将变得必不可少。无论是聊天机器人还是自动驾驶技术，都需要借助智能视觉等感知技术从现实生活中采集真实数据，形成更准确的模型，以提供关键的安全和避障能力，或更好地适应多样化的需求和行为。
智能视觉系统的五大技术趋势
随着智能视觉应用的普及，其系统也朝着五大技术趋势发展：
云边端协同： 高清图像和视频数据、巨大的数据量、以及诸如自动驾驶等应用的实时性要求、决定了智能视觉系统需要能够将计算和决策任务分布在云、边和终端设备上，并实现负载调动与协同。云端可以承担训练深度学习模型、处理大规模图像和视频数据集、等计算密集型任务。边缘设备可以进行实时图像处理、简单的特征提取和初步的决策；终端设备可以接收来自云端或边缘端的智能决策结果，并进行展示、用户交互等，或在超低延时和离线需求下进行端侧视觉数据处理和决策。
AI 加持： 深度学习和神经网络在计算机视觉领域的应用已经取得了巨大的成功。未来的智能视觉系统将继续依赖深度学习模型和神经网络，通过大规模数据集的训练、来提高图像和视频数据的分析和识别能力，并利用强化学习和自主、自适应学习，使系统能够从环境中不断学习和改进，并适应新的场景和任务。
图像处理： 智能视觉系统需要准确和高质量的图像处理，以支持更高效的特征提取，目标检测和跟踪, 图像分析和理解，以及图像生成和合成。
算力支撑： 由于复杂的模型和算法、大规模图像数据处理、实时性、高精度、高并发等要求，智能视觉系统需要强大的计算资源和算力支持。
隐私和安全性： 智能视觉系统大量的数据采集，以及广泛的应用也引发了对隐私和安全性的关注。未来的趋势是设计更加隐私保护和安全可靠的智能视觉系统，采用加密、匿名化等技术手段保护用户的隐私，同时加强系统的安全性，防止被恶意攻击和滥用。
智能视觉应用催生智能视觉芯片架构的演进
而在芯片层面，为了满足对 AI 支持、计算能力、能效和实时性的不断增长的需求，智能视觉芯片架构也经历了一系列的演进——从功能固定难以编程的 DSP 和 ASIC，到通用性强、易编程的 CPU 架构，直至今日集成 CPU、ISP、NPU AI 加速器、VPU、GPU 的先进异构 SoC。智能视觉芯片已经逐步实现低功耗、高性能和高度集成的特点。适用于资源受限的边缘设备，如智能手机、摄像头和物联网设备等，为智能视觉成为一种普适的能力奠定基础。
支持高效、敏捷地视觉产品和解决方案的开发，是产业的现实需求。Arm 丰富的产品组合，包括 Arm Cortex-A CPU、Mali GPU、Mali-C55 ISP、Ethos ML 加速器、Corstone 子系统等，能够带来高质量、高可靠、高性能和高能效的不同组合，满足智能视觉的各个细分市场需求，助力加速智能视觉的创新。
首度集成第三方 IP 的 Arm 全新智能视觉参考设计
为企业快速打造产品差异化
为了助力智能物联和视觉领域的创新企业降本增效，使更多的新商机和新想法可以更快地转化成量产的产品。Arm 处理器和系统 IP 也在向预先集成验证的子系统的方式转变。这种新的设计方式和产品形态，通过选用 Arm 广泛应用于智能视觉领域的处理器和系统 IP，并根据客户的特定应用引入第三方 IP，构建出相对标准化的 IP 组合，集成后 IP 组合必须经过预先验证。此外，该 IP 组合还将搭配对应的 Arm 虚拟硬件（Arm Virtual Hardware）与参考软件栈，形成坚实的基础技术平台。如此一来，不仅给予客户足够的灵活性和选择，使企业可以专注于产品的差异化，加快产品上市时间，并且帮助客户显著降低芯片开发成本和风险，大幅缩短研发周期。
作为这样产品形态的第一个范例便是 Arm 全新发布的智能视觉参考设计，首次将 Arm IP 与安谋科技的 IP 结合在一起，并由安谋科技预先集成和预先验证。 该方案的硬件参考设计包括 CPU、ISP、NPU 和 VPU 处理器选项，以及将子系统粘合在一起的互连和系统 IP。 该视觉参考设计通过 Arm SystemReady 认证和 PSA 安全认证，保证对主流操作系统的支持和平台安全性。而其 Arm 虚拟硬件可为生态伙伴提供虚拟模型，实现软硬件协同设计，进一步缩短系统设计周期。
Arm 发布“全新智能视觉参考设计”满足中国市场视觉应用设备的强劲增长需求
全新的智能视觉参考设计也确实收获了客户正面的反馈。昱感微电子作为一家专注于智能感知 (包含机器视觉) 的芯片解决方案新创公司，该公司为了展现竞争力，需要聚焦资源在产品的差异化上，并快速推动产品上市进程。 根据昱感微电子 CEO 蒋宏的反馈：Arm 智能视觉参考设计可以很好地奠定该公司的底层技术根基，为他们大幅减低花费在基层技术架构的心力，并将更多的时间与资源投入在其技术优势的开发，创造创新与差异，从而掌握市场机遇。
打造创新生态 共赴视觉未来
随着智能视觉来到新的节点，它将更普及地被应用在各行各业，创建出更多的市场机遇，而行业中的软硬件提供商，以及系统集成商都需要一个资源汇聚的平台，快速实现创意，掌握商机。 “Arm 智能视觉合作伙伴计划”应运而生，将 AI、视觉、芯片设计、软件、算法、系统集成等生态合作伙伴汇聚一处，共同协作。 通过这项计划，芯片设计服务商将能访问且熟悉 Arm 的参考设计，并在参考设计的基础上快速流片，助力客户推出满足 SystemReady 和 PSA 安全标准的芯片；另一方面，对于软件提供商而言，Arm 智能视觉参考设计包含了云原生的开源视觉软件堆栈，可为其客户适配不同的应用场景，为不同的设备制造商定制软件，并进行整合，测试与调优，达到量产水平；此外，系统集成商通常具有芯片设计、固件软件开发、创建 FPGA 甚至开发板的综合能力，来提供一站式服务，他们能在这个计划中优化产品，并提升开发者体验。
继成为 Arm 首家在华图像信号处理器的认证调式夥伴后，诚迈科技也成为首批加入 Arm 智能视觉伙伴项目的成员。 诚迈科技计算机视觉事业部总经理韩薇明确表达：通过 Arm 先进的处理器与 Arm 智能视觉参考设计，结合诚迈科技在软件方面的专业积累与机器视觉的全套解决方案，加入这项计划将能助力诚迈科技加速智能视觉在各领域的落地应用，为客户带来更高效率、性能与创新优势。
Arm 智能视觉合作伙伴计划一经推出便获得业界的巨大支持， 目前已有十多家生态伙伴已加入
随着 AI 和大模型的发展，智能视觉技术将无处不在。在视觉成为普适能力的趋势下，预先集成、预先验证的标准化子系统会为加速视觉产品设计和创新提供坚实的基础。而实现视觉领域内不断创新的愿景更需要整个生态系统的协同合作，相信 Arm 及生态伙伴将共同创建智能视觉的未来！
本文作者：Arm 物联网事业部业务拓展副总裁 马健
推荐帖子
- 数字电源 第2版 PCB到手了。
- 本帖最后由dontium于2013-12-2811:34编辑 昨天晚上收到了PCB，申通真慢，路上用了4X24小时。1、概况2、正面3、简单说明4、背面数字电源第2版PCB到手了。本帖最后由dontium于2013-12-2811:53编辑 PCB使用三片，剩余七片。有愿意一起DIY者，以成本（5元）价出。板上的其它元器件，可以出两套，均以购入价漂亮！！等待调试参数不错~~~看来DT版主春节前可完工xuyiyi
-
dontium
DIY/开源硬件专区
DIY/开源硬件专区- 有人开发过EPC G2的读写器吗，高手指点一下，都2周了，急？
- 我不知道我的指令流程是否正确，反正发指令了，没得到数据，目前要先排除指令问题然后再考虑其他因素，我用的指令流程如下：Select-Query-ACK-Req_RN-Read或Write目前对一张标签操作，其中的参数和注意事项有那些，我根据标准做的，但没数据返回，谢谢各位指点。都2周了急！先谢谢各位参与的人！有人开发过EPCG2的读写器吗，高手指点一下，都2周了，急？看来要沉沦了友情up！up
-
yangfeng
嵌入式系统
- 【得捷Follow me第4期】项目总结
- 前言第四期报名后一直没有收到邮件，因为之前参加感觉都是名额制，都忘记是否有写申请理由了，过了时间问了下确实没有中标。几日后有人退出，机会又回到我头上，这次板子+屏幕已经近300了，没有参与早期讨论不知屏幕可以自己发挥，很快下了单，凑了个数据线焊了排针，并连接后如下图：入门任务：开发环境搭建这里选择CircuitPython作为本次测试的基本软件平台。固件下载：W5500-EVB-PicoDownload(circuitpython.org)下载
-
sss421
DigiKey得捷技术专区
- 再问版主关于使用AD处理触摸屏的设计
- 我们想用STM32F103的AD进行触摸屏的设计（即省掉触摸屏驱动IC），请问这样做是否可行，ST目前有这方面的设计吗？谢谢！再问版主关于使用AD处理触摸屏的设计方案可行，有人做过，你可以在本论坛中找找。ST的STM3210E-EVAL评估套件上用的就是触摸屏的设计，你可以在ST网站下载看看。谢谢！版主：您好！在STM3210E-EVAL_FW_V2.0.0中未能找到利用AD来做触摸屏的设计啊。只有stm3210c-eval_fw有使用
-
ljr0451
stm32/stm8
- 紧急求救，AD17过孔设置问题？
- 各位高手知道AD17的过孔怎么设置吗？记得以前设置过一回，打开PCB文件就可以看到设置的过孔。后来，重新做板子，忘记了怎么设置过孔尺寸了。现在成了这个样子了郁闷中，有高手救救我！！！紧急求救，AD17过孔设置问题？每个过孔都是有网络的 如何为网络增加这个过孔？直接打过孔，tab按键设置参数。 怎么把V66h33这些模板加入到列表中？在这个网络附近，放置孔，网络会自动吸附的，TAB设置孔的参数，把孔放置到合适位置大家帮忙看
-
bigbat
PCB设计
- 蓝牙耳机是如何在电路层面实现音量大小的调节的
- 蓝牙耳机是如何在电路层面实现音量大小的调节的蓝牙耳机是如何在电路层面实现音量大小的调节的除非蓝牙耳机本身有加减键功能，一般都是通过连接手机来控制音量大小的 他问的应该就是在蓝牙耳机带音量加减键的吧。否则，除了连接设备调节外，怎么调节音量，蓝牙芯片带DAC，直接控制DAC输出幅度。有的耳机音量调节，可以选择联动和非联动，联动就是调手机音量，非联动是只调自己的音量。是想设计一个调节电路吗？不用旋钮啥的。指令控制DAC输出幅值，本质上是控制电路增益，与传统
-
一沙一世
单片机
京公网安备 11010802033920号