高速全局快门图像传感器如何减轻基于AI的视觉系统的负担
点击蓝字关注我们
作者：Ganesh Narayanaswamy
视觉传感器对于数据采集正变得越来越重要。
最初的简单图像传感器为摄影应用开发，如今的图像传感器用于向人工智能(AI)和机器学习系统提供高质量的输入。
这些系统已成为利用新的和创新的处理器架构的精密决策实体。
边缘数据采集
尽管边缘数据采集器件本质上主要是模拟的，但是图像传感器的独特之处在于：
它们的输出在连续的动态光学输入上进行时分复用
它们需要有能力在输出时保持转换后的光输入的完整性来提供图像输出
提供的图像输出具有最佳质量，支持重要的处理
这些要求和随后的结果可能会对视觉系统做出的决策的准确性产生重大影响，而这一结果定义了整个自动化系统的安全性、可靠性和收益率。
基于机器学习的视觉系统
机器学习的出现推动了图像传感器的创新，其性能水平得到了提高，可以支持各种应用。视觉输入是高保真数据–您所看到的就是输入到系统中的信息。
如今，AI算法能够检测、识别和分类这些输入并生成准确的决策输出。这些输出的可靠性取决于输入的质量及其算法的准确性，以及处理这些算法的神经网络。
基于机器学习和深度学习的视觉系统主要使用卷积神经网络(CNN)算法来创建功能强大的自动识别专家系统。
在这些系统中，增加CNN层的深度会提高推理的准确性，但是更多的层也会对这些网络在训练阶段学习所花费的时间以及系统完成推断的延迟产生不利影响 (不要忘了过拟合也会影响结果和功耗)。
同样，高质量的图像输出使视觉系统能够携带最少的CNN图层集，但还能产生高度准确的推断。在以低成本和小尺寸获得可快速部署的智能系统的同时，还实现高性能和低功耗，这带来了显著的好处。
典型的卷积神经网络(CNN)
深度学习算法如CNN资源极其密集。如今，有各种处理引擎，包括CPU、GPU、FPGA、专用加速器和最新的微控制器。
设计基于CNN的视觉系统还需要强大的优化库支持。涵盖从专有(如MVTec的HALCON＆MERLIC，MATLAB的深度学习工具箱或Cognex的ViDi)到标准工具(如OpenCV)以及软硬件的整合功能。
这些选择直接关系到产品的上市时间。资源密集型处理器通常需要更大的外形尺寸，如散热器的功耗附加组件，或者仅需要较大的空闲空间以通过对流来耗散功率。
提供高质量输出的图像传感器可无需昂贵的处理器、昂贵的第三方库和/或新库的创建需求，以及最佳地结合硬件和软件资源所需的昂贵工具。
换句话说，这些传感器极大地降低了总拥有成本(TCO)，并增加了在各种应用和市场中的采用率。
图像传感器输入到机器学习系统
对传递到CNN层的图像传感器输出有相当高的要求，包括：
全局快门可以捕获场景并保留场景以最小化运动伪影
高全局快门效率，以确保每个像素中保留的场景不会被该像素光路之外的光输入破坏
足够大的像素尺寸，即使在充满挑战的光线条件下也能支持好的图像质量
图像输出中的总噪声低，以确保高完整性输入
在运行和待机状态下低功耗，应对以对流传热为常态的摄像系统的典型挑战。
高速接口赋能快速系统
像素的质量可能极佳，且经过精心设计以生成高质量的图像，但是由于带宽限制，整个视觉系统可能仍会出现性能不佳的情况。当今的传感器都配备了SerDes接口，但是这些接口的流量数据速率会影响整个系统的质量。
高帧速率要求这些接口以高速传输图像数据。同样，传感器必须为每帧输出(fps/mW)消耗低功耗。这些特性支持将系统定时和功率预算转移到最需要的地方-处理引擎-可以合并最新的神经网络和复杂算法。
AR0234CS 230万像素CMOS图像传感器
AR0234CS 230万像素CMOS图像传感器具备高数据速率MIPI接口，非常适合基于AI的视觉系统。加上它高帧速率、低功耗全帧速率和全分辨率，视觉系统开发人员可以将大部分时间和功耗预算分配给处理器。
了解更多设计资源
（长按并扫描下方二维码查看更多）
AR0234CS
主流CMOS图像传感器演示板的功能和设置（视频）
DevSuite软件
DevSuite快速入门指南
京公网安备 11010802033920号