技术文章—CrossLink FPGA如何支持MIPI

2020-05-22来源: EEWORLD关键字:CrossLink  MIPI

过去几年里,嵌入式视觉应用大量涌现,包括从相对简单的智能视觉门铃到执行随机拾取和放置操作的复杂的工业机器人,再到能够在无序、地形不断变化的环境中导航的自主移动机器人(AMR)。快速采用嵌入式视觉技术的行业包括汽车、消费电子、医疗、机器人、安防/监控以及大量工业应用。

 

如今,嵌入式视觉正逐渐应用于人工智能(AI)和机器学习(ML)系统中,用来分析图像和视频流、检测/识别人和物体以及从看到的景象中提取信息,便于采取下一步行动(关于AI、ANN、ML、DL和DNN的常见问题1)。

 

本文首先介绍了当今嵌入式视觉设计一些趋势。然后探讨了现场可编程逻辑门阵列(FPGA)在嵌入式视觉系统中的应用。最后讨论了使用莱迪思半导体的CrossLink™ FPGA创建嵌入式视觉系统。

 

嵌入式视觉的发展趋势

 

推动嵌入式视觉设计的主要趋势有:高分辨率和高带宽的需求持续增长,系统中视觉传感器和显示器的数量与日俱增,以及小尺寸和低功耗的要求不断涌现。此外,将人工智能(AI)和机器学习(ML)功能加入嵌入式系统也是大势所趋,尤其是添加到靠近视觉传感器的本地端。

 

嵌入式视觉系统的另一个趋势是接口标准的数量和种类不断增长。表1列出了一些最常见的接口类型。其中用于“模块内部”(inside the box)的标准(如设备内部)通常要求驱动几厘米到几十厘米大小的设备,而“模块之间”(box-to-box)的接口可能需要在几米到几百米甚至更大的设备间驱动视觉数据。

 

表1:常见视频接口

 

PHY这个术语是“物理层”的缩写,通常是在芯片上或者作为芯片(集成电路)实现的一种电子电路。PHY用于实现开放系统互连(OSI)模型的物理层功能,无论计算或电信系统底层内部结构和技术如何,该模型都能对其通信功能进行标准化。

 

在嵌入式视觉系统中使用莱迪思

 

CrossLink FPGA支持MIPI

 

WP0023C

  

MIPI简介

 

嵌入式视觉应用中MIPI的使用日益增多,尤其是CSI-2(摄像头/传感器)和DSI(显示屏)协议,两者均采用被称之为D-PHY的PHY。在带宽和接口长度方面,MIPI在位于OpenLDI和eDP/DP(eDisplay Port和 Display Port)之间。

 

MIPI联盟是一家在全球拥有250名企业会员的国际组织。ARM、英特尔(Intel)、诺基亚(Nokia)、三星(Samsung)、意法半导体(STMicroelectronics)和德州仪器(Texas Instruments)于2003年创建MIPI联盟,彼时MIPI是“移动产业处理器接口”的英文首字母缩略词。然而,如今该组织的各类规范不仅适用于处理器互连,更能满足一台设备上全部接口需求,所以MIPI不仅仅是首字母缩略词,而是已经作为单独的名称使用。

 

为了了解更多有关MIPI流行的背景信息,我们不妨回顾一下1990年代中期个人计算机(PC)刚开始流行的时期(图1)。当时的PC使用的接口是外设部件互连标准(PCI)和通用串行总线(USB)。这些低成本的PCI和USB技术随后被各类不同的产品采用。

 

 

图1:PC和智能手机出货量(资料来源:莱迪思半导体和行业分析师)

 

MIPI CSI-2和DSI-2协议也是如此,它们最初用于智能手机。自从2007年发布首款iPhone以来,智能手机急速增长,远远超过PC。这推动了规模经济,低成本的摄像头、显示屏和处理器组件开始涌现,它们开始广泛用于各类非智能手机应用和市场。(本文中的“处理器”可能是指SoC芯片、ASSP和应用处理器等器件)


在嵌入式视觉系统中使用莱迪思

 

CrossLink FPGA支持MIPI

 

WP0023C

 

MIPI采用的D-PHY接口(如图2所示)使用一个差分时钟和一到四个差分数据通道,支持的速度为80 Mbps到2.5 Gbps。

 

 

图2:MIPI D-PHY接口

 

MIPI接口支持两种运行模式:高速(HS)和低速(LP)。该接口在发送器和接收器之间主要是单向传输,但是在某些低速通信情况下,能够从接收器向发送器传输。

 

在嵌入式视觉设计中使用FPGA

 

嵌入式视觉设计的一个重要特征是其架构通常需要不断调整以适应各种规范的变化,这就让FPGA成为实现这类设计的理想选择。

 

一个主要的考虑因素就是ASIC/ASSP和FPGA设计开发周期的差别,使用FPGA来实现设计(图3),可加快产品上市(从而快速盈利)。

 

image.png

 

图3:使用FPGA加速产品上市和盈利

 

在嵌入式视觉系统中使用莱迪思

 

CrossLink FPGA支持MIPI

 

WP0023C

 

中型ASIC/ASSP从设计到量产其开发周期要将近一年。此外,由于设计规范不断发生变化,期间还存在诸多风险(在嵌入式视觉设计中非常常见),再加之ASIC/ASSP的设计流程大多错综复杂,这就意味着某个流程出现耽搁,会对其他流程产生连锁的负面反应。

 

若采用FPGA实现设计,设计人员可采用经过市场检验的硬件,在现场重新配置,应对任何设计规范的变更。

 

从设计人员的角度来看,开发周期的最初阶段(即在抽象的RTL阶段捕获设计)都是相同的,其余步骤要么相似,要么所需时间和资源更少,要么根本不需要。因此使用FPGA的总体优势是可以在大约三分之一的开发时间内实现设备的正常工作。

 

从历史角度看,一些嵌入式系统的设计人员认为FPGA是大尺寸、高功耗的器件,仅仅用于数据中心、通信中心、医学成像以及军事等大型应用。

 

这些传统的FPGA通常有几十万LUT,功率高达50-100 W,封装尺寸可达55 x 55 mm,通常配置散热片。然而还有一些专门实现特定功能的FPGA产品,专注于要求小尺寸和低功耗的应用。例如莱迪思半导体提供这类小尺寸(从10 x 10 mm,功耗1 W到1.4 x 1.4 mm,功耗仅为1 mW)的FPGA产品,满足那些要求小尺寸和高能效应用的需求。

 

与小型ASIC/ASSP相比,这些功能导向的FPGA更容易快速开发、使用更灵活。此外,由于大多数通用FPGA旨在应用于工业和汽车等多个市场,它们通常都支持商用和工业温度环境。而ASIC/ASSP大多被开发用于消费电子产品,对此类温度环境的支持不太普遍。

 

CrossLink FPGA简介

 

莱迪思半导体主要提供四种FPGA产品系列:ECP™、MachXO™、iCE™和CrossLink™。ECP系列包括了设计人员所一般认为的“传统” FPGA——主要针对互连和加速应用的通用器件。MachXO FPGA具有数百个可编程输入/输出(I/O),非常适合需要GPIO扩展、接口桥接和电源管理功能的各类应用。iCE系列是尺寸最小的超低功耗FPGA,最小型号封装尺寸仅为1.4 mm x 1.4 mm,提供18个I/O。

 

尤其值得一提的是针对高速视频和传感器应用进行了优化的CrossLink FPGA。CrossLink FPGA通过硬核PHY增强了其传统的可编程架构,提供业界最快的MIPI D-PHY桥接解决方案,支持高达12 Gbps和4K UHD分辨率(图4)。此外,CrossLink器件提供2.46 x 2.46 mm的WLCSP小型封装和0.4 mm、0.5 mm 和0.65 mm球间距的BGA封装。

 

在嵌入式视觉系统中使用莱迪思

 

CrossLink FPGA支持MIPI

 

WP0023C

 

 

图4:用于嵌入式视觉的CrossLink FPGA包括硬核MIPI D-PHY,优化性能和设计

 

CrossLink FPGA提供两个4通道MIPI D-PHY收发器,每个PHY速率达6 Gbps,还提供15个可编程源同步I/O对,通过LVDS、SLVS200、subLVDS、LVCMOS和OpenLDI(OLDI)等接口标准实现摄像头和显示屏互连。此外,这些可编程I/O可实现每通道速率最高1.2 Gbps的“软MIPI”接口,而LVCMOS可用于在本地实现并行/RGB接口。

 

应用案例

 

CrossLink FPGA的应用包括传感器桥接、传感器复制、传感器聚合、显示屏桥接和分屏。这里的“桥接”是指将视频信号从一种接口标准转换为另一种。

 

在现有控制器上使用MIPI传感器和显示屏:一个典型的案例就是现有系统的SoC、ASSP或AP不支持MIPI,但是设计人员希望在保留原有处理器(及代码)的同时对系统进行升级,新增更为高效、低功耗、基于MIPI的传感器和/或显示屏(图5)。

 

 

图5:使用CrossLink FPGA让现有的SoC、ASSP、AP兼容MIPI传感

 

器和/或显示屏

 

在现有传感器和显示屏上使用MIPI控制器:当设计人员的SoC、ASSP、AP支持MIPI,但是又希望使用原本的非MIPI传感器和显示屏系统时,也会面临同样的问题。工业领域的许多图像传感器和显示屏都采用LVDS、SUBLVDS或并行接口。此外,许多传统的传感器采用的是全局快门而非卷帘快门。这就推动了对更为复杂的桥接解决方案的需求。

 

在嵌入式视觉系统中使用莱迪思

 

CrossLink FPGA支持MIPI

 

WP0023C


 

图6:使用CrossLink FPGA让MIPI接口的SoC、ASSP、AP兼容现有的非MIPI传

 

感器/或显示屏

 

传感器数据复制:该应用的一个典型案例是,对安全性要求高的应用需要进行数据备份(如智能汽车),因此来自传感器的视频输入可能需要分成两个数据流,馈送到两个单独的处理器中(和许多其他接口标准一样,MIPI是点对点的,因此不能将单个传感器直接连接多个处理器)。

 

这类应用的思路是,如果其中一个处理器发生故障,必须要有数据备份。此外,如果有多个传感器,每个传感器的数据流都可以被拆分并馈送到多个处理器。当然,传感器复制可与桥接功能结合使用。图7展示了一种可能的配置场景。

 

 

图7:使用CrossLink FPGA在对安全性要求高的系统中实现传感器数据复制

 

显示器分屏:当我们需要获取由系统处理器生成的视频信号,并将该信号拆分连接到多个显示屏时,就需要用到显示器分屏的功能。它可以与桥接功能结合使用。图8展示了一种可能的配置场景。

 

image.png

 

图8:使用CrossLink FPGA实现显示器分屏

 

在嵌入式视觉系统中使用莱迪思

 

CrossLink FPGA支持MIPI

 

WP0023C


传感器聚合:最后,我们来谈谈传感器聚合应用。正如本文以上所述,这一应用得以发展是因为系统中添加了越来越多的图像传感器。问题在于某些处理器的传感器输入数量有限,因此我们需要某种方式来聚合来自多个传感器的数据。

 

 

图9:使用CrossLink FPGA实现传感器聚合

 

当然,与传感器复制和显示屏分屏一样,传感器聚合也可以和桥接功能一起使用。

 

使用CrossLink FPGA进行设计

 

使用CrossLink FPGA进行设计时,要先问自己一些基本的问题,然后顺着答案设计基本架构。例如,你打算使用什么PHY和协议来输入输出视频信号(图10)?

 

 

图10:作出架构方面的决定

 

这些决定大多和你所选择的传感器和显示屏类型有关(或者因为没得选择不得不使用这些类型)。还有一些影响因素就是即将使用的SoC/ASSP/AP处理器类型。反过来,对于上述问题的答案也会引导你思考如何处理图像及其格式,包括是否要进行复制、聚合和拆分等操作。此外,一旦决定了输入和输出数据速率,就可以结合PHY和协议的选择来决定你的设计要求多少输入和输出通道。

 

[1] [2]
关键字:CrossLink  MIPI 编辑:muyan 引用地址:http://news.eeworld.com.cn/FPGA/ic497920.html 本网站转载的所有的文章、图片、音频视频文件等资料的版权归版权所有人所有,本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如果本网所选内容的文章作者及编辑认为其作品不宜公开自由传播,或不应无偿使用,请及时通过电子邮件或电话通知我们,以迅速采取适当措施,避免给双方造成不必要的经济损失。

上一篇:Teledyne e2v高速数据转换平台可与Xilinx最新FPGA器件完美相融
下一篇:莱迪思Nexus技术平台:重新定义低功耗、小尺寸FPGA

关注eeworld公众号 快捷获取更多信息
关注eeworld公众号
快捷获取更多信息
关注eeworld服务号 享受更多官方福利
关注eeworld服务号
享受更多官方福利

推荐阅读

Lattice sensAI 3.0将功耗减半,使CrossLink-NX FPGA的性能加倍
Lattice日前发布了其sensAI edge推论解决方案堆栈的3.0版本,为公司28纳米FD-SOI CrossLink NX系列低功耗FPGAs提供了一些更新功能和支持。根据Lattice的说法,与此前的版本相比,运行sensAI软件的CrossLink NX设备的性能提高了一倍,功耗降低了一半。sensAI 3.0版的主要增强功能包括:新的CNN加速器IP利用了并行性、2.5 Mb的分布式内存和块RAM,以及CrossLink NX FPGA架构中额外的DSP资源。对NN编译器工具的更新,简化了编译和下载训练模型,以交联NX FPGAs。增加了对Lattice ECP5 FPGAs上MobileNet v2、固态硬盘
发表于 2020-05-22
Lattice:CrossLinkPlus是针对亚太市场推出的高集成桥接方案
日前,在莱迪思半导体(Lattice)CrossLinkPlus FPGA新品发布会上,介绍了全新CrossLinkPlus产品,拥有集成闪存、一个硬MIPI D-PHY、可实现面板瞬时显示的高速I/O以及灵活的片上编程特性。此外莱迪思还提供现成的IP和参考设计来加速实现和增强传感器与显示器的桥接、聚合和分屏功能,这些是工业、汽车、计算和消费电子等应用的常用功能。在发布会现场,Lattice副总裁兼亚太区总经理徐宏来代表Lattice CEO强调,该新品是由亚太区提出的产品需求,也是针对亚太市场推出的产品,未来Lattice的产品规划及研发方向,都会考虑亚太区的意见,这足见Lattice对于中国及亚太市场的重视程度。徐宏来同时表示
发表于 2019-10-08
莱迪思推内嵌Flash的CrossLinkPlus FPGA
。CrossLink是业界首款可编程ASSP(pASSP)桥接解决方案,大多数情况下工作功耗低于100 mW,并内建睡眠模式,功耗相比竞争对手的产品低50%。CrossLink支持MIPI D-PHY桥接解决方案,支持4K UHD分辨率,速率可高达12 Gbps。陈英仁说道,以前FPGA没有进入MIPI D-PHY桥接方案时,市场上有一些ASSP芯片,但是功能比较固定,同时性能又很低,无法实现融合、分离等功能。而随着CrossLink对于MIPI D-PHY的原生支持之后,对MIPI发展起到了很大的促进作用,用户可以轻松实现高效率、低功耗及简便易用的MIPI支持。嵌入式视觉市场的演变陈英仁表示,嵌入式视觉市场正在进行三方面的演进。首先是市场
发表于 2019-10-08
莱迪思为工业视觉升级推出全新CrossLink参考设计
莱迪思半导体(Lattice)日前宣布推出一系列采用Lattice CrossLink FPGA进行视频桥接应用的全新参考设计。SubLVDS至MIPI CSI-2图像传感器桥参考设计旨在为工业设备客户提供灵活,易于实施的解决方案,用于将高级应用处理器(AP)与当前用于工业机器视觉应用的许多图像传感器连接起来环境。许多工业机器视觉应用使用具有SubLVDS接口的图像传感器,这与当今AP上使用的MIPI CSI-2 D-PHY接口不兼容。然而,许多工业设备OEM希望在现有的具有机器视觉功能的产品中实现这些AP。莱迪思SubLVDS到MIPI CSI-2图像传感器桥接参考设计旨在解决这个问题,让客户可以快速轻松地创建桥接解决方案
发表于 2019-07-18
莱迪思全新模组化IP核心扩增CrossLink应用
莱迪思半导体(Lattice)近日宣布推出七款全新模组化IP核心,支援屡获殊荣的CrossLink FPGA产品系列,提升消费性电子、工业和汽车应用设计灵活性。全新模组化IP核心,能够协助客户实现客制化视讯桥接解决方案所需的构建模块。莱迪思半导体产品行销经理Tom Watzka表示,该公司客户须能够支援MIPI D-PHY的FPGA,以解决日益复杂的影像介面问题,经常面临功耗、尺寸和效能方面的挑战。近年来,莱迪思CrossLink元件及其IP核心系列,皆提供克服上述挑战所需工具。在现有强大工具套件中新增全新IP,更能够支援快速发展的网路周边智慧应用。在行动产业中,大量和高效能元件需求,带动各类视讯元件在行动相关
发表于 2017-08-31
技术文章—MIPI D-PHY物理层自动一致性测试
对低功耗高清显示器的需求,正推动着对高速串行总线的采用,特别是移动设备。MIPI D-PHY是一种标准总线,是为在应用处理器、摄像机和显示器之间传送数据而设计的。该标准得到了MIPI联盟的支持,MIPI联盟是由多家公司(主要来自移动设备行业)组成的协会。该标准由联盟成员使用,而一致性测试则在保证设备可靠运行及各厂商之间互操作方面发挥着重要作用。自动测试系统采用可靠的示波器和探头,帮助设计人员加快测试速度,改善可重复性,简化报告编制工作。 高速运行的物理层 D-PHY的物理层由一个时钟和四条数据通路[D0:D3]组成,可以以非常高的速度运行。物理层可以支持不同的协议层。例如,摄像机捕捉的影像可以通过采用CSI-2
发表于 2020-02-18
技术文章—MIPI D-PHY物理层自动一致性测试
夏宇闻老师专栏

你问我答FPGA设计

北京航空航天大学教授,国内最早从事复杂数字逻辑和嵌入式系统设计的专家。

电子工程世界版权所有 京ICP证060456号 京ICP备10001474号 电信业务审批[2006]字第258号函 京公海网安备110108001534 Copyright © 2005-2020 EEWORLD.com.cn, Inc. All rights reserved