千兆以太网交换芯片BCM5690及其在交换整机中的应用

摘要：BCM5690是BroadCOM公司推出的集成有12个千兆端口和１个万兆端口的多层交换芯片。文章比较全面地介绍了该芯片的结构和功能特性，给出了它的访问控制方式和数据流程，同时给出了用ＢＣＭ５６９０设计交换整机的硬件结构和软件实现方法。 关键词：千兆以太网；BCM5690；堆叠；数据流程 目前，万兆芯片技术不断取得新的发展，尤其在“真”万兆的问题上，只有拥有更先进的芯片，设备厂商才能够在芯片功能与特性的基础上开发自身的交换机体系架构。虽然Ｂｒｏａｄｃｏｍ、Ｉｎｔｅｌ、Ｍａｒｖｅｌｌ、美国国家半导体（ＮＳ）、英飞凌（Ｉｎｆｉｎｅｏｎ）和意法半导体（ＳＴＭｉｃｒｏ ｅｌｅｃｔｒｏｎｉｃｓ）都推出了最新的千兆以太网芯片产品。但万兆芯片的发展无疑会从硬件与架构层面来加快万兆产品的发展速度。 为此， ＢｒｏａｄＣＯＭ公司开发了ＢＣＭ５６９０（１２＋１）单芯片交换方案。该集成电路芯片集成了１２个千兆端口和１个万兆端口，是一款功能比较强大和全面的三层千兆以太网交换芯片。文中将详细介绍ＢＣＭ５６９０芯片的功能特性以及基于该芯片的交换机实现方法。 １ ＢＣＭ５６９０芯片简介 １．１ ＢＣＭ５６９０芯片结构 ＢＣＭ５６９０是芯片提供有１２个ＧＥ接口（千兆端口）和１个ＨｉＧｉｇ接口（内联端口），并具有堆叠功能。器件的端口采用ＰＣＩ接口进行管理。其结构框图如图１所示。 由图１可以看出：ＢＣＭ５６９０芯片由以下一些主要功能模块组成： （１）ＧＩＧＡ接口控制器ＧＰＩＣ：用于提供ＧＥ口与交换逻辑之间的接口。 （２）内联端口（ＨｉＧｉｇ）控制器ＩＰＩＣ：主要提供ＨｉＧｉｇ口与内部交换逻辑之间的接口，有时也被用于多片ＢＣＭ５６９０之间的堆叠操作。 （３） ＣＰＵ管理接口ＣＭＩＣ：主要提供ＣＰＵ与ＢＣＭ５６９０设备不同功能块之间的接口，同时也用于诸如ＭＩＩＭ、Ｉ２Ｃ和灯的处理等功能。该模块通过ＰＣＩ接口与ＣＰＵ相联，可使ＣＰＵ访问和控制ＢＣＭ５６９０，而ＤＭＡ引擎则支持数据从ＣＰＵ传向ＢＣＭ５６９０或从ＢＣＭ５６９０传向ＣＰＵ。 （４） 地址解析逻辑ＡＲＬ：该逻辑功能模块可在数据包的基础上确定该数据包的转发策略。它利用二层表（Ｌ２＿ＴＡＢＬＥ）、二层组播表Ｌ２ＭＣ ＴＡＢＬＥ、三层表（Ｌ３＿ＴＡＢＬＥ）、三层最长前缀匹配表（ＤＥＦ＿ＩＰ＿ＨＩ和ＤＥＦ＿ＩＰ＿ＬＯ）、三层接口表Ｌ３－ＩＮＴＦ、ＩＰ组播表（Ｌ３＿ＩＰＭＣ）、ＶＬＡＮ表（ＶＬＡＮ）以及ｓｐａｎｎｉｎｇ ｔｒｅｅ Ｇｒｏｕｐ表（ＶＬＡＮ＿ＳＴＡＧ）来决定如何转发数据包。 （５） 公共缓冲池ＣＢＰＣＢＰ实际上是１ＭＢ共享的包缓冲区。ＣＢＰ由８１９２（８Ｋ）个单元组成，每个单元１２８字节。设备里的每个数据包消耗一至多个单元。 （６）内存管理单元ＭＭＵ：ＢＣＭ５６９０有一个单独的内存管理单元。每个ＭＭＵ与设备的功能块（ＧＰＩＣ、ＩＰＩＣ等）相关联。ＭＭＵ负责数据包的缓冲和调度。它首先接收数据包，然后再将数据包缓冲，并在发送时加以调度，同时它还管理交换单元的流控特性。概括来说，就是缓冲逻辑、调度逻辑、流控逻辑。缓冲逻辑从ＣＰ－ＢＵＳ接收包并存放在ＣＢＰ，同样也从ＣＢＰ获取包并将它们发送到ＣＰ－ＢＵＳ上去。包的发送顺序由调度逻辑根据包的优先级别确定。流控逻辑包括Ｈｅａｄ－ｏｆ－ＬｉｎｅＨＯＬ阻塞预防和Ｂａｃｋｐｒｅｓｓｕｒｅ两种方式。 这些功能模块之间可通过两条内部总线联系起来：ＣＰ－Ｂｕｓ（图１粗黑线所示）、Ｓ－Ｃｈａｎｎｅｌ Ｂｕｓ图１细黑线所示。其中ＣＰ－Ｂｕｓ用于芯片内数据包的高速传输，它支持所有端口的同时线速转发。而Ｓ－Ｃｈａｎｎｅｌ Ｂｕｓ则有两个作用：第一是用于ＭＭＵ到其它功能块的流控；第二是通过ＣＭＩＣ利用软件控制来访问内部寄存器和表。 １．２ ＢＣＭ５６９０芯片特性及功能介绍 Ｂｒｏａｄｃｏｍ公司ＸＧＳ系列芯片的重要特性是具有堆叠功能，该功能可以将多个交换芯片组合在一起，以形成一个更大规模的系统，或者将多个带交换芯片的系统组合在一起形成一个完整的系统设备。这种功能最多可以实现３０个设备的堆叠。 ＢＣＭ５６９０能够通过Ｈｉ－Ｇｉｇ和ＧＩＧＡ来扩展系统容量。它有四种模式，其中ｃａｓｃａｄｅ模式通过Ｈｉ－Ｇｉｇ口单向互联来形成(环行组网)；而全双工堆叠模式则通过ＢＣＭ５６９０的Ｈｉ－Ｇｉｇ口双向地与ＢＣＭ５６７Ｘ相连来扩展容量(环形组网)；第三是ｃｈａｓｓｉｓ模式，该模式是将Ｈｉ－Ｇｉｇ通过背板互连形成（星形组网）。可实现冗余备份和逐级交换，不需中转，且效率比环行组网高；最后是ＳＬ形式的堆叠，它通过ＧＩＧＡ口来互连ＢＣＭ５６９０。图２所示为ＢＣＭ５６９０的逻辑框图。 ＢＣＭ５６９０是一款千兆以太网交换芯片，它支持二层交换、三层路由以及第２～７层数据包的分类和过滤等。 地址解析逻辑是ＢＣＭ５６９０集成电路芯片的中心部件ＧＰＩＣ的入口逻辑用它来决定单个包的转发方向。 ＢＣＭ５６９０集成电路芯片中的快速过滤处理器（ＦＦＰ）是一个通过第２～７层数据包进行分类和过滤的引擎。每个ＧＥ口各有一个ＦＦＰ来负责包的分类和更新。ＦＦＰ可以通过配置寄存器ＧＩＭＡＳＫ和ＧＩＲ-ＵＬＥ来改变符合条件的数据包特性其中ＧＩＭＡＳＫ用于配置匹配选项，ＧＩＲＵＬＥ用于产生操作命令。对于每个数据包来说，最多可以改变１６个匹配特性。如果同时有多个特性符合匹配条件，则在ＧＩＭＡＳＫ里处于高位的优先配置。 对于包的缓冲和流控，ＢＣＭ５６９０还集成了１ＭＢ的数据包缓冲区ＣＢＰ，这个缓冲区可为所有端口共用。 ＢＣＭ５６９０中的寄存器ＭＩＲＲＯＲ＿ＣＯＮＴＲＯＬ和ＩＭＩＲＲＯＲ＿ＣＯＮＴＲＯＬ用来设置被镜像端口与镜像端口，两个寄存器的内容应保持一致。它支持本芯片内的镜像。 ＢＣＭ５６９０集成电路芯片中的链路聚合（ｔｒｕｎｋ）最大可支持８端口的Ｔｒｕｎｋｉｎｇ，共３２组Ｔｒｕｎｋ，并可进行跨芯片的端口Ｔｒｕｎｋ。另外，ＢＣＭ５６９０还支持速度高达 ６６ＭＨｚ的ＰＣＩ接口，并可对所有数据包的线速交换以及ＲＭＯＮ、ＳＮＭＰ、ＳＴＰ和Ｒａｐｉｄ ＳＴＰ提供支持。 ２ 访问控制方式及数据流程 ２．１ 访问控制方式 ＢＣＭ５６９０支持一系列符合ＰＣＩ标准的寄存器这些寄存器允许对设备再分配ＭＯＤＩＤ、地址空间的自动配置和再映射。ＣＰＵ对ＢＣＭ５６９０的控制都是通过访问ＰＣＩ寄存器来实现的。ＢＣＭ５６９０的寄存器分为直接访问和非直接访问两种。可直接访问的寄存器映射到ＰＣＩ的内存空间这些寄存器相对于ＰＣＩ控制寄存器有一个固定的地址偏移。上电初始化期间，系统自动配置每个ＰＣＩ设备的基地址及地址范围，以便能够唯一地访问每一个ＰＣＩ设备中的寄存器。ＢＣＭ５６９０的访问机制分为三个类型：一是ＰＣＩ配置空间；二是ＰＣＩ ｍｅｍｏｒｙ 映射的Ｉ／Ｏ，比如通过ＰＣＩ设备对ＤＭＡ、ＭＩＩＭ和Ｉ２Ｃ的控制；第三是消息机制。 ２．２ 数据流程 所有的数据流通过交换芯片都要经过输入部分(Ｉｎｇｒｅｓｓ)、内存管理单元(ＭＭＵ)和输出部分（Ｅｇｒｅｓｓ）这三个流程。其数据流程如图３所示。 Ｉｎｇｒｅｓｓ（输入逻辑）是数据包在每端口上的逻辑流程。每端口都有自己的输入逻辑，输入逻辑负责所有包的转发（交换）策略，决定将包送给哪个端口，根据转发信息将数据包发送给ＭＭＵ，进行缓冲和调度，并以线速对包进行处理。输入逻辑与大部分交换功能关联。 ＭＭＵ（内存管理单元）主要负责数据包的缓冲与调度，它接收从输入逻辑过来的数据包并缓冲这些包，同时对这些包进行调度并将它们送给输出逻辑。数据包进入ＭＭＵ时将存储在ＣＢＰ里。ＣＢＰ有１ＭＢ的大小供所有端口共用。ＭＭＵ主要有四部分功能：资源计数、背压、ＨＯＬ预防机制、调度。其中资源计数主要是统计当前消耗的ＣＢＰ单元数或ＣＢＰ数据包个数，决定数据包什么时候进入背压或ＨＯＬ预防；调度则是根据优先级和ＣＯＳ的四种调度准则来确定包发送的先后顺序和权重。 Ｅｇｒｅｓｓ（输出逻辑）主要从ＭＭＵ获取数据包并将其送入各个端口，这是整个流程中最简单的一环。它先将包发给输出端口，然后确定是否在发送的数据包上添加ｔａｇ。具体流程如下：首先从ＭＭＵ请求数据包，如果发送的包要求不带ｔａｇ，则负责将ｔａｇ去掉；然后计算数据包的ＣＲＣ；最后将包交给ＭＡＣ发送（特殊情况下，ＣＭＩＣ将直接把数据包以ＤＭＡ方式发送给ＣＰＵ）。 ３　基于ＢＣＭ５６９０的交换整机设计 ３．１ 硬件实现 笔者在设计中采用了两片ＢＣＭ５６９０和四片ＢＣＭ５４６４，外加四个ＳＦＰ接口的千兆光接口来实现１６端口的１０／１００／１０００Ｍ的电口和４个千兆光口的交换整机。ＢＣＭ５４６４是ＢｒｏａｄＣｏｍ的四端口的千兆ＰＨＹ。 图４是该交换整机的主控板硬件结构，其硬件电路由交换单元、物理接口单元、ＲＪ４５和灯接口单元、光接口单元、控制单元、ＣＰＵ连接器单元、时钟单元、电源单元组成。其中交换单元选用了两片ＢＣＭ５６９０，它们之间通过Ｈｉ－Ｇｉｇ口背靠背连接实现通信，带有与其它大部分单元的接口。每片ＢＣＭ５６９０通过ＰＣＩ接口与ＣＰＵ连接器相连,主要用来与ＣＰＵ通信以实现对芯片的管理。 图４所示电路中的ＣＰＵ采用Ｍｏｔｏｒｏｌａ公司的ＰＰＣ８２４０，主要负责整个系统的运转调度。１２个电口通过背板总线与各个线卡相连，以实现各线卡的上联功能。当主控板单独作为一个独立的三层交换机时，它将同时作为与其它三层设备互联的接口。４个千兆光接口与本设备上联可扩展以太网的传输距离。 本系统使用了两个背靠背连接的ＢＣＭ５６９０来进行设计，这样可将该系统归为ｃａｓｃａｄｅ模式。在堆叠完成之后，通过在堆叠口的以太网包首部加上头信息，可使芯片与芯片之间、系统与系统之间通过Ｂｒｏａｄｃｏｍ专有的通信协议来实现相互之间的信息传输，从而实现数据包在不同芯片、不同系统之间的转发。 另外，还可以通过设置ＩＰＩＣ ＣＯＮＦＩＧ 寄存器(ＩＰＩＣ＿ＣＡＳＣＡＤＥ, ＭＹ＿ＭＯＤＩＤ)、ＭＯＤＰＯＲＴ表和Ｇｉｇａ ｂｉｔ端口ＣＯＮＦＩＧ寄存器来对堆叠进行配置。 ３．２ 软件实现 ａ．初始化流程 在设计软件模块的初始化流程时，首先是头模式的设置，由于ＢＣＭ５６９０固定工作在小头ｌｉｔｔｌｅ＿ｅｎｄｉａｎ模式，而ＰＰＣ８２４０工作在大头模式，因此需要对头模式进行设置；接下来是查找ＰＣＩ设备，以获取各个ＰＣＩ设备的设备号以及各自的基地址；之后应对堆叠模式进行设置，以便两片ＢＣＭ５６９０之间的二层表内容能够互通；最后是基本交换功能和ＤＭＡ通道的配置。 ｂ．软件结构 图５是笔者设计的软件结构简图。其中涉及驱动程序和驱动程序封装的是ＳＡＬ层、Ｄｒｉｖｅｒ层和ＢＣＭ层。ＳＡＬ层可对操作系统与驱动层进行隔离，可提供ＰＣＩ中断以及ＰＣＩ设备的查找、线程、中断、同步和内存管理。Ｄｒｉｖｅｒ层包括ＢＣＭ５６９０寄存器的访问方式实现、表的初始化、内存初始化、芯片堆叠模式的设置、Ｌ２和Ｌ３地址的操作与查找、数据包的发送／接收以及端口的管理等。