网络处理器软件开发模型的研究

摘要：网络处理器的高速处理和灵活的可编程性，使它成为当今网络中数据处理的有效解决方案。本文深入探讨网络处理器的软件开发模型。首先，介绍Intel IXP2400网络处理器硬件结构和软件开发平台，然后给出基于网络处理器的路由转发系统的设计实例，阐述网络处理器开发的关键环节，最后提出网络处理器软件开发所面临的主要问题和挑战。 关键词：网络处理器 软件开发模型 微引擎 微模块 核心组件 引言 随着当今网络规模和性能迅速增长，Internet主干网络流量的指数性增长及新业务接连的出现，这就要求网络设备具有线速和智能的处理能力。网络处理器NP（Network Processor）便是一种新兴、有效的统一解决方案。它适用于各层网络处理，具有ASIC高速处理性能和可编程特性，既能保证系统灵活性，又能完成线速处理数据包所要求的高性能硬件功能。目前，网络处理器已经涌现出了一些成功的应用范例。这些应用主要包括：基于网络处理器的路由交换设备、智能安全设备和入侵检测设备等。比如，北京联想使用IBM的PowerNP构成了电信级的防火墙设备。与此同时，围绕着网络处理器应用展开的相关研究也得到了飞速发展，一些企业和科研机构也给予了足够重视。例如，Intel专门投资支持全球100所大学进行网络处理器及其相关应用的研究。 由于网络处理器特殊的体系结构，它的软件编程模型与传统网络应用/嵌入式应用开发有较大不同，更为复杂。本文将以Intel IXP2400网络处理器为例，对网络处理器软件开发模型进行较为详细地探讨。 1 网络处理器硬件架构 在一般程序设计中，可以不考虑操作系统和编译程序、线程调度的细节、寄存器的数量和容量，而在网络处理器的程序设计中，忽略这些因素就不能编写出优化的程序。在对网络处理器，尤其是微引擎编程之前，需要仔细了解网络处理器的系统结构和硬件平台。下面以Intel的IXP2400为例来说明。 IXP2400网络处理器是Intel在2002年推出的第二代互联网交换架构（IXA）网络处理器。其中，IXP2400是面向中高端应用的网络处理器，可用于实现OC-48的网络路由交换设备。 Intel的IXP2400网络处理器结构允分体现了SoC(System on Chip)的思想。如图1所示，它的内部主要包括8个完全可编程的4线程微引擎（Mev2）和1个XScale核。此外，还有用于连接外部MAC设备的MSF单元、连接各种存储器和总线的接口单元等。这些单元通过内部的高速数据总线和控制总线彼些协作。 XScale核（core）是ARM系列处理器的一种，它在IXP2400中起控制和管理作用。具体包括：对系统初始化；提供系统的时钟；建立并管理路由表；提供一个对应于IXP2400各寄存器、存储器和外部存储器的地址映射表等。XScale核在系统启动时，从BootROM开始执行引导程序，对整个IXP2400系统进行初始化。 IXP2400中的每一个微引擎其它就是一个32位RISC处理器，可以由4个并行硬件线程共享。数据包的接收、处理和发送等任务，均由微引擎中的各线程并行执行微引擎指令存储区中的微代码程序来完成。网络处理器数据的高速转发正是因为充分利用了硬件的并行性，来弥补线速转发中的内存访问的延迟。 IXP2400嵌在开发板的中心，周围通过数据线连接着各种设备，如SRAM，SDRAM等。SDRMA主要用来存放需要处理和转发的数据包等，也作为XScale核的内存；SRAM主要存放对数据包包头进行处理所需的重要信息和数据包的队列描述等内容。通过IXP2400的数据单元是一个64字节的MAC包（MPKT），在每收到一个包的时候，MAC将一个数据分成若干个MPKT，MPKT就是网络处理器处理数据的单位。 综上所述，IXP2400拥有网络处理的一般特点，从系统角度看，IXP2400属于一个并行式的多算是器共享总线的计算机系统。对于网络处理器的程序设计和一般计算机的程序设计有很大不同。 2 网络处理器软件开发模型 网络设备性能和可编程能力最终由运行在网络处理器平台上的软件决定，其中，选择何种编程模式是关键。评价网络处理器编程模式有两个基本准则：一个是编程模式所能涉及的层，即哪些功能能够编程以及编程能达到的层；另一个重要方面就是处理器衬淫的编程模型。由于网络处理器平台服务于软件功能需要，所以编程方法的关键是在不牺牲设备性能的前提下，使用成熟技术和现有软件模式，保证产品的可靠性，加快开发速度。 基于运行在核心处理器和协处理器的不同硬件之上，网络处理器可分成数据平面与控制平台。 数据平面主要运行在微引擎处理之上，是实现输入端口和输出端口间高速转发数据包的处理功能，具有线速执行特点，并充分利用数据包的无关性，采取并行处理方式。控制平面一般运行在网络处理器核上，处理路由表更新、管理数据平面任务与状态、完成高层的QoS控制等。这些操作的性能要求低于数据层面，因此通常采用高性能通用处理器硬件平台。为了有效支持网络处理功能，控制平面与数据平面之间存在复杂的信息交互与依赖关系。 IXP2400的软件开发也分为内核程序和微代码两部分。XScale内核的开发通常可以使用基于ARM平台嵌入式操作系统开发工具链，如WindRiver公司的Tornado或基于GNU的Linux工具链等；另一部分是对微引擎的编程，这部分使用Intel公司提供的Developer Workbench开发环境，主要使用微代码来进行编程。Developer Workbench提供了完善的编译、链接、仿真和调试功能。为了方便开发人员开发，消除平面之间通信等一些细节，Intel提供了它的网络处理器开发模型，称为IXA可移植框架（portability framework）如图2所示。 Intel IXA可移植框架中最重要的组成部分就是在微引擎上和XScale核上开发的代码模型。基于不同硬件上开发的代码模块分别为微模块（microblock）和核心组件（core component）。每一个模块都代表了一个进行包处理的代码单元。这里实际上引入了构件的思想，开发人员将各种模块以一定的顺序组织在一起，组成一个特定的应用。下面分别对框架中的各个层次进行讨论。 （1）微模块 数据平面的微引擎在逻辑上分成一个或多个微模块（microblock）。每一个微模块都是一个宏或者一个微引擎或由Intel提供的一些底层库写成的函数。微模块之间彼此独立，这些就提高了代码的可重用性，同时也简化了微引擎手代码的编写。微引擎与Intel XScale核共享一部分内存，大部分网络包的处理都通过微引擎来进行，一些例外的包将传递给Intel XScale核心组件来处理。微模块从功能上一般包括与一些高层协议相关包的处理微模块和与硬件紧密相关的微模块。前者包括IPv4转发、网桥、网络地址转换（NAT）等；后者包括包的接收和发送模块及分组队列管理模块等。 （2）核心组件 核心组件（Core Component）运行在XScale核上，实现了相关微模块的配置、管理和例外处理等工作。一个核心组件可能管理着多于一个微模块。具体来讲，核心组件主要完成以下一些功能：配置微模块（通过引入变量的静态配置和控制模块的动态配置）；初始化维护一些可能被其它应用程序修改的数据结构；提供了一个例外处理和控制消息处理机制来处理微模块发送过来的包和消息。 （3）微引擎数据平面优化库 微引擎数据平面优化库（optimized microengine data plane library）包括一些底层的微引擎宏指令和用微引擎的特殊C语言写的函数库，用来编写微模块和一些微引擎的代码。这些为是经过Intel优化的，非常高效，代码的占用小，同时也是非常底层的。库主要包含三信方面：对处理器硬件单元的操作，比如对微引擎内部的本地内存（local memory）、临界区（critical sections）操作等；协议头的解析函数，如IPv4、IPv6协议等；哈希单元的查找，CRC等。 （4）微模块基本设施库 微模块基本设施库（microblocks infrastructure library）提供了访问暂存包描述符的API，Dispatch Loop的实现是通过它来完成的。一个Dispatch Loop将运行在一个微引擎内部线程之间的多个微模块组成一个microblock组。关键的地方是，Dispatch Loop提供了一种多个微模块之间高效共享包的描述符、包头信息等重要数据结构的方式，实现了多个微模块间的数据传递。Dispatch Loop也提供了向其它Dispatch Loop也提供了向其它Dispatch Loop和XScale核之间发送和接收包的接口。 （5）资源管理库 资源管理库（resource management library）是XScale核的一个软件组件，它向内核提供了微引擎的API，比如硬件的资源管理接口，大大简化了硬件初始化的任务，配置和资源的共享；微模块与核心组件之间的通信API，开发者屏蔽了微引擎与XScale核之间通道的一些细节。 （6）核心组件基本设施库 核心组件基本设施库（core components infrastructurelibrary）为XScale核心组件设计和构造提供了一些底层的API，同时也提供了组件之间传递包和消息的机制。其于核心组件基本设施库的一个核心组件一般都要包含以下函数：1个初始化函数；1个结束函数；1个或多个包的处理名句柄；1个或多个消息处理句柄。 （7）操作系统服务层 操作系统服务层（operating system services layer）对运行在XScale核上的代码提供了一个抽象层。开发人员编写的XScale核心运行代码包括资源管理库。应该利用这一层，而不是直接去利用操作系统提供的API，从而提高系统的可移植性。OSSL主要提供了以下几类接口：线程管理、同步原语、互斥操作、定时器、内存管理和消息日志。 （8）控制平面平台开发工具包 控制平面的PDK（Platform Development Kit）为XScale核心组件与运行控制平面的软件之间提供了接口。它所提供的API编程接口现在是符合国际网络处理器论坛（NPF）提出的标准的，各种控制平面的网络协议栈和用它可以很方便的集成进来。 3 网络处理器应用实例 利用Intel IXA可移植框架来实现Intel IXP2400的一个简单路由转发系统。数据分组在IXP2400中的流动过程如下：以太网MAC器件接收数据，放入MSD单元的接收缓存当中，向微引擎发出信号，表示数据已经收到，微引擎将接收缓存中数据传输到SDRAM，微引擎通过对MSF总线单元的访问命令将前几个字节（分组头）传送到传输寄存器中，微引擎对分组的以太网头进行修改，而将数据分组写入发送队列，然后通知MSF单元将数据分组传送给适当的MAC器件。图3所示为典型路由器应用系统中的数据流。 在图3所示的处理转发结构中，每一个模块代表一个微模块。发送和接收模块和MSF硬件紧密相关。处理器芯片的MSF总线接口单元中有一对BUFFER，即输入BUFFER和输出BUFFER，分别用作接收和发送的缓冲区。开发者通过用这些相应的硬件寄存器，硬件设备可自动进行相应的转发处理。 图3 接收线程将自己的信息写入MSF的FREELIST单元控制豁口，其中包括了线程号、微引擎号与存放接收控制字（RSW）的寄存器地址，等待MSF的信号将数据从RBUFFER中移入SDRAM。发送微模块要选择并等待一个有效的TBUFFER，再将数据从SDRAM中移入TBUFFER，并写入相应的控制寄存器，标识分组要发送的端口，分组的发送由TSM硬件自动完成。 在中间处理包的各个模块中，代码首先从便存储器（SCRATCHPAD MEMORY）中将接收线程放入的包信息取出，进行以太网头的有效性验证，根据IP头的信息查找路由表，将以太网头更新。其中每一个处理都是由一个微模块来实现的。各个模块合在一起构成了一个Dispatch Loop，各个模块在便存储器中共享包描述符信息，其中dlNextBlock全局变量为下一个处理微模块的标识。Dispatch Loop的部分代码如下（简略）。 while(1){ dl_source(); //从接收线程取下包描述符 if(dlBufHandle= =0){ //dlBufHandle是Dispatch //Loop维护的一个全局变量 continue; } Ethernet_validate();//验证这个包是一个有效的以太网头 Ethernet_strip_header();//去掉以太网头 Ipv4_five_tuple_class();//进行IPv4 classifier的转发 If(dlNextBlock= =IX_DROP){//clNextBlock也是全局变量，表示下一个 Goto drop; //跳转到丢弃包的处理模块 } Ethernet_add_header();//添加新的以太网头 D1_sink(); //将处理后的包描述符放入发送缓冲区中 Drop: Dl_BufDrop(dlBufHandle); //丢弃包的处理 } Intel IXP2400开发平台中，微代码的源文件是*.uc格式的，经过预处理生成*.ucp的中间文件，进而进行汇编生成*.list汇编文件。微引擎程序的连接器将汇编程序的多个输出文件转变成一个可下载的微程序映像（image）。缺省情况下，连接器生成的微代码映像文件的扩展名为uof。连接器也可以生成C结构的程序格式，这样的输出文件与内核程序一起进行编译和连接。 Intel提供的资源管理库中，对微引擎部分的函数提供了接口，可以将uof文件当作Flash文件系统的一个普通文件进行处理。在内核代码初始化时，将uof文件读入内存，然后加载。但是如果要作成最终产品时,Intel推荐采用.c格式的文件，并直接链入到所开发的内核工程中。 4 网络处理器软件开发的关键环节 基于网络处理器开发工作的重点是对数据平面代码的开发，开发者要在以下三个方面进行设计和代码优化：多线程的任务分配和调度策略；数据结构的定义和存储分配；分组队列的管理和调度。 （1）多线程的分配和调度策略 对微引擎和线程分配任务是否合理，是影响系统性能的一个很重要因素。开发人员需要根据具体的网络应用和硬件平台的特点来科学合理的分配任务。比如，对一个一般的网络应用来说，可以分为包的接收、处理、发送几个阶段。对于包的处理阶段来说，又可以分成多个阶段来执行，每一个阶段可以由一个微模块来执行。这多个微模块是如何在每个微引擎中分配，就是一个任务分配的问题。如果分配才能使负载尽可能的达到平衡，处理器的资源得到最大效率的利用，这些都要进行研究、分析和实验。 网络处理器微引擎基于硬件的静态多线程调度基础上，即在一个微引擎内部中的线程调度是由硬件来实现的，通常采用轮询的策略。不同策引擎的线程间存在多种通信方法，线程之间在数据包处理过程中的同步方式也有多种。因此，开发者根据具体不同应用功能特点，不同数据处理相关功能需求，对围绕处理器的多个微引擎的并行调度算法进行选择，以尽可能达到系统负载的平衡。 Intel IXP2400提出了三种网络处理器数据平面的多线程编程模型：流水模型（context pipeline）、并行处理模型的顺序模式（ordered mode）和乱序的模式（unordered mode）。在任务的分配方面，Intel正在考虑对现有的微引擎编程语言进行扩展，提出了新的微引擎自动分配任务的编程模型，以加快网络处理器软件开发的效率。 （2）数据结构的这义和存储分配 影响网络处理器线速转发的一个最关键问题是存储器的访问延迟。网络处理器中往往有多层不同的存储体（在IXP2400中，就存在寄存器、Local Memory、Scratchpad Memory、SRAM、SDRAM等不同级别的存储器，它们的速度差别很大），不同层次的内存用于满足不 同数据结构的需要。另一方面，定义在网络处理器中的数据结构是非常精密的，比如，一个包头的描述符（packet descriptor metadata）。但同时也是非常庞大和复杂，比如包体的信息、路由表和队列管理的数据结构。举例来说，开发者在微引擎中定义多个线程共享的变量时，应最先考虑使用全局寄存器，但有时全局寄存器的容量有限，可以考虑Local Memory。多微引擎共享的变量存放在SRAM中，而Dispatch Loop变量存放在便（Scartch pad）中。不同数据结构定义和分配的不同策略都会对系统性能产生较大的影响。 （3）分组调度 网络处理器是典型的RISC内核的并行实时处理结构，同时存在着大量共享资源，比如内存、总线、SHAC等一些特殊硬件单元，这就必然需要系统对这些共享资源进行调度和仲裁。未来计算机网络的趋势是能够提供多种不同服务，支持多种不同应用需求。提高网络集成服务支持能力的一个很重要问题就是分组调度算法问题，分组队列的管理还是实现QoS的基础。 分组调度及处理算法的核心是链路层调度器的算法设计。在一般分组处理的存储-转发过程中，设计调度器必然要对分组处理时间进行预测，但处理器在调度器中要精确的获取并更新这些虚拟时间是十分困难的。这就要根据具体的应用，通过研究数据包的长度、数据类型、处理方式与处理时间之间的关系，提出合理的数据包处理时间预测方案，选择适当的分组调度算法，达到比较好的系统性能。 5 网络处理器面临的挑战 当今的网络处理咕嘟仍面临着许多挑战，例如采用什么技术扩展，如何简化编程模式等问题都需要进一步研究。数据平面上运行的软件开发通常仅提供微代码汇编和低通读C语言技术，这大大限制了网络处理器技术的发展和应用。因为缺乏高效的软件开发支持，软件问题已经成为网络处理器应用的一大障碍，必须研究面向网络处理器系统的高效系统软件平台。 网络处理器微引擎指令的提供非常有限，仅有不足40条，这远远不能满足开发人员的需求，仅用它去构造一些复杂的网络处理任务不太现实。在Intel提出的网络处理器开发框架中，给出了一些非常底层的数据平面的函数库，还给开发者提供了一些面向特定应用的更优化的接口和宏指令集。 目前，开发环境主要由各NP生产厂商提供，微引擎上运行的数据平面只提供微代码汇编和C语言编译器支持，有代表性的产品是Intel Workbench。控制平面上的处理器内核，普遍采用Linux或VxWorks作为操作系统。两个平面的开发相对独立，没有一种统一的开发手段，这给开发者带来了很大的不便。目前，也没有特别针对网络处理特点的操作系统，常见的RTOS由于并不是特别针对网络处理器的操作系统，因此并不能充分发挥网络处理器的潜能。 为了满足下一代Internet服务需求，网络处理器除了要满足局域网和广域网对带宽的需求增长外，还要能够以线速对数据、语音以及视频信号进行排序和处理。网络处理器官方论坛（Network Processing Forum）的成立，加快了网络处理器接口标准的制定和软件发展的步伐。 结语 网络处理器通过十分灵活的体系结构和强大的处理能力，将可编程能力和ASIC的处理能力有机的结合在一起，它的出现是网络设备开发的一次革命，它的发展必须对传统ASIC和MPU造成前所未有的冲击。在今后几年里，网络处理器将有着非常巨大的发展空间。本文以Intel IXP2400网络处理器为例，全面讨论了网络处理器软件开发技术，并提出网络处理器软件开发中的关键环节及面临的主要问题和挑战。