动态可重构技术开始应用于数码相机-电子工程世界

采用动态可重构技术的产品示例。迄今已被富士施乐一体机及索尼广播电视专业设备等采用。而且，新的采用案例有富士胶片数码相机“F550EXR”，以及卡西欧计算机数码相机“EX-TR100”等。

　　动态可重构（Dynamic Reconfigurable）技术的应用范围不断扩大。除了商用一体机及数码相机等高价位电子产品外，应用范围还扩展到了实际售价为1万日元左右的数码相机产品。

　　动态可重构技术在拥有与专用逻辑电路（硬连线电路，Hard-Wired Circuit）相当的处理性能的同时，还能够像软件一样灵活改变电路构成。以前采用范围以办公一体机及广播电视专业摄像机等百万日元以上的高价位电子产品为中心，而最近终于开始向数万日元的低价位消费类电子产品全面普及注1）。近一年来，有多家数码相机厂商表示已在自己的产品上采用了动态可重构技术。其中也含有实售价格为1万日元左右的产品。

　　注1）以前在低价消费类电子产品领域，只有索尼在便携音乐播放器及游戏机上采用了自主开发的有关技术。

　　在这些厂商中率先采用的是卡西欧计算机。该公司在2010年11月上市的“HIGH SPEED EXILIM”系列数码相机机型“EX-ZR10”上，配备了采用动态可重构技术的图像处理LSI“EXILIM引擎HS”。包括该机型在内，卡西欧计算机已在“EX-ZR100”、“EXH20G”及“EX-TR100”合计四款机型上采用了动态可重构技术（图1、图2）。

图1：采用动态可重构技术的数码相机
卡西欧计算机和富士胶片分别宣布已在自己的数码相机产品上采用了动态可重构技术。卡西欧计算机在“EXILIM引擎HS”上、富士胶片在“EXR处理器”上采用了该技术。

图2：图像处理LSI的内部构成
图中列出了卡西欧计算机及富士胶片分别公开的图像处理LSI的内部构成（a、b）。相似点是都具备两个CPU内核。

　　在卡西欧计算机发布相关产品4个月后，2011年2月富士胶片也展开了行动。富士胶片发布的“FinePix”系列数码相机中，有“F550EXR”、“HS20 EXR”及“X100”三款机型配备了采用该技术的图像处理LSI“EXR处理器”。

通过微细化使成本达到可以接受的水平

　　众多数码相机厂商接连采用动态可重构技术的原因主要有两点。

　　第一是微细化的发展使该技术的最大瓶颈即电路规模的尺寸达到了可以接受的程度。消费类电子产品中使用的ASIC也开始越来越多地采用45nm工艺以后的制造技术，因此在数码相机等低价消费类电子产品中采用该技术的巨大电路时，成本也已变得合算。

　　动态可重构技术一般采用呈阵列状排列大量（数十～1000个）8～32bit运算器（ALU）的架构。因此，处理性能远远高于运算器数量最多限制在10个左右的DSP等。但另一方面却存在电路面积非常大，芯片单价往往也很高的问题。而且，为了能够灵活改变电路构成，还需要在运算器之间设置开关，并使布线具有冗余性，因此与同样采用大量运算器的硬连线电路相比，电路面积也往往较大。

　　动态可重构技术从10年前亮相之初起就一直被公认“其高成本是采用于实际产品时的瓶颈”，实际上以前多半是在商用电子产品上采用的。然而，随着时间的推移，半导体制造技术的微细化得到顺利推进，由此，动态可重构技术终于能够在1万日元左右的消费类电子产品上使用了注2）。

　　注2）FPGA与动态可重构技术一样，随着微细化的发展开始越来越多地采用于消费类电子产品。但是，与将8～32bit运算器作为构件的动态可重构技术相比，FPGA的构件由进行单纯逻辑运算的LUT（Look-up Table）构成，构成阵列的构件的粒度较细。因此，实施媒体处理等操作的话，动态可重构技术的面积效率一般高于FPGA。

三项可编程性

　　动态可重构技术开始在数码相机中配备的另一原因在于，图像处理LSI必须要在多种情况下具备出色的可编程性，也就是说必须要具备像软件那样的“灵活性”。具体体现在①电子产品的开发时、②供货后使用电子产品时，以及③开发新一代机型时。

　　其中尤其重要的是②使用电子产品时的可编程性。要想作为厂商保持独创性，大量配备与其他公司相比容易形成卖点的功能的话，凭借硬连线电路及DSP等动态可重构技术以外的方法是很难实现的。

　　比如，卡西欧计算机在该公司配备动态可重构技术的首款机型EX-ZR10中导入了称为“HDR（High Dynamicrange）艺术”及“多帧超分辨率”的独创功能。两种功能均使用于高速连拍的图像，前者通过合成多张图像来生成动态范围大的图像，并在此基础上由LSI对图像内进行分析，局部调整色彩饱和度和对比度，输出绘画风格的图像（图3）。而后者则利用多帧图像来提高分辨率。

图3：复杂化的数码相机图像处理
数码相机的图像处理正在向多功能化及复杂化发展，比如重叠高速拍摄的多张图像，制作出HDR图像或形成绘画风格。照片中的是卡西欧“EXZR100”利用“HDR艺术”功能的输出示例。

　　富士胶片也导入了独创功能，比如识别摄影场景后从多达49种模式的画质设定中选择最佳设定的“PREMIUM EXRAUTO”，以及通过经由图像处理来寻找对焦点的对比度AF来设定多达49个测距点。估计为实现这些功能采用了动态可重构技术。

易于导入具有挑战性的功能

　　要想在摄影时对超千万像素的图像基本同步实施计算量如此大的复杂处理，凭借DSP及以往的SIMD型处理器处理性能会不足。实现手段仅限于像硬连线电路或动态可重构技术那样，能够使用大量运算器组成长管线，或者能够对大量像素实施并行处理的方法。

　　不过，从硬连线电路来看，要想导入比如A～C三种功能时，一般需要单独准备3种电路，芯片面积往往会变为3倍。假如A～C功能中含有成为电子产品卖点但实际使用频率又很低的利基功能的话，由此占用的大量芯片面积就会使成本效率变差。

　　而动态可重构技术具备②中所述的使用电子产品时的可编程性，能够在运行中动态改变电路构成。因此，即便是使用频率再低的利基功能，只要在营销及销售观点上断定其具有效果，也可不受芯片面积增加的不利影响，轻松导入。其原因是，采用动态可重构技术的话，只要是在固定的运算器阵列内实施处理，无论想要追加多少种功能，电路面积都不会成倍增加（图4）。不运行的电路不会“耗费”芯片面积，平时隐藏在后台的存储器中注3）。

图4：动态可重构技术的特点以及与其他技术间的比较
在对电子产品进行设计时、供货后以及开发新一代机型时等多种阶段，动态可重构技术发挥优点的情况日趋增加。

　　注3）这一特性被比作虚拟存储器，称为“虚拟电路”。虚拟电路在切换多种处理时也很有效，但即便是一种处理，与规模超出运算器阵列的电路相比，也同样具有能够以适当级数折叠管线，以分时方式安装的优点。富士施乐在一体机上就采用了这种方法。

　　虽然动态可重构技术还要看其架构如何，但在安装大约3种以上具有某种复杂程度的功能时，在芯片面积这一点上，还是比硬连线电路更为有利。无论卡西欧计算机还是富士胶片，都未公布采用动态可重构技术具体安装了多少种功能等细节，但可以推测的是，采用动态可重构技术时上述判断起到了一定作用。

[page]

还可降低开发时的风险

　　另外，如③所述的开发新一代机型时的可编程性也很重要。硬连线电路的话，即使想要对以往机型的图像处理算法加以修正、追加功能，不重新制作数亿日元的掩膜的话，也是不可能实现的。而动态可重构技术的话只需与固件一样，在存储器上追加新的电路数据即可（图4）。这样便可延长一次投入的图像处理LSI的“产品寿命”。

　　实际上，富士胶片就曾表示，采用动态可重构技术的EXR处理器今后“还有进步的余力”。另外，由于无需在掩膜中嵌入电路数据，因此与通常的固件开发一样，直到电子产品马上要供货之前，都可致力于电路构成的优化及验证工作（图4）。而且，缺陷的修正等也比硬连线电路容易得多注4）。

　　注4）目前在MCU领域中，掩膜ROM产品已被闪存ROM产品取代，而在系列LSI领域中，硬连线电路向动态可重构技术的过渡也可以说是类似现象。

　　除了一体机、摄像机及数码相机等与图像相关的电子产品之外，动态可重构技术今后还将充分利用上述可编程性，在其他电子产品领域取代硬连线电路及DSP。比如东芝表示，在无线通信领域的基带处理电路方面，动态可重构技术对电路面积及耗电量也同样有利。而且，随着智能电话及平板终端越来越多地导入WAN及无线LAN等多种无线通信方式，该技术还有望配备到这些电子产品上。

STP引擎具有设计工具优势，DAPDNA推出新版产品

　　目前已进入实用阶段的动态可重构技术有瑞萨电子的“STP（Stream Transpose）引擎”（基于原有的DRP）、东京计器的“DAPDNA”系列、索尼的“VME（Virtual Mobile Engine）”，以及松下的“D-Fabrix”等。此外，还有很多企业在自主研发相关技术，但真正使用到实际产品上的主要还是上述4种。

　　其中，以外销为提前稳步积累起采用业绩的是瑞萨电子的STP引擎。以前已被索尼的多款广播电视专业摄像机，以及风险企业Yoozma的数字电视发送器等采用，但2011年6月瑞萨电子自己宣称，该技术还被采用到了消费类数码相机上注5）。

　　注5）在动态可重构技术方面，瑞萨电子凭借出色的研发成果以及在图像处理产品中的应用业绩，于2011年5月获得了日本电子信息通信学会颁发的“第47届（平成22年度）业绩奖”。在相关发布资料中，该公司称STP引擎得到了数码相机的采用。

　　瑞萨电子并未公布具体都有哪些企业的数码相机采用了STP引擎。但如前所述，卡西欧计算机和富士胶片近一年来相继在自己的数码相机产品上采用了动态可重构技术，由此来看，两公司的数码相机采用的很可能是STP引擎的衍生技术。

　　虽然正在研发动态可重构技术的企业有很多，但站在包括设计工具在内的综合观点上，并以外销为前提使该技术达到商用水平的，恐怕全世界只有瑞萨电子一家注6）。

　　注6）动态可重构技术的营销难度要比普通处理器大，过去有很多企业都在相关业务上失败过。比如，奥林巴斯着眼于在数码相机等产品上的应用，于2002年设立了动态可重构技术的专业企业AOI技术公司，但之后因客户拓展不利，该公司于2007年被解散。另外，开发出DAPDNA的IPflex公司也由于营销失败等原因陷入了破产。

　　当然，也不能说卡西欧计算机及富士胶片在动态可重构技术的架构方面就毫无自主开发的可能性。但是，这两家公司在动态可重构技术的基本架构方面并未取得类似专利，因此自主开发的途经颇显薄弱。富士胶片虽然已就动态可重构技术在图像处理中的应用方法申请了多项专利，但这些专利与架构并不相关注7）。

　　注7）富士胶片已就动态可重构技术在数码相机领域的应用方法申请了专利，而且还在内窥镜等医疗器械领域申请了同样的专利。该公司今后将在所有图像处理产品中采用动态可重构技术。

　　索尼及松下开发的技术主要用于自己的产品，而东京计器的DAPDNA尚未达到能够在ASIC上作为IP内核使用的设计水平。

　　另外，卡西欧计算和富士胶片都未在这方面接受过《日经电子》的采访，而且，对于自己的产品是否采用了瑞萨电子的STP引擎，这两家公司和瑞萨电子都回答说“无可奉告”。

沿用高层次综合工具

　　瑞萨电子的STP引擎能够将应用范围从专业广播电视设备稳步拓展至消费类数码相机产品，其原因在于该公司在技术上有着丰富的积累。STP引擎本来是原NEC电子与NEC中央研究所共同开发的，包括改进后的技术在内的话，已拥有近15年的历史。

　　在设计工具方面，与其他众多企业仅着眼于动态可重构技术进行开发相比，STP引擎以已经确立市场的、在ASIC设计领域积累了丰富业绩的高层次综合（行为级综合）*工具为基础。因此就STP引擎而言，虽然动态可重构技术的市场目前仍处于黎明期，但其设计环境的完善度已达到很高水平。

　　在STP引擎中，瑞萨电子尤为重视的一点是，即使是不熟悉固件设计的普通软件技术人员及算法设计人员，也可轻松地设计和优化动态可重构技术的电路。具体来说，除了能够以高层次综合工具为基础利用C语言进行设计之外，最近还在DMA处理方面充实了各种模板，即使是不精通系统LSI的内部架构，也可轻松优化电路构成。

　　一般而言，用动态可重构技术的运算器阵列开始实施数据处理时，需要利用DMA控制电路从主存储器等的DRAM向运算器阵列的RAM单元及寄存器读入数据。对这些从主存储器转移数据的操作实施优化的话，还会影响主存储器的延迟时间以及内部总线的构成等，因此对普通软件技术人员来说门槛较高。

　　STP引擎将这些与DMA相关的处理事先汇总成了模板。这样，便可轻松实施诸如将某项功能向什么模块做分割并行化处理的全局性优化。比如，Yoozma的数字电视发送器，其数字电视的基带处理当初需要使用4块芯片的STP引擎。但后来通过使用模板尝试多种模块分配，最终将芯片数量优化为了两块（图5）。

图5：利用瑞萨电子的STP引擎实施优化的示例
图中列出了微波数字电视发送设备的设计优化过程。在最初试行时使用4块芯片的STP引擎，但最终优化为了两块芯片的构成。（图片源自瑞萨电子）

DAPDNA也走向复活

　　被富士施乐作为图像处理加速器采用于办公一体机等的东京计器DAPDNA系列也从暂时的动荡中摆脱出来，正顺利走向复活。开发出DAPDNA的原IPflex公司由于营销战略失误等于2009年7月申请进入破产程序，在债务清理过程中，曾为DAPDNA用户的东京计器并入了原IPflex公司的核心技术人员，并接手了销售、开发及客服等全部业务。

　　由于富士施乐等今后有意继续使用DAPDNA，因此东京计器决定开发新版芯片。作为富士施乐采用的图像处理芯片“DAPDNA-IMX”的后续产品，将投放“DAPDNA-IM2”（表1）。