定制化手机相机ISP解决方案,只为那15%的耀人光彩

发布者:EEWorld资讯最新更新时间:2014-01-20 来源: EEWORLD关键字:ISP 手机看文章 扫描二维码
随时随地手机看文章

随着魅族MX3高调宣布其手机相机配置了独立的富士通四通道图像信号处理器(ISP)以来,富士通半导体及其旗下Milbeaut图像信号处理器产品逐渐从幕后走向前台,为更多的工程师和手机用户所熟悉。事实上,在公开的资料中,魅族MX3、OPPO u like、三星GALAXY Note II、GALAXY Zoom等国内和国际领先智能手机品牌厂商都公开宣称其手机相机采用了富士通半导体公司的系列图像信号处理器。

近日,在深圳举办的“2014产业与技术展望媒体研讨会”上,富士通半导体公司首次针对中国部分媒体编辑及记者发表了“图像信号处理器如何改善相机图像质量”的主题技术演讲。富士通半导体公司市场部高级经理沈弘人向与会业界媒体人士进行了近一个小时的深度分享和交流。

浮出水面的手机相机“幕后英雄”
 “其实,富士通半导体的Milbeaut 图像信号处理器在数码相机中的应用已经有十多年的历史,在专业的单反相机中,超过80%的ISP基于Milbeaut,全球主要的数码相机厂商几乎都是富士通半导体的客户。”沈弘人表示。据他透露,富士通半导体是目前全球唯一一家能同时提供单反相机、卡片式数码相机和手机相机图像信号处理器解决方案的公司。

“富士通在过去很少宣传其相机ISP产品和技术,主要是因为全球数码相机的厂商集中度非常高。”沈弘人指出。近年来,随着智能手机的数码相机功能日益强大,特别是当分辨率超过5M像素后,手机相机替代卡片式相机的趋势日益增强,独立ISP解决方案获得越来越多的手机厂商青睐。“富士通半导体的Milbeaut系列数码相机解决方案继承了丰富的单反相机、卡片式数码相机上的图像处理技术和经验,可以弥补这些众多的手机厂商所欠缺的数码相机研发能力。”沈弘人说道。

沈弘人首次次面向国内媒体发表手机相机ISP解决方案主题演讲

据沈弘人介绍,富士通Milbeaut图像处理器产品线面对的主要市场包括三块——数码单反相机(DSL-R)、卡片式数码相机和手机相机,而在单反数码相机和卡片式数码相机上十多年的方案研发和服务厂商的经验无疑是在手机相机ISP市场竞争的利器。据悉,富士通第三代Milbeaut Mobile ISP就率先采用了多种在数码相机中成功应用的功能,如静态图像拍照的连续自动对焦、人脸识别;第六代Milbeaut Mobile ISP就采用了传统数码相机几乎所有的功能,而且还具有高清视频(1920x1080像素)连续自动对焦,等等。

为10%~15%的图像改善而努力
世界正在进入移动互联时代,智能手机正在承载几乎所有的移动互联梦想,而数码相机功能让这个梦想的机器增添了无限的色彩。手机相机功能从五百万像素、八百万像素,到今天部分高端手机1300万像素、1600万像素甚至2000万像素以上。“不仅是像素的快速增加,手机数码相机正在面临快速的技术进步。”沈弘人指出。就光学系统模块而言,他总结了近年来的几大现状与趋势:
镜头传感器尺寸从1/3’’到½.5” 以及1/1.8”,不断增大的镜头尺寸可以获得更大光圈;
镜头组从以前的4组增加都5组,但是这样带来的后果是摄像头部件加重,影响自动对焦;
像素尺寸越来越小,从1.4um发展到1.12um,以及0.8um;
自动对焦模块向VCM闭环、MEMS或者相位检测被动型自动调焦系统发展;
零延时拍摄(ZSL)要求,传感器必须以更高的帧率输出全分辨率的图像,需要更高的MIPI(移动行业处理器接口);
…………


富士通半导体ISP解决方案瞄准中、高端手机相机应用需求

“这些发展趋势给图像信号处理器解决方案的设计以及最终的手机相机功能的调校带来越来越高的挑战。”沈弘人指出,“很明显,像素尺寸的缩小必然会降低单位像素捕获的光子数量,这会影响获得的图像数据质量,必然会对后续的图像处理带来挑战。”据他透露,通常手机图像信号处理器能带来的图像质量改善空间大概是10%~15%,而图像传感器光学模块的这些发展趋势对原有的图像处理技术和方法带来新的难题,必须改进原来的图像处理算法,甚至寻找新的图像处理解决方案。


沈弘人向大家分享了富士通半导体当前针对高端手机相机的ISP解决方案之一——M-10MO产品线的一些领先特性:可实现13Mpix@30fps零延时拍摄;低功耗——在13Mpix@30fps零延时拍照模式下约280mW;可实现每秒120帧的全高清(Full HD)视频拍摄;可支持每秒30帧的全高清视频拍摄的同时,实现每秒3帧1300万像素的照片拍摄……据沈弘人透露,该方案已经在部分一线高端手机中获得成功应用。

手机相机ISP,定制化设计是王道
如何实现最佳的手机相机拍摄效果?沈弘人在演讲中给出了几组对比照片。下图是相同场景手机相机拍摄的照片对比图,左面最下面是富士通半导体ISP出来的标准图像,但是经过不同手机厂商处理后,产生了不同的效果——如VIVO手机提升了对比度,Sugar手机则偏冷色一些,而苹果iPhone则追求自然的效果。

不同手机厂商对图像品质有不同的倾向性,定制化的设计结果实现产品性能差异化

“对相机的图像效果要求很多时候是因人而异的,不同的手机厂商在对图像信号处理解决方案的要求上会有不同的侧重甚至倾向性,因此图像信号处理器解决方案并不是标准化的产品,而是需要根据厂商的差异化需求进行定制化设计和复杂的调校工作。”沈弘人表示。事实上,用户对相机功能的要求本身就非常复杂,因此定制化的设计适合厂商满足不同市场定位的需求。

认真研究市场在售的智能手机在宣传其手机相机卖点的时候,都可以看到各自强调其产品差异化特性。例如,您可以看到魅族MX3强调其每秒20张快速拍照能力以及零延时拍照技术,美图手机前置相机超强降噪功能,OPPO U2S强调其弱光下的拍照画质……“这都不是广告语,背后是实实在在的技术干货,他们的研发人员与我们的技术团队就图像质量调校方面进行了非常深入细致的合作,里面有我们双方的Knowhow。”沈弘人笑着指出。

沈弘人强调了富士通半导体相机图像处理器解决方案的高度可定制化——硬件和固件可根据客户需求配置,解决方案可以根据客户的传感器模块充分调校。“这种定制化的设计需求也是富士通半导体公司图像信号处理解决方案获得众多手机厂商青睐的原因吧。”沈弘人说道,“定制化设计需要强大的设计服务能力,需要非常专业的Knowhow支持以及强大的设计支持团队,而这是我们的独特优势。”

针对与会媒体人士提出的应用处理器集成ISP功能的对富士通半导体传统独立ISP提供商的挑战,沈弘人也以同样的理由并不看好。“手机厂商需要的是能实现独特卖点的、实现定制化的差异化解决方案,而不是一个me too的设计,而这对于传统AP厂商来说很难做到。摄像头是一个十分个性化的产品,绝不是一个标准化的产品。”他强调。

事实上,从另一方面来看,目前手机相机的图像处理需求已经达到很高的水平,采用应用处理器来处理数量庞大的图像数据,对处理器的功耗水平具有很大的挑战,而独立、专业的硬件图像处理器在更高的处理能力下,功耗水平可以更低,这也迎合了用户要求手机具有更长待机时间的低功耗需求。“未来我们还可能利用40nm、20nm及更先进的工艺技术实现更低的功耗。目前我们的M10MO图像信号处理器在1080P@30FPS下的平均功耗约280mW,这已经是业界很低的水平。”沈弘人表示。

关键字:ISP 引用地址:定制化手机相机ISP解决方案,只为那15%的耀人光彩

上一篇:软件Overlay:程序编写与调试
下一篇:双MicroBlaze软核处理器的SOPC系统设计

推荐阅读最新更新时间:2024-05-02 22:56

i.MX 8m Plus如何通过增加ISP和NPU加速边缘计算
本文作者:NXP Ben Eckermann 云计算、边缘计算和基于视觉的系统已经应用在越来越多的工业和消费系统中。此外,许多现代系统还采用机器学习和人工智能来增强用户体验,这种方法通常要求嵌入式系统设计者使用各种不同的SoC和专用处理器来完成所有这些任务。 然而,NXP决定采取不同的方法,他们将图像信号处理器(ISP)、用于机器学习加速的神经处理单元(NPU)和MPU集成在一个器件中——先进的i.MX 8m Plus应用处理器。 图1 i.MX 8M Plus应用处理器。 云计算与边缘计算 为了理解i.MX 8M Plus应用处理器为什么为边缘计算提供强大的解决方案,需要一些背景知识。 云计算是指在用户
[嵌入式]
i.MX 8m Plus如何通过增加<font color='red'>ISP</font>和NPU加速边缘计算
瑞芯微自研ISP2.0技术让成像质量进一步提升
面对复杂光照环境、人流与车流、多变人体动作等复杂场景,成像质量和画面效果以及细节呈现能力,是考量IPC方案技术的重要指标。近日瑞芯微旗下两款IPC方案RV1126及RV1109全新升级,基于瑞芯微自研的ISP2.0技术,呈现出肉眼可见的优势。 一、 黑光全彩拖影少,逆光强光都清晰 基于RV1126及RV1109方案的多级降噪、3帧HDR、锐度&对比度、Smart AE智能自动曝光、AWB白平衡及畸变校正这六个技术特点,在不同场景下的表现均有明显的优势。 1) 低噪点对比:拖影少、更清晰 在夜间环境,行人来来往往,弱光环境下,通过实测可以发现,与其他方案相比,有着“多级降噪”技术的RV1126及RV1109,
[嵌入式]
瑞芯微自研<font color='red'>ISP</font>2.0技术让成像质量进一步提升
远程喂狗与加密,ISP、IAP与加密
如果产品无需联网,无唯一ID相关的芯片,则很容易被破解,COPY后可以批量生产。 如果产品需要联网,系统管理需要产品序列号,产品里也有唯一ID相关的芯片(如MCU、DS18B20、加密IC等)。这样的系统,如果给破解了,想批量生产,要付出很大的代价,还不如直接向厂家采购。 第1道加密: MCU本身加密功能 启用最高等级的加密,加密后锁定ISPEN、JTAG等引脚功能,不能再次使用这些引脚功能。即:初次ISP之后,不能再次ISP,只允许IAP(JTAG也同样) 第2道加密: 专用ISP软件+启动代码加密 ISP烧录启动代码时,先读取硬件唯一ID,由PC端ISP软件处理,并对代码做校验(MD5、CRC32、累加和等都可以)之
[单片机]
关于STM32F030的ISP下载问题
第一次在CSDN写博客,从事嵌入式开发工作的三年时间来也经常在CSDN上浏览各类技术博文,这些优秀的文章很大程度的提升了我的个人能力或者有效的解决了工作的遇到的各类问题,所以在此要向所有无私奉献的CSDN博主们表示诚挚的谢意。现在我也将踏着前人的脚步,本着传递知识相互学习的目的开通了自己的博客。希望在这个自由开放的网络平台上与大家一起学习提高。 说实话第一篇博文我并不知道怎么写也不知道该写些什么内容,前后思考了一段时间我认为还是先从工作学习中遇到的一些小问题开始吧,这类问题并不是什么高深复杂的技术问题,而是一些易错的细节问题,本文就将简单聊聊在工作中遇到的STM32F030系列微控制器无法进行ISP下载的问题。 区别于SW
[单片机]
关于STM32F030的<font color='red'>ISP</font>下载问题
基于Blackfin的图像处理,及其性能与CMOS传感器中ISP的比较
     图像 是人类获取和交换信息的主要来源,因此, 图像处理 的应用领域必然涉及到人类生活和工作的方方面面。随着人类活动范围的不断扩大,图像处理的应用领域也将随之不断扩大。遍布航天航空、医疗设备、通信工程、军事安防、文化艺术等众多方面。近年来,随着消费类产品尤其是拍照手机、数码相机、数码摄像机等一系列数码产品的问世,这些视频设备中蕴含的图像信号处理功能也逐渐被人们所认知和关注。而伴随近年来数字电视、IP摄像机、网络摄像头以及监控摄像头这类安防产品的迅速发展,更表明市场对智能监控需求的不断增长,这也是图像信号处理技术不断丰富和完善的过程。在这些图像信号处理中,包括自动对焦、自动曝光、自动白平衡以及颜色变换、背光补偿等都是一
[工业控制]
豪威与Seeing Machines合作,推出集成ISP与NPU的DMS处理器
豪威日前与计算机视觉技术公司Seeing Machines合作,推出汽车行业首个专用的驾驶员监控系统(DMS)和乘员监控系统(OMS)专用集成电路(ASIC),它结合了图像信号处理器(ISP),以及Seeing Machines的Occula神经处理单元(NPU)。 豪威在2021年1月宣布了世界上第一个集成了AI NPU、ISP和DDR3内存的专用DMS ASIC(OOX8000)。新的 OAX4600集成了Occula NPU。具有更高水平的处理和性能,符合ASIL B车规安全标准,并基于与生态系统供应商更深入的合作。它包括一个HW RGB-IR ISP、网络安全和最高能效的解决方案。 豪威与Seeing Machine
[汽车电子]
单片机ISP下载电路图(74hc244)
单片机ISP下载电路图(74hc244)
[模拟电子]
单片机<font color='red'>ISP</font>下载电路图(74hc244)
嘉楠基于RISC-V的端侧AIoT SoC采用了芯原的ISP IP和GPU IP
将芯原像素处理IP组合集成到高精度、低延迟的K230芯片中 2024年3月14日,中国上海—— 芯原股份 今日宣布嘉楠科技全球首款支持RISC-V Vector 1.0标准的商用量产端侧AIoT芯片K230集成了芯原的图像信号处理器(ISP)IP ISP8000、畸变矫正(DeWarp)处理器IP DW200,以及2.5D图形处理器(GPU)IP GCNanoV。 该合作极大地优化了高精度、低延迟的端侧AIoT解决方案,可广泛适用于各类智能产品及场景,如边缘侧大模型多模态接入终端、3D结构光深度感知模组、交互型机器人、开源硬件,以及智能制造、智能家居和智能教育相关硬件设备等。 芯原的ISP8000 IP能够实时处理三
[嵌入式]
嘉楠基于RISC-V的端侧AIoT SoC采用了芯原的<font color='red'>ISP</font> IP和GPU IP
小广播
最新嵌入式文章
何立民专栏 单片机及嵌入式宝典

北京航空航天大学教授,20余年来致力于单片机与嵌入式系统推广工作。

换一换 更多 相关热搜器件
电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2024 EEWORLD.com.cn, Inc. All rights reserved