城市大脑“眼疾”与升级:解析高文院士提出的“数字视网膜”体系

发布者:SereneSunset最新更新时间:2019-05-08 来源: 脑极体关键字:城市大脑  摄像头  高文 手机看文章 扫描二维码
随时随地手机看文章

近几年来,城市大脑概念可谓如火如荼。

相比于前两年大家对这一概念比较陌生,如今相信大部分读者应该都已经知道,所谓城市大脑的基本内涵,是指用公路上的大量摄像头,来识别车流、车牌和车辆,以及一些路段广场上机遇摄像头执行人脸识别和人流判断。

这些“城市之眼”收集的数据,一方面可以帮助提升城市安防的智能化水准,比如预判人群拥堵、识别交通事故与可疑车辆等等;另一方面,城市大脑的作用主要体现在和交通灯、高架桥准入闸口的互动上。通过对车辆数据的识别和判断,进而用城市大脑进行交通指挥,被广泛相信是治理城市拥堵的有效方式。

这些技术逻辑近两年被反复讨论,加之科技巨头的不断加注与宣传,很可能让大众觉得城市大脑已经非常完善,可以真正承担一座城市的“AI交通指挥官”。然而事实上并非如此,从一种产业构思到实际落地,城市大脑,或者称作智慧城市系统,还面临着非常多物理世界中客观存在的困难与障碍。尤其是城市摄像头体系本身,与后加入的AI大脑,二者其实存在着无法忽视的“代沟”。

这个问题应该如何解决,近两年也有相当多的学术讨论。比如中国工程院院士、中国计算机学会理事长,北京大学教授、博导高文提出的“数字视网膜”理念,就广为产学各界重视。在这一问题中构成了一种代表性的解题方案。

我们似乎可以从数字视网膜应运而生的现实问题,以及其发展思路中,共同探讨这样两个问题:城市的智能,距离我们究竟有多远?而如果希望拉进这个距离,目前有哪些急需开展的工作?

从这个角度思考,我们或许会发现数字视网膜既是一种学术创新,也是一个新的产业机遇。

“眼疾”未愈,城市大脑依旧幼稚

城市大脑概念,在现实执行中面临的第一个问题,也可能是最根源的问题之一,就是原本并不用于智能计算的城市摄像头,如何与AI带来的识别,甚至智能分析能力连接在一起?

这个问题涉及一个基本矛盾,就是智能发生在哪里。

今天一般的城市大脑与智慧城市项目,主要是将摄像头收集来的视频数据进行存储,从而在云端用算法就行识别和分析。

而这里就有很多矛盾滋生了出来,比如传统摄像头收集的视频数据过于庞大,清晰度也欠佳,AI算法很难识别。

即使摄像头能够提供高清数据,但由于拍摄的视频没有进行特征提取,于是从提取到识别、检索,再到推理的全链计算都必须发生在云端。这带来的数据量非常庞大,云端将承受难以负载的数据压力,从而影响识别精度与数据处理准确度。同时,把基础视频数据堆积到云端,客观上也会造成过大的延迟,很难满足交通场景里实时反应的刚性需求。

同时,城市综合体每天产生的视频数据,其本质上堪称一个“数据包袱”。这些数据存在哪?存多久?谁来看?如何检索?在海量数据面前,这些问题一一成为了城市数据管理体系的重担。

那么如果让摄像头自己具备识别能力呢?这是如今智慧城市的主要解决方案,但是由于此前的原版摄像头不便拆卸,想要加入新的识别能力就要加装一个新的摄像头。于是我们看到了拍照摄像头、人脸识别摄像头、车牌识别摄像头、车辆识别摄像头等等;在路口抬头一看,简直能激发密集恐惧症。

这些“智能摄像头”识别出的数据,本质上无法做到汇融与底层打通,而是只能各自为政。后端的AI也就只能偏听偏信,无法进行完整的交通场景分析,给出真正的“智能建议”。

那么如果让识别和推理的全套AI能力都发生在摄像头里呢?这带来的最大问题就是端侧算力不够充沛,无法支撑复杂的计算。如果在每个摄像头都加载大量AI算力和专用硬件模组,那将是一笔无法负担的成本。而且想要让AI全局化理解城市,各摄像头也必须进行全局汇总。

这样左右为难的问题,就是今天城市智能从理想到现实的差距。高文院士将之总结成“存储难,检索难,识别难和功能多样化”四个问题,并且形象地比喻为城市的“自闭症”和“弱视”。

那么如何破解城市的种种“眼疾”呢?如果也用仿生学来比喻,那就是今天城市有了云计算和AI作为大脑,也有了摄像头作为眼睛,但是二者之间缺少一样东西:视网膜。

未来城市,需要一场“数字视网膜”安装手术

哺乳动物的视网膜,可称得上一件造物主的奇瑰之作。

视网膜的一个特性,是它隐藏在大脑和双眼之间,沉默着充当人类智慧与世间万物的翻译。我们的视网膜,其实并没有传递给大脑真实的画面和色彩,而是对这些“数据”进行了优化,让我们的大脑直接处理可感可理解的视觉信息。

在高文院士看来,今天城市大脑与万千摄像头之间,需要加装的就是这样一层“数字视网膜”。

当然,数字视网膜并非真的要做一种仿生视网膜的硬件,而是希望能够改变目前摄像头只能看或者单一链路识别的功能。让摄像头本身拥有一定的AI处理能力,能够对识别到的车、人、场景进行主动特征提取。

从而让摄像头上传到云端的视频数据,一路通过高效编码作为数据存储;另一路经过特征提取直接作为智能大脑的“可读物”。

这样既把识别和推理等智能计算保留在了云端,又让端侧完成了初步的智能化解析,平衡了两侧的成本与效率关系。而云大脑与摄像头的智慧结合,就是给城市安装了一层新的“数字视网膜”。

这个技术设想,是希望从计算和视频编码的可行性上,将城市的“大脑”和无数“眼睛”结合为一体。而设想想要变成现实,需要建立在端侧设备具有优化的视频编码能力,以及AI领域高强度的视频特征抽取能力。从而创造一个功能集成,能集编码和特征编码为一体的视频和图象感知系统。

换言之,软件层的创新将带给城市硬件系统更好的成本比值以及更优化的效率。与目前大多数产业方案相比,这套系统的特点在于平衡了理想目标和现实中的可执行性:摄像头完成特征抽取,云端只负责识别和推理。云计算和终端各负担一部分计算任务,合理分配算力。用更优化的视频解码技术,以及AI带来的视频特征抽取能力,让整套体系能够在有限算力与带宽条件下执行。

即便如此,给城市做一场“安装数字视网膜”的手术也并不容易。

挑战、路径与产业机遇:数字视网膜的未来棋路

想要在新兴的城市大脑技术,与中国技术庞大、种类繁杂的城市摄像头体系之间做出“智慧融合”。虽然具有强烈的必要性,以及技术可行性,但现实中还是要应对众多挑战。

比如说,数字视网膜的创新逻辑在于,用领先的视频编码标准与编码技术,换取硬件门槛的降低。而这就要求在视频编码技术和机器视觉技术上达成一系列新的突破,让数字视网膜真正“以内功赢人”。

更重要的挑战在于,数字视网膜体系,需要端侧摄像头具备相对通用化的视频处理能力,尤其是AI相关的视频特征提取能力。根据行业目前的普遍理解,这需要建立在专用芯片给摄像头提供更有针对性的AI算力基础上。这就需要一个从基础硬件到算法层,再到产业层的整体配合。

其次,必须正视的一点,是数字视网膜体系不可能朝夕功成。全国庞大的城市摄像头技术,必须逐步替换。这需要优先在现实场景中建立更多边缘技术节点,通过边缘计算来满足端侧AI算力的需求,逐渐向完全的数字视网膜体系过度。并且,如何针对已经存储的视频数据进行重新的特征抽取与识别也是个问题,这可能需要具备更优能力的视频编码软件来执行。

总而言之,我们可以看到“数字视网膜”这场城市大脑的新升级,将牵动硬件、软件与产业层的多条线索。而走到现实当中,这为今天的智慧城市、城市大脑等项目提出的第一个挑战,就是城市大脑类项目整合者、AI算法公司、智能摄像头厂商,包括芯片厂商和云计算厂商的通力合作,构筑基于数字视网膜目标的新兴产业链。

在这个命题中,今天可以看到,计算基础设施与解决方案供应商、安防硬件厂商、城市大脑项目执行者,比如阿里、腾讯、京东等互联网巨头,包括机器视觉相关的AI算法公司,都将获得新的产业机遇。

同时,如果我们将数字视网膜规划的未来城市,看作是智能城市产业的下一步,那么这个未来变化同样将为创业者打开机遇。因为其必然需要建立新的机器视觉任务开发生态,并且产业链粘合过程中,需要大量的新的企业级服务公司。

由此可见,医治城市大脑的眼疾,也是一场城市智能产业升级的开始。据了解,目前数字视网膜体系已经在多个地区与产业端口中开始了应用。从学术创新到产业突破,“智能+”时代正在构筑越来越多这样的产业升级轨迹。

让城市之眼看到未来的同时,身处城市中的我们,也应该看到未来的脚印。


关键字:城市大脑  摄像头  高文 引用地址:城市大脑“眼疾”与升级:解析高文院士提出的“数字视网膜”体系

上一篇:神奇贴纸骗过AI!人类被“隐形”,智能监控的危机来了?
下一篇:超高清视频政策频频发布 推动安防行业技术变革

推荐阅读最新更新时间:2024-11-02 18:21

iPhone 6后置摄像头曝光 集成光学防抖功能
  iPhone 6主镜头(左),iPhone 5s主镜头(右)   新浪手机讯 北京时间9月6日早间消息,iPhone改款服务Feld & Volk本周公布了iPhone 6一些元件的照片,包括后置摄像头,以及喇叭和麦克风保护网等。 iPhone 6镜头(左)比iPhone 5s镜头(右)薄   根据此次曝光的照片,5.5英寸iPhone 6的后置摄像头比iPhone 5s的更薄,同时更大。由于苹果正在进一步减小iPhone的厚度,因此此前曝光的照片显示,iPhone 6的后置摄像头采用了突出的设计。 iPhone 6后置摄像头拆解   Feld & Volk报告称,iPhone 6的后置摄像头集成了光学防抖
[手机便携]
苹果引领双摄像头风,大立光2017赚翻的节奏
镜头产业今年产值有望在 双镜头 渗透率快速提升而明显增长,随着 苹果 (Apple)推出高阶机型奠定双镜头成为主流规格,促使中国厂跟进导入,据了解,除了一线大厂华为积极推出双镜头机种外,快速崛起的欧珀(OPPO)等厂商也规划推出相关机种。   据法人估算,去(2016)年全球双镜头出货量约5,000万支,预期今年在各家厂商陆续推出下,市场渗透率快速推升至14%,全年出货量可达2亿支,年增率达4倍,且双镜头出货使用镜头颗数增加一倍,推升全球镜头需求放大,尽管智慧型手机需求放缓,但规格演进有利于产值成长。   虽然苹果手机首季销量势必面临下滑压力,但中国手机品牌接棒推出新机种。此外,近年中国式占率快速攀升的OPPO、Vivo规划推出双
[嵌入式]
一加9Pro和9E规格曝光 将配备6400万像素摄像头与大电池
OnePlus 9系列发布会预计在下个月举行,将推出旗舰硬件和改进的相机。OnePlus可能会推出三个版本的OnePlus 9,包括OnePlus 9、OnePlus 9Pro,以及名为OnePlus 9E或9 Lite的平价版本。   根据之前泄露的消息,OnePlus 9 Pro将配备哈苏品牌的光学元件,并可能提供具有竞争力的相机体验。然而,新的OnePlus 9 Pro规格泄露显示,该公司并没有真正对相机硬件进行任何重大改变,我们还没有获得OnePlus 9系列的相机细节。现在,这种情况发生了改变,这要归功于Techmaniacs的一份新报告,该报告声称拥有Pro和9E型号的完整规格。   OnePlus 9 Pro规
[手机便携]
一加9Pro和9E规格曝光 将配备6400万像素<font color='red'>摄像头</font>与大电池
分辨率最高3D立体深度摄像头问世 可用于自动驾驶应用
多年来,Nerian Vision Technologies公司成功展示了其SP1、SceneScan和SceneScan Pro立体视觉系统可应用于工业环境。据外媒报道,该公司最近推出了目前速度最快且分辨率较高的立体视觉与3D深度摄像头——Scarlet,从而也让Nerian Vision成为了3D机器视觉领域的先锋。 Scarlet将3D立体摄像头与图像处理系统结合在一起,无论是在静态环境,还是在动态环境的关键实时应用中,该款3D立体摄像头都能为各种机器视觉应用提供所需的精确图像和深度数据。该款摄像头主要可用于农业、装箱、拾取与放置和自动驾驶车辆应用。 Scarlet 3D立体深度摄像头(图片来源:Nerian Vi
[汽车电子]
分辨率最高3D立体深度<font color='red'>摄像头</font>问世 可用于自动驾驶应用
网友用红米K20 Pro升降式摄像头开啤酒盖
近日微博用户@笨笨搞机 曝光有网友拿红米K20 Pro升降式摄像头开啤酒盖,结果相当惨烈。   从分享的开瓶盖后的图片来看,红米K20 Pro升降式摄像头的上边框已经出现缺损,LED灯也没有亮起,但前置摄像头依然在正常工作,可以取景拍摄。   此前曾有网友尝试使用同样为升降式设计的vivo NEX开啤酒盖,并在微博上走红,彼时vivo NEX经受住了啤酒盖的考验成功存活。   相信这位红米K20 Pro用户也是效仿测试,不过最终悲剧。   需要注意的是,红米K20 Pro的升降式摄像头设计与vivo NEX不同,红米K20 Pro的升降式摄像头的两个侧边均搭载了LED发光设计,顶部也设计有圆形呼吸灯,结构更复杂,出现不同的测
[手机便携]
被苹果踢出摄像头供应链?国产电子巨头回应:业务正常
去年国内的电子大厂欧菲光被苹果踢出供应链,随后不得不卖掉镜头模组业务给闻泰科技,现在又有消息称好不容易进入苹果供应链的闻泰科技又被苹果踢出供应链,不过闻泰已经否认。   据中证报报道,有传闻称,闻泰科技因为前置摄像头模组品质不符合客户要求,被海外大客户苹果剔除前置摄像头模组供应链,闻泰科技回应称,公司该业务进展正常,不存在产品品质问题。   今年3月10日,闻泰科技发布一份《关于产品集成业务向境外特定客户正式出货的公告》。   公告中提到,公司与境外特定客户合作的智能家居项目正式开始量产并实现常态化出货,项目合作总金额预计约50亿元。   据中国证券报消息,供应链人士表示,闻泰科技提到的境外特定客户指苹果公司,其中仅智能家居
[手机便携]
Linux系统下USB摄像头驱动开发
USB摄像头以其良好的性能和低廉的价格得到广泛应用。同时因其灵活、方便的特性,易于集成到嵌入式系统中。但是如果使用现有的符合Video for Linux标准的驱动程序配合通用应用程序,难以充分利用USB带宽,帧速不高,不易满足实时监控等要求。本文首先介绍在Linux系统下USB摄像头驱动编制的一般方法,然后说明在此基础上如何提高帧速。 1 Linux系统中的USB摄像头驱动程序 USB设备驱动程序完全符合通用设备驱动的准则,不同的是内核提供了一些特别的API函数,方便驱动注册、销毁自己,例如usb_reSister()和usb_dereSister();2.4版的内核还提供了对于hotplug的支持。 1.1 USB摄像头
[嵌入式]
基于DSP与双目CMOS摄像头的数字图像处理系统
传统的数字图像处理通常采用图像采集卡,将模拟电视信号转换成数字信号,然后由PC机进行软处理。这样不仅不够灵活,处理能力也受到PC机和软件的限制。随着CMOS成像芯片工艺的改进和数字信号处理器功能的提升,使得数据量与计算量较大的图像硬处理成为可能。本文详细介绍了通过两路CMOS摄像头采集图像,以浮点DSP为核心处理器,采用60万门FPGA实现逻辑控制的数字图像采集处理系统的设计原理和实现方法。本系统所采用的芯片与器件,在保证性能的同时,兼顾低功耗,整个系统可以由1394线缆供电。    1 原理概述   整个系统的原理框图如图1所示。系统上电后,FPGA配置子板把配置文件加载到FPGA中。DSP由外部 FLASH引导,通过F
[应用]
小广播
最新安防电子文章
换一换 更多 相关热搜器件

 
EEWorld订阅号

 
EEWorld服务号

 
汽车开发圈

About Us 关于我们 客户服务 联系方式 器件索引 网站地图 最新更新 手机版

站点相关: 视频监控 智能卡 防盗报警 智能管理 处理器 传感器 其他技术 综合资讯 安防论坛

词云: 1 2 3 4 5 6 7 8 9 10

北京市海淀区中关村大街18号B座15层1530室 电话:(010)82350740 邮编:100190

电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2024 EEWORLD.com.cn, Inc. All rights reserved