大数据与IT基础架构

发布者:素心悠远最新更新时间:2015-06-10 来源: EEworld作者: 刘鑫,华三通信政府解决方案部部长关键字:大数据  华三通信 手机看文章 扫描二维码
随时随地手机看文章
有研究表明:人类70%的活动都是有规律可循的。大数据,可以让我们看到这种规律并预知未来,例如通过整理近期的气象情况和卫星云图,我们能够判断未来几天的天气状况。去年,央视两次携手百度分别打造“据说春运”与“据说春节”特别节目——“据说春运”携手百度地图,用大数据展现春节前后人口大迁徙的轨迹与特征;“据说春节”运用百度大数据来述说回娘家、恐婚族等春节长假期间的热门话题。可见,通过解读数据可以发现有趣的现象、挖掘以往被忽视的规律,还可以对人类的行为进行预测。 

事实上,数据分析的案例自古有之,在前几年也有很多数据挖掘技术和应用的出现。但这些数据挖掘技术对数据的使用,都是先抽样、萃取人们或系统认为有价值的数据,再分析、挖掘,而并不是使用全部数据。原因很简单——信息的收集、存储和信息分析的系统构建、维护成本过于巨大,所以人们总是习惯在信息收集的过程中,把有关联的少部分精确数据留下。

以人们的日常购买行为为例,传统超市会通过对“时间、产品销售量/销售额”这几个指标的分析,判断近期哪些货品是热销产品,在短期更受用户的欢迎,进而对热销货品提供充足的货源保障,把热销货品放在超市最容易接触的位置,提供某些促销优惠等等。

再看另一个来自美国的零售商塔吉特的案例,它使用大数据进行“怀孕趋势分析”。通过对大量消费记录的分析,塔吉特公司注意到,准妈妈很可能在怀孕第三个月的时候购买某种乳液,并陆续购买营养品(如钙、镁、锌等)。塔吉特公司找到了几十种关联物,通过这些关联关系,预判客户是否怀孕以及预产期的大概日期。在客户怀孕的不同阶段,该公司会向客户推销相应的产品或优惠券。

前两个案例,分别是典型的“小数据”分析和“大数据”分析。大数据不仅是数据量大,同时数据种类多;不是数据的抽样,而是数据的全集;不是与目标有因果关系的数据,而是所有有关联的数据。与传统的数据分析相比,大数据可以被用来开发新产品和新型服务,其价值越来越受到关注。
为什么在几年前,没有人收集和利用全部的数据,再进行大数据分析呢?除了成本上的考虑,还存在另一个问题:传统上,人们是基于单一“业务”去构建系统,而不是基于“数据”去构建系统。例如,某超市要建设一个CRM系统,IT部门会基于“客户管理”这个业务采购软硬件,所有建设都围绕“客户管理”,很少考虑开放、兼容等特性;如果想再上一套“行为分析”系统,则围绕“行为分析”这个业务去采购软、硬件。当需要把两个系统的数据进行统一分析时,由于两套系统不兼容,需要中间件来转接、编译,因此两套系统各自要进行二次开发以实现兼容,使得操作难度变高,造成有价值的“数据”被困在了“系统”这个孤岛里。因此在规划初期,就应充分考虑到数据的流动性、系统的兼容性,考虑到数据将会被各种系统多次使用的情况。

也许有人会说:这样的系统规划会非常复杂,构建成本太高,很难把系统的模型和方案想清楚。我们再来看看互联网公司。大型互联网公司这几年在构建IT系统时,都会采用标准架构:如X86服务器、标准化的网络协议、开源的数据库、分布式存储等等。因为只有这样,才能够通过统一的硬件和软件平台来承载各种各样的业务。比如微信、QQ、游戏、视频等业务都是承载在同一个平台上,所有数据的流动在基础设施这个维度里都是自由的。所以我们看到如腾讯、阿里巴巴等互联网公司上线新业务的速度非常快,而且能够根据用户各种网络行为,判断互联网用户感兴趣的“热点”,在某项业务上再叠加新服务。这就是大数据的典型应用。

在构建了标准的硬件、软件基础设施之后,业务可以被逐步规划,分阶段上线,但是所有的业务架构、程序接口,都应按照标准基础设施的统一要求进行设计开发。大数据本身是“业务”,需要建设者用更多的时间去摸索业务模型,在实践中完善新技术,把现有的封闭的系统逐步改良为开放的标准化架构。

从IT的发展趋势看,大数据时代是在云计算建设成熟之后到来的,大多数互联网公司的建设历程也遵循了这种规律。云计算将带来标准、统一的IT架构,消除割裂和信息孤岛,并且简化大规模IT部署和运维的复杂程度,而这些都是大数据分析系统建设的前提。

杭州华三通信技术有限公司(以下简称华三通信)的云计算方案,就是要实现IT基础设施的标准化、智能化,为大数据分析提供更加智能灵活的基础设施平台。例如统一的云管理平台CSM,将所有IT资源拉通管理,并且把沟通过程流程化;X86服务器+虚拟化软件CAS,屏蔽底层硬件服务器间的差异,使虚拟机应用可以在不同的物理服务器间飘移;SDN网络虚拟化技术,使网络真正成为资源池,由上层应用调用;VSAN分布式存储,屏蔽了底层硬件存储间的壁垒,存储数据可以分布在不同的物理服务器的硬盘上。

身处大数据时代的前夕,伴随着云计算建设的浪潮,我们已经清晰地看到云计算和大数据的价值,也在期待它们为我们带来更多的改变,更多的惊喜。
 
关键字:大数据  华三通信 引用地址:大数据与IT基础架构

上一篇:SmartMesh IP 开发套件加速了无线传感器工业物联网应用的开发
下一篇:英特尔宣布推出Cloud for All计划

推荐阅读最新更新时间:2024-05-07 17:13

重视5G技术发展与商机 深入发展物联网
 5G发展正如火如土的展开。5G技术标准征集可望于2017底陆续确定,2019年到2020年可看到全球营运商将陆续推出5G商业服务试营,包括:物联网、车联网、智慧医疗、VR/AR、工业4.0等关键应用,将驱动新产业生态链。下面就随网络通信小编一起来了解一下相关内容吧。 国际电信联盟IMT-2020也是负责监督5G技术标准制定,日前阐述了5G新技术的优势所在。该机构表示,即将推出的通用规范将支持每平方公里100万个互联网设备、1毫秒延迟以及数据包从一点到另一个点的时间量、更高的能效和频谱效率,以及高达每秒20吉比特(gigabit, GB)的峰值数据下载速度。以自动驾驶汽车为例,车辆间能以0.001秒的速度交换数据。 IMT-
[网络通信]
正规军去哪了?废旧电子产品回收,越回收越污染!
小编语:废旧电子产品的回收处理确实是个大问题。旧的电子产品生产时的各种原料环保规范比较低,卤素啊、铅啊等有毒的元素含量较高,如果处理不当,很容易造成污染,国外就有从事电子产品销毁工作的父亲不注意工作服处理而导致孩子受到伤害的案例。国内这种状况可能更严重,废旧电子产品进入正规拆解渠道的少,地下拆解渠道完全图利,根本顾不上环保这件事,所以国家出台相关规定,促进电子产品回收正规化很有必要   随着电器电子产品的更迭速度加快,废弃电器电子产品逐渐增多。据国家统计局数据,截至2013年,我国“四机一脑”(电视机、冰箱、空调、洗衣机、电脑)年废弃量达1亿台,手机淘汰量为7000万部。工信部数据显示,我国每年主要电器电子产品报废量超过两亿台,
[嵌入式]
AI和大数据可解决大世界难题造福人类
     谈到人工智能和工作,预测是残酷的。传统的观点认为,AI可能很快就会让数百万人失去工作,这是未来二十年中,对于打字员和白领工人而言,一如过去两年机械化对工人的影响一样。也就是说,当道路上布满了自动驾驶汽车时,卡车司机和出租车司机将发现自己已经失业或半失业。   但现在我们应该开始考虑AI对社会的潜在好处以及它的弊端。大数据和AI革命也有助于消除贫困,促进经济稳定。   贫穷当然是一个多方面的现象。但是贫穷的状况常常包含以下一个或多个现实:缺乏收入(失业);缺乏准备(教育);并依赖政府服务(福利)。AI可以解决所有三个。   首先,尽管人工智能可能会使人们失去工作,但它同时也可以用来将人们与正在失业的优秀中产阶级的工作相匹配
[嵌入式]
大数据技术将在智能制造中起什么作用?
    实现工业4.0或中国制造2025的前提之一是构建智能工厂,其核心要素包括了信息物理系统(CPS),物联网(IOT),智能认知,社交媒体,云计算与移动,以及M2M。 智能工厂构成了工业4.0的一个关键特征。智能工厂将从现在通过中央控制中?的模式转向通过自行优化和控制其制造流程来实现。   柔性生产的三个方面:   1.人、机器和资源如同在一个社交网络里自然地相互沟通协作。   2.生产出来的智能产品能够理解自?己被制造的细节以及将如何用。它们积极协助生产过程,回答诸如“我是什么时候被制造的”“哪组参数应被用来处理我”“我应该被传送到哪”等等问题。   3.机器和产品之间的数据传输将通过使用微处理器、存储装置、
[安防电子]
物联网改变零售银行业务的8个应用案例
金融服务部门接纳物联网的速度缓慢,虽然看起来很难,但是你还是会发现一些零售银行为物联网的采用指引了方向。 客观来说,大多数银行的物联网业务还没走上正轨,而零售业和制造业等其他行业已经领先,目前银行主要集中于其他数字技术,这可能有助于他们抵御来自所谓的“挑战者”银行和金融科技创业公司的竞争。 对于零售银行机构而言,更快的支付速度、更强的可操作性(支持开放银行业务)和响应性更强的移动服务是创新的重点。尽管人们对人工智能(AI)和机器人流程自动化等技术感兴趣,并希望传递金融服务行业“更个性化、更有内涵、最具独特性的银行体验”的理念,但许多人对物联网相关工作至今仍然一无所知。 然而,物联网为零售银行提供收集更多客户信息、提
[网络通信]
物联网和大数据将成智慧农业重要支柱
“我国农业物联网的发展呈现出了良好的势头,物联网技术在农业领域的应用前景广阔,但要想让物联网技术更好的服务农业,加快农业产业与物联网的融合,就必须加快解决物联网在传感、传输和分析应用方面技术的突破。 “因此,未来我们将会把自主开发的硬件设备和软件系统推向全国示范应用,推动农业物联网的产业化发展。”2月12日,中国农业科学院孙忠富教授在接受记者采访时如是说。 据介绍,自2009年物联网在中国的兴起,至今历经五年物联网技术在各个领域取得了全面进展,农业物联网就是其中最有代表性的重要领域之一。孙忠富教授带领的团队在农业部的支持下,2009年启动了“小麦数字化苗情远程监控与诊断管理系统”的研发项目,该监控系统基于物联网技术
[物联网]
建设智慧城市有哪些个问题?该如何解决?
2019大数据创新应用与数字中国建设发展大会正在内蒙古自治区乌兰察布市举行。会上,“智慧城市建设”是国家部委和与会专家提及最多的一个关键词。 纵观全球各国,智慧城市的建设都须经历数字化、网络化、智能化三个阶段。目前,我国正处在由网络化向智能化迈进的关键时期,即真正意义上的“智慧城市”建设期。 毫无疑问,大数据是智慧城市建设的根本依托。而如何认识大数据与智慧城市建设的关系,如何在建设过程中用好大数据,成为智慧城市建设的关键问题。 大数据应该具有“时空”属性 “举个简单的例子,全球各地的踩踏事件时有发生,踩踏事件本质上就是由于我们在空间和时间上控制不好造成的。多大的空间,什么时间进去多少人,是需要有详细记录的,而这种记录本
[嵌入式]
大陆攻大数据人工智能,台湾有机会两挑战
资策会 MIC 表示,中国大陆聚焦大数据和人工智能,台湾在芯片、公部门数据和智能工厂有三大机会,不过在机器人与无人系统、汉语文人工智能上,面临挑战。 资策会产业情报研究所(MIC)上午举办 2018 科技产业趋势前瞻记者会。MIC 指出,中国大陆积极布局“中国制造 2025”智能制造与“互联网+”,两者核心技术聚焦在大数据与人工智能,将借助工业大数据发展服务型制造,加快制造业转型升级迈入智能制造发展阶段,以促进发展人工智能。 MIC 资深总监陈子昂指出,台湾正处于发展人工智能的阶段,大陆如何发展人工智能,都将会带给台湾不同的机会与挑战,同时也是下半年与前瞻 2018 年的观测重点。 陈子昂认为,中国大陆发展人工智能,可
[半导体设计/制造]
小广播
最新网络通信文章
换一换 更多 相关热搜器件
电子工程世界版权所有 京B2-20211791 京ICP备10001474号-1 电信业务审批[2006]字第258号函 京公网安备 11010802033920号 Copyright © 2005-2024 EEWORLD.com.cn, Inc. All rights reserved