智能互联时代造就的“数据洪流”,正冲击着传统的企业管理与运营模式,以及人类日常的生活与工作方式。而数据,在这一变革浪潮中正在成为洞察未来发展趋向、加速业务流程变革,以在日趋激烈的市场竞争环境中获取竞争优势的新资源。
然而,企业用户传统的数据分析平台在选型、搭建、运维以及后期拓展等方面面临昂贵的计算、存储和网络设备,复杂的软件堆栈等技术障碍造成的严峻挑战。对数据资源的有效利用,既需要高效、灵活的IT基础设施保障,也需要创新的服务交付模式,而英特尔与金山云在KMR上的深入合作,让云计算和数据分析的深入融合造就数据处理模式的新变革,并在用户服务等领域提供了一种兼具性能和成本优势的新型解决方案。
“大象”上云分几步?
自2012年成立以来,凭借领先的VPC和虚拟化技术,金山云成为国内首家提供混合云部署方案的云服务提供商。得益于游戏、视频、医疗等垂直行业客户的拓展,其已经发展成为国内最大的云存储厂商之一,每天积累约500TB数据量,而总数据量已经高达400PB。企业业务运营积累的大量数据,要求企业具备利用数据驱动企业分析、决策和管理的能力,在过去四年多的发展历程中,金山云基于开放的英特尔架构,正在以数据分析技术和人工智能赋予云计算不同应用场景、不同发展阶段的新潜能,以有效应对企业用户的新需求。
2016年1月,金山云推出了金山云托管Hadoop服务(Kingsoft MapReduce,KMR),KMR是一个可伸缩的通用数据计算和分析平台,它以Apache Hadoop 和Apache Spark两大数据计算框架为基础,通过自动调度弹性计算服务(KEC),帮助快速构建分布式数据分析系统。这样一来,用户可以一站式地通过云计算,在KMR框架上便捷地进行计算和分析。
与传统的Hadoop平台相比,KMR提供了丰富的管理功能和便捷的程序开发接口,使企业可以高效、自动化地进行数据处理和分析工作,节省管理成本和使用成本。另外,弹性伸缩,灵活计费;快速部署,完全托管;全面的服务可用性保障与云服务产品深度整合的优势也是这一数据分析平台的技术优势。
作为国内领先的电商平台,拥有几十大类、数百万种产品的当当网,成为金山云KMR服务的受益者之一。基于对灵活的云计算数据分析洞察力的需求,金山云和当当网之间通过专线将本地数据和云端数据打通,并通过KMR集群在云上搭建Storm和Kafka实时数据分析集群,在业务需求变化时可以动态地调整计算资源,有效控制IT成本。此外,通过数据库服务和底层基于英特尔强大的芯片加速技术和存储能力,妥善保障当当网的业务访问。云计算结合性能强大的数据分析服务,不仅让当当网有效实现了本地数据和云上数据的打通,加速获取数据洞察;更妥善解决了双十一等促销节点导致的陡增的计算资源需求压力,让当当稳妥应对业务增长带来的技术挑战。
金山云技术产品部高级产品经理杨亮介绍说:“通过这个项目,可以帮助当当网在很大的用户促销压力下,保证IT系统的稳定运行,同时可以大幅度减少运维和资源应用成本。此外,通过金山云的服务,可以帮助用户优化业务灵活性,调整资源配置。”
英特尔赋予KMR芯动力,助力释放云端数据价值
强大的数据分析能力根植于高性能、灵活、敏捷的IT基础设施,开放的英特尔架构以高效的分布式计算拓展能力,成为金山云在云计算时代底层硬件架构的首选。从传统的IT架构到云上的大数据,随着计算、存储和网络性能的不断提升,计算集群和存储集群可以独立构建并通过高速互联网相互连接,通过对象存储、虚拟化、容器等技术实现多租户的安全性和灵活性的结合。由此,硬件的革命使Big Data加上Cloud成为可能,成为Big Data As a Service。
在KMR实际的研发、运营和服务交付过程中,英特尔至强E5 v4处理器,以及快速、稳定、高效的SSD硬盘,为产品构建和用户服务提供了坚实的基础;同时,英特尔在开源项目和软件上进行优化,类似于BigDL等框架,对优化Spark机器学习的性能有巨大帮助。英特尔不仅为金山云提供了性能强劲的硬件平台,也积极与金山云一起对数据收集、存储、处理、展现的每一个模块进行优化,寻求进一步的合作。
同时,随着人工智能需求与应用的爆发,为了帮助行业用户在数据时代轻松应对创新多变的业务需求,金山云与英特尔在深度学习领域开展深入合作,搭建了KDL高性能异构计算平台。通过统一资源调度,金山云让客户可以很容易地访问云存储和高性能异构计算集群,并且在上层整合了大数据和深度学习运行,从而为客户提供一站式深度学习平台,帮客户处理好预处理、训练、评估、预测四个阶段的研发任务,帮助企业能够更加快速的迭代。
“大数据提供的是并行计算和分布式存储,云提供的是动态配置。我们利用机器学习的大脑,大数据的轮子来算,云计算提供了一个动态分配引擎,三者结合到一起实际上就实现了云上的大数据机器学习。”英特尔技术专家解释了云、数据分析和深度学习三者紧密的联系和融合价值。
未来,英特尔与金山云还将继续开拓创新、延伸合作,积极发挥金山云丰富的云服务产品功能与英特尔强大且稳定的平台优势,共同构建多层次的人工智能解决方案。“金山云接下来会响应国家的号召,与广大科研院所,还有英特尔这样的科技界的合作伙伴一起,构建我们金山云多层次的人工智能解决方案,为我们整个行业提供基础的视觉、听觉、自然语言、VR/AR等等技术能力,再到我们更上层的行业解决方案。”金山云大数据和AI技术总监张东进说,“金山云将在医疗、金融、交通、物联网等等重大行业里面进行深入研究,为我们广大的合作伙伴提供行业解决方案,全面助力数字社会的加速发展。”
上一篇:WSN的芯片技术与解决方案
下一篇:剖析物联网的需求 — 第一部分
推荐阅读最新更新时间:2024-03-30 23:50
- 凌华智能推出AmITX Mini-ITX 主板,助力边缘人工智能和物联网创新
- e络盟社区携手恩智浦发起智能空间楼宇自动化挑战赛
- 不止射频:Qorvo® 解锁下一代移动设备的无限未来
- 物联网助力电动车充电设施走向未来
- Nordic Semiconductor推出nRF54L15、nRF54L10 和 nRF54L05 下一代无线 SoC
- 射频 FDA 如何使用射频采样 ADC 来增强测试系统
- 基于OPENCV的相机捕捉视频进行人脸检测--米尔NXP i.MX93开发板
- Nordic Semiconductor nRF54H20 超低功耗 SoC 荣获 2024 年世界电子成就奖 (WEAA)
- 英国测试装配神经系统的无人机:无需经常落地进行检查