Elastic做客选型宝，分享PB级大数据实时处理解决方案

近日，Elastic中国区总经理王刚Galen、首席架构师吴斌做客选型宝直播间，与CTO和CIO们分享企业如何实现PB级大数据实时处理。作为全球最流行的开源数据搜索与实时分析技术，Elastic数据平台以灵活部署、平滑扩展、安全性强、适用场景广的特点，在全文检索、地理位置、全栈监控、机器学习等各类数据应用场景中大显身手，受到互联网企业、金融电信乃至政府机构的青睐。

Elastic Stack数据平台由Logstash、Beats、ElasticSearch和Kibana四大核心产品组成，在数据摄取、存储计算分析及数据可视化方面有着无可比拟的优势。首先，Logstash和Beats作为底层核心引擎组成数据摄取平台，可以将数据进行标准化，便于后续分析使用。其中，Beats作为轻量级的数据搬运工，集合了多种单一用途数据采集器，将数据发送给Logstash或ElasticSearch，其可扩展的框架及丰富的预置采集器将使工作事半功倍;Logstash 是开源的服务器端数据处理管道，可同时从多个来源采集、转换数据，并将数据发送到存储库中。在存储、计算和分析方面，ElasticSearch允许执行和合并多种类型的搜索，解决不断涌现的各种用例，并具有极高的可用性及容错性，充分保障集群安全。Kibana作为用户界面的核心，集成了丰富的可视化工具、界面交互开发工具和管理工具，帮助开发人员将数据轻松分享给任何人，甚至还能通过机器学习来监测数据中的隐藏异常并追溯其来源。

以这四大核心产品为基础构建的Elastic数据平台实现了数据实时性、相关性及扩展性的完美结合，不仅可以处理各种数据，还能深入挖掘数据的内在关联并迅速呈现，彻底解决企业的大数据实时处理难题。

目前，Elastic数据平台已广泛应用于各行各业，客户包括eBay、Facebook、Uber、微软、思科、大众汽车、携程、招商银行，联想及政府机构等。在开源产品的核心功能之上，Elastic数据平台为用户提供系统安全、数据告警、全栈监控、报表分析、图查询和机器学习六大付费商业化的功能。以数据告警为例，Elastic数据平台提供了基于时序性数据的告警、集群全局监控和自动生成报表等功能，帮助用户迅速完成分析并做出决策，实现最大程度止损。Elastic数据平台的机器学习及图查询特性可以自动检测当前数据中的异常情况，逐级追溯至底层数据，厘清数据关联，以图的形式展示给用户。

基于这六大功能，Elastic数据平台在搜索、地理位置、内部日志、数据指标、安全监控和APM应用性能管理等场景颇具亮点。作为一个强大的分布式搜索引擎，Elastic数据平台提供了对多种语言的支持，可以实现模糊查询、词根查询及联想查询，而不仅是全文快速检索。如果用户业务数据中存在地理位置信息，并叠加有其它多维数据，Elastic数据平台将应用新型数据结构进行存储，从而实现高效检索。当用户的手机端应用遇到线上高并发的问题时，Elastic数据平台可以快速拉起多个协调节点应对数据高峰，且不必担心性能问题。在面对企业内部日志时，Elastic数据平台中的Beats数据收集器将进行统一管理，使用预置或度身定做的数据模型进行分析，通过Kibana呈献给终端用户。此外，以各类事件信息为基础，Elastic数据平台提供了目前市场上独有的APM应用性能管理体系，可通过对全量数据的串联分析轻松发现应用的性能瓶颈。

为帮助订阅用户充分利用这些强大特性，Elastic不仅可为套件内的商业特性提供指导，亦可提供开源部分的集群架构设计、索引分片设计和集群整体性能优化等服务。通过专家咨询服务团队，帮助客户将Elastic数据平台与自身业务快速融合。更提供了极具弹性的Elastic企业云服务，通过与微软Azure/亚马逊/阿里云等合作，为用户业务的快速增长保驾护航。Elastic企业云可对资源全局进行整体管理，在瞬息之间完成单节点的纵向扩容或多个集群间的横向扩容。不仅大大简化了系统架构，提升了硬件利用率，满足业务增长需求，更凭借完整的安全机制和可靠的性能隔离策略最大化利用资源，直接节省运营费用。

另外，Elastic还提供了专业工程师认证服务，以公开课程及私塾培训等多种学习形式，帮助企业开发人员升级进阶，化解实际应用中的各类难题，更增强自身的职场竞争力。

自2012年成立以来，Elastic以解决所有实时数据问题为目标，逐步构建出数据处理的完整生态，为用户提供了强大的开源套件、丰富的拓展工具和专业的服务支持。2018年，Elastic成立中国独资公司，贴身服务国内用户。目前，Elastic已于今年10月6日上市，员工达1100余名，订阅客户超5000家，产品的全球下载量突破3.5亿次。