欢迎关注Hadoop、Spark、Flink、Hive、Hbase、Flume等大数据资料分享微信公共账号:iteblog_hadoop
  1. 文章总数:1050
  2. 浏览总数:13,970,705
  3. 评论:4142
  4. 分类目录:111 个
  5. 注册用户数:6999
  6. 最后更新:2019年8月23日
过往记忆博客公众号iteblog_hadoop
欢迎关注微信公众号:
iteblog_hadoop
大数据技术博客公众号bigdata_ai
开发爱好者社区:
bigdata_ai

Open Distro for Elasticsearch:AWS 自家版本的开源 ElasticSearch

AWS 于近期发布了自家版本的开源 ElasticSearch :Open Distro for Elasticsearch。我们都知道,Elasticsearch 是一个分布式面向文档的搜索和分析引擎。 它支持结构化和非结构化查询,并且不需要提前定义模式。 Elasticsearch 可用作搜索引擎,通常用于 Web 级日志分析,实时应用程序监控和点击流分析,在国内外有很多用户使用。AWS 通过 AWS Elasticsearch Service 提供自己的软件版本,这是一种托管产品,有利于用户在其云基础设施上部署、运营和扩展 Elasticsearch 集群。

Open Distro for Elasticsearch:AWS 自家版本的开源 ElasticSearch
如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoop

为什么 AWS 要开发 Open Distro for Elasticsearch

AWS 的云架构战略副总裁 Adrian Cockcroft 认为 Open Distro for Elasticsearch 之所以必要是因为 Elasticsearch Global BV(Elasticsearch 的商业主导公司,简称 Elastic)通过在其代码库中添加大量专有软件来“模糊轨道”(blurs the tracks)。

Cockcroft 认为添加专有代码来创建新功能本身并不是问题。因为大多数开源软件背后商业公司都这样做,然后通常添加支持服务来赚取一定的费用。但就 Elasticsearch 而言,对于自由软件用户所获得的内容“缺乏清晰度”(lack of clarity)。

“例如,发行说明和文档都没有说明什么是开源代码和什么是专有的代码,”Cockroft说。 “企业开发人员可能会无意中对专有源代码应用进行修复或增强。这很难追踪和管理,可能导致违反许可证并被立即终止权利。”

AWS 担心的另一个问题是创新的焦点已从改进 Elasticsearch 的开源版本转向促进专有版本的实施。

Cockroft说:“我们与 Elastic,Elasticsearch 的维护经理们讨论了我们的担忧,包括建议投入大量资源来开发一个未混合的,社区驱动的 Elasticsearch 版本。但是他们明确表示他们有意继续保持这种道路继续前进。”

基于上面的各种原因,亚马逊决定推出 Open Distro。

Open Distro 都有什么东西

Open Distro for Elasticsearch 是一款价值增添(value-added)的 Elasticsearch 发行版,100%开源(采用 Apache 2.0 许可证),并且由 AWS 支持。Open Distro for Elasticsearch 利用 Elasticsearch 和 Kibana 的开源代码(Kibana 是 Elasticsearch 的数据可视化插件)。Open Distro for Elasticsearch 不是 ElasticSearch 的一个分支。

除了 Elasticsearch 和 Kibana 之外,第一个版本还包括高级安全功能,事件监视和警报,性能分析和 SQL 查询功能。 除了源代码仓库之外,Open Distro for Elasticsearch 和 Kibana 还可以作为 RPM 和 Docker 容器使用,可以单独下载 SQL JDBC 和 PerfTop CLI。

Security

这个插件支持节点到节点的加密,五种类型的身份验证(basic,Active Directory,LDAP,Kerberos 和 SAML),多个级别(集群,索引,文档和字段)支持基于角色的访问控制,支持审计日志记录和跨群集搜索,以便集群中的任何节点都可以通过集群中的其他节点运行搜索请求。

Open Distro for Elasticsearch:AWS 自家版本的开源 ElasticSearch
如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoop

事件监控和报警

当来自一个或多个 Elasticsearch 索引的数据满足特定条件时,可以通过这个功能进行监控报警。例如,如果应用程序在一小时内记录超过五个 HTTP 503 错误,您可以通知 Slack 通道。 监控基于已经设置调度运行的作业,根据触发条件检查索引,以及在触发条件时发出警报。

Open Distro for Elasticsearch:AWS 自家版本的开源 ElasticSearch
如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoop

深度性能分析

性能分析器允许我们查询 Elasticsearch 指标以及详细的网络,磁盘和操作系统统计信息,从而深入了解系统瓶颈。 即使 Elasticsearch 处于压力之下,性能分析器也可独立运行而不会对性能产生任何影响。这是个 REST API,我们可以通过编程方式访问指标,也可以使用 PerfTop CLI 可视化工具来深入了解我们的系统。

Open Distro for Elasticsearch:AWS 自家版本的开源 ElasticSearch
如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoop

SQL 支持

Open Distro for Elasticsearch 使已经熟悉 SQL 的用户可以轻松地与 Elasticsearch 集群进行交互。 SQL 提供了40多种函数,数据类型和命令,包括 join 支持和直接导出到 CSV 文件。这个组件支持将 SQL 翻译成 Elasticsearch JSON,同事还支持 JDBC driver,这允许我们将它与 BI 系统进行集成。

Open Distro for Elasticsearch:AWS 自家版本的开源 ElasticSearch
Open Distro for Elasticsearch:AWS 自家版本的开源 ElasticSearch
如果想及时了解Spark、Hadoop或者Hbase相关的文章,欢迎关注微信公共帐号:iteblog_hadoop

Open Distro for Elasticsearch 官方网站:https://opendistro.github.io/for-elasticsearch/
GitHub:https://github.com/opendistro-for-elasticsearch
Doc:https://opendistro.github.io/for-elasticsearch-docs/

本博客文章除特别声明,全部都是原创!
转载本文请加上:转载自过往记忆(https://www.iteblog.com/)
本文链接: 【Open Distro for Elasticsearch:AWS 自家版本的开源 ElasticSearch】(https://www.iteblog.com/archives/2523.html)
喜欢 (7)
分享 (0)
发表我的评论
取消评论

表情
本博客评论系统带有自动识别垃圾评论功能,请写一些有意义的评论,谢谢!