ES冷热架构

ES冷热架构介绍

你好，我是IT那活儿的小编小本本。今天要为大家介绍的是Elasticsearch的冷热架构。为了保证Elasticsearch的读写性能，官方建议磁盘使用SSD固态硬盘。然而，由于海量数据的存储和检索问题，全部使用SSD成本过高，因此Elasticsearch冷热分离架构应运而生。

ES冷热架构

冷热架构是一种强大的功能，将Elasticsearch部署划分为“热”数据节点和“冷”数据节点。热数据节点处理所有新输入的数据，并且存储速度快，以确保快速地采集和检索数据。冷节点的存储密度较大，适用于保留较早的日志数据，这是一种成本效益的方法。通过将这两种类型的数据节点结合在一起，可以有效地处理输入数据，并将其用于查询，同时节省成本，长时间保留数据。此架构对于日志用例来说尤其适用，因为在日志用例中，人们的绝大部分精力都会专注于近期的日志，而较早的日志则可以接受较慢的查询时间。

ES冷热架构

冷热架构的典型应用场景

简单来说，冷热架构就是将客户关注的实时数据和历史数据硬件隔离，最大化解决客户反应的响应时间慢的问题。

一个典型的业务场景是，每日增量6TB日志数据，高峰时段写入及查询频率都较高，集群压力较大，查询ES时，常出现查询缓慢问题。ES集群的索引写入及查询速度主要依赖于磁盘的IO速度，冷热数据分离的关键为使用SSD磁盘存储热数据，提升查询效率。若全部使用SSD，成本过高，且存放冷数据较为浪费，因而使用普通SATA磁盘与SSD磁盘混搭，可做到资源充分利用，性能大幅提升的目标。

冷热架构的测试环境配置与实现

实现冷热分离架构需要使用ElasticSearch的路由功能，通过在data节点设置对应的路由，然后在创建索引库时指定分布到哪些服务器。过一段时间之后，根据业务要求将这些索引库的数据进行迁移到其他data节点中。下面是hot节点和cold节点的参数配置：

cluster.name:es-cluster

node.name:es01

node.master:true

node.data:true

network.host:192.168.43.137

transport.tcp.port:9300

http.port:9200

http.cors.enabled:true

http.cors.allow-origin:"*"

bootstrap.memory_lock:true

path.data:/home/elasticsearch/data

path.logs:/home/elasticsearch/logs

discovery.zen.ping.unicast.hosts:["192.168.43.137:9300","192.168.43.137:9301","192.168.43.138:9300","192.168.43.139:9300","192.148.43.140:9300"]

discovery.zen.minimum_master_nodes:1

xpack.security.enabled:true

xpack.security.transport.ssl.enabled:true

xpack.security.transport.ssl.verification_mode:certificate

xpack.ssl.key:elasticsearch-6.8.2/elasticsearch-6.8.2.key

xpack.ssl.certificate:elasticsearch-6.8.2/elasticsearch-6
                                                        原创文章，作者：小编小本本，如若转载，请注明出处：https://www.benjiyun.com/yunzhujiyunwei/vps-yunwei/6299.html

ES冷热架构

ES冷热架构介绍

冷热架构的典型应用场景

冷热架构的测试环境配置与实现

相关推荐