ES集群规划优化方案

现状资源情况

目前资源接入量监控设备节点数量已达4000+，其中网络设备数量为400+，监控项数约80万，采集频率1分钟，每日数据量约为200G左右。

ES集群规划优化方案

问题和计划

ES采用普通6节点集群模式，未做冷热数据分类，导致读写压力过大，数据写入缓慢，查询数据返回超时。因此计划采取常规集群模式变更为冷（6个月历史数据）热（1个月数据）集群；热节点采用固态硬盘替换机械硬盘，提升读写性能。

ES配置及规划

生产环境预备的硬件信息为：3台64G内存、8核CPU、5T机械硬盘的主节点；3台64G内存、16核CPU、5T固态硬盘的热数据节点；3台64G内存、8核CPU、50T机械硬盘的冷数据节点。

考察现状情况，建议主节点和数据节点共用主机，因此可以减少主节点与数据节点间的通信延时。目前每天产生的数据大概在200G左右，周期为30天之前的数据迁移至冷节点。因此总热数据量6T，总冷数据量36T。按单个64G内存数据节点规划，每个节点可以承载1.85T的数据（内存存储比为30）。

规划优化方案如下：

主节点和热数据节点共用256G内存的机器，每台机器最多可以部署4个节点，其中一个节点当做主节点，其它部署为数据节点。因此需要2台256G内存的主机作为主节点和热数据节点共用的主机，使用3台256G的机器建议作为主节点和热数据节点共用的主机。相比之前规划，可减少6台主机数量。
冷数据节点目前3台64G内存的主机已经达到至少2个冷数据节点的要求，因此目前可暂不更改。如果资源充足，也可以采用2台128/256G内存的机器每个主机上部署2个冷数据节点，共4个冷数据节点

配置文件及设置

生成证书，可在node0中执行以下指令：cd elasticsearch，export JAVA_HOME=/home/shsnc/snc_product/elasticsearch/jdk，./bin/elasticsearch-certutil ca，./bin/elasticsearch-certutil cert，–ca elastic-stack-ca.p12，mvelastic-certificates.p12。将证书文件放置到每个节点指定路径中并设置主节点和数据节点的配置文件。集群同步时需要注意开启防火墙端口。

原创文章，作者：小编小本本，如若转载，请注明出处：https://www.benjiyun.com/yunzhujiyunwei/vps-yunwei/6605.html