从物理空间概念，Elasticsearch 分布式系统会有 3 个关键点需要学习。本次总结了下面相关内容：

• 分布式
• 节点 & 集群
• 主分片及副本

一、Elasticsearch 分布式

Elasticsearch 分布式特性包括如下几个点：

1.1 高可用

什么是高可用？CAP 定理是分布式系统的基础，也是分布式系统的 3 个指标：

1. Consistency（一致性）
2. Availability（可用性）
3. Partition tolerance（分区容错性）

那高可用（High Availability）是什么？高可用，简称 HA，是系统一种特征或者指标，通常是指，提供一定性能上的服务运行时间，高于平均正常时间段。反之，消除系统服务不可用的时间。

衡量系统是否满足高可用，就是当一台或者多台服务器宕机的时候，系统整体和服务依然正常可用。举个例子，一些知名的网站保证 4 个 9 以上的可用性，也就是可用性超过 99.99%。那 0.01% 就是所谓故障时间的百分比。

Elasticsearch 在高可用性上，体现如下两点：

• 服务可用性：允许部分节点停止服务，整体服务没有影响
• 数据可用性：允许部分节点丢失，最终不会丢失数据

1.2 可扩展

随着公司业务发展，Elasticsearch 也面临两个挑战：

• 搜索数据量从百万到亿量级
• 搜索请求 QPS 也猛增

那么需要将原来节点和增量数据重新从 10 个节点分布到 100 个节点。Elasticsearch 可以横向扩展至数百（甚至数千）的服务器节点，同时可以处理PB级数据。Elasticsearch 为了可扩展性而生，由小规模集群增长为大规模集群的过程几乎完全自动化，这是水平扩展的体现。

1.3 Elasticsearch 分布式特性

上面通过可扩展性，可以看出 Elasticsearch 分布式的好处明显：

• 存储可以水平扩容，水平空间换时间
• 部分节点停止服务，整个集群服务不受影响，照样正常提供服务

Elasticsearch 在后台自动完成了分布式相关工作，如下：

• 自动分配文档到不同分片或者多节点上
• 均衡分配分片到集群节点上，index 和 search 操作时进行负载均衡
• 复制每个分片，支持数据冗余，防止硬件故障数据丢失
• 集群扩容时，无缝整合新节点，并且重新分配分片
• 等等

Elasticsearch 集群知识点如下：

• 不同集群通过名字区分，默认集群名称为 "elasticsearch"
• 集群名 cluster name ，可以通过配置文件修改或者命令行 -E cluster.name=user-es-cluster 进行设置
• 一个集群由多个节点组成

二、Elasticsearch 节点 & 集群

Elasticsearch 集群有多个节点组成，形成分布式集群。那么，什么是节点呢？

节点（Node），就是一个 Elasticsearch 应用实例。大家都知道 Elasticsearch 源代码是 Java 写的，那么节点就是一个 Java 进程。所以类似 Spring 应用一样，一台服务器或者本机可以运行多个节点，只要对应的端口不同即可。但生产服务器中，一般一台服务器运行一个 Elasticsearch 节点。还有需要注意：

• Elasticsearch 都会有 name ，通过 -E node.name=node01 指定或者配置文件中配置
• 每个节点启动成功，都会分配对应得一个 UID ，保存在 data 目录

可以通过命令 _cluster/health 查看集群的健康状态，如下：

• Green 主分片与副本分片都正常
• Yellow 主分片正常，副本分片不正常
• Red 有主分片不正常，可能某个分片容量超过了磁盘大小等

如图，有主（Master）节点和其他节点。那么节点有多少类型呢？

2.1 Master-eligible Node 和 Master Node

Elasticsearch 被启动后，默认就是 Master-eligible Node。然后通过参与选主过程，可以成为 Master Node。具体选主原理，后续单独写一篇文章。Master Node 有什么作用呢？

• Master Node 负责同步集群状态信息：
• 所有节点信息
• 所有索引即其 Mapping 和 Setting 信息
• 所有分片路由信息
• 只能 Master 节点可以修改信息，是因为这样就能保证数据得一致性

2.2 Data Node 和 Coordinating Node

Data Node，又称数据节点。用于保存数据，其在数据扩展上起至关重要的作用。

Coordinating Node，是负责接收任何 Client 的请求，包括 REST Client 等。该节点将请求分发到合适的节点，最终把结果汇集到一起。一般来说，每个节点默认起到了 Coordinating Node 的职责。

2.3 其他节点类型

还有其他节点类型，虽然不常见，但需要知道：

• Hot & Warm Node：不同硬件配置的 Data Node，用来实现冷热数据节点架构，降低运维部署的成本
• Machine Learning Node：负责机器学习的节点
• Tribe Node：负责连接不同的集群。支持跨集群搜索 Cross Cluster Search

一般在开发环境中，设置单一的角色节点：

• master node：通过 node.master 配置，默认 true
• data node：通过 node.data 配置，默认 true
• ingest node：通过 node.ingest 配置，默认 true
• coordinating node：默认每个节点都是 coordinating 节点，设置其他类型全部为 false。
• machine learning：通过 node.ml 配置，默认 true，需要通过 x-pack 开启。

三、主分片及副本

同样看这个图，3 个节点分别为 Node1、Node2、Node3。并且 Node3 上面有一个主分片 P0 和一个副本 R2。那什么是主分片呢？

主分片，用来解决数据水平扩展的问题。比如上图这个解决可以将数据分布到所有节点上：

• 节点上可以有主分片，也可以没有主分片
• 主分片在索引创建的时候确定，后续不允许修改。除非 Reindex 操作进行修改

副本，用来备份数据，提高数据的高可用性。副本分片是主分片的拷贝

• 副本分片数，可以动态调整
• 增加副本数，可以一定程度上提高服务读取的吞吐和可用性

如何查看 Elasticsearch 集群的分片配置呢？可以从 settings 从看出：

• number_of_shards 主分片数
• number_of_replicas 副本分片数

{
  "my_index": {
    "settings": {
      "index": {
        "number_of_shards": "8",
        "number_of_replicas": "1"
      }
    }
  }
}

实战建议：对生产环境中，分片设置很重要，需要最好容量评估与规划

• 根据数据容量评估分配数，设置过小，后续无法水平扩展；单分片数据量太大，也容易导致数据分片耗时严重
• 分片数设置如果太大，会导致资源浪费，性能降低；同时也会影响搜索结果打分和搜索准确性

索引评估，每个索引下面的单分片数不用太大。如何评估呢？比如这个索引 100 G 数据量，那设置 10 个分片，平均每个分片数据量就是 10G 。每个分片 10 G 数据量这么大，耗时肯定严重。所以根据评估的数据量合理安排分片数即可。如果需要调整主分片数，那么需要进行 reindex 等迁索引操作。

小结

从上一篇到这一篇：

• 一个节点，对应一个实例
• 一个节点，可以多个索引
• 一个索引，可以多个分片
• 一个分片，对应底层一个 lucene 分片

比如知道了搜索性能场景，例如多少数据量，多大的写入，是写为主还是查询为主等等，才可以确定：

• 磁盘，推荐 SSD，JVM最大 Xmx 不要超过30G。副本分片至少设置为1。主分片，单个存储不要超过 30 GB，按照这个你推算出分片数，进行设定。
• 集群中磁盘快满的时候，你再增加机器，确实可能导致新建的索引全部分配到新节点上去的可能性。最终导致数据分配不均。所以要记得监控集群，到70%就需要考虑删除数据或是增加节点
• 可以设置最大分片数缓解这个问题。
• 分片的尺寸如果过大，确实也没有快速恢复的办法，所以尽量保证分片的size在40G以下