认识认识七大姑八大姨

文档Document

  • Elaticsearch是面向文档的，文档时所有可搜索数据的最小单元
    • 日志文件中的日志项
    • 一个电影的具体信息/一张唱片的详细信息
  • 文档会被序列化成JSON格式，保存在Elasticsearch中
    • JSON对象由字段组成
    • 每个字段都有对应的字段类型
      • 字符串、数值、布尔、日期、二进制、范围
  • 每个文档都有一个Unique ID
    • 可以指定
    • Elasticsearch自动生成

JSON文档

  • 一篇文章包含了一系列的字段。类似数据库表中一条记录
  • JSON文档，格式灵活，不需要预先定义格式
    • 字段的类型可以指定或者通过Elasticsearch自动推算
    • 支持数组/支持潜逃

文档的元数据

  • 元数据，用于标注文档的相关信息
    • _index：文档所属的索引名
    • _type：文档所属的类型名
    • _id：文档的唯一ID
    • _source：文档的原始Json数据
    • _all：整合所有文档内容到该字段，已废除
    • _version：文档的版本信息
    • _score：相关性打分

索引

  • Index - 索引时文档的容器，是一类文档的结合
    • Index体现了逻辑空间的概念：每个索引都有自己的Mapping定义，用于定义包含的文档的字段名和字段类型
    • Shard体现了物理空间的概念：索引中的数据分散在Shard上
  • 索引的Mapping与Settings
    • Mapping定义文档字段的类型
    • Setting定义不同的数据分布

索引的不同语意

  • 名词
    • 一个Elasticsearch集群汇总，可以创建很多个不同的索引
    • 一个B输索引，一个倒排索引
  • 动词：保存一个文档到Elasticsearch的过程也叫索引(Indexing)
    • ES中，创建一个倒排索引的过程

Type

对比

  • 传统关系型数据库和Elasticsearch的区别
    • Elasticsearch - Schemaless/相关性/高性能全文检索
    • RDMS - 事务性 / Join

简单的API

可以在kibana的Dev Tools中执行以下请求

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
#查看索引相关信息
GET kibana_sample_data_ecommerce

#查看索引的文档总数
GET kibana_sample_data_ecommerce/_count

#查看前10条文档，了解文档格式
POST kibana_sample_data_ecommerce/_search
{
}

#_cat indices API
#查看indices
GET /_cat/indices/kibana*?v&s=index

#查看状态为绿的索引
GET /_cat/indices?v&health=green

#按照文档个数排序
GET /_cat/indices?v&s=docs.count:desc

#查看具体的字段
GET /_cat/indices/kibana*?pri&v&h=health,index,pri,rep,docs.count,mt

#How much memory is used per index?
GET /_cat/indices?v&h=i,tm&s=tm:desc

可用性与扩展性

  • 高可用
    • 服务可用性 - 允许有节点停止服务
    • 数据可用性 - 部分节点丢失，不会丢失数据
  • 可扩展
    • 请求量提升/ 数据的不断增长(将数据分布到所有节点上)

分布式特性

  • Elasticsearch的分布式架构的好处
    • 存储的水平扩容
    • 提高系统的可用性，部分节点停止服务，整个集群的服务不受影响
  • Elasticsearch的分布式架构
    • 不同的集群通过不同的名字来区分
      • 默认：elasticsearch
    • 通过修改配置文件，或者在命令行中执行-E cluster.name=修改后的名字
    • 一个集群可以有一个或者多个节点

节点

  • 节点是一个Elasticsearch的实例
    • 本质上就是一个Java进程
    • 一台机器上可以运行多个Elasticsearch进程，但是生产环境一般建议一台机器上只运行一个实例
  • 每一个节点都有名字，通过配置文件修改，或者启动时通过命令指定-E node.name=修改后的名称
  • 每一个节点在启动之后，会分配一个UID，保存在data目录下

Master

  • 每个节点启动后，默认就是一个Master eligible节点
    • 可以设置node.master:false禁止
  • Master-eligible节点可以参加选主流程，成为Master节点
  • 当第一个节点启动时，它会将自己选举成Master节点
  • 每个节点上都保存了集群的状态，只有Master节点才能修改集群的状态信息
    • 集群状态Cluster State，维护了一个集群中，必要的信息
      • 所有的节点信息
      • 所有的索引和其相关的Mapping与Setting信息
      • 分片的路由信息
    • 任意节点都能修改信息会导致数据的不一致性

Data Node

  • 可以保存数据的节点
  • 负责保存分片数据
  • 在数据扩展上起到了至关重要的作用

Coordinating Node

  • 负责接收Client的请求，将请求分发到合适的节点，最终把节点汇集到一起
  • 每个节点默认都起到了Coordinating Node的职责

其他节点类型

  • Hot & Warm Node
    • 不同硬件配置的Data Node
    • 用来实现Hot & Warm架构，降低集群部署的成本
    • 分别存储热数据和冷数据的节点
  • Machine Learning Node
    • 负责跑机器学习的Job
    • 发现数据的异常，用来做异常检测
  • Tribe Node
    • 未来版本将会淘汰，替代为5.3开始使用Cross Cluster Search
    • Tribe Node连接到不同的Elasticsearch集群
    • 并且支持将这些集群当成一个单独的集群处理

配置节点类型

  • 开发环境中一个节点可以承担多种角色
  • 生产环境中，应该设置单一的角色的节点(dedicated node)
节点类型 配置参数 默认值
master eligible node.master true
data node.data true
ingest node.ingest true
coordinating only 无 每个节点默认都是coordinating节点。设置其他类型全部为false
machine learning node.ml true(需要enable x-pack)

分片

Primary Shard

  • 主分片
  • 用以解决数据水平扩展的问题。
  • 通过主分片，可以将数据分布到集群内的所有节点之上
    • 一个分片时一个运行的Lucene的实例
    • 主分片数载索引创建时指定，后续不允许修改，除非Reindex
      • 和倒排索引有关

Replica Shard

  • 副本
  • 用以解决数据高可用的问题
  • 副本是主分片的拷贝
    • 副本分片数，可以动态调整
    • 增加副本数，还可以在一定程度上提高服务的可用性(读取的吞吐)

分片的设置

  • 对于生产环境中分片的设置，需要提前做好容量规划
    • 分片数设置过小
      • 导致后续无法增加节点实现水平扩展
      • 单个分片的数据量太大，导致数据重新重新分配耗时
    • 分片数设置过大
      • 影响搜索结果的相关性打分，影响统计结果的准确性
      • 单个节点上过多的分片，会导致资源浪费，同时也会影响性能

7.0开始，默认主分片设置成1，解决了over-sharding的问题

集群健康

http://localhost:9200/_cluster/health

  • Green：主分片与副本都正常分配
  • Yellow：主分片全部正常分配，有副本分片未能正常分配
  • Red：有主分片未能分配
    • 例如：当服务器的磁盘容量超过85%时，去创建一个新的索引

Kibana

在Dev Tools中执行

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
#查看集群状态
GET _cluster/health
#查看节点
GET _cat/nodes?v
#查看分片
GET _cat/shards

GET /_nodes/es7_01,es7_02
GET /_cat/nodes?v&h=id,ip,port,v,m


GET _cluster/health
GET _cluster/health?level=shards
GET /_cluster/health/kibana_sample_data_ecommerce,kibana_sample_data_flights
GET /_cluster/health/kibana_sample_data_flights?level=shards

#### cluster state
The cluster state API allows access to metadata representing the state of the whole cluster. This includes information such as
GET /_cluster/state

#cluster get settings
GET /_cluster/settings
GET /_cluster/settings?include_defaults=true

GET _cat/shards
GET _cat/shards?h=index,shard,prirep,state,unassigned.reason

cerebro

Cerebro 是使用 Scala，Play Framework，AngularJS 和 Bootstrap 构建的开源（MIT 许可证）的基于 Elasticsearch Web管理工具。

Java 1.8以上运行

  • 下载地址
  • 运行：bin/cerebro
  • 访问：http://localhost:9000

  • 输入：http://localhost:9200

  • 其他

    • 配置文件：conf/application.conf

  • 行为不同的节点，列为索引，实线的代表为主分片，虚线为副本分片

  • 节点名称前的星号代表该节点是master eligible节点，可以被选为master节点

  • 上方的长条代表集群的状态
    • 如果停止一个主节点运行，颜色将会变成黄色

其他

cat Shards

Cluster APIs

cat nodes