1 ES分布式机制的透明隐藏特性
ES本身就是一个分布式系统,就是为了处理海量数据的应用。ES隐藏了复杂的分布式机制,简化了配置和操作的复杂度。ES在现在的互联网环境中,盛行的原因,主要的核心就是分布式的简化。
ES隐藏的内容:分片机制、集群发现机制(cluster discovery)、shard负载均衡、shard副本、请求路由、集群扩容、shard重分配等。
如:分片机制-shard, 主分片 primary shard。不管多少个节点,也不管index创建的时候,分多少个primary shard,是否需要管理哪一个节点管理哪些shard?
如:shard负载均衡,在读写操作的时候,是否考虑过,本次操作在哪一个shard上执行?
2 ES的扩容
什么水平扩容?什么是垂直扩容?
水平扩容:就是如果资源不足的时候,添加新的资源。如:服务器能力不足,买新服务器,存储不足,买新的服务器。
垂直扩容:如果资源不足的时候,优化资源。如:服务器能力不足,替换新的更强的服务器。
2.1 水平扩容
增加新的集群节点,实现扩容。水平扩容方案使用的频率更高。
2.2 垂直扩容
替换集群节点硬件配置。在节点数量不变的情况下,实现扩容逻辑。垂直扩容有硬件瓶颈,且成本过高,相对使用的更少。
3 节点变化时的数据rebalance
在节点发生变化时,ES的cluster会自动调整每个节点中的数据,也就是shard的重新分配。这个过程就是rebalance。ES做rebalance,目的是为了提高性能。理论上,当数据量达到一定级别的时候,每个shard分片上的数据量是均等的。那么每个节点管理的shard数量是均等的情况,ES集群才能提供最好的服务性能。
4 master节点作用
现在不是讲如何配置master,是讲解master的功能。讲解master概念。
维护集群元数据的节点。如:索引的变更(创建和删除),对应的元数据保存在master节点中。
集群在默认配置中,会自动的选举出master节点。
master不是请求的唯一接收节点。只是维护元数据的特殊节点。不会导致单点瓶颈。
元数据是一个收集管理的过程。不是一个必要的不可替代的数据。Master如果宕机,集群会选举出新的master,新的master会在集群的所有节点中重新收集集群元数据并管理。
5 节点平等的分布式架构
节点平等 - 每个节点都能接收客户端请求。不会造成单点压力
自动请求路由 - 节点在接收到客户端请求时,会自动的识别应该由哪个节点处理本次请求,并实现请求的转发。
响应收集 - 在自动请求路由后,接收客户端请求的节点会自动的收集其他节点的处理结果,并统一响应给客户端。
6 并发冲突
ES是一个分布式的集群应用,是处理高并发环境的应用。有高并发,就可能有并发冲突问题。
如电商系统中的商品库存更新问题。
6.1 悲观锁
一般是关系型数据库中使用。控制并发执行数量。让每个单位时间中,只有一个线程控制一条数据。如:表级锁,行级锁,读锁,写锁等。
6.2 乐观锁
基于版本(时间戳)实现的数据控制方式。也就是在对数据实现写操作时,必须保证被修改数据的版本(时间戳)与读取时的版本(时间戳)完全一致。常使用于关系型数据库、分布式数据存储应用、数据缓存服务器等。在ES中通常使用乐观锁机制控制并发访问冲突问题。
select xxx from table where xxxxxxx
update table set xxx=new_value, version = new_version where id=? and version=上一次查询到的数据
6.2.1 测试内置_version
案例数据:
GET products_index/phone_type/1
{
"_index": "products_index",
"_type": "phone_type",
"_id": "1",
"_version": 1, # 元数据 version。 版本信息。 默认是ES控制。每次写操作,版本自增1。删除也是写操作。
"found": true,
"_source": {
"name": "IPHONE 8",
"remark": "64G",
"price": 548800,
"producer": "APPLE",
"tags": [
"64G",
"red color",
"Nano SIM"
]
}
}
全量替换(乐观锁):乐观锁的使用,就是通过参数version。ES会检查请求中的version和存储中的version是否相等。如果不相等报错,如果相等,修改。
PUT /products_index/phone_type/1?version=2
{
"name" : "iphone x",
"remark" : "256G",
"price" : 899900,
"producer" : "apple",
"tags" : [ "256G" ]
}
6.2.2 测试external version
ES提供了一个feature,就是可以自定义version实现ES内置的_version元数据版本管理功能。与元数据_version的区别是:元数据比对必须完全一致;而external version必须比元数据_version数据大。
external version版本控制特点:要求提供的version数据必须比元数据_version大。在更新成功后,ES中记录的元数据_version修改为提供的external version数据值。
案例数据:
GET products_index/phone_type/1
{
"_index": "products_index",
"_type": "phone_type",
"_id": "1",
"_version": 3,
"found": true,
"_source": {
"name": "iphone x",
"remark": "256G",
"price": 899900,
"producer": "apple",
"tags": [
"256G"
]
}
}
元数据_version修改:
PUT /products_index/phone_type/1?version=3
{
"name" : "iphone x",
"remark" : "256G",
"price" : 899900,
"producer" : "apple",
"tags" : [ "256G" ]
}
external version修改:
PUT /products_index/phone_type/1?version=5&version_type=external
{
"name" : "iphone x",
"remark" : "256G",
"price" : 899900,
"producer" : "apple",
"tags" : [ "256G" ]
}
6.2.3 测试partial update乐观锁
在ES中,使用partial update更新数据时,ES内部自动使用乐观锁控制数据的并发安全。如果出现数据冲突(版本不一致)的时候,ES会提示更新失败。可以通过命令中的参数实现手工管理乐观锁。在ES中,retry_on_conflict和version参数不能同时使用。因为ES中的partial update本身自带乐观锁控制。所以,如果再传递一个version参数,是有底层控制冲突的。
使用参数retry_on_conflict,自动重试多次,实现乐观锁控制。
POST /products_index/phone_type/1/_update?retry_on_conflict=3
{
"doc": {
"price" : 2999900
}
}
使用参数version,指定版本的乐观锁控制
POST /products_index/phone_type/1/_update?version=5
{
"doc": {
"price" : 999900
}
}