es文档版本控制

GET test1/_doc/1可以获取如下信息:

"_index" : "test1",
"_type" : "_doc",
"_id" : "1",
"_version" : 5,
"_seq_no" : 20797327,
"_primary_term" : 2,
"found" : true,
...
_version:文档版本,每次更新文档时递增。
_seq_no:配置给文档的序列号用来进行索引操作,用于确保文档的旧版本不会覆盖新版本。
_primary_term:配置给文档的主term用来进行索引操作。

索引文档可以通过if_seq_noif_primary_term参数进行当前文档版本的判断,如指定参数和当前文档版本一致则满足索引条件修改文档并且seq_no增加一,则会抛出VersionConflictException409

通过使用_create或者将op_type设置为create(默认为index)可实现仅索引不存在的文档(通过id辨别)。

版本控制:

每个文档都有一个版本号。默认的内置版本号从1开始每次更新或删除的时候递增(_primary_term默认1,_version_seq_no随更新删除同步递增)。也可以将版本号设置为外部值(数据库中维护),设置version_typeexternal开启,数值型,值必须大于等于0小于9.2e+18。
使用外部类型时,系统会检查传递给索引请求的版本号是否大于当前存储文档的版本。如果为 true,则文档将被索引并使用新版本号;如果提供的值小于或等于存储文档的版本号,则会发生版本冲突,索引操作将失败(409)。例如:

PUT my-index-000001/_doc/1?version=2&version_type=external
{
  "user": {
    "id": "elkbee"
  }
}

版本类型version_type:

internal:通过if_seq_no和if_primary_term控制,判断相等才索引
external:通过version判断,大于或者不存在才索引
external_gte:通过version判断,大于等于或不存在才索引

乐观锁控制并发:

es是分布式的,当文档创建、更新或者删除时,必须将文档新的版本号复制到集群其他节点。es也是异步并发的,这意味着这些复制请求并行发送,并可能会乱序到达目标节点。es需要一种方法来保证文档的就把按本不会覆盖新版本。
为了确保文档的旧版本不会覆盖新版本,对文档的每个操作都会由执行该操作的主分片分配一个序列号(_seq_no)。每次操作都会增加序列号,因此可以保证新操作比旧操作具有更高的序列号。这样es可以通过操作的_seq_no确保新的文档版本永远不会被分配了较小序列号的更改覆盖。
在PUT数据是会生成初始的_seq_no_primary_term:_seq_no针对索引级别,不同文档id的_seq_no会和并累加计算。

POST caster/_doc/2
{
  "name":"2"
}

{
  "_index" : "caster",
  "_type" : "_doc",
  "_id" : "2",
  "_version" : 1,
  "result" : "created",
  "_shards" : {
    "total" : 2,
    "successful" : 2,
    "failed" : 0
  },
  "_seq_no" : 6,
  "_primary_term" : 1
}

Get API可以直接获取_seq_no_primary_term,Search API需要指定seq_no_primary_term参数显示他们。
_seq_no_primary_term唯一地标识更改。通过记录返回的_seq_no和_primary_term,您可以确保仅在检索后没有对其进行其他更改的情况下才更改文档。通过设置index、update 或delete API的if_seq_noif_primary_term参数来完成的。

version和seq_no&primary_term的区别:
version应用于外部即version_type=external时进行控制;
新版本使用seq_no&primary_term应用于es内部自己版本控制时使用。

primary_term的意义:
在shard节点间迁移,修改副本数等情况均未发生改变。
重新分配选举主shard或者主shard宕机副本上位时多个文档_seq_no一样等异常时起作用。

上一篇:ZigBee TI ZStack CC2530 4.1 三种网络设备类型


下一篇:openstack neutron中涉及的网络设备