ELK之elasticdump迁移es数据

  参考:https://www.cnblogs.com/resn/p/9082663.html

  elasticsearch部分查询语句

  获取集群节点列表

curl "172.16.30.55:9200/_cat/nodes?v"

  

ELK之elasticdump迁移es数据

  列出所有索引

curl "172.16.30.55:9200/_cat/indices?v"

ELK之elasticdump迁移es数据

  如果节点安装了search guard认证使用以下命令

curl "https://admin:admin@172.16.30.55:9200/_cat/indices?v" -k

  -k取消证书验证而使用用户名和密码验证

  安装elasticdump

wget https://nodejs.org/dist/v8.11.2/node-v8.11.2-linux-x64.tar.xz

tar xf node-v8.11.2-linux-x64.tar.xz 

mv node-v8.11.2-linux-x64 /usr/local

ln -s /usr/local/node-v8.11.2-linux-x64/bin/npm /usr/local/bin/npm

ln -s /usr/local/node-v8.11.2-linux-x64/bin/node /usr/local/bin/node

npm init -f

npm install elasticdump

  修改文件增加以下内容/etc/profile

export NODE_HOME=/usr/local/node-v8.11.2-linux-x64
export PATH=$PATH:$NODE_HOME/bin:/opt/node_modules/elasticdump/bin
export NODE_PATH=$NODE_HOME/lib/node_modules

  设置生效

source /etc/profile

  数据迁移

  数据通过网络进行迁移 从主机172.16.30.55迁移至172.16.30.56

#拷贝映射
elasticdump \
--input=http://172.16.30.55:9200/nginx-prod-log-2019.02 \
--output=http://172.16.30.55:9200/nginx-prod-log-2019.02\
--type=mapping
#拷贝数据 elasticdump \
--input=http://172.16.30.55:9200/nginx-prod-log-2019.02 \
--output=http://172.16.30.56:9200/nginx-prod-log-2019.02 \
--type=data

  

  如果网络不好或者没有网络还可以先备份到文件

#备份映射
elasticdump \
--input=http://172.16.30.55:9200/nginx-prod-log-2019.02 \
--output=/tmp/nginx-prod-log_mapping.json \
--type=mapping #备份数据
elasticdump \
--input=http://172.16.30.55:9200/nginx-prod-log-2019.02 \
--output=/tmp/nginx-prod-log_data.json \
--type=data

  通过备份文件恢复数据

#恢复映射
elasticdump \
--input=/tmp/nginx-prod-log_mapping.json \
--output=http://172.16.30.55:9200/ \ #恢复数据
elasticdump \
--input=/tmp/nginx-prod-log_data.json \
--output=http://172.16.30.55:9200/ \

  

  加密的数据迁移 当客户端使用search guard进行加密时候数据迁移命令格式如下

#前面加参数,后面https加入用户名和密码即可
NODE_TLS_REJECT_UNAUTHORIZED=0 elasticdump --input=http://172.16.90.11:9200/try_on_2019.03 --output=https://admin:admin@172.16.30.11:9200/try_on_2019.03 --type=mapping
NODE_TLS_REJECT_UNAUTHORIZED=0 elasticdump --input=http://172.16.90.11:9200/try_on_2019.03 --output=https://admin:admin@172.16.30.11:9200/try_on_2019.03 --type=data

  PS:同理如果是output端是search guard加密也是在前面加参数然后把http改成https后面在加用户名和密码认证

  从备份好的json文件恢复至加密的elasticsearch命令格式如下

NODE_TLS_REJECT_UNAUTHORIZED=0 elasticdump --input=mapping20190610/on_the_ark_2019.02_mapping.json --output=https://root:password@172.16.30.11:9200
NODE_TLS_REJECT_UNAUTHORIZED=0 elasticdump --input=data20190610/96_stock_data.json --output=https://root:password@172.16.30.11:9200/

  

  PS:输入不需要加密认证,输出不需要加--type参数

上一篇:golang struct扩展函数参数命名警告


下一篇:常用html、CSS、javascript前端命名规范