ES(二): Build ES Cluster on Azure VM

2022-09-24 12:46:25

目录：

系统环境准备
安装ES集群
安装Kibana
安装x-pack
安装head

系统环境准备

参见： HDP2.4安装(二)：Centos7配置
修改network：
修改hosts:
配置ssh ：
配置ntp服务
配置selinux
安装java jdk
文件数与虚拟内存配置

命令：vim /etc/sysctl.conf 打开编辑器中增加如下配置
```
fs.file-max=655350

vm.max_map_count=655360
```
执行命令：sysctl -p
命令： vim /etc/security/limits.conf 添加下面配置：
```
* soft nofile 655350

* hard nofile 655350
```

命令：reboot （重启机器）
测试集群节点：
10.0.0.5 JNES01 (A2系列)
10.0.0.6 JNES02 (A2系列）

安装ES集群

ES5.1下载地址： https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.1.1.tar.gz
解压： tar -zxvf elasticsearch-5.1.1.tar.gz
新建存储目录： mkdir -p /mnt/data/esdata
目录权限：chmod -R 777 /mnt/data/esdata/

修改配置：vim elasticsearch.yml

# ---------------------------------- Cluster -----------------------------------

cluster.name: JNES

http.cors.enabled: true

http.cors.allow-origin: "*"

thread_pool:

     bulk:

          size: 3

          queue_size: 1000

# ------------------------------------ Node ------------------------------------

node.name: JNES01

# ----------------------------------- Paths ------------------------------------

path.data: /mnt/data/esdata

# ----------------------------------- Memory -----------------------------------

bootstrap.memory_lock: false

indices.fielddata.cache.size: 25%

# ---------------------------------- Network -----------------------------------

network.host: 10.0.0.5

http.port: 12000

transport.tcp.port: 12300

# --------------------------------- Discovery ----------------------------------

discovery.zen.ping.unicast.hosts: ["10.0.0.5", "10.0.0.6"]

discovery.zen.minimum_master_nodes: 1

discovery.zen.ping_timeout: 20s

# ---------------------------------- Various -----------------------------------

action.auto_create_index: true

xpack.security.enabled: false

将文件scopy至JNES02，然后修改node节点名
命令：vim jvm.options A2的机器更改配置：-Xms1g
teld用户下运行elastic，需更改root安装文件的权限，并确保teld具有es数据目录的读写权限，命令：sudo chmod -R 777 /zhu/elasticsearch-5.1.1
切换目录至： cd /zhu/elasticsearch-5.1.1/bin
后台启动ES： ./elasticsearch -d (-d: 参数表示后台启动，不带该参数表示前台启动）
检测命令：curl 10.0.0.5:12000 如下图则ok
命令： jps 查看es进程号，停止服务通过 kill 进程号来处理
命令： ./elasticsearch help （查看命令行帮助）

安装Kibana

下载地址：https://artifacts.elastic.co/downloads/kibana/kibana-5.1.1-linux-x86_64.tar.gz
解压： tar -zxvf kibana-5.1.1-linux-x86_64.tar.gz

配置修改： vim kibana.yml

server.port: 5500

server.host: "10.0.0.5"

elasticsearch.url: "http://10.0.0.5:12000"

elasticsearch.requestTimeout: 180000

elasticsearch.pingTimeout: 15000

xpack.security.enabled: false

切换至kibana目录： cd /zhu/kibana-5.1.1-linux-x86_64/
启动服务： ./kibana
后台启动服务：nohup ./kibana & （简单而有用的nohup命令在UNIX/LINUX中，普通进程用&符号放到后台运行，用nohup命令启动程序：nohup <程序名> & ）
查看服务：netstat -pan |grep 5500
停止进程：kill -9 63890
配置端口映射，如下图
外网访问kibana,如下图：
之前版本ES和Kibana配合还需要使用plugin安装一些Marvel，sense等，现在都不需要了，DevTools就是之前的Sense

安装x-pack

X-pack插件: x-pack是elasticsearch的一个扩展包，将安全，警告，监视，图形和报告功能捆绑在一个易于安装的软件包中，包含功能如下：
当安装X-pack在群集上，监控代理运行在每个节点上收集和指数指标从Elasticsearch。
安装在X-pack在Kibana上，可以查看通过一套专门的仪表板监控数据
命令： ./elasticsearch-plugin install x-pack 如下图（切换到es安装bin目录下，所有ES节点都需安装）
命令： ./kibana-plugin install file:///zhu/x-pack-5.1.1.zip （切至kibana解压bin目录，zip文件需从网上下载，只需在安装kibana的机器上安装即可）
通过kibana查看集群信息，如下图：

安装head

head插件可以用来快速查看elasticsearch中的数据概况以及非全量的数据，也支持控件化查询和rest请求，但是体验都不是很好。一般就用它来看各个索引的数据量以及分片的状态
下载安装head插件，下载地址： https://codeload.github.com/mobz/elasticsearch-head/zip/master 下载至本地后上传（任选一台机器上安装即可）
命令：unzip elasticsearch-head-master.zip
下载安装nodejs, 下载地址：https://nodejs.org/dist/v6.9.2/node-v6.9.2-linux-x64.tar.xz 下载至本地后上传
命令：xz -d node-v6.9.2-linux-x64.tar.xz
命令：tar -xvf node-v6.9.2-linux-x64.tar
命令：mv node-v6.9.2-linux-x64 /zhu/node

配置node环境变量： vim /etc/profile 加如下配置

export NODE_HOME=/zhu/node

export PATH=$PATH:$NODE_HOME/bin

命令：source /etc/profile
验证命令：node -v
验证命令：npm -v
grunt是一个很方便的构建工具，可以进行打包压缩、测试、执行等等的工作，head插件就是通过grunt启动的。因此需要安装一下
安装grunt，切换至目录： cd elasticsearch-head-master
命令： npm install grunt
测试：切换至目录：cd elasticsearch-head-master/node_modules/grunt/bin
命令：./grunt
按提示安装如下包,切换至如下目录： cd /zhu/elasticsearch-head-master
命令：npm install grunt-contrib-clean --registry=https://registry.npm.taobao.org
命令：npm install grunt-contrib-concat --registry=https://registry.npm.taobao.org
命令：npm install grunt-contrib-watch --registry=https://registry.npm.taobao.org
命令：npm install grunt-contrib-connect --registry=https://registry.npm.taobao.org
命令：npm install grunt-contrib-copy --registry=https://registry.npm.taobao.org
命令：npm install grunt-contrib-jasmine --registry=https://registry.npm.taobao.org
安装完成后检查：./grunt -version
head直接执行有很多限制，比如无法跨机器访问等，因此需要用户修改如下两个地方：
修改head目录下Gruntfile.js配置, 添加hostname: '10.0.0.5' 或 "*"
修改连接地址：目录：head/_site/app.js, 把localhost修改成你es的服务器地址,如下：
把localhost修改成你es的服务器地址，如: this.base_uri = this.config.base_uri || this.prefs.get("app-base_uri") || "http://10.0.0.5:12000";
切换目录至：cd /zhu/elasticsearch-head-master
运行：node_modules/grunt/bin/grunt server 如下图
后台运行：nohup node_modules/grunt/bin/grunt server &
查看命令：netstat -pan |grep 9100
访问示例图如下：

码农公寓

相关文章