ELK日志分析系统(5)--部署metricbeats和filebeats

2023-12-31 19:00:34

文章目录

一、beats介绍

beats也是用于数据采集，作用和logstash相同，它相当于将logstash拆分成了许多个小的部分
beats更轻量化，使用go语言开发，资源消耗小，处理更迅速；而logstash使用java开发，对资源的消耗比较大
elastic官方提供了多种beats

官方文档:https://www.elastic.co/guide/en/beats/libbeat/current/beats-reference.html

二、部署metricbeats

轻量型指标采集器用于从系统和服务收集指标。Metricbeat 能够以一种轻量型的方式，输送各种系统和服务统计数据，从 CPU 到内存，从 Redis 到 Nginx，不一而足。
可以获取系统级的 CPU 使用率、内存、文件系统、磁盘 IO 和网络 IO 统计数据，还可针对系统上的每个进程获得与 top 命令类似的统计数据。

1.安装

2.配置metricbeat以发送至监测集群

[root@server1 7.6]# scp filebeat-7.6.1-x86_64.rpm metricbeat-7.6.1-x86_64.rpm server2:
[root@server1 7.6]# scp filebeat-7.6.1-x86_64.rpm metricbeat-7.6.1-x86_64.rpm server3:
[root@server2 ~]# rpm -ivh metricbeat-7.6.1-x86_64.rpm

[root@server2 ~]# cd /etc/metricbeat/
[root@server2 metricbeat]# ls
fields.yml  metricbeat.reference.yml  metricbeat.yml  modules.d
[root@server2 metricbeat]# cd modules.d/
[root@server2 modules.d]# ls
[root@server2 modules.d]# metricbeat modules enable elasticsearch-xpack
Enabled elasticsearch-xpack
[root@server2 modules.d]# vim elasticsearch-xpack.yml

3. 启动elasticsearch-xpack插件

[root@server2 modules.d]# cd ..
[root@server2 metricbeat]# vim metricbeat.yml
[root@server2 metricbeat]# systemctl start metricbeat.service

4. server1 3做同样操作

server3

server1

三、部署filebeats

官方文档:https://www.elastic.co/guide/en/beats/filebeat/7.6/filebeat-module-elasticsearch.html

1.初始状态查看

2.server1 2 3做相同配置

[root@server1 7.6]# rpm -ivh filebeat-7.6.1-x86_64.rpm
[root@server1 7.6]# cd /etc/filebeat/
[root@server1 filebeat]# ls
fields.yml  filebeat.reference.yml  filebeat.yml  modules.d
[root@server1 filebeat]#  cd modules.d/
[root@server1 modules.d]# filebeat modules enable elasticsearch
Enabled elasticsearch
[root@server1 modules.d]# vim elasticsearch.yml 
  server:
    var.paths:
      - /var/log/elasticsearch/*.log
      - /var/log/elasticsearch/*_server.json

  gc:
    var.paths:
      - /var/log/elasticsearch/gc.log.[0-9]*
      - /var/log/elasticsearch/gc.log

  audit:
    var.paths:
      - /var/log/elasticsearch/*_access.log
      - /var/log/elasticsearch/*_audit.json

  slowlog:
    var.paths:
      - /var/log/elasticsearch/*_index_search_slowlog.log
      - /var/log/elasticsearch/*_index_indexing_slowlog.log
      - /var/log/elasticsearch/*_index_search_slowlog.json
      - /var/log/elasticsearch/*_index_indexing_slowlog.json

  deprecation:
    var.paths:
      - /var/log/elasticsearch/*_deprecation.log   
      - /var/log/elasticsearch/*_deprecation.json

[root@server1 modules.d]# cd ..
[root@server1 filebeat]# ls
fields.yml  filebeat.reference.yml  filebeat.yml  modules.d
[root@server1 filebeat]# vim filebeat.yml
[root@server1 filebeat]# systemctl start filebeat.service