【linux】【ELK】搭建Elasticsearch+Logstash+Kibana+Filebeat日志收集系统

2022-04-06 21:49:57

前言

ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。

Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。

Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。

Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据。

Filebeat是本地文件的日志数据采集器。作为服务器上的代理安装，Filebeat监视日志目录或特定日志文件，tail file，并将它们转发给Elasticsearch或Logstash进行索引、kafka 等。

linux本地docker.log--》filebeat（收集日志）--》logstash（过滤）--》elasticsearch（添加索引）--》kibana检索显示

docker-elk 服务端：https://github.com/jiangxd0716/ELK-filebeat.git elasticsearch logstash kibana

elk-filebeat 客户端：https://github.com/jiangxd0716/ELK-filebeat.git filebeat用于收集日志，传给elk

环境

Centos7

192.168.8.20  elasticsearch logstash kibana filebeat

192.168.8.10  filebeat

192.168.8.30  filebeat

服务：

elasticsearch：9200
logstash：5000
kibana：5601

安装

一、安装docker-elk服务端

1.拉取代码

git clone https://github.com/jiangxd0716/ELK-filebeat.git

2.安装docker及docker-compose

参考：https://www.cnblogs.com/jxd283465/p/11542127.html

3.启动服务端

[root@localhost docker-elk]# pwd

/home/ELK-filebeat/docker-elk
[root@localhost docker-elk]# docker-compose up -d

Starting dockerelk_elasticsearch_1 ...

Starting dockerelk_elasticsearch_1 ... done

Starting dockerelk_kibana_1 ...

Starting dockerelk_logstash_1 ...

Starting dockerelk_kibana_1

Starting dockerelk_kibana_1 ... done

[root@localhost docker-elk]# docker ps

CONTAINER ID        IMAGE                     COMMAND                  CREATED             STATUS              PORTS                                                      NAMES

7152edaa71dc        dockerelk_kibana          "/usr/local/bin/dumb…"   3 minutes ago       Up 4 seconds        0.0.0.0:5601->5601/tcp                                     dockerelk_kibana_1

63908878fb00        dockerelk_logstash        "/usr/local/bin/dock…"   3 minutes ago       Up 4 seconds        0.0.0.0:5000->5000/tcp, 0.0.0.0:9600->9600/tcp, 5044/tcp   dockerelk_logstash_1

d3c44ac2264c        dockerelk_elasticsearch   "/usr/local/bin/dock…"   3 minutes ago       Up 4 seconds        0.0.0.0:9200->9200/tcp, 0.0.0.0:9300->9300/tcp             dockerelk_elasticsearch_1

4.访问kibana

浏览器访问 http://192.168.8.20:5601

二、安装客户端

1.修改filebeat的配置文件filebeat.yml-------output到elasticsearch或者logstash

[root@localhost config]# pwd

/home/ELK/ELK/docker-elk/filebeat/config

[root@localhost config]# vi filebeat.yml

[root@localhost config]# cat filebeat.yml

filebeat.prospectors:

- type: log

  enabled: true

  paths:

    - /var/lib/docker/containers/*/*.log #需要读取日志的目录#这里读取的是docker的日志文件，也可以加入tomcat、nginx等配置文件

  document_type: syslog

  json.keys_under_root: true # 因为docker使用的log driver是json-file，因此采集到的日志格式是json格式，设置为true之后，filebeat会将日志进行json_decode处理

  json.add_error_key: true #如果启用此设置，则在出现JSON解组错误或配置中定义了message_key但无法使用的情况下，Filebeat将添加“error.message”和“error.type：json”键。

  json.message_key: log #一个可选的配置设置，用于指定应用行筛选和多行设置的JSON密钥。 如果指定，键必须位于JSON对象的顶层，且与键关联的值必须是字符串，否则不会发生过滤或多行聚合。

  tail_files: true

  # 将error日志合并到一行

  multiline.pattern: '^([0-9]{4}|[0-9]{2})-[0-9]{2}'

  multiline.negate: true

  multiline.match: after

  multiline.timeout: 10s

#  registry_file: /opt/filebeat/registry

#-------------------------- Elasticsearch output ------------------------------

# 直接输出到elasticsearch,这里的hosts是elk地址，端口号是elasticsearch端口#

#output.elasticsearch:

#  hosts: ["192.168.8.100:9200"]

#  username: "elastic"

#  password: "changeme"

output:

 logstash:

  enabled: true

  hosts:

      - 192.168.8.20:5000  #这里将filebeat收集的日志output到logstash，此处为logstash的ip和端口，也可以直接输送到elasticsearch

#==================== Elasticsearch template setting ==========================

setup.template.name: "filebeat.template.json"

setup.template.fields: "filebeat.template.json"

setup.template.overwrite: true

setup.template.enabled: false

# 过滤掉一些不必要字段#

processors:

- drop_fields:

    fields: ["input_type", "offset", "stream", "beat"]

2.启动客户端

 [root@localhost elk-filebeat]# pwd

 /home/ELK-filebeat/elk-filebeat

 [root@localhost elk-filebeat]# docker-compose up -d

 Creating network "elkfilebeat_default" with the default driver

 Creating elkfilebeat_filebeat_1 ...

 Creating elkfilebeat_filebeat_1 ... done

[root@localhost elk-filebeat]# docker ps

CONTAINER ID        IMAGE                     COMMAND                  CREATED             STATUS              PORTS                                                      NAMES

31749410acdf        prima/filebeat            "/docker-entrypoint.…"   5 minutes ago       Up 5 minutes                                                                   elkfilebeat_filebeat_1

2e57371faa8c        dockerelk_kibana          "/usr/local/bin/dumb…"   7 minutes ago       Up 7 minutes        0.0.0.0:5601->5601/tcp                                     dockerelk_kibana_1

09220beadd39        dockerelk_logstash        "/usr/local/bin/dock…"   7 minutes ago       Up 7 minutes        0.0.0.0:5000->5000/tcp, 0.0.0.0:9600->9600/tcp, 5044/tcp   dockerelk_logstash_1

1ab3c9b426cc        dockerelk_elasticsearch   "/usr/local/bin/dock…"   7 minutes ago       Up 7 minutes        0.0.0.0:9200->9200/tcp, 0.0.0.0:9300->9300/tcp             dockerelk_elasticsearch_1

码农公寓

前言

环境

安装

一、安装docker-elk服务端

二、安装客户端

相关文章