filebeat收集容器日志
现在很多公司都是用docker容器来运行服务,一台机器上会有很多个docker,docker容器里面的日志也需要收集分析,filebeat也有docker容器的日志收集方案
官方配置地址https://www.elastic.co/guide/en/beats/filebeat/6.6/filebeat-input-docker.html
1.部署docker
1.安装docker
[root@docker ~]# wget -O /etc/yum.repos.d/docker-ce.repo https://download.docker.com/linux/centos/docker-ce.repo
[root@docker ~]# sed -i 's#download.docker.com#mirrors.tuna.tsinghua.edu.cn/docker-ce#' /etc/yum.repos.d/docker-ce.repo
[root@docker ~]# yum -y install docker-ce
[root@docker ~]# tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["https://zggyaen3.mirror.aliyuncs.com"]
}
EOF
{
"registry-mirrors": ["https://zggyaen3.mirror.aliyuncs.com"]
}
2.启动docker
[root@docker ~]# systemctl start docker
3.运行一个nginx容器
[root@docker ~]# docker run -d -p 888:80 nginx
4.查看容器日志路径,这个日志就是容器里面程序的日志
[root@docker ~]# docker inspect compassionate_mayer | grep log
"LogPath": "/var/lib/docker/containers/7b345b1107fdd302d6b476403bb61eaca19414d42a3c316283d3f490f7380dfb/7b345b1107fdd302d6b476403bb61eaca19414d42a3c316283d3f490f7380dfb-json.log",
2.配置filebeat收集单个docker容器日志
2.1.配置filebeat
1.配置filebeat
[root@docker /etc/filebeat]# vim /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: docker
containers.ids:
- '7b345b1107fdd302d6b476403bb61eaca19414d42a3c316283d3f490f7380dfb' #填写容器的id
output.elasticsearch:
hosts: ["192.168.81.210:9200"]
indices:
index: "docker-nginx-%{+yyyy.MM.dd}"
setup.template.name: "docker"
setup.template.pattern: "docker-*"
setup.template.enabled: false
setup.template.overwrite: true
2.重启filebeat
[root@docker /etc/filebeat]# systemctl restart filebeat.service
2.2.查看es是否产生了索引
2.3.kibana关联es上的索引
点击Managerment—创建索引
2.4.查看收集来的日志
点击Discovery—选择索引
这次收集的docker容器日志不是那么细分的,虽然这个日志也是json格式,但是docker默认他们放在了一个value里
格式化后的日志
3.配置filebeat收集多个容器日志
3.1.运行多个docker
[root@docker ~]# docker run -d -p 999:80 nginx
[root@docker ~]# docker run -d -p 888:80 nginx
3.2.配置filebeat
[root@docker ~]# grep -Ev '#|^$' /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: docker
containers:
path: "/var/lib/docker/containers" #docker容器日志的路径
ids:
- "*" #如果只想收集一个容器的日志,就写一个容器的id号,如果想收集所有容器的日志则写*
output.elasticsearch:
hosts: ["192.168.81.210:9200"]
indices:
index: "docker-nginx-%{+yyyy.MM.dd}"
setup.template.name: "docker"
setup.template.pattern: "docker-*"
setup.template.enabled: false
setup.template.overwrite: true
3.3.产生日志
ab -c 100 -n 5672 http://www.jiangxl.com:999/
ab -c 100 -n 1000 http://www.jiangxl.com:888/
3.4.查看es索引是否增加数据
已经增加
3.5.kibana关联es索引
3.6.查看收集来的日志是不是多个容器的
已经是不同容器的日志了