快速搭建日志系统

快速搭建日志系统

1. 背景

  • 平时线上查日志,大家很烦 敲命令,有时候 还不给我权限 ,如果集群,分布式系统 排查日志更加困难

tail -f *.log

tail -n

cat log.txt | grep 'msg' -C 5 前后5行

2. 那就来一套 用的较多 的 filebeat + logstash + es + kibana 日志系统吧

  1. 安装 es

    docker pull elasticsearch:7.1.1
    
    docker run -d --name elasticsearch --net somenetwork -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.1.1
    
    # 创建网络 可以不用
    docker network create somenetwork 
    
  2. 安装 kibana

    docker pull kibana:7.1.1
    
    docker run -d -e "I18N_LOCALE=zh-CN" --name  kibana --net somenetwork -p 5601:5601 kibana:7.1.1
    
  3. 安装 filebeat

    不想用docker了, 下载安装包,解压,改配置

快速搭建日志系统

快速搭建日志系统

启动 nohup ./filebeat -e -c filebeat.yml &

  1. 安装 logstash,一样 下载安装包,改配置 启动 logstash.conf

    input {
      beats {
        port => 5044
      }
    }
    filter {
       grok {
            match => ["message", "%{TIMESTAMP_ISO8601:logdate}"]
      }
      date {
            match => ["logdate", "yyyy-MM-dd HH:mm:ss.SSS"]
            target => "@timestamp"
      }
      mutate{
    	remove_field => ["logdate"]
      }
    }
    output {
      elasticsearch {
        hosts => ["http://172.16.13.68:9200"]
        index => "security-platform-%{+YYYY.MM.dd}"
        #user => "elastic"
        #password => "changeme"
      }
    }
    

    启动 nuhup bin/logstash -f config/logstash.conf &

3.效果

快速搭建日志系统

快速搭建日志系统

4. 总结

有了这个 不会linux 也能快速查看日志,排查错误了

上一篇:word press网站搭建经验分享


下一篇:云原生计算重塑企业IT架构 - 分布式应用架构