Graylog2日志服务安装配置

2023-08-28 18:26:04

软件版本：

mongodb-org-3.2.10
jdk-1.8.0 （推荐rpm包，不然要修改Graylog启动脚本定义的JAVA命令路径）
elasticsearch-2.4.1 （Graylog 2.x does not work with Elasticsearch 5.x）
graylog-server-2.1.1 （1.3版本之后已经集成graylog-web）

1.MongoDB

编辑/etc/yum.repos.d/mongodb-org-3.2.repo文件

[mongodb-org-3.2]

name=MongoDB Repository

baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.2/x86_64/

gpgcheck=1

enabled=1

gpgkey=https://www.mongodb.org/static/pgp/server-3.2.asc

安装mongodb

yum install mongodb-org

启动mongodb

/etc/init.d/mongod start

2.Elasticsearch

编辑/etc/yum.repos.d/elasticsearch.repo文件

[elasticsearch-2.x]

name=Elasticsearch repository for 2.x packages

baseurl=https://packages.elastic.co/elasticsearch/2.x/centos

gpgcheck=1

gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch

enabled=1

安装elasticsearch

yum install elasticsearch

修改/etc/elasticsearch/elasticsearch.yml文件

cluster.name: graylog

启动elasticsearch

 /etc/init.d/elasticsearch start

3.Graylog

安装graylog仓库

rpm -Uvh https://packages.graylog2.org/repo/packages/graylog-2.1-repository_latest.rpm

yum install graylog-server

安装epel仓库和pwgen软件

rpm -ivh https://dl.fedoraproject.org/pub/epel/epel-release-latest-6.noarch.rpm

yum install -y pwgen （后面生成密码使用）

生成password_secret密码

pwgen -N  -s

生成root_password_sha2密码

echo -n  | sha256sum

修改/etc/graylog/server/server.conf配置文件，将上面生成的密码写入到对应的变量

password_secret =

root_password_sha2 =

root_timezone = Asia/Shanghai

rest_listen_uri =  http://0.0.0.0:9000/api/

web_listen_uri = http://0.0.0.0:9000/

allow_highlighting = true （运行查询结果高亮）

elasticsearch_shards =  （当前只安装了一个elasticsearch）

elasticsearch_index_prefix = graylog

启动graylog

/etc/init.d/graylog-server start

登录graylog

http://IP（graylog-server）:9000 进入graylog登录页

管理员帐号/密码： admin/（前面生成的密码）

4.日志采集

4.1测试日志获取

添加tcp协议
进入 System > Inputs > Inputs in Cluster > Raw/Plaintext TCP | Launch new input

取名"tcp 5555" 完成创建：

在安装有nc命令的Linux机器上执行：

echo `date` | nc graylog-server 5555

登录web页面查看获取的信息：

4.2 系统日志采集，使用rsyslog服务推送

添加Inputs端口，例如1514

修改采集端的rsyslog配置文件/etc/rsyslog.conf，开启UDP端口。重启rsyslog服务

$ModLoad imudp
$UDPServerRun 514

修改被采集端的rsyslog配置文件/etc/rsyslog.conf。重启rsyslog服务

$template GRAYLOGRFC5424,"<%pri%>%protocol-version% %timestamp:::date-rfc3339% %HOSTNAME% %app-name% %procid% %msg%\n"

*.* @172.17.20.123:1514（Inputs定义的端口）;GRAYLOGRFC5424

搜集到的系统日志信息：

4.3 nginx日志采集，使用rsyslog服务推送

在nginx服务器上，修改rsyslog配置文件/etc/rsyslog.conf，修改如下配置

$ModLoad imfile

添加配置文件/etc/rsyslog.d/nginx.conf（名称自定义）

$InputFileName /var/log/nginx/error.log
$InputFileTag graylog-nginx-errorlog:
$InputFileStateFile state-graylog-nginx-errorlog
$InputRunFileMonitor
$InputFileName /var/log/nginx/access.log
$InputFileTag graylog-nginx-accesslog:
$InputFileStateFile state-graylog-nginx-accesslog
$InputRunFileMonitor
$InputFilePollInterval 10 #等待10秒钟发送一次
if $programname == 'graylog-nginx-errorlog' then @172.17.20.123:514
if $programname == 'graylog-nginx-errorlog' then ~
if $programname == 'graylog-nginx-accesslog' then @172.17.20.123:514
if $programname == 'graylog-nginx-accesslog' then ~
*.* @172.17.20.123:514

重启rsyslog服务

/etc/init.d/rsyslog restart

搜集到的nginx日志信息：

5.和kibana集成

安装kibana

rpm -ivh https://download.elastic.co/kibana/kibana/kibana-4.6.2-x86_64.rpm

启动kibana

/etc/init.d/kibana start

创建graylog index mapping 文件，graylog-custom-mapping.json

{
  "template": "graylog_*",
  "mappings" : {
    "message" : {
      "properties" : {
        "http_method" : {
          "type" : "string",
          "index" : "not_analyzed"
        },
        "http_response_code" : {
          "type" : "long"
        },
        "ingest_time" : {
          "type" : "date",
          "format": "strict_date_time"
        },
        "took_ms" : {
          "type" : "long"
        }
      }
    }
  }
}

加载index mapping到Elasticsearch

$ curl -X PUT -d @'graylog-custom-mapping.json' 'http://localhost:9200/_template/graylog-custom-mapping?pretty'
{
"acknowledged" : true
}

打开kibana页面，创建graylog_*索引

http://172.17.20.123:5601

点击“ Discover ”，查看数据

6.使用Nxlog+Graylog Collector Sidecar搜集日志

6.1安装Nxlog

wget  https://nxlog.co/system/files/products/files/348/nxlog-ce-2.9.1716-1_rhel6.x86_64.rpm

yum install -y nxlog-ce-2.9.-1_rhel6.x86_64.rpm

可参考：http://blog.csdn.net/iwannarun/article/details/52604646

修改 /etc/nxlog.conf配置文件

Group nxlog

LogFile /var/log/nxlog/nxlog.log

LogLevel INFO

########################################

# Modules                              #

########################################

<Extension gelf>

    Module      xm_gelf

</Extension>

<Input in1>

    Module      im_file

    File        "/var/log/messages"

</Input>

<Input in2>

    Module      im_file

    File        "/var/log/cron"

</Input>

<Output out1>

    Module      om_udp

    Host        10.101.21.229

    Port

    OutputType  GELF

</Output>

########################################

# Routes                               #

########################################

<Route >

    Path        in1 => out1

</Route>

<Route >

    Path        in2 => out1

启动nxlog服务

/etc/init.d/nxlog start

查看日志排错

/var/log/nxlog/nxlog.log

6.2安装Graylog Collector Sidecar

官方文档：http://docs.graylog.org/en/latest/pages/collector_sidecar.html#id3

service nxlog stop

chkconfig --del nxlog

gpasswd -a nxlog root

chown -R nxlog.nxlog /var/spool/collector-sidecar/nxlog

https://github.com/Graylog2/collector-sidecar/releases 下载地址

rpm -ivh collector-sidecar-0.1.-.x86_64.rpm

graylog-collector-sidecar -service install

修改/etc/graylog/collector-sidecar/collector_sidecar.yml 配置文件

server_url: http://127.0.0.1:9000/api/  #改为graylog server机器的IP

update_interval:

tls_skip_verify: false

send_status: true

list_log_files:

node_id: graylog-collector-sidecar

collector_id: file:/etc/graylog/collector-sidecar/collector-id

cache_path: /var/cache/graylog/collector-sidecar

log_path: /var/log/graylog/collector-sidecar

log_rotation_time:

log_max_age:

tags:

    - messages

backends:

    - name: nxlog

      enabled: true

      binary_path: /usr/bin/nxlog

      configuration_path: /etc/graylog/collector-sidecar/generated/nxlog.conf

6.3在web页面配置

可参考：http://blog.csdn.net/iwannarun/article/details/52802680

7.使用filebeat+Graylog Collector Sidecar搜集日志

7.1安装Graylog Collector Sidecar

https://github.com/Graylog2/collector-sidecar/releases 下载地址

rpm -ivh collector-sidecar-0.1.-.x86_64.rpm

graylog-collector-sidecar -service install

7.2修改/etc/graylog/collector-sidecar/collector_sidecar.yml 配置文件

server_url: http://IP:9000/api/ #改为graylog server机器的IP

update_interval:

tls_skip_verify: false

send_status: true

list_log_files:

node_id: graylog-collector-sidecar

collector_id: file:/etc/graylog/collector-sidecar/collector-id

cache_path: /var/cache/graylog/collector-sidecar

log_path: /var/log/graylog/collector-sidecar

log_rotation_time:

log_max_age:

tags:

    - nginx log  #按需修改

backends:

    - name: nxlog

      enabled: false  #不开启ngxlog

      binary_path: /usr/bin/nxlog

      configuration_path: /etc/graylog/collector-sidecar/generated/nxlog.conf

    - name: filebeat

      enabled: true #开启filebeat

      binary_path: /usr/bin/filebeat

      configuration_path: /etc/graylog/collector-sidecar/generated/filebeat.yml

7.3在web页面上配置

可参考：https://www.linuxea.com/1599.html

a)配置收集器

b)配置收集器中的OUTPUT

c)配置收集器中的INPUT

如果有多个日志文件可以使用*号等正则匹配，或者['/var/log/openresty/int.error.log', '/var/log/openresty/ext.error.log']定义多个。

d)在收集日志的客户端启动 collector-sidecar

/etc/init.d/collector-sidecar start

/var/log/collector-sidecar.err 可查看日志排错

启动成功后会把刚在页面上的配置自动生成filebeat配置文件

启动后生成的配置文件

/etc/graylog/collector-sidecar/generated/filebeat.yml

e)配置Graylog Server的INPUT接口

配置完保存后，garylog会在服务端启动定义的tcp端口5044

在web页面验证是否收到日志

graylog有告警功能，可以匹配到需要触发的条件进行日志告警。

码农公寓