十八、.net core（.NET 6）搭建ElasticSearch(ES)系列之使用Logstash通过Rabbitmq接收Serilog日志到ES

2023-11-08 12:31:58

使用Logstash通过Rabbitmq接收Serilog日志到ES

首先，要部署logstash

为了与前面的ElasticSearch版本保持一致，此处Logstash下载的版本也是7.13.1，下载地址：

https://artifacts.elastic.co/downloads/logstash/logstash-7.13.1-windows-x86_64.zip

解压以后，修改一些配置：

在config目录下，修改jvm.options文件，设置内存占用最小值和最大值：如果配置比较低，建议配置成512MB即可，如果电脑或服务器配置比较好，那就请随意。如果只是普通用途，比如记录普通日志啥的，配个4G内基本足够了。

在config里面，有一个logstash-sample.conf文件，可以当做参考配置，随后咱们新建一个用于接收RabbitMQ的配置文件。先来写代码~~

在package包项目下，新增引用 Serilog.Sinks.RabbitMQ组件：

然后，在Program文件下面，添加serilog日志写入到RabbitMQ的一些配置：

以上代码如下：

 logger.WriteTo.RabbitMQ((clientConfiguration, sinkConfig) =>
                         {
                             clientConfiguration.Username = "wesky";
                             clientConfiguration.Password = "wesky123";
                             clientConfiguration.Exchange = "WeskyExchange";
                             clientConfiguration.ExchangeType = "direct";
                             clientConfiguration.DeliveryMode = RabbitMQDeliveryMode.Durable;
                             clientConfiguration.RouteKey = "WeskyLog";
                             clientConfiguration.Port = 5672;
                             clientConfiguration.Hostnames.Add("127.0.0.1");
                             sinkConfig.TextFormatter = new JsonFormatter();
                         });

以上为了方便，所以写死了，大佬们可以写到配置文件里面去进行读取，这样好一点。

然后，程序启动时候，进行主动创建一个Exchange为WeskyExchange的，RouteKey是WeskyLogs的消息队列，包括生产者和消费者。之前有做过简单的RabbitMQ创建的案例，所以直接在原来的基础上做一些改动：

设置了两个RouteKey:WeskyLog和WeskyLog2,以及两个队列 Log1和Log2。咱们主要使用WeskyLog和 Log1。

在消费者监听上面，做个过滤，对于队列是Log1的消息，直接返回不做处理，这样做到目的是消息不被消费，让logstash来消费消息：

现在开始配置logstash，上面有一个logstash-sample.conf文件，拷贝一分，重命名为 rabbitmq.conf 然后往里面更改一些配置信息，如下：

logstash部分配置代码：

十八、.net core（.NET 6）搭建ElasticSearch(ES)系列之使用Logstash通过Rabbitmq接收Serilog日志到ES

input {
  rabbitmq {
    host => "127.0.0.1"
    port => 5672
    user => "wesky"
    password => "wesky123"
    queue => "Log1"
    key => "WeskyLog"
    exchange => "WeskyExchange"
    durable => true
  }
}

filter {
  grok {
    match => {"Timestamp" => "%{TIMESTAMP_ISO8601:ctime}"}
    add_field => ["create_time","%{@timestamp}"]
  }
  date {
    match => ["ctime","yyyy-MM-dd HH:mm:ss.SSS","ISO8601"]
    target => "@timestamp"
  }
  mutate {
    remove_field => ["@version","Properties","Timestamp","ctime"]
    rename => {"MessageTemplate" => "message"}
    rename => {"Level" => "level"}
  }
  ruby {
    code => "event.set('create_time',event.get('@timestamp').time.localtime)"
  }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "log-%{+YYYYMMdd}"
  }
}

View Code

注意，配置不能使用Tab，必须只能用空格，每个缩进俩空格。

现在写一个测试的webapi，来看看效果。创建一个webapi，记录两条日志，一条是Infomaton，一条是Error：