使用Seq搭建免费的日志服务

2023-12-09 16:40:45

Seq简介

Seq是老外开发的一个针对.NET平台非常友好的日志服务。支持容器部署，提供一个单用户免费的开发版本。

官网：https://datalust.co/seq

使用文档：https://docs.datalust.co/docs

Seq主体功能如下所示：

支持主流的编程语言，尤其对.NET非常友好
丰富的事件格式

以结构化形式记录上文信息与应用程序事件，支持消息模板将文本数据与结构话数据无缝连接。下图中所有属性都是由使用者自定义的。
支持筛选语法和SQL查询，非常简单和灵活

多种查询方式 -支持以SQL表达式查询，以及C#中的，==，!=，<，<=，内置StartsWith()，EndsWith()，IndexOf() 和Contains(),并支持文本全文检索。
公开了内置字段和函数
支持仪表盘，可以自行创建和编辑图表
支持安装插件，插件可以使用.NET进行编写
支持发送邮件（通过插件）
支持团队操作
提供命令行客户端
支持健康检查（通过插件）
支持收集Docker日志
支持收集K8s日志
支持自定义警报和Webhook

部署到k8s

seq部署我们采用的是基于容器的部署，具体可以参考：https://docs.datalust.co/docs/getting-started-with-docker

腾讯云容器服务yaml配置如下所示：

apiVersion: apps/v1beta2
kind: Deployment
metadata:
  annotations:
    deployment.kubernetes.io/revision: "1"
  generation: 1
  labels:
    k8s-app: seq
    qcloud-app: seq
  name: seq
  namespace: default
spec:
  progressDeadlineSeconds: 600
  replicas: 1
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      k8s-app: seq
      qcloud-app: seq
  strategy:
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 0
    type: RollingUpdate
  template:
    metadata:
      labels:
        k8s-app: seq
        qcloud-app: seq
    spec:
      containers:
      - env:
        - name: ACCEPT_EULA
          value: "Y"
        image: datalust/seq:latest
        imagePullPolicy: IfNotPresent
        name: seq
        resources:
          limits:
            cpu: 100m
            memory: 2024Mi
          requests:
            cpu: 10m
            memory: 256Mi
      imagePullSecrets:
      - name: qcloudregistrykey
      - name: tencenthubkey
      restartPolicy: Always
---
apiVersion: v1
kind: Service
metadata:
  name: seq
  namespace: default
spec:
  externalTrafficPolicy: Cluster
  ports:
  - name: 80-80-tcp
    nodePort: 31180
    port: 80
    protocol: TCP
    targetPort: 80
  - name: 5341-5341-tcp
    nodePort: 31181
    port: 5341
    protocol: TCP
    targetPort: 5341
  selector:
    k8s-app: seq
    qcloud-app: seq
  sessionAffinity: None
  type: NodePort

注意：其中主机端口分别为31180（对应80，用于公开Seq UI和Web Api）、31181（对应5341，用于公开Seq接收终结点的端口）。

一般情况，日志不重要的话，我们可以不进行持久化配置。如需持久化，仅需配置“/data”的映射即可。

使用

Seq对.NET Core支持非常友好，支持：

当然还支持其他语言以及其他的一些方式，比如RabbitMQ、GELF、Windows事件等等。接下来，我们以基于NLog集成为例：

安装包NLog.Targets.Seq

安装NLog.Targets.Seq NuGet包。例如，在Visual Studio程序包管理器控制台中，键入：

PM> Install-Package NLog.Targets.Seq

修改NLog配置文件

第一步，需要先添加刚安装的扩展程序集：

<?xml version="1.0" encoding="utf-8" ?>
<nlog xmlns="http://www.nlog-project.org/schemas/NLog.xsd"
      xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">

  <extensions>
    <add assembly="NLog.Targets.Seq"/>
  </extensions>

然后需要定义规则：

 <targets>
    <target name="seq" xsi:type="BufferingWrapper" bufferSize="1000" flushTimeout="2000">
      <target xsi:type="Seq" serverUrl="http://localhost:5341" apiKey="" />
    </target>
  </targets>
  <rules>
    <logger name="*" minlevel="Info" writeTo="seq" />
  </rules>

需要指定服务端接收端地址和ApiKey。接下来就可以直接使用了。

除此之外，我们还可以添加例如线程Id、机器名等属性，配置示例如下所示：

<target name="seq" xsi:type="Seq" serverUrl="http://localhost:5341" apiKey="">
  <property name="ThreadId" value="${threadid}" as="number" />
  <property name="MachineName" value="${machinename}" />
</target>

NLOG配置说明

说明

官网：https://nlog-project.org/?r=redirect

配置和使用

https://github.com/NLog/NLog/wiki/Getting-started-with-ASP.NET-Core-2
https://github.com/NLog/NLog/wiki/Getting-started-with-ASP.NET-Core-3

参考配置

<?xml version="1.0" encoding="utf-8"?>

<nlog xmlns="http://www.nlog-project.org/schemas/NLog.xsd"
      xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
      autoReload="true"
      internalLogLevel="Warn"
      internalLogFile="App_Data\Logs\nlogs.log"
      throwExceptions="true">

  <!-- 定义日志输出的根目录为web目录的上级目录 -->
  <variable name="logdir" value="${basedir}/App_Data/logs"/>

  <extensions>
    <add assembly="NLog.Web.AspNetCore"/>
    <add assembly="NLog.Targets.Seq"/>
  </extensions>
  <targets async="true">
    <default-target-parameters
    type="File"
    archiveAboveSize="50485760"
    maxArchiveFiles="50"
    archiveNumbering="Rolling"
    keepFileOpen="false"
    layout="${date:format=HH\:mm\:ss\:ffff}:[${level}] ${callsite} ${onexception:${exception:format=tostring} ${newline}${stacktrace}${newline}"/>

    <!--屏幕彩色打印消息-->
    <target name="console" xsi:type="ColoredConsole"
            layout="${date:format=HH\:mm\:ss\:ffff}:[${level}] ${message}"/>

    <!--默认日志-->
    <target xsi:type="File" name="defaultLog" fileName="${logdir}/${level}/${shortdate}.log" layout="${date:format=HH\:mm\:ss\:ffff}: ${message} ${onexception:${exception:format=tostring} ${newline}${stacktrace}${newline}" />

    <target name="warnLog" xsi:type="File"
            fileName="${logdir}/${level}/${shortdate}.log"
            layout="${date:format=HH\:mm\:ss\:ffff}:  ${logger}${newline}${message} ${onexception:${exception:format=tostring} ${newline}${stacktrace}${newline}" />

    <target name="seq" xsi:type="BufferingWrapper" bufferSize="1000" flushTimeout="2000">
      <target xsi:type="Seq" serverUrl="http://devlogs.yourdomain.com" apiKey="DRkZrdeDMZIXY0gzZGXB">
        <property name="ThreadId" value="${threadid}" as="number" />
        <property name="MachineName" value="${machinename}" />
        <property name="Environment" value="Development" />
        <!--https://github.com/NLog/NLog/wiki/Logger-Layout-Renderer-->
        <property name="Logger" value="${logger}" />
        <!--https://github.com/NLog/NLog/wiki/AspNet-Request-IP-Layout-Renderer-->
        <property name="IP" value="${aspnet-request-ip}" />
        <!--https://github.com/NLog/NLog/wiki/AspNetRequest-Url-Layout-Renderer-->
        <property name="Url" value="${aspnet-request-url:IncludeHost=true:IncludePort=true:IncludeQueryString=true:IncludeScheme=true}" />
        <property name="Code" value="${aspnet-response-statuscode}" />
      </target>
    </target>
  </targets>
  <rules>
    <logger name="*" minlevel="Trace" writeTo="seq" />
    <logger name="*" levels="Trace,Debug,Info" writeTo="console,defaultLog" />
    <logger name="*" minlevel="Warn" writeTo="console,warnLog" />
  </rules>
</nlog>

集成之后，我们就可以非常方便的在Seq的面板上看到各种日志和图表了。

码农公寓