Kubernetes日志系统新贵Loki-Stack

2024-04-05 15:12:18

Kubernetes日志系统新贵Loki-Stack

scofield 菜鸟运维杂谈

Loki简介

Grafana Loki是可以组成功能齐全的日志记录堆栈的一组组件。
与其他日志记录系统不同，Loki是基于仅索引有关日志的元数据的想法而构建的：标签（就像Prometheus标签一样）。然后，日志数据本身被压缩并存储在对象存储（例如S3或GCS）中的块中，甚至存储在文件系统本地。小索引和高度压缩的块简化了操作，并大大降低了Loki的成本。
相较于EKL，Loki就显得很轻量级了；用了Loki以后，ELK突然不香了！哈哈~~~

Loki-stack组件

先放两张图

Promtail
Promtail 是用来将容器日志发送到 Loki 或者 Grafana 服务上的日志收集工具，该工具主要包括发现采集目标以及给日志流添加上 Label 标签，然后发送给 Loki，另外 Promtail 的服务发现是基于 Prometheus 的服务发现机制实现的。
Loki
Loki 是可以水平扩展、高可用以及支持多租户的日志聚合系统，使用了和 Prometheus 相同的服务发现机制，将标签添加到日志流中而不是构建全文索引。因此，从 Promtail 接收到的日志和应用的 metrics 指标就具有相同的标签集。它不仅提供了更好的日志和指标之间的上下文切换，还避免了对日志进行全文索引。
Grafana
Grafana 是一个用于监控和可视化观测的开源平台，支持非常丰富的数据源，在 Loki 技术栈中它专门用来展示来自 Prometheus 和 Loki 等数据源的时间序列数据。还允许进行查询、可视化、报警等操作，可以用于创建、探索和共享数据 Dashboard
接下来我们就来上手体验Loki-stack

使用helm部署loki-stack

1、前提，需要有一个k8s集群和安装好helm工具
2、添加helm源


helm repo add loki https://grafana.github.io/loki/charts

下载到本地，也可以直接安装，因为需要修改存储类及其他一些配置，我习惯下载到本地，方便修改调试
helm fetch loki/loki-stack
tar -zxf loki-stack-0.38.1.tgz
cd loki-stack/
[root@ loki-stack]# ls -al
drwxr-xr-x.  7 root root   85 Jul  2 07:25 charts
-rwxr-xr-x.  1 root root  369 Jul  1 01:46 Chart.yaml
-rwxr-xr-x.  1 root root  342 Jul  1 01:46 .helmignore
-rwxr-xr-x.  1 root root 1662 Jul  1 01:46 README.md
-rwxr-xr-x.  1 root root  533 Jul  1 01:46 requirements.lock
-rwxr-xr-x.  1 root root  595 Jul  1 01:46 requirements.yaml
drwxr-xr-x.  3 root root   80 Jul  2 08:46 templates
-rwxr-xr-x.  1 root root  206 Jul 16 00:53 values.yaml

3、修改loki-stack的values.yaml文件,我这里只安装了loki和promtail，而grafana和prometheus我就用集群已经部署好的prometheus-operator了


[root@ ]# cat values.yaml
loki:
  enabled: true
promtail:
  enabled: true

4、修改loki的values.yaml,
主要修改storageClass和persistence size，开启serviceMonitor以便监控loki


[root@  loki-stack]# cd charts/loki/
[root@  loki]# ll
total 20
-rw-r--r-- 1 root root  367 Nov 28 00:31 Chart.yaml
-rw-r--r-- 1 root root 1846 Nov 28 00:31 README.md
drwxr-xr-x 2 root root 4096 Dec  1 09:14 templates
-rw-r--r-- 1 root root 6695 Dec  1 09:15 values.yaml

persistence:
  enabled: true
  storageClass: "rbd"
  accessModes:
  - ReadWriteOnce
  size: 100Gi
  annotations: {}

serviceMonitor:
  enabled: true
  interval: ""
  additionalLabels: {}
  annotations: {}
  # scrapeTimeout: 10s

5、修改promtail的values.yaml
如果你想添加更多的日志目录，可以在这里添加


# Extra volumes to scrape logs from
volumes:
- name: docker
  hostPath:
    path: /var/lib/docker/containers
- name: pods
  hostPath:
    path: /var/log/pods

6、执行部署


cd loki-stack
kubectl create ns loki
helm install loki -n loki -f values.yaml .

[root@ loki-stack]# helm ls -n loki
NAME    NAMESPACE       REVISION        UPDATED                                 STATUS          CHART                   APP VERSION
loki    loki            1               2020-12-01 09:15:22.971437761 +0800 CST deployed        loki-stack-2.1.0        v2.0.0

7、登录到已有的grafana界面，添加loki源
首先获取到loki的服务地址


[root@ loki-stack]# kubectl get svc -n loki
NAME            TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)          AGE
loki            NodePort    10.101.129.255   <none>        3100:30439/TCP   92m
loki-headless   ClusterIP   None             <none>        3100/TCP         92m

填好信息以后，点击Save&Test,确认grafana可以连接到loki
8、点击Explore，就可以使用LogQL 查询日志，如下图

当然也可以导入别人做好的模板，更多Dashboard可以到官网https://grafana.com/grafana/dashboards 查看

PS：文章会同步到dev.kubeops.net

码农公寓