需求场景：ES 集群通过 Nginx 做了网关代理，需要把访问 ES 集群的请求进行统计监控。
使用组件：Filebeat 收集，写入 ES 集群，通过 Kibana 的 dashboard 进行展示，即 ELK 的老本行，采用更轻量级的日志收集工具 Filebeat 而没有使用 Logstash。
1. Nginx
对 Nginx 默认的日志格式进行了微调，将默认的$time_local修改为$time_iso8601，日志变化如下所示：
#before
171.0.0.1 - - [11/Nov/2021:00:00:02 +0800] 1.300 0.982 200 731171 "POST /index1/_search?timeout=30s HTTP/1.1" "-" "axios/0.19.2" "-"
#after
171.0.0.1 - - [2021-11-25T11:29:13+08:00] 0.008 0.008 200 137 "GET /index1/_search HTTP/1.1" "-" "python-urllib3/1.26.2" "-"Nginx 日志每行12个字段含义如下：
| 字段 | 含义 |
|---|---|
| remote_addr | 客户端IP地址 |
| - | 占位符 |
| remote_user | 客户端登录用户名没有则置为占位符 - |
| time | 访问时间和时区 |
| request_time | 整个请求的总时间 |
| upstream_response_time | Nginx向后端请求的时间 |
| status | 请求返回的http状态码 |
| body_bytes_sent | 发送给客户端的字节数 |
| request | 请求的URI和HTTP协议 |
| http_referer | 哪个页面链接访问 |
| http_user_agent | 客户端访问信息，如浏览器、手机客户端等 |
| http_x_forwarded_for | 客户端的真实ip通常web服务器放在反向代理的后面 |
2. Filebeat
Filebeat 配置比较简单，开箱即用，配置好 Input 为 Log，Output 为 ES 即可，如下所示：
filebeat.inputs:
#=========================== Filebeat inputs =============================
- type: log
enabled: true
paths:
- /usr/local/nginx/logs/access_whsh.log
#=========================== Filebeat inputs =============================
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: false
#=========================== Filebeat inputs =============================
setup.template.settings:
index.number_of_shards: 1
#index.codec: best_compression
setup.template.name: "es-request-log"
setup.template.pattern: "es-request-log-*"
setup.template.enabled: false
setup.template.overwrite: true
setup.template.fields: "esrequestfields.yml"
setup.ilm.enabled: false
#=========================== Filebeat inputs =============================
output.elasticsearch:
hosts: ["172.0.0.1:9200","172.0.0.2:9200","172.0.0.3:9200"]
index: "es-request-log-%{+yyyy.MM.dd}"
pipeline: "es-request-log"
# Protocol - either `http` (default) or `https`.
protocol: "https"
#api_key: "id:api_key"
username: "elastic"
password: "changeme"
ssl.verification_mode: "none"
#=========================== Filebeat inputs =============================
processors:
- add_host_metadata:
when.not.contains.tags: forwarded
- add_cloud_metadata: ~
- add_docker_metadata: ~
- add_kubernetes_metadata: ~
这里修改了 Filebeat 自带的默认日志模板和默认输出到 ES 的索引，并添加了一个 pipeline 用于对 Nginx 日志进行拆分处理(Filebeat默认将每行日志输出到message字段)。
修改默认索引的模板字段fields.yml，并将其导出录入到 ES 集群内作为记录日志索引的 template，具体做法可以参考官网：Load the Elasticsearch index template。
3. ES
ES 侧需要配置好存放日志数据索引的模板、ILM策略(非必须)、以及用到的 pipeline，名称和上一步 Filebeat 配置中要对应。
- 模板设置：
设置好别名、匹配的索引前缀、一些你想配置的 settings 以及字段结构：包括 Filebeat 自带的一些字段以及主要的日志字段message和我们将通过 pipeline 拆解message字段获取的一些将用于日志分析的字段。
- pipeline设置：
pipeline 主要作用是对message字段拆解：
- 通过`grok`正则匹配方式匹配到`message`内部的每个字段，并将其抽出；
- 通过`script`可以加一些对抽出字段的判断，将请求聚类分析。
这里可以任意处理数据，获取自己想要的分析内容，或者也可以引入Logstash对数据进行处理。
4. Kibana
经过以上三步，数据已经进入到 ES 集群内，通过 Kibana 可以对数据分析结果进行可视化展示，忽略一些 Filebeat 自带的字段，数据内容如下所示：
我们可以对时间字段，某些 keyword 类字段进行聚合等统计数一些日志分析结果，并使用 dashboard 进行展示，部分示例如下：
- 统计请求的响应状态：
- 分类统计时间段的请求数量：
- 统计查询耗时的 pct (参考 jmeter 指标)：
- 展示部分请求的部分字段(data table展示topN耗时等)：