ELK实战笔记

2023-12-03 13:21:34

一. 简介

Elasticsearch ：分布式搜索引擎。具有高可伸缩、高可靠、易管理等特点。可以用于全文检索、结构化检索和分析，并能将这三者结合起来。Elasticsearch 是用Java 基于 Lucene 开发，现在使用最广的开源搜索引擎之一，Wikipedia 、*、Github 等都基于它来构建自己的搜索引擎。

在elasticsearch中，所有节点的数据是均等的。

Logstash ：数据收集处理引擎。支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储以供后续使用。

Kibana ：可视化化平台。它能够搜索、展示存储在 Elasticsearch 中索引数据。使用它可以很方便的用图表、表格、地图展示和分析数据。

二. 安装

windows下安装的docker

1. elasticsearch

#下载elasticsearch镜像 docker pull docker.elastic.co/elasticsearch/elasticsearch:7.0.0 # 创建并运行elasticsearch容器

# 5601是kibana的默认端口，9200是es的默认端口，discovery.type指定单节点模式

docker run -d --name es -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:7.0.0

注：也可以使用elasticsearch的9200端口，直接post数据

2. kibana

（windows版本可行）

# 创建并运行kibana

docker pull docker.elastic.co/kibana/kibana:7.0.0

# -e ELASTICSEARCH_URL指定es的地址，--network指定使用es的网络，可以借用es开放的5601端口 docker run -it -d -e ELASTICSEARCH_URL=http://localhost:9200 --name kibana -p 5601:5601kibana:tag

https://www.elastic.co/cn/products/kibana

注：笔者安装后总是有问题，干脆就弄一个windows版本的，就好了

https://www.elastic.co/cn/downloads/kibana

下载完后，直接运行 bin\kibana.bat 即可

3. Logstash （windows版本为例）

https://www.elastic.co/cn/downloads/logstash

启动脚本示例：

logstash -f logstash.conf

3.1. 配置

  1 input {
  2 
  3 redis {
  4 
  5 type => "JasonLog"
  6 
  7 host => "10.10.14.54"
  8 
  9 # password => '123456'
 10 
 11 port => "6379"
 12 
 13 db => "0"
 14 
 15 data_type => "list"
 16 
 17 key => "ExceptionLog"
 18 
 19 }
 20 
 21 }
 22 
 23 # 过滤
 24 
 25 filter {
 26 
 27 mutate {
 28 
 29 gsub => [
 30 
 31 # replace all forward slashes with underscore
 32 
 33 #"message", "\\\"", "\"",
 34 
 35 "message", "\\\"", "\""
 36 
 37 ]
 38 
 39 }
 40 
 41 date {
 42 
 43 match => ["CreateTime", "yyyy-MM-dd HH:mm:ss.SSS"] #这里是如果createtime跟后面的格式匹配上了就会去替换，替换什么呢？target默认指的就是@timestamp,所以就是以client_time的时间更新@timestamp的时间
 44 
 45 }
 46 
 47 }
 48 
 49 output {
 50 
 51 if [type] == "JasonLog" {
 52 
 53 elasticsearch {
 54 
 55 hosts => ["http://10.8.100.88:9200"]
 56 
 57 index => "jason_log"
 58 
 59 }
 60 
 61 }
 62 
 63 }
 64

View Code

问题1. could not find java; set JAVA_HOME or ensure java is in PATH

解决方案：

安装最新版Java kit

配置系统变量