linux 安装 Logtash 同步mysql数据到Elasticsearch

官网下载Logtash 离线安装包

下载地址

https://www.elastic.co/cn/downloads/logstash 需要注意版本与es 对应

linux 安装 Logtash 同步mysql数据到Elasticsearch

 

新建配置文件 

新建文件夹

mkdir  logtashconf

创建两个文件

touch jdbc.conf #logtash 启动配置

touch jdbc.sql # logtash 执行的sql文件

linux 安装 Logtash 同步mysql数据到Elasticsearch

 

jdbc.conf配置如下

input {
stdin {
}
jdbc {
# mysql jdbc connection string to our backup databse 后面的ktsee对应mysql中的test数据库
jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/testes?useUnicode=true&characterEncoding=utf-8&useSSL=false"
# the user we wish to excute our statement as
jdbc_user => "root"
jdbc_password => "123456"
# the path to our downloaded jdbc driver 这里需要设置正确的mysql-connector-java-5.1.38.jar路径,找不到可以从网上下载后放在配置路径中
jdbc_driver_library => "/home/es/logstash/mysql-connector-java-5.1.41.jar"
# the name of the driver class for mysql
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_paging_enabled => "true"
jdbc_page_size => "50000"
# 以下对应着要执行的sql的绝对路径
statement_filepath => "/home/es/logstash/esandmysql/jdbc.sql"
# 定时字段 各字段含义(由左至右)分、时、天、月、年,全部为*默认含义为每分钟都更新
schedule => "* * * * *"
# 设定ES索引类型
type => "ktsee_type"
}
}
filter {
json {
source => "message"
remove_field => ["message"]
}
}
output {
elasticsearch {
#ESIP地址与端口
hosts => "127.0.0.1:9200"
#ES索引名称(自己定义的)
index => "emp"
#自增ID编号
document_id => "%{id}"
}
stdout {
#以JSON格式输出
codec => json_lines
}
}

linux 安装 Logtash 同步mysql数据到Elasticsearch

 

需要注意几点

数据库连接串

数据库地址

es地址,如果是同一台机器,不可配置实际ip否则联不通

 jdbc.sql配置如下

配置 jdbc.sql这里测试,只写了一条sql

linux 安装 Logtash 同步mysql数据到Elasticsearch

运行logtash 

./logstash -f /home/es/logstash/esandmysql/jdbc.conf

linux 安装 Logtash 同步mysql数据到Elasticsearch

 

 可以看到控制台打印了sql语句和查询到的结果集

使用kibana查看结果(kibana安装配置请看上一篇)

linux 安装 Logtash 同步mysql数据到Elasticsearch

 

 注:emp 同logtash配置文件中的index 要一致

 

结束!!!

上一篇:使用ElasticSearch服务从MySQL同步数据实现搜索即时提示与全文搜索功能


下一篇:logstash接受checkpoint防火墙日志并用ruby分词