ElasticSearch学习笔记(三)logstash安装和logstash-input-jdbc插件

ElasticSearch的索引可以手动添加索引的,就是类似下面这样添加的

PUT /movies/movie/1
{
"title": "The Godfather",
"director": "Francis Ford Coppola",
"year": 1972,
"genres": ["Crime", "Drama"]
}

但是如果很多的信息,这样添加显然是不可能的,尤其是一般数据都在数据库中。

于是elasticsearch提供了可以直接和数据库关联,并且自动根据数据库中的数据更新索引logstash。

安装logstash

logstash的安装和elasticsearch的安装是一样简单的,就是那种拆箱即用的。目前最新的版本是5.5.0,注意这个版本需要和elasticsearch的版本一致。

下载安装

wget https://artifacts.elastic.co/downloads/logstash/logstash-5.5.0.zip

下载完之后

unzip logstash-5.5.0.zip

之后将文件移动到自己存放的目录即可。

启动服务测试一下是否安装成功:

cd bin
./logstash -e 'input { stdin { } } output { stdout {} }'

如果出现下面的东西就表示成功: 
ElasticSearch学习笔记(三)logstash安装和logstash-input-jdbc插件 
输入随便什么内容:

HelloWorld

就会变成下面这样:ElasticSearch学习笔记(三)logstash安装和logstash-input-jdbc插件

基本上这样就算是安装成功了(其实好像并没有安转,只是下载而已)

安装logstash-input-jdbc插件

在我安装完这东西之后,看到好像可以不用安装这个就可以直接和数据库同步的,但是由于重新安装太麻烦了,而且没有其他的服务器给我试,就没有去试试看行不行。

我主要参考的是http://blog.csdn.net/yeyuma/article/details/50240595这位老铁的方法。

安装logstash是一件比较蛋疼的事,因为这东西适用ruby开发的,我对ruby这东西是一点也不懂,所以比较不好弄。 
如果没有gem命令的话,需要先安装一下子(root用户才可以)

yum install gem

替换ruby镜像库为国内的库,因为国外的库,国内是访问不到的,然后国内有两个库,两个库都是可以用的: 
1、替换成ruby-china的库

gem sources --add https://gems.ruby-china.org/ --remove https://rubygems.org/

查看是否成功

gem sources -l

ElasticSearch学习笔记(三)logstash安装和logstash-input-jdbc插件

2、国内还有一个库,是淘宝的:

gem sources --add https://ruby.taobao.org/ --remove https://rubygems.org/

可以同样用gem sources -l查看是否替换成功。

替换完之后,进入logstash-5.5.0,修改Gemfile文件里面的数据源:

vi Gemfile

修改成这个样子:

source "https://gems.ruby-china.org"
ElasticSearch学习笔记(三)logstash安装和logstash-input-jdbc插件

如果用的用的是淘宝的库,就修改成这样

source "https://ruby.taobao.org"

好了,这样ruby的安装环境就算是配好了。

进入到logstash的bin下

cd bin
./logstash-plugin install logstash-input-jdbc
ElasticSearch学习笔记(三)logstash安装和logstash-input-jdbc插件

等待一整子,挺久的,如果成功那就安装成功了。

ElasticSearch学习笔记(三)logstash安装和logstash-input-jdbc插件

如果不成功,可以尝试一下下面这个东西,如果没记错的话,我好像就是用这种方法安装的:

cd logstash-5.5.0
wget https://github.com/logstash-plugins/logstash-input-jdbc/archive/v1.0.0.zip
unzip v1.0.0.zip
cd logstash-input-jdbc-1.0.0/

修改Gemfile里面的source,和上面修改是一样的。

然后

vi logstash-input-jdbc.gemspec

s.files = `git ls-files`.split($\)
改为:
s.files = [".gitignore", "CHANGELOG.md", "Gemfile", "LICENSE", "NOTICE.TXT", "README.md", "Rakefile", "lib/logstash/inputs/jdbc.rb", "lib/logstash/plugin_mixins/jdbc.rb", "logstash-input-jdbc.gemspec", "spec/inputs/jdbc_spec.rb"]

继续

gem build logstash-input-jdbc.gemspec

得到ElasticSearch学习笔记(三)logstash安装和logstash-input-jdbc插件

cd ..
cd bin
./logstash-plugin install ../logstash-input-jdbc-1.0.0/logstash-input-jdbc-1.0.0.gem

然后等着就好了。如果提示成功了,就安装成功了,如果还是失败,多尝试几下第一种方式,我在另一个服务器尝试了几次第一种方式就莫名其妙成功了。如果还失败,就在查查资料吧。

测试一下安装成功了吗:

在此之前,需要一个mysql数据库连接包,mysql-connector-java-6.0.6.jar,随便什么版本应该都是可以的,可以使用wget下下来,也可以从本地下下来之后rz上传到服务器,这里就省略了。

在bin下新建一个目录config-mysql创建mysql.conf文件:

mkdir config-mysql
cd config-mysql
vim mysql.conf

在文件中输入下面的内容:

input {
stdin {
}
jdbc {
# 数据库
jdbc_connection_string => "jdbc:mysql://localhost:3306/test01"
# 用户名密码
jdbc_user => "root"
jdbc_password => "123456"
# jar包的位置
jdbc_driver_library => "/usr/local/logstash-5.5.0/mysql-connector-java-6.0.6.jar"
# mysql的Driver
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_paging_enabled => "true"
jdbc_page_size => "50000"
#statement_filepath => "config-mysql/test02.sql"
statement => "select * from test02"
schedule => "* * * * *"
#索引的类型
type => "test02"
}
} filter {
json {
source => "message"
remove_field => ["message"]
}
} output {
elasticsearch {
hosts => "127.0.0.1:9200"
# index名
index => "test01"
# 需要关联的数据库中有有一个id字段,对应索引的id号
document_id => "%{id}"
}
stdout {
codec => json_lines
}
}

注意关联的数据库表中需要有id字段用来映射形成的索引的id号。

终于把工作都做完了。

进入bin目录下:

./logstash -f config-mysql/mysql.conf

等一会之后,就会看到数据库中的数据被读取出来,然后加载进索引,在sense可以查询到刚刚添加的索引的

 GET /_search  

然后往数据库中添加一些新的数据之后等待大概30S之后重新索引,就会看到索引被更新了。回到linux下,会看到,没过一段时间,logstash就会重新扫描一下数据库,通过这样的方式,实现和mysql数据库的同步。

自测试,在/app/logstash-5.5.0/bin目录中创建文件夹:

ElasticSearch学习笔记(三)logstash安装和logstash-input-jdbc插件

jdbc.conf文件内容如下:

input {
jdbc {
jdbc_connection_string => "jdbc:mysql://10.0.10.58:3306/eb_search"
jdbc_user => "root"
jdbc_password => "123@abcd"
jdbc_driver_library => "/app/logstash-5.5.0/bin/mysql/mysql-connector-java-5.1.28-bin.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_paging_enabled => "true"
jdbc_page_size => "500"
statement_filepath => "/app/logstash-5.5.0/bin/mysql/jdbc.sql"
schedule => "* * * * *"
type => "product"
}
} output {
elasticsearch {
hosts => "192.168.1.48:9200"
index => "sync_productinfo_20171010"
document_id => "%{id}"
}
}

  jdbc.sql文件内容如下:

SELECT * from productinfo

运行:

./logstash -f ./mysql/jdbc.conf

效果如下图:

ElasticSearch学习笔记(三)logstash安装和logstash-input-jdbc插件

上一篇:JS时间格式和时间戳的相互转换


下一篇:JS时间格式 GMT格式转换