使用SQL语句查询Elasticsearch索引数据

2023-08-05 17:14:58

Elasticsearch 的官方查询语言是 Query DSL，存在毕竟有存在的道理，存在即合理。SQL 作为一个数据库查询语言，它语法简洁，书写方便而且大部分服务端程序员都清楚了解和熟知它的写法。但是作为一个 ES 萌新来说，就算他已经是一位编程界的*湖，但是如果他不熟悉 ES ，那么他如果要使用公司已经搭好的 ES 服务，他必须要先学习 Query DSL，学习成本也是一项影响技术开发进度的因素而且不稳定性高。但是如果 ES 查询支持 SQL的话，那么也许就算他是工作一两年的同学，他虽然不懂ES的复杂概念，他也能很好的使用 ES 而且顺利的参加到开发的队伍中，毕竟SQL 谁不会写呢？

Elasticsearch-SQL不属于 Elasticsearch 官方的，它是 NLPChina（中国自然语言处理开源组织）开源的一个 ES 插件，主要功能是通过 SQL 来查询 ES，其实它的底层是通过解释 SQL，将SQL 转换为 DSL 语法，再通过DSL 查询。

Github地址：https://github.com/NLPchina/elasticsearch-sql

安装插件

在5.0之后(包括6.x)的安装方式为：elasticsearch-plugin install

因为elasticsearch使用的是6.2.4的版本，所以插件也要使用相同版本的，具体可以在github网址上查看

./bin/elasticsearch-plugin install https://github.com/NLPchina/elasticsearch-sql/releases/download/6.2.4.0/elasticsearch-sql-6.2.4.0.zip

如果我们安装不成功，我们可以直接下载 Elasticsearch-SQL 插件的压缩包，然后解压，完成之后重命名文件夹为 sql ，放到 ES 的安装路径的 plugins目录中，例如：..\elasticsearch-6.2.4\plugins\sql。

完成此操作后，需要重新启动Elasticsearch服务器，否则会报错：Invalid index name [sql], must not start with '']; ","status":400}。

前端可视化界面

Elasticsearch-SQL 插件提供了可视化的界面，方便你执行SQL查询

而在 elasticsearch 5.x/6.x，这需要安装 node.js 和下载及解压site，然后像这样启动web前端：

wget https://github.com/NLPchina/elasticsearch-sql/releases/download/5.4.1.0/es-sql-site-standalone.zip

unzip es-sql-site-standalone.zip

cd site-server

# 需要事先安装好nodejs

npm install express --save

node node-server.js  # 可以通过查看下面的后台运行命令使用

# 端口被占用的话修改端口号

# 后台启动

# 浏览器访问：http://ip:8080进行访问

# 右上角为es的地址和端口，最后的/不能省略

# 可以把es地址配置一个域名，用nginx反向代理一下，以后连接的话使用域名，不直接使用ip:port了，这个有待测试

问题：

端口号被占用

默认端口是8080，需要修改的话可以改site-server/site_configuration.json文件

{

   "port":8880

}

如果使用了X-Pack，那么还涉及到用户名密码等问题。参考以下配置：

修改ES配置文件/etc/elasticsearch/elasticsearch.yml，增加以下几行：

http.cors.enabled: true

http.cors.allow-credentials: true

http.cors.allow-origin: "/.*/"

http.cors.allow-headers: WWW-Authenticate,X-Requested-With,X-Auth-Token,Content-Type,Content-Length,Authorization

重启集群

访问elasticsearch-sql的site时，带上用户名、密码、ES的地址作为参数，例如：http://es-sql-site:8080/?username=hello&password=o11eh&base_uri=http://es:9200

未正确配置ES的地址：

Error: "<!DOCTYPE html>\n<html lang=\"en\">\n<head>\n<meta charset=\"utf-8\">\n<title>Error</title>\n</head>\n<body>\n<pre>Cannot POST /_sql</pre>\n</body>\n</html>\n"

elasticsearch.yml中未正确配置http.cors：

报错提示：

Error: Error occured! response is not avalible.

解决办法：

找到config文件夹下的elasticsearch.yml，在文件的末尾添加如下内容：

http.cors.enabled: true

http.cors.allow-origin: "*"

用户名或密码错误：

Error: {"error":{"root_cause":[{"type":"security_exception","reason":"missing authentication token for REST request [/_sql]","header":{"WWW-Authenticate":"Basic realm=\"security\" charset=\"UTF-8\""}}],"type":"security_exception","reason":"missing authentication token for REST request [/_sql]","header":{"WWW-Authenticate":"Basic realm=\"security\" charset=\"UTF-8\""}},"status":401}

问题：若是连接其他主机的es进行查询，会报错：

{"error":"Incorrect HTTP method for uri [/_sql] and method [POST], allowed: [DELETE, HEAD, GET, PUT]","status":405}

不知道是不是不能连接其他主机还是其他主机创建的索引有问题，还有待研究！

web页面右上角文本框中连接地址为es节点查询地址, 该地址最后一定得是/才行
nodejs程序后台运行

# 安装forever

npm install -g forever

# 启动

forever start node-server.js    //node-server.js 是你要启动的js文件

# 查看

forever list    //会列出forever正在运行的服务脚本

# 停止

forever stop index.js   //停止服务运行

# 获取帮助信息

forever --help

使用方式

查询方式1：

直接在浏览器中输入sql查询语句

http://192.168.0.254:9200/_sql?sql=SELECT * FROM rforder-idx limit 6

查询方式2：

使用web界面，输入sql查询语句

http://192.168.0.254:8880/

查询方式3：

使用谷歌浏览器插件

https://github.com/shi-yuan/elasticsearch-sql-site-chrome

码农公寓

安装插件

前端可视化界面

使用方式

相关文章