好消息！Elasticsearch中也可以使用机器学习了

2022-02-13 01:45:31

本文作者：bright，物联网公司大数据架构师。曾就职于暴风科技，金山云等企业。对大数据架构和机器学习有浓厚兴趣。

如果你想一站式快速体验 Elasticsearch 所有功能（免费提供机器学习、 X-pack 能力），开通阿里云 Elasticsearch 1核2G，即可首月免费试用。

前言

机器学习已经在现在的工业实践中得到了广泛的应用。作为强大搜索引擎的ElasticSearch也在6.3开始内置了对机器学习的支持。

概述

从应用角度来看，如果你有异常侦测和数据回归方面的需求，并且数据不需要特别处理，直接从es里就可以接入，可以选择Es内置的机器学习功能，这样又快又迅速。但是如果要借助更多的机器学习算法来进行建模，选择python的Eland模块进行机器学习就比较合适。下面会就这2种机器学习方式,从安装到应用进行一一介绍。

Elasticsearch 内置的机器学习

Kibana主页上加载样本Web日志数据集后，点击 查看数据> ML作业。
在机器学习应用程序中，当您kibana_sample_data_logs 在"数据可视化工具"或"异常检测"作业向导中选择索引模式时，使用其已知配置创建作业。选择 Kibana示例数据Web日志配置。
Kibana支持四种类型的机器学习作业
1、在Kibana中，Single-metric jobs：数据分析仅在一个索引字段上执行
2、Multi-metric jobs：可以对多个索引字段执行数据分析；但是，每个字段都分别进行分析
3、Advanced jobs：可以对多个索引字段执行数据分析。提供检测器和影响者的完整配置设置
4、 Population jobs：对不常见数据（例如检测总体中的异常值）的分布行为的数据分析

现在以Single-metric jobs为例，学习如何使用Elasticsearch内建机器学习功能。

样本作业（low_request_rate）之一是单个度量异常检测作业。它具有使用该low_count功能和有限工作属性的单个检测器。如果要确定网站上的请求率何时显着下降，则可以使用这样的工作。

让我们从在Single Metric Viewer中查看这个简单的工作开始：

该视图包含一个图表，该图表表示一段时间内的实际值和期望值。仅当作业已model_plot_config启用时才可用。它只能显示一个时间序列。

图表中的蓝线代表实际数据值。蓝色阴影区域表示期望值的界限。上限和下限之间的区域是模型最可能的值。如果某个值不在该区域内，则可以说它是异常的。

将时间选择器滑动到时间序列中包含红色异常数据点的部分。如果将鼠标悬停在该点上，则可以查看更多信息。除了异常侦测，es还可以方便的做数值回归预测。

python的eland模块

如果需要引入更多的机器学习模型训练方式，可以使用eland模块来和ElasticSearch协作。

为什么会有eland?

数据科学家通常不习惯NoSQL数据库引擎执行常见任务，甚至不依赖复杂的REST API进行分析。例如，使用Elasticsearch的低级python客户端处理大量数据也不是那么直观，并且对于来自SWE以外领域的人来说，学习曲线有些陡峭。

尽管Elastic为增强用于分析和数据科学用例的ELK堆栈做出了巨大的努力，但它仍然缺乏与现有数据科学生态系统（pandas，numpy，scikit-learn，PyTorch和其他流行的库）的便捷接口。

的推出是一个全新的Python Elasticsearch客户端和工具包，具有强大（且熟悉）的类似于pandas的API，用于分析，ETL和机器学习。

Eland在可能的情况下使用现有的Python API和数据结构来简化在numpy，pandas，scikit-learn和其Elasticsearch支持的等效项之间的切换。通常，数据驻留在Elasticsearch中，而不是内存中，这使Eland可以访问Elasticsearch中存储的大型数据集。Eland还提供了一些工具，可以从，和等通用库经过训练的机器学习模型上传到Elasticsearch中。

Eland使数据科学家可以有效地使用已经强大的Elasticsearch分析和ML功能，而无需对Elasticsearch及其许多复杂知识有深入的了解。

Elasticsearch的功能和概念被转换为更易于识别的设置。例如，Elasticsearch索引及其文档，映射和字段成为具有行和列的数据框，就像我们以前在使用pandas时所看到的那样。

Eland的安装

可以使用Pip从安装Eland ：
$ python -m pip安装eland
也可以使用Conda从安装Eland ：
$ conda安装-c conda-forge eland

Eland链接Elasticsearch

Eland使用连接到Elasticsearch。该客户端支持一系列。可以将实例传递elasticsearch.Elasticsearch给Eland API，也可以将包含主机的字符串传递给以下对象：

import eland as ed
# Connecting to an Elasticsearch instance running on 'localhost:9200'
df = ed.DataFrame("localhost:9200", es_index_pattern="flights")
# Connecting to an Elastic Cloud instance
from elasticsearch import Elasticsearch
es = Elasticsearch(
cloud_id="cluster-name:...",
http_auth=("elastic", "<password>")
)
df = ed.DataFrame(es, es_index_pattern="flights")

用eland进行机器学习

eland.DataFrame在类似于Pandas的API中包装Elasticsearch索引，并将所有对数据的处理和过滤推迟到Elasticsearch而不是本地计算机上进行。这意味着您可以从Jupyter Notebook中在Elasticsearch中处理大量数据，而不会导致计算机过载。
现在可以对xboost框架进行模型训练后，将模型部署到Elasticsearch，就可以直接实现对数据的预测了。一切很简单。

>>> from xgboost import XGBClassifier
>>> from eland.ml import ImportedMLModel
# Train and exercise an XGBoost ML model locally
>>> xgb_model = XGBClassifier(booster="gbtree")
>>> xgb_model.fit(training_data[0], training_data[1])
>>> xgb_model.predict(training_data[0])
[0 1 1 0 1 0 0 0 1 0]
# Import the model into Elasticsearch
>>> es_model = ImportedMLModel(
es_client="localhost:9200",
model_id="xgb-classifier",
model=xgb_model,
feature_names=["f0", "f1", "f2", "f3", "f4"],
)
# Exercise the ML model in Elasticsearch with the training data
>>> es_model.predict(training_data[0])
[0 1 1 0 1 0 0 0 1 0]

结束语

Elasticsearch 作为搜索引擎，赋能了快速排序，搜索的场景。现在内置的机器学习模块为借助es搜索的场景又增加了异常侦测，回归预测等强大的ai能力，无疑为es在和其他搜索引擎竞争中增加了强大助力。对这方面有兴趣的读者，可以关注我们，持续获取这方面资讯。

声明：

本文版权归作者所有，未经许可不得擅自转载或引用。

【阿里云Elastic Stack】100%兼容开源ES，独有9大能力，提供免费 X-pack服务（单节点价值$6000）

码农公寓

好消息！Elasticsearch中也可以使用机器学习了

前言