使用 DataFlux 采集 Elasticsearch 性能指标并展示

DataFlux是上海驻云自研发的一套大数据统一分析平台,可以通过对任何来源、类型、规模的实时数据进行监控、分析和处理,释放数据价值。

DataFlux包含五大功能模块:

  • Datakit 采集器
  • Dataway 数据网关
  • DataFlux Studio 实时数据洞察平台
  • DataFlux Admin Console 管理后台
  • DataFlux.f(x) 实时数据处理开发平台

使用 DataFlux 采集 Elasticsearch 性能指标并展示

面向企业提供全场景的数据洞察分析能力, 具有实时性、灵活性、易扩展、易部署等特点。

安装DataKit

PS:以Linux系统为例

第一步:执行安装命令

DataKit 安装命令:

DK_FTDATAWAY=[你的 DataWay 网关地址] bash -c "$(curl https://static.dataflux.cn/datakit/install.sh)"

补充安装命令中的 DataWay 网关地址,然后复制安装命令到主机上执行即可。

例如:如果的 DataWay 网关地址 IP 为 1.2.3.4,端口为 9528(9528为默认端口),则网关地址为
http://1.2.3.4:9528/v1/write/metrics,安装命令为:

DK_FTDATAWAY=http://1.2.3.4:9528/v1/write/metrics bash -c "$(curl https://static.dataflux.cn/datakit/install.sh)"

安装完成后,DataKit 默认会自动运行,并且会在终端中提示 DataKit 的状态管理命令
使用 DataFlux 采集 Elasticsearch 性能指标并展示

Elasticsearch 性能指标采集

打开 DataKit 采集源配置文件夹(默认路径为 DataKit 安装目录的 conf.d 文件夹),找到 elasticsearch 文件夹,打开里面的 elasticsearch.conf。

修改配置

使用 DataFlux 采集 Elasticsearch 性能指标并展示

配置好后,重启 DataKit 即可生效

验证数据上报

完成数据采集操作后,我们需要验证数据是否采集成功并且上报到DataWay,以便后续能正常进行数据分析及展示

操作步骤:登录DataFlux——数据管理——指标浏览——验证数据是否采集成功

Elasticsearch 性能指标:

使用 DataFlux 采集 Elasticsearch 性能指标并展示

使用DataFlux实现数据洞察

根据获取到的指标项进行数据洞察设计,例如:

Elasticsearch 性能监控视图

使用 DataFlux 采集 Elasticsearch 性能指标并展示
使用 DataFlux 采集 Elasticsearch 性能指标并展示

DataFlux基于自研的DataKit数据(采集器)目前已经可以对接超过200种数据协议,包括:云端数据采集、应用数据采集、日志数据采集、时序数据上报、常用数据库的数据汇聚,帮助企业实现最便捷的IT 统一监控。

使用 DataFlux 采集 Elasticsearch 性能指标并展示

上一篇:浅谈人工智能芯片(一)-- 深度神经网络和NVidia GPU的崛起


下一篇:小米Java程序员第二轮面试10个问题,你是否会被刷掉?