数据加工CheatSheet的使用

背景介绍

什么是日志服务?

日志服务是针对日志类数据的一站式服,像Log、Metric这类数据我们可以提供大规模、低成本、实时的平台化服务。它的应用场景非常多,像一些监控、分析、诊断都可以通过日志服务去实现,无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能,提升运维、运营效率,建立DT时代海量日志处理能力

数据加工CheatSheet的使用

什么是数据加工?

数据加工是日志服务推出的一项功能,是面向日志进行实时的处理,实时性高且功能丰富。数据加工目前提供了两百多种DSL算子用作数据处理,我们可以在数据加工中根据需求做数据过滤、转换、复制、富化、分裂等操作。

数据加工CheatSheet的使用


数据加工CheetSheet

简介:

在我们需要做数据加工时 ,虽然有时候很清楚我们需要加工的场景,但可能会出现一个问题:无法准确快速的去选择加工函数查函数文档效率是比较低的,CheetSheet就是为了解决这个问题。

数据加工CheatSheet的使用

内容:

CheatSheet地址:https://sls.console.aliyun.com/dsl/cheetsheet.pdf
CheatSheet中目前罗列了一些比较常见的函数和场景,我们可以通过这些去选择我们需要使用的函数,然后根据需求替换参数即可。

部分截图:
数据加工CheatSheet的使用

场景实例

这里有一个加工场景,可以通过需求场景去选择加工函数。

场景1

数据加工CheatSheet的使用

CheatSheet选用

1.选用事件处理—>根据条件丢弃日志 + 字段操作->判断字段是否存在

更改参数组合DSL:e_if(e_not_has("error_request"),DROP)

2.选用json解析->提取json中字段的值

更改参数:json_select(v("error_request"), "request_uri")

3.选用字段操作->创建/更新字段值

更改参数组合DSL:e_set("uri", json_select(v("error_request"), "request_uri"))



FAQ

目前CheatSheet中维护的场景和函数比较少,后续会不断完善

根据场景选用了函数,但不知函数的参数以及用法,可在https://help.aliyun.com/document_detail/159702.html函数总览中中查看函数具体用法


上一篇:SLS数据加工“事件搜索”实践


下一篇:使用 lxml 中的 xpath 高效提取文本与标签属性值