日志数据预处理与投递

背景介绍

什么是日志服务?

日志服务是针对日志类数据的一站式服,像Log、Metric这类数据我们可以提供大规模、低成本、实时的平台化服务。它的应用场景非常多,像一些监控、分析、诊断都可以通过日志服务去实现,无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能,提升运维、运营效率,建立DT时代海量日志处理能力

日志数据预处理与投递

什么是数据加工?

数据加工是日志服务推出的一项功能,是面向日志进行实时的处理,实时性高且功能丰富。数据加工目前提供了两百多种DSL算子用作数据处理,我们可以在数据加工中根据需求做数据过滤、转换、复制、富化、分裂等操作。

日志数据预处理与投递

什么是数据投递?

数据投递是指将日志服务采集的数据投递至OSS、ADB、MaxCompute等其他阿里云产品中,便于您长期存储数据或联合其它系统消费数据。

日志数据预处理与投递

数据加工与投递

在我们做数据投递的时候,可能需要先对数据做一定的加工处理,像数据字段的保留、删除、改名,打包等操作,加工完成之后然后我们再投递到相应的服务中。
日志数据预处理与投递

场景实例

这里有一个场景,在数据投递之前我们需要对左边的原始日志做一些加工处理,右边的日志是我们投递需要的日志,图中包含了三个加工场景。

日志数据预处理与投递场景使用字段操作函数解决示范

场景1:字段重命名操作

日志数据预处理与投递

场景2:字段删除操作

日志数据预处理与投递

日志数据预处理与投递



场景3:字段打包操作

日志数据预处理与投递

日志数据预处理与投递


字段操作函数介绍

日志数据预处理与投递


FAQ

日志数据预处理与投递

上一篇:SQL——索引


下一篇:《Adobe Fireworks CS5中文版经典教程》——1.3 使用属性面板