使用模拟日志轻松上手日志服务——数据实验室实践

简介

数据实验室是日志服务(Log Service,简称 SLS)最新推出的工具,为用户提供各种场景的模拟日志数据,以及各种公共数据集数据。同时也根据场景建立对应的报表模板,方便用户从这些数据和报表模版入手以熟悉日志服务的查询,报表编辑等各种操作。

第一期实验室中提供了网站访问日志和 rds 操作日志两种模拟数据场景,并接入了疫情数据集。

入口

使用模拟日志轻松上手日志服务——数据实验室实践

用户权限

日志模拟写入需要用户授权,AliyunLogArchiveRole

使用模拟日志轻松上手日志服务——数据实验室实践

完成权限授权之后,正式进入数据实验室的界面。

场景介绍

使用模拟日志轻松上手日志服务——数据实验室实践

数据分为模拟数据和数据集。
目前提供网站访问,数据库审计两种模拟数据场景,同时也接入了疫情场景数据。
在场景选择界面,用户可以选择需要的数据场景,并点击初始化。

模拟数据:根据模拟配置生成的数据,可以按照需要对部分字段做配置,并随时间推移不断产生新数据。
数据集:来自于各种场景的真实日志数据。

网站访问日志

提供网站访问日志场景,包括网站访问的模拟日志以及预制的网站访问报表。
可以通过查看报表的设置来学习报表的配置方法,并且也可以直接动手进行改动与编辑。

使用模拟日志轻松上手日志服务——数据实验室实践

在查询界面可以对模拟日志进行查询等日志服务常规操作。

使用模拟日志轻松上手日志服务——数据实验室实践

数据库审计日志

提供 rds 审计日志场景的模拟,同样包含预制的审计报表等。

使用模拟日志轻松上手日志服务——数据实验室实践

新冠疫情数据集

与日志服务之前提供的疫情数据一致,用户可以查看每日更新的疫情实时数据。

使用模拟日志轻松上手日志服务——数据实验室实践

模拟数据设置

目前的数据模拟借由数据加工任务实现,根据场景不同,默认配置了模拟日志的字段与类型。

使用模拟日志轻松上手日志服务——数据实验室实践

用户可以对部分字段的配置进行调整,例如对于 String 类型的字段:

使用模拟日志轻松上手日志服务——数据实验室实践

该行表示字段名字为 scheme,字段的类型为 string,内容为 https 和 http,两者的概率权重是 9:1。点击增减按钮可以增减内容,并重新设定权重。

与字段类型类似,还有 Number 类型,可以设置为数字的随机范围与权重。

频率范围

使用模拟日志轻松上手日志服务——数据实验室实践

在频率范围设置中,可以通过时间范围设定来指定模拟数据生成的起点时间与介绍时间,默认为当前时间的一小时前。如果不指定结束时间,那么模拟数据会一直持续生成。

分布模型分为:随机,周期与线性
异常点:是指在上文数据量分布模式中所确定的数据量基础上,随机选择某些周期,这些周期内的数据量会出现异常变化,变化的倍率用户指定。

可以指定多个独立异常选项,每个数据周期最多只会出现一个异常点,优先模拟排在前面的异常选项。
异常点的两个值分别为出现概率和倍数。

日志生成

使用模拟日志轻松上手日志服务——数据实验室实践

点击开始导入之后,会为用户创建数据实验室专用的 project 以及对应场景的 logstore。
数据模拟服务启动需要大约 1 分钟的时间,之后就可以直接开始使用了。
点击开始使用后,默认我们会为用户跳转到每个场景的报表中心,

使用模拟日志轻松上手日志服务——数据实验室实践

用户可以马上开始查看我们预先为每个场景准备的报表,并且可以进行查询与分析操作。
除了在实验室界面中进行查询等操作以外,用户同样也可以进入 datalab 的项目界面进行直接操作。

场景删除

使用模拟日志轻松上手日志服务——数据实验室实践

在删除场景时,默认会将数据模拟任务停止,同时也可以选择是否要删除对应的 logstore 以及 dashboard。

收费与限制

目前提供的三个场景都可以免费使用,数据保留 7 天,shard 数为 1。但是用户无法对 logstore 进行数据写入,index 编辑等操作。数据实验室提供的 logstore 只可以用于模拟数据的存储。

后续与展望

数据实验室之后会上线更多的日志场景与数据集,同时会与我们之前上线的 SQL 案例中心进行联动,让用户可以非常方便的执行各种 SQL 语句。

并且我们在之后会开放用户自定义模拟的功能,让用户可以完全模拟自己需要的日志。

上一篇:ASP.NET AJAX正式版带来的Validator问题及解决方案


下一篇:Android开发者指南(2) —— aapt