SLS【数据加工】调试手册

2022-01-03 09:19:05

简介

SLS 数据加工提供了预览功能，以便用户可以在发布运行之前，对 DSL 脚本进行调试，保证 DSL 的正确性和完整性。数据加工提供了2种预览方式，快速预览和高级预览。

快速预览可免费、快速检验数据加工脚本语法正确性，验证加工规则的输出结果是否符合预期，并且支持自定义测试数据或者从Logstore中选取特定日志进行测试。快速预览不能真正连接到资源函数（res_local、res_rds_mysql、res_log_logstore_pull、res_oss_file）所指定的资源，如果在加工过程中涉及到函数资源，您可以在维表页签中输入测试数据进行预览。
高级预览会产生一定的流量，计入数据加工费用。建议您通过快速预览确认输出结果符合预期后，使用高级预览完整测试资源函数的配置准确性。

下表是这两种预览方式的对比：

预览方式	计费	预览速度	自定义输入数据	完整加工流程
快速预览	免费	极快	支持	否（不会连接资源函数指定的资源）
高级预览	按流量	一般	不支持	是

快速预览

在右上角选择“快速”选项。
加工脚本编辑器左下方，在“原始日志”标签页中，我们可以看到当前logstore内存储的原始数据。
对于每一条原始数据，我们都可以选择将其“加入预览数据”。
选择好原始数据以后，选择“测试数据”标签页，这里面包含了“数据”和“维表”两个子标签页。
选择“数据”子标签页，这里可以看到，已经从原始数据中选择的数据条目。我们特可以输入自定义数据

说明:

单次预览的测试数据大小不超过1 MB。
多条测试数据之间用空行分隔。
跨行字段值使用Markdown编辑格式，通过`，识别整个字段。
在数据页签中配置的测试数据可以为KV格式或者JSON格式，其中KV格式数据使用冒号（:）连接字段名和字段值。

样例：包含2条测试数目，第1条是KV格式（包含1个跨行字段traceback），第2条是JSON格式。

time_local: 25/May/2020:01:56:22
user agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18
"request:method": GET

{
  "time_local": "25/May/2020:01:56:22",
  "user agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US) AppleWebKit/534.18 (KHTML, like Gecko) Chrome/11.0.661.0 Safari/534.18",
  "request:method": "GET",
  "remote user": "john"
}

选择“维表”子标签页，如果加工脚本里面包含了资源函数，我们可以在这里指定每个资源函数对应的资源内容。

说明在维表页签中配置的测试数据，如果是res_rds_mysql、res_log_logstore_pull资源函数对应的数据样例必须为CSV格式，如果是res_oss_file、res_local资源函数对应的数据样例可以为CSV格式，也可以为JSON格式。

样例：包含2条测试数据，第1条是CSV格式，第2条是JSON格式。

ip,country,province
127.0.0.1,China,Shanhai
192.168.0.0,China,Zhejiang

[
  {
    "ip": "127.0.0.1",
    "country": "China",
    "province": "Shanhai"
  },
  {
    "ip": "192.168.0.0",
    "country": "China",
    "province": "Zhejiang"
  }
]