日志服务数据加工最佳实践: 字符串动态键值对的提取

2021-07-21 17:50:20

本实践案例主要是从字符串专题进行展开，将从多方面讲解如何使用不同方案字符串，来解决用户需求。

一个快速案例: 解析URL中参数键值对

以下是一个url的数据，本文将会使用两种方案来展开这条日志内容：

request:  https://yz.m.sm.cn/s?ver=3.2.3&app_type=supplier&os=Android8.1.0

需求

1、对以上日志进行解析出proto, domain, param等内容
2、对param中的键值对值做展开操作

原始日志

比如在控制台上收集到的日志为：

__source__:  10.43.112.168
__tag__:__client_ip__:  12.120.75.130
__tag__:__receive_time__:  1563517113
__topic__:  
request:  https://yz.m.sm.cn/video/getlist/s?ver=3.2.3&app_type=supplier&os=Android8.1.0

LOG DSL编排

Grok模式+KV方式

1、首先是使用grok模式对字段request内容进行解析（也可使用正则，参考grok函数和grok模式参考）

e_regex('request',grok("%{URIPROTO:uri_proto}://(?:%{USER:user}(?::[^@]*)?@)?(?:%{URIHOST:uri_domain})?(?:%{URIPATHPARAM:uri_param})?"))

预览处理日志：

uri_domain:  yz.m.sm.cn
uri_param:  /video/getlist/s?ver=3.2.3&app_type=supplier&os=Android8.1.0
uri_proto:  https

2、其次在使用grok模式对字段uri_param解析

e_regex('uri_param',grok("%{GREEDYDATA:uri_path}\?%{GREEDYDATA:uri_query}"))

预览处理日志为：

uri_path:  /video/getlist/s
uri_query:  ver=3.2.3&app_type=supplier&os=Android8.1.0

3、第三步具体操作如下：

e_kv("uri_query")

预览处理后日志：

app_type:  supplier
os:  Android8.1.0
ver:  3.2.3

4、综上，LOG DSL规则可以如一下形式

# 初步处理解析request内容
e_regex('request',grok("%{URIPROTO:uri_proto}://(?:%{USER:user}(?::[^@]*)?@)?(?:%{URIHOST:uri_domain})?(?:%{URIPATHPARAM:uri_param})?"))
# 其次处理解析uri_param
e_regex('uri_param',grok("%{GREEDYDATA:uri_path}\?%{GREEDYDATA:uri_query}"))
# 展开kv形式
e_kv("uri_query")

预览处理后日志：

__source__:  10.43.112.168
__tag__:__client_ip__:  12.120.75.130
__tag__:__receive_time__:  1563517113
__topic__:  
request:  https://yz.m.sm.cn/video/getlist/s?ver=3.2.3&app_type=supplier&os=Android8.1.0
uri_domain:  yz.m.sm.cn
uri_path:  /video/getlist/s
uri_proto:  https
uri_query:  ver=3.2.3&app_type=supplier&os=Android8.1.0
app_type:  supplier
os:  Android8.1.0
ver:  3.2.3

注意：假如只需要第二个需求可以直接对字段request使用e_kv函数，就能展开kv数据(具体参考e_kv函数)。如下：

e_kv("request")

预览处理后日志：

__source__:  10.43.112.168
__tag__:__client_ip__:  12.120.75.130
__tag__:__receive_time__:  1563517113
__topic__:  
request:  https://yz.m.sm.cn/video/getlist/s?ver=3.2.3&app_type=supplier&os=Android8.1.0
app_type:  supplier
os:  Android8.1.0
ver:  3.2.3

其他方案

都是以url: https://yz.m.sm.cn/video/getlist/s?ver=3.2.3&app_type=supplier&os=Android8.1.0为例, 如果要提取其中动态字段ver, app_type和os等, 其实还有多种方案, 如下:

使用正则

e_regex("url", r"\b(\w+)=([^=&]+)", {r"\1": r"\2"})

使用e_kv_delmit函数

e_kv_delimit("url", pair_sep=r"?&")

综上可知，对于大部分url函数形式，都可使用以上几种方式进行展开。但是针对以上url形式，其实使用e_kv函数已经足够，清晰明了，而且形式简单。

方案比较

方案	关键字提取	值提取	关键字加工	值加工
e_kv	使用特定正则	支持默认的字符集+特定分隔符或者带`"`分隔	支持前后缀	支持文本escape
e_kv_delimit	使用特定正则	通过分隔符	支持前后缀	默认没有
e_regex	自定义正则+默认字符集过滤	完全自定义	*(例如重复, 中间加, 或者把value也放入key的都支持)	*(如左)

关键字提取

e_kv、e_kv_delimit,e_regex在使用的关键字提取的时候都遵循字段名提取值约束，以下两个示例都可以使用这三种方法进行提取：

1、案例1

以k1: q=asd&a=1&b=2&__1__=3为例，如果要对以上日志格式做关键字和值提取的话，三种方案如下

# 默认以特定字符集提取关键字
e_kv("k1")

# 以&分隔键值后, 用&分隔提取出关键字
e_kv_delimit("k1", pair_sep=r"&")

# 自行指定字符集提取关键字和值
e_regex("k1",r"(\w+)=([a-zA-Z0-9]+)",{r"\1": r"\2"})

经过以上DSL编排过后的日志格式为：

k1: q=asd&a=1&b=2
q: asd
a: 1
b: 2

注意到, 并没有提取出关键字__1__因为其不符合字段名提取值约束.

2、案例2
以content:k1=v1&k2=v2?k3:v3为例, 有点特殊需要特定正则提取关键字，三种方案如下:

e_kv("content",sep="(?:=|:)")
e_kv_delimit("content",pair_sep=r"&?",kv_sep="(?:=|:)")
e_regex("content",r"([a-zA-Z0-9]+)[=|:]([a-zA-Z0-9]+)",{r"\1": r"\2"})

注意: 给参数pari_sep、kv_sep或者sep传递字符集的时候, 需要使用正则的不捕获分组, 形式如(?:字符集)。

经过DSL编排之后的日志格式是：

content:k1=v1&k2=v2?k3:v3
k1: v1
k2: v2
k3: v3

3、案例3
以下格式的字符串比较复杂，使用e_regex提取更方便。

content :"ak_id:"LTAiscW,"ak_key:"rsd7r8f

如果要提取的字符串的关键字前有"需要使用e_regex来提取。

e_regex("str",r'(\w+):(\"\w+)',{r"\1":r"\2"})

经过DSL编排语法后，日志为：

content :"ak_id:"LTAiscW,"ak_key:"rsd7r8f
ak_id: LTAiscW
ak_key: rsd7r8f

值提取

动态键值对之间以及关键字与值之间有明确标识如：

1、日志格式为a=b或a="cxxx"形式的推荐用e_kv函数：

content1:  k="helloworld",the change world, k2="good"

在这种情况下使用e_kv函数就可以，提取内容不包括 the change world这几个词

e_kv("content1")
# e_kv_delimit函数写法，特别注意k2前有空格，所以e_kv_delimit函数的pair_sep参数需要使用`,\s`才能正常解析，否则解析不出来k2
e_kv_delimit("content1",kv_sep="=", pair_sep=",\s")
# e_regex函数写法
e_regex("str",r"(\w+)=(\"\w+)",{r"\1": r"\2"})

提取后的日志为：

content1:  k="helloworld",the change world, k2="good"
k1: helloworld
k2: good

但是对于不同的场景，以上三种有不同的合适使用场景。比如：

2、而以下形式的带"的日志格式content:k1="v1=1"&k2=v2?k3=v3，如果使用e_kv函数提取会比较容易，如下：

e_kv("content",sep="=", quote="'")

处理后日志为:

content: k1='v1=1'&k2=v2?k3=v3
k1: v1=1
k2:v2
k3:v3

而使用e_kv_delimit函数做提取，使用的规则e_kv_delimit("ctx", pair_sep=r"&?", kv_sep="=")，只能解析出k2: v2和k3: v3, 因为其中第一个提取的键值对中关键字是k1="v1,不符合关键字的规范会被丢弃。

3、比如以下分隔符的键值对中值包含了特殊字符但没有用特定字符括起来的时候，适合e_kv_delimit函数的数据形式. 例如:

content:  老鼠吃大米,油|小鸡吃虫子,稻子|小猫吃鱼,老鼠|

此时使用e_kv_delimit函数比较合适。

e_kv_delimit("content", pair_sep="|", kv_sep="吃")

处理后日志为

content:  老鼠吃大米,油|小鸡吃虫子,稻子|小猫吃鱼,老鼠|
小猫:  鱼,老鼠
小鸡:  虫子,稻子
老鼠:  大米,油

而使用e_kv解析会无法解析完整

e_kv("f1", sep="吃")

处理后日志为

content:  老鼠吃大米,油|小鸡吃虫子,稻子|小猫吃鱼,老鼠|
小猫:  鱼
小鸡:  虫子
老鼠:  大米

关键字加工

1、e_kv和e_kv_delimit函数都可以通过prefix="", suffix=""对关键字和值进行加工，示例如下：
原始日志：

k1: q=asd&a=1&b=2

加工编排

e_kv("k1", sep="=", quote='"', prefix="start_", suffix="_end")
e_kv_delimit("k1", pair_sep=r"&", kv_sep="=", prefix="start_", suffix="_end")
e_regex("k1",r"(\w+)=([a-zA-Z0-9]+)",{r"start_\1_end": r"\2"})

加工后的数据都是关键字加工形式，如下：

k1: q=asd&a=1&b=2
start_q_end: asd
start_a_end: 1
start_b_end: 2

e_regex对关键字加工的能力更强, 例如将关键字重复(仅用于举例)：

e_regex("k1",r"(\w+)=([a-zA-Z0-9]+)",{r"\1_\1": r"\2"})

加工后的数据都是关键字加工形式，如下：

k1: q=asd&a=1&b=2
q_q: asd
a_a: 1
a_a: 2

值加工

1、日志格式为k1:"v1\"abc"，值内容有双引号的情况，只有e_kv可以正常提取出，并且使用escape参数。其他两种比较难实现

"""
这里的\只是普通的符号，不是转义符
"""
content2:  k1:"v1\"abc", k2:"v2", k3: "v3"

使用e_kv规则为:

e_kv("content2",sep=":", quote='"')

提取后的日志为:

content2:  k1:"v1\"abc", k2:"v2", k3: "v3"
k1: v1\
k2: v2
k3: v3

e_kv提供对于\字符的转义支持, 通过参数escape打开, 如下:

e_kv("content2",sep=":", quote='"',escape=True)

提取后的日志为：

content2:  k1:"v1\"abc", k2:"v2", k3: "v3"
k1: v1"abc
k2: v2
k3: v3

2、日志格式为a='k1=k2\';k2=k3'特殊形式的日志，只有e_kv正常提取出，其他两种比较难以实现

data: i=c10 a='k1=k2\';k2=k3'

默认情况下e_kv函数的escape=False，结果为：

e_kv("data", quote="'")

提取后的日志为：

a:  k1=k2\
i:  c10
k2:  k3

e_kv提供对于\字符的转义支持, 通过参数escape打开, 如下:

e_kv("data", quote="'", escape=True)

提取后的日志为：

data: i=c10 a='k1=k2\';k2=k3'
i: c10
a: k1=k2';k2=k3

综上，对于e_regex,e_kv_delimit函数，提取出以上形式的日志格式比较困难。值加工推荐使用e_kv函数。

4、键值的复杂加工

content:  老鼠吃大米|小鸡吃虫子|小猫吃鱼|

e_regex("content", r"\b([\u4e00-\u9fa5\u0800-\u4e00\w]+)吃([^\|]+)", {r"\1": r"\2被\1吃"})

处理后日志为

content:  老鼠吃大米|小鸡吃虫子|小猫吃鱼|
小猫:  鱼被小猫吃
小鸡:  虫子被小鸡吃
老鼠:  大米被老鼠吃

结论

大部分键值对的提取使用e_kv并配置特定参数就可以很好满足, 尤其是带括字符和反斜杠需要提取并转义时. 其他复杂或高级的场景时, 可以用e_regex来提取. 某些特定场景下的键值对, 使用e_kv_delemit会跟简单.

进一步参考

日志服务最佳实践汇总(持续更新)
完整DSL语法介绍与参考PDF下载(持续更新)
日志服务数据加工指南
- 介绍:
- 快速开始:
- 语法:
- 管理配置:
  - 子账号授权配置

欢迎扫码加入官方钉钉群获得实时更新与阿里云工程师的及时直接的支持:

码农公寓

一个快速案例: 解析URL中参数键值对

需求

原始日志

LOG DSL编排

Grok模式+KV方式

其他方案

使用正则

使用e_kv_delmit函数

方案比较

关键字提取

值提取

关键字加工

值加工

结论

进一步参考

相关文章