当你需要查询数据或者下载到本地时, 是否遇到一些困难:

• Web查询不支持跨多个logstore查询?
• 现在的Web控制台只能一页一页的下载?
• SDK提供的接口需要用起来有些复杂, 例如大数据量分页如何控制, 调整数据的输出格式化? 需要重试不精确查询.

如果是的, 你可以使用日志服务的CLI轻松解决这些问题.

查询日志

介绍

查询数据(GetLog)指的是针对索引数据, 在特定时间范围内搜索特定的日志.

查询日志的特点是:

1. 针对获取索引的数据
2. 按照索引获取, 跨分区, 支持跨多个logstore查询
3. 可以按照主题, 全文分词, 特定索引域等查询条件获取.
4. 按照日志资深时间查询, 而不是服务器接收.

参考查询语法以了解如何打开索引以及查询的相关语法.

查询日志

根据设定好的查询语句查询数据, 即可通过CLI轻松查询数据. 下面例子查询某个时间范围, 某台服务器响应速度大于5秒的访问日志.

aliyunlog log get_log_all --project_name="p1" --logstore_name="l1" --query="host:test.com and response_time>5000" --from_time="2018-01-24 16:00:00+8:00" --to_time="2018-01-24 17:00:00 +8:00"

这里拉取从时间2018-01-24 16:00:00+8:00到2018-01-24 17:00:00+8:00在内满足条件host:test.com and response_time>5000的日志, 例如:

{"count": 101, "logs": [{"k1":"a1", "k2":"a2"}, {"k1":"b1", "k2":"b2"}, ... ]}

注意:

• 这里也可以使用子命令get_log(s)并传入size=-1, 但如果数据量特别多时, 例如总行数100万行的时候, 推荐使用get_log_all.

转换格式并存储到文件

如果期望将数据按照一行一条的形式存储下来, 一般需要加入jmes-filter进行处理. 如果期望存储到文件, 这直接使用>>重定向到文件即可.

例如:

aliyunlog log get_log_all --project_name="p1" --logstore_name="l1" --query="host:test.com and response_time>5000" --from_time="2018-01-24 16:00:00+8:00" --to_time="2018-01-24 17:00:00 +8:00" --jmes-filter="join('\n', map(&to_string(@), @))" >> ~/Desktop/test.data

输出将被存储在文件test.data中, 格式为:

{"k1":"a1", "k2":"a2"}
{"k1":"b1", "k2":"b2"}
...

时间格式

时间格式推荐是%Y-%m-%d %H:%M:%S %Z, 如2018-01-24 17:00:00+8:00, 但也支持其他合法的时间格式, 例如:Jan 01 2018 10:10:10+8:00

时间范围

命令get_log(s)或get_log_all传入的时间范围, 需要注意几点:

1. 这里的时间指的是解析出的日志时间(日志配置没有指定的情况下, 服务器接收日志的时间会设为这个时间).
2. 时间的范围是左闭右闭[], 上面例子中16:00:00和17:00:00时间的日志都会获得.

跨库查询

使用接口get_project_logs可以跨库查询日志. 例如:

aliyunlog log get_project_logs --request="{\"project\":\"p1\", \"query\":\"select count(1) from logstore1, logstore2, logstore3 where __date__ >'2017-11-10 00:00:00' and __date__ < '2017-11-13 00:00:00'\"}"

具体细节可以参考跨库查询.

进一步参考

• 阿里云日志服务
• 阿里云日志服务CLI
  (Github开源)
• 扫码加入官方钉钉群 (11775223):