日志服务SLS支持历史数据索引重建
日志服务提供了强大易用的日志查询和分析功能,提供海量日志关键词查询、SQL分析、智能日志聚类、异常诊断等高级功能,同时配合自动告警、交互式仪表盘,真是问题排查、数据分析的利器。然而,要使用好这个利器的各项功能,首先需要对日志进行正确的索引配置。 没有开启索引,日志就无法查询;没有对字段正确设置类型和开启统计,就不能进行SQL分析。
然而,以下故事一直在重复发生:
索引未开启
小程 :"新业务上线!一定大卖!"
客服 : "有用户反馈,昨天晚上有报错,request id : xxxxx"
小程 : "没问题,日志好像都采集到日志服务了,我立马查询一下"
小程 : "为什么不能查询?"
小程 : "什么?还需要先配置索引,现在配还来得及么?只能对新日志生效? 还有什么办法,急!"
客服 :"原因知道了么, 用户在催了"
小程:"再稍等一下,我在机器上爬日志"
小程 :"上千台机器啊,我怎么知道日志在哪里,万一被回滚掉了,怎么办~~~"
字段类型错误
客服 : "有用户反馈,我们的服务访问越来越慢了"
小程 : "把用户的ID给我,我来分析一下"
小程 :"咦? 为什么我的SQL报错了?"
小程:"是字段类型错了么,只有long/double才能算平均值,被误设置成text类型了。。。"
字段配置遗漏
老板: "我们的Nginx日志都采集了么?"
小程:"都采集了"
老板 :"看看我们服务一天有多少错误"
小程:"服务正常,上亿次访问,错误率不到万分之一"
老板 : "都是来之哪些省,哪些运营商?"
小程:"省?运营商?怎么分析?"
小程:"日志服务自带的ip函数就可以了么?但我没对client_ip配置类型,就真的查不了了么?"
小程内心 : "要是有一颗后悔药就好了!我一定刚开始就正确配置索引,保证字段不遗漏!"
不用急,现在日志服务有后悔药可用了!针对以上3大问题,日志服务(SLS)推出历史数据索引重建(Index Rebuild)功能,提供多次重新选择的机会!只要选择需要重建的时间段,后台即可自动按照当前最新的索引配置进行重建,完成之后,即可对历史数据用最新的配置进行查询分析。
操作步骤
- 选择需要重新创建索引的日志,点击"查询分析", 选择"重建"
- 设置任务名称, 选在需要重建索引的开始和结束时间,点击"确定" 后开始重建索引
- 可以查询索引重建的进度,当进度达到100%的时候,索引重建完成
注意事项
- 重建索引支持的时间段:30天内 ~ 15分钟之前
- 最多支持10个重建任务
- 最多同时有1个重建任务在运行
- 重建的索引任务可以停止(终止重建,不可恢复)或删除(同时删除任务产生的索引数据)
费用
- 索引重建会另外产生索引费用(只收取一次)和存储费用(每小时计价一次),价格和正常索引一致
- 当索引任务删除(新生成的索引数据也被删除)后,重建而导致存储费用不再收取