背景
OSS作为阿里云的对象存储产品,具有非常广泛的应用场景,可以在OSS存储网站,App上的图片,视频,文件等。具有安全,低成本,高可靠等特点。在使用OSS的过程中,开发运维人员往往需要关注OSS的一些访问情况,比如一些流量数据,性能数据等。在一些指标,比如流量等出现异常时,也希望能够收到一些告警通知,便于及时查看相关的异常。
SLS告警作为一站式运维告警平台,也为OSS的访问提供了定制化的告警规则,用户只需要一键开启,即可完成对OSS访问指标的监控,并可以在指标出现异常时及时收到告警。本文主要介绍如何使用在OSS访问日志上开启SLS告警及配置方法。
本文主要包括如下部分:
- 开启OSS访问日志
- 查看OSS专属仪表盘
- 开启OSS定制化告警
开启OSS访问日志
OSS访问日志主要记录了OSS的访问数据,批量删除数据和每小时计量数据。访问日志主要记录对OSS Bucket和Object的操作记录,例如增删Bucket,列举/上传/复制文件等,同时也会记录客户端的访问IP,请求的方法,大小,响应时间,大小等信息,通过这些信息可以对OSS的访问进行流量,统计,性能等分析。下面介绍下开通OSS访问日志的步骤。
在OSS控制台首页,点击某个Bucket进去,找到左边的日志管理,点击实时查询,如果之前还没有开通实时查询,这里会显示立即开通。
开通后,OSS会在SLS侧创建一个该区域的OSS Bucket专属的Project和Logstore。Project与Logstore名称格式为:
Project: oss-log-阿里云账号ID-地域ID
Logstore: oss-log-store
已经开通过OSS访问日志的界面如下:
在原始日志的查询页面,可以使用SLS查询分析语法对日志进行分析,同时也可以在SLS控制台找到oss-log-阿里云账号ID-地域ID的Project,然后进行查询分析查看仪表盘,创建告警等。
查看仪表盘
除了OSS访问日志外,SLS在访问日志的基础上提供了四个专属仪表盘,仪表盘主要包括一些流量展示,流量分布,性能数据和运维数据,仪表盘可以让用户对OSS的访问有一个全面的认识,并且可以发现其中的一些异常。仪表盘详情如下:
仪表盘 | 说明 |
访问中心 | 展示总体运营状况信息,包括PV、UV、流量以及外网访问地图分布等。 |
审计中心 | 展示文件操作的统计信息,包括读、写、删除文件等操作。 |
运维中心 | 展示OSS的运维信息,包括请求数量、操作失败的分布统计等。 |
性能中心 | 展示OSS性能的统计信息,包括外网下载/上传性能分布、不同网络与文件大小的传输性能、文件下载差异列表等。 |
在OSS控制台访问日志的日志报表标签页可以看到这四个仪表盘,在SLS控制台相应的Project下也可以查看四个仪表盘列表。
运维中心仪表盘
访问中心仪表盘
性能中心仪表盘
审计中心仪表盘
通过以上四个仪表盘,我们可以对OSS的访问情况有一个整体的了解,比如访问分布,访问性能,访问热点等,同时我们也可以基于仪表盘创建告警,在某些指标出现异常时我们可以及时收到通知,便于我们通知告警。创建告警的方式可以参考之前的一篇文章。
配置告警
除了自定义告警对OSS的访问日志进行监控之外,SLS还提供了一批开箱即用的告警规则,只需要鼠标点几下,即可对OSS访问日志进行告警配置。SLS内置的OSS告警规则目前包含23个,还在不断地增加中。规则主要包括操作合规类,数据安全类和流量安全类,基本覆盖了在OSS访问中可能出现的异常告警,这些内置规则由SLS维护更新,其中一些规则用到了SLS的机器学习算法,使告警更加智能可靠。
内置规则列表(不断扩充中)
OSS操作合规(4)
- OSS Bucket加密关闭告警
- OSS Bucket访问日志记录关闭告警
- OSS新创建的Bucket访问日志记录未开启告警
- OSS新创建的Bucket加密未开启告警
OSS数据安全(6)
- OSS账号访问控制
- OSS文件权限变更告警
- OSS错误操作检测
- OSS Bucket删除告警
- OSS频繁删除对象告警
- OSS跨区域复制开关检测
OSS流量安全(13)
- OSS外网访问检测
- OSS匿名访问检测
- OSS高频访问IP检测
- OSS请求平均响应延迟过高告警
- OSS Bucket有效请求率过低告警
- OSS访问PV同比昨日变化率过高告警
- OSS访问UV同比昨日变化率过高告警
- OSS访问流量同比昨日变化率过高告警
- OSS流量异常检测
- OSS流入流量异常检测
- OSS流出流量异常检测
- OSS访问PV异常检测
- OSS访问UV异常检测
使用方法
在SLS控制台找到oss-log-阿里云账号ID-地域ID的Project,点击左侧的告警图标,右边会展示告警规则列表。SLS会自动加载OSS访问日志内置的告警规则列表。
在告警规则列表页可以看到每个分类下告警规则,我们可以对其进行开启设置添加操作。光标置于每个规则后的问号会显示规则的详细信息。
在规则的左边有+号,表示该规则支持多实例配置,一般情况下是该规则允许配置不同的告警触发阈值,不同的Bucket名称或者异常点个数;可以更加灵活的控制告警。
多实例规则
以OSS流量异常检测规则为例,点击右侧的“添加”按钮,我们可以在参数设置页面配置不同的参数。在参数页面我们可以设置该告警实例的严重度,异常点个数阈值,阿里云账号和Bucket名称的正则过滤,还有行动策略(在这里配置发送渠道)
单实例规则
以OSS匿名访问检测告警为例,这里只需要开启告警即可,会创建一个该规则下是告警实例,这是由告警本身的性质决定,没有使用阿里云账号/子账号或者AccessKey对OSS的访问是不需要创建多份实例的。比如有匿名访问时,同时创建一个严重度高和严重度中的告警实例没有必要。
OSS访问PV同比昨日变化率过高告警
这里以OSS访问PV同比昨日变化率过高告警为例,开启一个告警并且配置通知。
首先,点击右侧的添加按钮。
配置参数:
- 选择严重度:包括严重,高,中,低,报告
- 增长率阈值和下降率阈值:表示当前10分钟的pv相对于昨天相同时段的增长率或者下降率的阈值,注意,下降率这里填写正数。
- Bucket名称:允许使用正则对访问日志中的不同Bucket进行监控
- 行动策略:可以选择默认的SLS OSS内置行动策略。
配置行动策略
点击上方的行动策略选择,查看配置详情,弹出页面,默认行动组为空,需要添加行动组。
这里我们添加一个钉钉的通知渠道,如果需要更多的行动策略配置,可以参考【链接】。
开启告警
点击设置并开启,可以看到一个告警实例已经开启成功。
接收告警
这里是默认的告警模板,如果需要定制化的内容模板,也可以进行设置,参考【链接】。
总结
通过开启OSS访问日志,可以直接拥有SLS的专属Project和专属Logstore,借助SLS强大的实时查询分析能力,可以进行一些问题的排查和统计;同时还有四个定制仪表盘供用户对OSS进行监控分析和运行情况进行总览;在告警方面,SLS内置了一批非常实用的告警规则,无需过多配置,可以一键开启告警,在后面SLS还将提供更多告警规则,以满足更多的场景需求,敬请关注。
SLS告警作为一站式云原生智能告警运维平台,提供对日志、时序等各类数据的告警监控,亦可接受三方告警,对告警进行降噪、事件管理、通知管理等,充分考虑研发、运维、安全以及运营人员的告警监控运维需求。
本文也通过一个实例演示了如何使用SLS内置告警规则来对OSS进行告警配置,实现了对OSS流量的监控告警。
参考
进一步参考
- SLS(日志服务)云原生观测分析平台:https://www.aliyun.com/product/sls
- SLS新版告警文档首页:https://help.aliyun.com/document_detail/207609.html
- 欢迎扫群加入阿里云-日志服务(SLS)技术交流(集团同学请直接搜索群号11702236加入), 获得第一手资料与支持
- 后续系列直播与培训视频会同步到B站,敬请留意