很多用户经常被MaxCompute收费所困扰,比如执行了一条 select xxx from yyy 然后扣费1元 ,使用了机器学习后扣了1分钱,不知道如何查询到明细,也无法做优化。
接下来,我来教大家学习如何通过控制台消费功能查看你在MaxCompute(DataWorks/Studio)中每一条SQL/MR计算、存储、下载的消费明细。
概要:
场景1,查看昨天的收费情况
场景2,分析某一天计算收费“贵“原因
场景3,分析存储收取1分钱的原因
场景4,分析数据上传和下载是否产生了费用
场景5,分析“不足一天”的数据存储费用
场景6,分析"消费贵"的MR计算费用
场景1,查看昨天的收费情况
出账后,通过控制台消费明细来查看。
出账时间:
预付费出账单时间次日12点
后付费出账单时间是次日9点
step1 进入阿里云控制台-消费,https://expense.console.aliyun.com/#/
step2 打开消费总览,看到当月账单。
step3 点击左侧消费明细,根据产品分类Maxcompute及时间来筛选昨天的消费金额,https://expense.console.aliyun.com/#/consumption/list/flow/afterpay
step4 点击详情,展开每个项目的消费情况,查看有无“贵”收费
如发现“贵“的项目,可根据存储、计算、下载几个场景对应到下面的解决方法。
场景2,分析某一天计算收费“贵“原因
通过导出使用记录,分析消费多的作业instance具体情况。
step1 打开消费明细后,看到账单异常后,请到左侧消费记录下载导出使用记录。
step3 查看这个“贵”instanceID 的logview
【获取logview信息】wait 20171106100629865g4iplf9 或者 【快速查看SQL语句】desc instance 20171106100629865g4iplf9
step4 通过Logview我们发现产生了全表扫描、长尾计算等问题,及时优化我们的SQL/MR作业。
长尾优化参考:
场景3,分析存储收取1分钱的原因
通过导出使用记录,分析消费多的存储Storage明细。
step1 下载记录后,打开excel表。
step3 如果这份数据是用来测试的,你可以通过IDE删除Project下的表数据。
场景4,分析数据上传和下载是否产生了费用
部分用户总担心数据同步会产生费用,我们可以通过分析账单来解决。
step1 点击消费明细详情,查看上行、下载有无收费。
我们可以看到收费明细里面并没有上行(UploadIn,UploadEx)计费项,所以用户不必担心数据上传产生了费用。
同时,我们看到了下载产生了0.028元。
step2 通过导出使用记录,分析消费多的下载消耗明细,数据分类DownloadEx代表公网下载计费项。
step3 可以看到公网下行流量产生了一条约0.036GB(38199736byte)的下行流量,根据官网收费标准,(38199736byte/1024/1024/1024)*0.8 元/GB=0.028元。计费公式参考:https://help.aliyun.com/document_detail/27989.html?spm=5176.product27797.6.559.QL7dYV#h1-u4E0Bu8F7Du8BA1u8D39
step4 下行优化
a 查看你的tunnel设置的service,是否设置成了公共网络。参考:https://help.aliyun.com/document_detail/34951.html
b 如果你本地在苏州,Region在华东2上海,那么你可以先通过华东2的ECS把数据下载到虚机,然后利用ECS包月下载资源。
场景5,分析“不足一天”的数据存储费用
通过导出使用记录,分析存储Storage明细。
step1 下载记录后,打开excel表。
先计算24小时存储价格,
100GB*0.0192 元/GB/天
+(333507833900 Byte/1024/1024/1024-100)GB*0.0096 元/GB/天
=1.92+2.02=3.94元/天场景6,分析"消费贵"的MR计算费用
通过导出使用记录,分析消费贵的MR计算作业。
step1 下载记录后,打开excel表。
总结:通过上述几个场景,带大家学习MaxCompute账单的分析方法,希望能够帮到更多的用户。
MaxCompute招聘信息:DT时代,与坚持梦想者同行!
阿里巴巴大数据-玩家社区 https://yq.aliyun.com/teams/6/
---阿里大数据博文,问答,社群,实践,有朋自远方来,不亦说乎……