EMR按集群费用分摊 -- 传播标签实践

场景描述

E-MapReduce是构建于云服务器ECS之上,利用开源大数据生态系统,包括Apache Hadoop、Apache Spark、Kafka、Storm,为用户提供集群、作业、数据等管理一站式大数据处理分析业务。如果对于集群维度进行分账,包括集群里的实例及存储。

实现路径

为使用的集群打上对应的标签,在费用分析处看标签的使用情况。

标签设计及使用

在为阿里云资源创建标记策略时,请遵循最佳实践,更多请参考 阿里云标记策略标记最佳建议快速管理阿里云资源与*钱关系——资源标记(TAG)策略

设计标签

对于标签设计,需要考虑统一格式,建议小写或者用_来分割单词,同时精简设计标签键。按照通常大家理解来设计名称,比如按用途设计名称。标签设计可能不仅仅用于某个用途,比如可以自动化管理同时也可以用于费用分摊。如果有变化,需要关注标签变化带来的影响。

本文中例子标签设计如下(标签键:标签值):

  • 资源归归属组 team:xxx_team
  • 资源安全等级 security_level:middle
  • 资源使用者 owner:xxxx
  • 资源归属财务分组 finance_group:xxxx_group

新增资源以及标签传播

入口 标签 继承 作用于
创建资源时打标签 owner:zasa
team:emr_team
security_level:middle
finance_group:emr_group
集群
ECS实例 
磁盘
网卡
创建后系统自动产生系统标签 "acs:emr:clusterId":"C-xxxxx"
"acs:emr:hostGroupType":"CORE"或者"MASTER"
ECS实例
集群上打标签 addTagsOnlyIncluster 部分是 集群C-xxxxx
ECS实例 i-xxxxx
由集群里进行弹性伸缩 owner:zasa
team:emr_team
security_level:middle
finance_group:emr_group
磁盘
由集群里进行弹性伸缩 owner:zasa
team:emr_team
security_level:middle
finance_group:emr_group
acs:autoscaling:scalingGroupId:asg-xxxxx
acs:emr:clusterId:C-xxxxx
acs:emr:hostGroupType:TASK
ECS实例
扩容指定规格等 owner:zasa
team:emr_team
security_level:middle
finance_group:emr_group
acs:emr:clusterId:C-xxxxx
acs:emr:hostGroupType:CORE
ECS实例
扩容指定规格等 owner:zasa
team:emr_team
security_level:middle
finance_group:emr_group
网卡
磁盘

成本分摊

阿里云费用账单-账单明细中单报告可让您按标签细分阿里云成本。这里可以按照集群来拆分账单。

  • 目前标签分摊支持 按天/按月/按小时 维度汇聚费用
  • 打标签后需要1天后,才能看到标签费用

参考基于标签成本分摊管理

EMR支持标签成本分摊资源

资源类型 产品类型 支持控制台 支持API 支持创建时打标签 支持分账
ECS实例 云服务器 ECS
云盘 云服务器 ECS
集群 EMR
上一篇:分布式锁用 Redis 还是 Zookeeper?


下一篇:标记(TAG)您的DDoS高防实例资源