E-MapReduce从EMR-2.7.x/EMR-3.5.x版本开始支持创建安全类型的集群,即集群中的开源组件以Kerberos的安全模式启动,在这种安全环境下只有经过认证的客户端(Client)才能访问集群的服务(Service,如HDFS)。
企业级安全
一个大数据集群的企业级安全,从外到内可以分为几层:
- 边界安全
如网络的隔离,使用vpc/安全组/iptables等。
- 认证(Authentication)
只有可信的得到合法身份认证的用户才能够访问集群。
开源组件通用的认证方案是集成Kerberos(如HDFS/YARN/HBase等),也有用户名/密码(如hue等)。
- 授权(Authorization)
将开源组件里面的具体资源的操作权限授予用户,未被授权的用户无法访问资源。
- 加密(Encryption)
通道/数据的加密,如HDFS存储的数据加密,数据被窃取后也无法查看等。
- 审计(Audict)
对服务的访问操作进行监控和记录,便于排查跟踪问题。
如上图所示,访问服务的用户会经过一层层的安全措施过滤,保障大数据集群的安全稳定运行。
E-MapReduce安全实践
E-MapReduce在边界安全/认证/授权/审计/加密
五个维度都提供了相应的能力。
- 边界安全
创建集群时候可选择vpc网络
集群有安全组控制开放端口
用户可根据需求在集群节点上面设置iptables
- 认证
创建的Kerberos安全集群
的开源组件自动以Kerberos方式启动,开启身份认证,不需要用户进行复杂的Kerberos配置,而且支持多种身份认证方式(如与RAM/LDAP等的结合
)
- 授权
E-MapReduce集群的开源组件可按照组件的官方文档进行相关的权限配置。
可以在E-MapReduce控制台的集群配置管理页面方便的进行配置并重启各项服务,无需登录集群操作。
权限配置详见E-MapReduce 授权文档
HDFS授权
YARN授权
Hive授权
HBase授权
- 审计
E-MapReduce集群默认开启了HDFS/HBase的audict log, 其它相关组件后续会陆续开启。
- 加密
用户可选择启动使用HDFS的数据加密KMS服务。
有兴趣或者有需求的用户可以关注一下E-MapReduce的安全相关的功能,有问题及时联系和反馈。