阿里云有很多出色的产品,今天让我们来一起了解下E-MapReduce吧。
什么是E-MapReduce呢?
简单来说,E-MapReduce是构建于阿里云ECS弹性虚拟机之上,运行在阿里云平台上的一种大数据处理系统解决方案。它能够让用户将Apache Hadoop和Apache Spark运行在阿里云的云平台上,提供给用户在云上的分析和处理大数据的平台。通过将Hadoop和Spark运行在云平台上,让用户可以非常方便的使用Hadoop和Spark生态系统中的其他周边系统(如Apache Hive,Apache Pig,HBase等)来分析和处理自己的数据。不仅如此,用户还可以通过E-MapReduce将数据非常方便的导入和导出到阿里云其他的云数据存储系统和数据库系统(如Aliyun OSS, Aliyun RDS)中。
E-MapReduce与传统物理集群方式相比,有着诸多优势,具体有哪些特点和功能呢?我们来瞧瞧。
E-MapReduce按照所选硬件机型(CPU、内存),所选择软件组合和版本,进行自动化部署,与阿里云的其他产品进行了深度整合,可以通过主子账号对服务权限进行整合阿里云RAM资源权限管理系统,可以通过主子账号对服务权限进行隔离。
进一步的,由于E-MapReduce这么多的优势,在应用上,E-MapReduce*选择机器配置(CPU,内存)和磁盘类型,*选择服务器规模,包括Master和Slave的数量,*选择开源大数据生态软件组合和版本,目前包括Hadoop和Spark,*选择启动集群的方式,分为临时集群和长时间运行集群。E-MapReduce支持丰富的作业类型和灵活的作业执行计划。
E-MapReduce这么强大,可以应用在那些场景中呢?以下简单罗列几个。
E-MapReduce可以应用在离线数据处理、Ad hoc数据分析、海量数据在线服务、流式数据处理。
E-MapReduce典型特性介绍:
https://www.aliyun.com/product/emapreduce?spm=5176.383518.201.18.2vcqYg
E-MapReduce五大热点技术问题分析:
https://yq.aliyun.com/articles/6927?spm=0.0.0.0.pTiuqB
E-MapReduce体验之常见问题 :